AMD의 GPU 추격, 진짜 승부는 랙에서 난다

01AMD는 이제 칩이 아니라 AI 플랫폼을 팔아야 한다

AMD의 데이터센터 GPU 도전은 더 이상 벤치마크 순위 싸움이 아니다. 생성형 AI 인프라는 가속기만 꽂아 만든 서버가 아니라 CPU, 메모리, 네트워크, 냉각 장치와 소프트웨어가 한 몸처럼 작동하는 시스템이다. 엔비디아는 이 단위를 GPU에서 서버로, 다시 서버에서 랙으로 넓혔다. AMD가 따라잡아야 할 대상도 단일 칩의 연산 성능이 아니라 완성된 AI 플랫폼이다.

MI300X는 이 추격이 구호에 그치지 않는다는 사실을 보여준 첫 제품이다. 대용량 HBM을 한 패키지에 담아 거대한 언어 모델을 처리하는 데 유리했고, 마이크로소프트와 메타 같은 고객이 실제 배포에 나섰다. 이전 세대 Instinct 제품이 슈퍼컴퓨터 중심의 제한된 시장에 머물렀다면, MI300X는 상업용 AI 클라우드와 추론 서비스로 고객 기반을 넓혔다.

최근 공개된 로드맵은 이 방향을 더 분명히 한다. MI350 시리즈는 연산 정밀도와 메모리 성능을 높여 블랙웰 세대와 정면으로 겨루고, 후속 MI400 계열은 Helios 랙 플랫폼의 중심에 들어간다. AMD가 ZT Systems의 설계 역량을 확보한 이유도 칩을 고객에게 넘기는 데서 멈추지 않고 랙 설계와 배치 시간을 줄이려는 데 있다.

투자자가 확인할 기준도 달라진다. 새 GPU가 경쟁 제품보다 특정 벤치마크에서 빠른지만 보면 AMD의 위치를 과대평가하기 쉽다. 클라우드 사업자가 같은 제품을 반복 주문하는지, ROCm 기반 서비스가 안정적으로 돌아가는지, 랙 출하가 계획대로 늘어나는지가 실제 격차를 보여준다.

02MI300X는 수요를 증명했지만 매출의 질은 아직 시험대에 있다

AMD의 데이터센터 사업은 MI300X 출하가 본격화된 뒤 규모가 한 단계 커졌다. 2024년 데이터센터 부문 매출은 약 126억 달러로 전년 약 65억 달러의 거의 두 배에 달했고, 회사가 밝힌 Instinct 가속기 매출은 50억 달러를 넘어섰다. EPYC 서버 CPU가 포함된 부문 수치라는 점을 감안해도 GPU가 성장률을 끌어올린 사실은 분명하다.

매출의 출발점은 대형 고객이었다. 마이크로소프트는 Azure에 MI300X 인스턴스를 도입했고, 메타는 대규모 언어 모델 추론에 제품을 활용한다고 밝혔다. 오라클 클라우드도 Instinct 기반 인프라를 제공한다. 이 고객들은 수천 개의 GPU를 묶어 운영할 기술 인력을 갖췄기 때문에 초기 소프트웨어 마찰을 직접 해결할 수 있다.

초기 주문이 곧 안정적인 프랜차이즈를 뜻하지는 않는다. AI 가속기 시장에서는 고객이 공급 부족을 피하려고 두 번째 공급자를 확보하거나 협상력을 높이기 위해 시험 주문을 넣기도 한다. 첫 배포 뒤 같은 고객이 다음 세대 제품을 더 큰 규모로 사야 AMD가 단순한 대체재에서 상시 공급자로 올라선다.

수익성도 매출만큼 봐야 한다. 고가의 AI 가속기는 평균판매가격을 끌어올리지만 HBM과 첨단 패키징 비용도 크다. 생산 초기에는 수율과 공급망 비용이 불리하고, 고객 확보를 위해 엔비디아보다 공격적인 가격을 제시할 가능성도 있다. GPU 매출이 늘어도 매출총이익률이 기대만큼 오르지 않는다면 가격 결정력이 아직 약하다는 뜻이다.

MI350 시리즈의 의미는 첫 주문 규모보다 반복 주문에서 드러난다. MI300X 고객이 소프트웨어를 버리지 않고 후속 제품으로 이동하면 전환 비용이 AMD 편으로 작동하기 시작한다. 그 순간부터 Instinct 매출은 특정 세대의 공급 기회가 아니라 누적되는 생태계 수익에 가까워진다.

03대용량 HBM은 AMD가 만든 가장 현실적인 진입로다

AMD가 엔비디아의 정면을 피하면서도 대형 고객을 끌어온 무기는 GPU당 메모리 용량이었다. MI300X는 192GB HBM을 탑재했고 MI325X는 256GB, MI355X는 288GB로 늘렸다. 하나의 GPU에 더 큰 모델이나 더 긴 컨텍스트를 담으면 GPU 사이의 데이터 이동을 줄일 수 있고, 이는 메모리 병목이 큰 추론 작업에서 비용 절감으로 이어진다.

메모리 용량은 단순한 사양표 숫자가 아니다. 모델이 한 GPU에 들어가지 않으면 연산 노드를 잘게 나누고 통신해야 하며, 그 과정에서 네트워크 지연과 전력 소모가 늘어난다. 대용량 HBM은 이 분할 횟수를 줄여 실제 사용 가능한 처리량을 높인다. AMD가 거대 모델 추론을 초기 공략 지점으로 고른 배경도 여기에 있다.

MI350 시리즈는 메모리 우위에 저정밀 연산 성능을 더한다. 생성형 AI는 모든 계산을 높은 정밀도로 처리하지 않아도 품질을 유지할 수 있어 FP8과 FP4 같은 형식의 처리량이 중요해졌다. AMD는 최신 CDNA 아키텍처에서 이 영역을 크게 강화했다고 설명한다. 다만 회사가 제시한 세대 간 배수 성능은 특정 모델과 설정에서 측정한 결과이므로 실제 고객 환경에 그대로 대입해서는 안 된다.

엔비디아도 같은 약점을 방치하지 않는다. 블랙웰은 강력한 저정밀 연산과 NVLink 기반의 랙 단위 확장을 앞세우고, 상위 제품은 메모리 용량까지 빠르게 높인다. 차세대 루빈 로드맵도 이미 고객에게 제시했다. AMD가 한 세대에서 사양 우위를 만들더라도 엔비디아의 짧은 출시 주기가 그 시간을 압축한다.

하드웨어 격차가 좁아질수록 승부는 실제 모델을 얼마나 쉽게 옮길 수 있는지로 이동한다. AMD의 큰 메모리가 고객의 GPU 수와 통신 비용을 줄여준다면 가격 할인 없이도 선택받을 수 있다. 반대로 소프트웨어 수정에 드는 인건비가 절감액보다 크면 우수한 HBM 사양은 구매 검토표 안에만 남는다.

04ROCm이 좋아져도 CUDA의 시간 우위는 쉽게 사라지지 않는다

엔비디아의 가장 깊은 해자는 GPU 성능보다 CUDA 생태계다. 개발자들은 오랜 기간 CUDA용 라이브러리와 최적화 기법을 축적했고, 기업은 이를 기반으로 모델 학습과 추론 파이프라인을 구축했다. 새 칩이 더 싸더라도 기존 코드를 수정하고 검증해야 한다면 전환 비용이 하드웨어 가격 차이를 삼킨다.

AMD의 ROCm은 과거보다 훨씬 실용적인 단계에 들어섰다. 주요 AI 프레임워크가 Instinct를 공식 지원하고, 오픈소스 모델을 실행하는 절차도 단순해졌다. 컴파일러와 커널 최적화 범위가 넓어졌으며, 클라우드 고객이 직접 발견한 문제를 AMD가 빠르게 반영하는 구조도 자리 잡는다. MI300X의 대규모 배포가 ROCm 개선을 촉진하는 실사용 데이터가 된 셈이다.

호환된다는 말과 최적화됐다는 말은 다르다. 널리 쓰이는 모델은 비교적 쉽게 구동할 수 있지만, 고객이 자체 제작한 연산자나 복잡한 분산 학습 방식을 사용하면 성능 편차가 커진다. 오류를 추적할 수 있는 문서와 숙련 개발자도 CUDA 쪽이 더 풍부하다. 장애 한 번의 비용이 큰 기업일수록 검증된 환경을 선호한다.

메타와 마이크로소프트는 자체 엔지니어가 많아 ROCm의 빈틈을 메우고, 그 대가로 공급 다변화와 구매 협상력을 얻을 수 있다. 인력이 제한된 기업은 같은 계산이 나오지 않는다. 몇 달간의 최적화 작업과 운영 위험을 감수하느니 비싼 엔비디아 시스템을 바로 쓰는 편이 경제적일 수 있다.

ROCm의 성패는 CUDA 기능을 모두 복제하는 데 달리지 않았다. 고객이 자주 쓰는 모델에서 설치와 운영의 마찰을 충분히 낮추면 된다. 이 문턱을 넘는 워크로드가 늘어날수록 AMD의 시장은 넓어지지만, 개선 속도가 느려지면 하드웨어 세대가 바뀔 때마다 같은 검증 비용이 반복된다.

05엔비디아의 진짜 방어선은 GPU가 아니라 랙과 네트워크다

엔비디아는 고객이 GPU를 조립해 시스템을 완성하도록 기다리지 않는다. 블랙웰 기반 GB200 NVL72 같은 제품은 GPU, CPU, 스위치, 냉각 구조를 하나의 랙으로 설계한다. 고객은 대규모 AI 클러스터를 더 빨리 가동하고, 엔비디아는 랙 내부의 부품과 소프트웨어까지 매출 범위를 넓힌다. 이 통합 능력이 랙 스케일 컴퓨팅의 진입 장벽이다.

네트워크는 수천 개의 GPU가 동시에 학습할 때 성능을 좌우한다. 개별 GPU가 빨라도 노드 사이에서 데이터가 막히면 비싼 장비가 대기 상태에 놓인다. 엔비디아는 NVLink와 NVSwitch로 랙 내부를 묶고, InfiniBand와 Spectrum-X로 랙 사이까지 연결한다. 멜라녹스 인수 이후 쌓은 네트워크 역량이 GPU의 경제성을 강화하는 구조다.

AMD도 빈칸을 메우고 있다. Infinity Fabric으로 가속기 연결을 개선하고, Pensando의 데이터처리장치 기술을 데이터센터 플랫폼에 결합한다. 업계 파트너와 추진하는 UALink는 엔비디아의 독점 연결 규격에 대응하려는 시도다. 개방형 표준이 자리 잡으면 고객은 특정 공급자에 덜 묶이지만, 표준 합의와 실제 제품 배치는 엔비디아의 통합 개발보다 느릴 수 있다.

ZT Systems 인수는 AMD가 이 문제를 칩 밖에서 풀려는 선택이다. ZT의 시스템 설계 인력은 하이퍼스케일 고객이 요구하는 전력, 냉각, 서버 배치를 제품 개발 단계부터 반영할 수 있다. 제조 자산보다 설계 역량을 남기려는 방향도 AMD가 자본집약적 조립 사업보다 플랫폼 설계에 무게를 둔다는 뜻이다.

MI400 계열과 Helios 랙은 이 전략의 첫 종합 시험대가 된다. 출시 일정이 밀리거나 네트워크와 냉각 문제가 발생하면 고객은 검증된 엔비디아 랙으로 돌아갈 수 있다. 반대로 계획된 시점에 설치 가능한 완제품을 공급하면 AMD는 가격이 싼 GPU 업체가 아니라 데이터센터 구축 시간을 줄여주는 공급자로 평가받는다.

06고객은 AMD를 원하지만 엔비디아를 버리려는 것은 아니다

대형 클라우드 사업자가 AMD를 채택하는 가장 현실적인 이유는 두 번째 공급선을 확보하기 위해서다. 엔비디아 제품의 공급이 빠듯하거나 가격이 높을 때 대체재가 있으면 데이터센터 증설 일정을 지킬 수 있다. 구매 협상에서도 AMD의 존재 자체가 유리하게 작용한다. 이는 AMD가 엔비디아와 같은 점유율을 확보하지 않아도 큰 사업을 만들 수 있다는 뜻이다.

추론 시장은 특히 진입 가능성이 크다. 학습은 모델 구조와 통신 방식에 맞춘 장기간의 최적화가 필요하지만, 추론은 검증된 모델을 반복 실행하는 비중이 높다. 메모리 용량과 전력당 처리량이 경쟁력 있고 소프트웨어가 안정적이라면 고객은 일부 서비스를 AMD로 분리하기 쉽다. 거대한 설치 기반을 한 번에 바꾸지 않아도 된다.

엔비디아의 높은 가격이 곧 AMD의 낮은 총비용을 보장하지는 않는다. 엔비디아 GPU가 더 높은 가동률을 내거나 같은 작업을 더 적은 서버로 처리하면 초기 구매 가격 차이를 상쇄한다. 장애 대응 시간과 개발자 생산성까지 더하면 익숙한 플랫폼의 경제성이 커진다. 고객이 보는 것은 칩 한 개의 가격이 아니라 서비스 한 건을 처리하는 데 드는 비용이다.

경쟁자는 엔비디아만이 아니다. 구글의 TPU와 아마존의 Trainium처럼 하이퍼스케일 사업자가 자체 가속기를 확대하면 외부 GPU가 차지할 몫이 줄어든다. 고객이 공급 다변화를 추진하면서 동시에 자체 칩으로 비용을 낮추는 구조다. AMD는 엔비디아 점유율을 빼앗는 동시에 고객 내부의 반도체와도 경쟁해야 한다.

AMD의 현실적인 성공 경로는 엔비디아를 전면 대체하는 것이 아니다. 추론과 특정 학습 작업에서 확실한 비용 우위를 만들고, 고객이 세대가 바뀌어도 Instinct를 계속 쓰게 만드는 편이 빠르다. 시장 전체가 커지는 동안 확고한 2위 플랫폼을 차지하는 것만으로도 데이터센터 사업의 이익 구조는 크게 달라진다.

07주가를 가를 것은 발표 성능보다 반복 주문의 증거다

AMD 주가에는 이미 AI 가속기가 서버 CPU를 잇는 새 성장축이 될 것이라는 기대가 상당 부분 들어가 있다. 시장은 Instinct 매출 증가 자체보다 증가 속도가 엔비디아와의 격차를 얼마나 줄이는지 평가한다. 제품 출시가 예정대로 이뤄져도 고객 주문이 기대보다 작으면 높은 성장 가정이 먼저 조정될 수 있다.

가장 먼저 볼 지표는 MI300 계열 고객이 MI350 시리즈로 이어지는 비율이다. 기존 고객의 재주문은 ROCm 전환 비용을 이미 감수한 고객이 경제성을 확인했다는 신호다. 신규 고객 발표보다 주문 규모와 배포 범위가 더 의미 있다. 시험용 클러스터가 실제 서비스 인프라로 확대되는지도 함께 봐야 한다.

수익성은 두 번째 검증 항목이다. Instinct 비중이 커지는데도 매출총이익률이 정체하면 HBM과 패키징 비용, 초기 수율, 가격 할인 중 하나가 부담으로 남아 있을 가능성이 높다. 반대로 매출 성장과 이익률 상승이 함께 나타나면 AMD가 공급 확대뿐 아니라 가격 결정력도 얻는다는 뜻이다.

위험은 공급망과 정책에서도 나온다. 첨단 GPU는 제한된 HBM과 패키징 생산능력에 의존하며, 미국의 대중국 수출 규제는 판매 가능한 제품 사양과 시장 범위를 바꿀 수 있다. 소수 하이퍼스케일 고객에 주문이 집중된 구조에서는 한 고객의 투자 일정 조정만으로도 분기별 매출 변동이 커진다.

강세 시나리오에서는 MI350이 추론 시장에서 자리를 잡고, Helios가 랙 단위 공급 역량을 입증한다. ROCm 개발자가 늘면서 제품을 바꿀 때마다 발생하던 검증 비용도 낮아진다. 약세 시나리오에서는 엔비디아의 블랙웰 공급 정상화와 차세대 제품 출시가 AMD의 가격 우위를 압박하고, 고객의 자체 가속기가 남은 수요를 가져간다.

투자 판단은 발표된 최대 성능보다 세 가지 현장에서 갈린다. 고객이 반복 주문하고, 소프트웨어 문제가 줄며, 랙이 예정대로 설치되는가다. 이 증거가 쌓이면 AMD는 거대한 AI 시장의 구조적 2위로 재평가받을 수 있지만, 하나라도 흔들리면 주가에 반영된 기대가 실적보다 먼저 달려갔다는 사실이 드러난다.