GPU 독주 뒤에서 바뀌는 반도체 전장

01승부는 칩 한 장이 아니라 랙 전체에서 난다

AI 반도체 시장의 경쟁 단위가 개별 칩에서 데이터센터 랙으로 커졌다. 최신 AI 모델은 수천 개의 가속기를 동시에 묶어 학습하므로 칩 한 장의 연산 속도만 높아서는 부족하다. 가속기 사이에서 데이터를 옮기는 네트워크, 고대역폭 메모리, 냉각 장치가 함께 움직여야 실제 처리량이 나온다. 최고 사양 칩을 확보하고도 전력이나 네트워크가 받쳐주지 않으면 비싼 장비가 대기 상태에 머문다.

엔비디아가 강한 이유도 GPU 벤치마크 하나로 설명되지 않는다. 회사는 GPU와 CPU, NVLink 스위치, 네트워크 장비를 결합해 GB200·GB300 계열과 같은 랙 단위 시스템을 공급한다. 고객은 부품을 따로 조립하는 대신 검증된 설계를 구매해 구축 시간을 줄인다. AI 모델 개발 일정이 몇 달만 밀려도 막대한 기회비용이 생기는 대형 클라우드 사업자에게 이 시간 차이는 제품 가격 차이보다 클 수 있다.

시장 규모는 계속 커지지만 성장의 성격은 바뀐다. 초기에는 거대언어모델을 처음부터 훈련하는 학습 수요가 투자를 이끌었다. 이제는 이미 개발한 모델을 실제 서비스에 투입하는 추론 수요가 더 빠르게 늘어난다. 추론은 같은 질문을 반복해서 처리하므로 최고 성능보다 전력당 처리량과 사용 비용이 더 민감하게 작용한다.

따라서 앞으로의 점유율은 GPU 출하량만 봐서는 읽기 어렵다. 엔비디아가 고성능 학습 시장의 주도권을 지키더라도 자체 가속기와 저비용 GPU가 추론 물량을 나눠 가질 수 있다. 투자자는 누가 가장 빠른 칩을 만들었는지가 아니라 누가 고객의 전력 예산 안에서 더 많은 유료 요청을 처리하는지를 봐야 한다.

02엔비디아의 해자는 CUDA보다 더 넓다

엔비디아의 가장 강한 방어선은 CUDA라는 프로그래밍 환경이지만, 실제 해자는 그보다 넓다. 개발자는 CUDA 라이브러리와 최적화 도구를 이용해 모델을 빠르게 구축하고 오류를 찾는다. 기업은 이 코드와 운영 인력을 수년간 축적한다. 다른 칩으로 옮길 때 발생하는 재작성과 검증 비용이 커질수록 엔비디아의 가격 결정력도 강해진다.

하드웨어 공급 방식도 경쟁사를 압박한다. 엔비디아는 GPU만 판매하지 않고 NVLink와 InfiniBand·이더넷 네트워크, Grace CPU를 하나의 시스템으로 묶는다. 칩 사이의 통신 속도를 높이면 같은 수의 GPU로 모델 학습 시간을 줄일 수 있다. 고객 입장에서는 비싼 GPU 가격을 지불하더라도 개발 일정이 단축되면 전체 프로젝트 비용이 오히려 낮아진다.

Blackwell 계열은 이 전략을 더 밀어붙인다. 단일 칩 성능 개선보다 다수의 GPU를 거대한 하나의 연산 장치처럼 운용하는 데 초점을 둔다. 대형 모델은 메모리 용량과 통신 대역폭이 병목이 되므로 이 접근이 합리적이다. 다만 랙 하나가 요구하는 전력이 커지고 액체 냉각과 전력 설비의 복잡성도 높아져 고객의 설치 속도를 제한한다.

엔비디아의 위험은 수요 부족보다 공급망과 고객 집중에서 먼저 나타날 수 있다. 첨단 공정 생산은 TSMC에 크게 의존하고, HBM과 고급 패키징의 공급이 계획보다 늦어지면 완제품 출하도 밀린다. 대형 클라우드 기업이 AI 투자 대부분을 차지하는 구조에서는 몇 곳의 설비투자 조정이 주문 변동을 크게 만든다.

엔비디아의 지배력이 당장 흔들리지 않더라도 주식의 판단 기준은 다르다. 시장은 이미 높은 매출 성장과 강한 마진을 기대한다. 실제 사업이 성장해도 공급 지연이나 제품 전환기의 비용 증가가 기대치를 밑돌면 주가는 약해질 수 있다. 독점에 가까운 경쟁력과 높은 기대가 동시에 존재한다는 점이 엔비디아 투자의 난도를 높인다.

03CPU는 사라지지 않고 AI 서버의 지휘권을 바꾼다

GPU가 AI 연산의 중심에 섰지만 CPU는 서버의 운영과 데이터 준비를 담당한다. 저장장치에서 데이터를 불러오고 가속기에 작업을 배분하며 네트워크와 보안 기능을 관리한다. GPU 수가 늘수록 CPU가 처리해야 할 입출력과 시스템 제어도 복잡해진다. AI가 CPU 시장을 없애는 것이 아니라 CPU가 맡는 역할을 다시 정하는 셈이다.

AMD는 EPYC의 높은 코어 수와 전력 효율을 앞세워 서버 CPU에서 입지를 넓혀 왔다. 클라우드 사업자는 동일한 전력 범위 안에서 더 많은 가상 서버를 운영할 수 있어야 수익성이 높아진다. AMD가 이 조건을 충족하면 기존 인텔 서버의 교체 수요를 가져올 여지가 생긴다. MI 계열 GPU와 EPYC를 함께 제안할 수 있다는 점도 AI 서버 계약에서 유리하게 작용한다.

인텔은 여전히 방대한 설치 기반과 기업 고객 관계를 보유한다. 서버를 한꺼번에 교체하기 어려운 금융회사나 정부 기관은 기존 소프트웨어 호환성과 장기 지원을 중시한다. Xeon 6 계열이 고성능 코어와 고효율 코어를 분리해 제공하는 것도 워크로드별 비용 차이를 겨냥한 선택이다. 다만 공정 경쟁력과 가속기 로드맵의 반복된 수정은 고객의 장기 구매 결정을 어렵게 만든다.

Arm 기반 CPU의 성장은 더 구조적인 변화다. AWS의 Graviton처럼 클라우드 기업이 자체 Arm CPU를 설계하면 서버 비용을 낮추고 자사 서비스에 맞게 전력 효율을 조정할 수 있다. 엔비디아의 Grace도 GPU와 CPU 사이의 데이터 이동을 줄이는 방향을 택한다. x86 호환성이 절대적이지 않은 신규 클라우드 워크로드부터 Arm의 비중이 높아질 가능성이 크다.

CPU 시장을 볼 때 전체 출하량보다 소켓당 가치가 더 유용해진다. AI 서버 한 대에는 고가 GPU가 대량으로 들어가지만 CPU 수는 제한된다. CPU 업체가 데이터 이동과 전력 효율을 통해 전체 시스템 비용을 줄이지 못하면 서버 투자가 늘어도 경제적 몫은 작아진다. AMD와 인텔의 다음 승부는 코어 수 경쟁보다 GPU와 메모리를 얼마나 긴밀하게 연결하느냐에서 갈린다.

04맞춤형 가속기는 가장 비싼 추론부터 잠식한다

구글, 아마존, 마이크로소프트 같은 대형 클라우드 기업은 GPU 구매를 늘리는 동시에 자체 ASIC을 개발한다. ASIC은 특정 연산에 회로를 맞춘 칩이라 GPU보다 용도가 좁다. 대신 같은 작업을 반복할 때 불필요한 회로를 줄여 전력과 비용을 낮출 수 있다. 사용량이 막대한 내부 서비스에서는 개발비를 감수하고도 자체 칩을 만들 경제성이 생긴다.

구글의 TPU는 자체 가속기 전략이 장기간 이어질 수 있음을 보여준다. 최근 공개된 세대는 학습과 추론을 거대한 클러스터로 처리하는 방향을 강화했다. AWS의 Trainium과 Inferentia도 고객이 아마존 클라우드 안에서 더 낮은 비용으로 AI 모델을 운용하도록 설계됐다. 이 칩들은 외부 시장 전체를 장악할 필요가 없고 자사 데이터센터의 GPU 구매 비용만 낮춰도 목적을 달성한다.

브로드컴은 이런 흐름에서 설계 파트너 역할을 맡는다. 클라우드 기업이 원하는 연산 구조를 반도체로 구현하고 고속 네트워크 연결까지 지원한다. 고객사가 직접 브랜드를 붙이더라도 설계와 인터페이스에서 발생하는 경제적 가치는 브로드컴 같은 업체에 남는다. 맞춤형 AI 칩 매출이 커질수록 브로드컴은 네트워크 반도체에 더해 AI 연산 투자에도 노출된다.

ASIC이 GPU를 전면 대체하기는 어렵다. 모델 구조가 빠르게 바뀌거나 새로운 알고리즘을 시험할 때는 프로그래밍이 자유로운 GPU가 유리하다. 반대로 구조가 안정된 대규모 추론에서는 ASIC의 비용 우위가 커진다. AI 시장이 커질수록 GPU의 절대 매출은 늘면서도 일부 고객의 자체 칩 비중이 함께 상승하는 모습이 자연스럽다.

05AMD의 기회는 성능표가 아니라 전환 비용에서 결정된다

AMD는 엔비디아를 추격할 수 있는 가장 현실적인 범용 GPU 경쟁자다. MI300X 이후 제품은 대용량 HBM과 높은 메모리 대역폭을 앞세워 대형 언어모델 추론 시장을 공략한다. 공개 로드맵상 MI350 계열과 차세대 MI400 계열로 제품 주기도 단축하려 한다. 하드웨어 사양만 놓고 보면 특정 워크로드에서 엔비디아와 경쟁할 여지가 충분하다.

문제는 고객이 칩을 바꾸는 순간 발생한다. 기존 CUDA 코드를 AMD의 ROCm 환경에서 안정적으로 실행하려면 모델과 라이브러리를 다시 검증해야 한다. 작은 오류가 추론 정확도나 서비스 지연으로 이어질 수 있어 고객은 단순한 가격 차이만으로 공급사를 바꾸지 않는다. AMD가 점유율을 얻으려면 저렴한 가격보다 전환 과정에서 생기는 인력 비용과 일정 위험까지 상쇄해야 한다.

하이퍼스케일러는 이런 전환을 감당할 능력이 있다. 내부에 대규모 소프트웨어 인력을 두고 있으며 엔비디아 의존도를 낮추면 구매 협상력도 높아진다. AMD GPU가 전체 물량을 대체하지 못해도 두 번째 공급원으로 자리 잡는 것만으로 의미가 있다. 반면 규모가 작은 기업은 지원 도구와 인력이 풍부한 엔비디아 플랫폼을 선택할 가능성이 높다.

인텔의 가속기 사업은 더 어려운 위치에 놓였다. Gaudi 계열은 이더넷 기반 확장성과 가격을 내세웠지만 생태계와 공급 규모에서 선두와 격차가 크다. 후속 제품 전략이 조정될 때마다 고객은 장기 지원 여부를 의심한다. AI 칩은 한 번의 좋은 벤치마크보다 몇 세대 동안 일정한 로드맵을 지키는 신뢰가 더 큰 자산이다.

AMD의 투자 논리는 엔비디아를 넘어서는 데 있지 않다. 급팽창하는 시장에서 제한된 점유율만 확보해도 데이터센터 매출 기반이 크게 넓어질 수 있다. 다만 시장은 이미 이런 가능성에 값을 매기므로 ROCm 채택과 대형 고객의 실제 배치가 따라오지 않으면 기대가 먼저 후퇴한다. 제품 발표보다 반복 주문과 소프트웨어 지원 인력의 확대가 더 설득력 있는 지표다.

06한국 투자자에게는 HBM 병목이 더 직접적인 변수다

AI 가속기 경쟁이 치열해질수록 한국 기업에는 HBM 수요가 가장 직접적으로 연결된다. HBM은 여러 개의 메모리 칩을 수직으로 쌓아 GPU 가까이에 배치하므로 일반 서버 메모리보다 훨씬 넓은 대역폭을 제공한다. 대형 AI 모델은 연산 자체보다 데이터를 공급하는 속도에서 막히기 쉽다. 가속기 한 개에 탑재되는 HBM 용량이 늘어나는 이유다.

SK하이닉스는 선단 HBM의 초기 공급과 고객 인증에서 앞서며 AI 메모리 투자 논리의 중심에 섰다. 일반 D램보다 공정 난도가 높고 수율 관리가 어려워 공급사가 단기간에 생산량을 늘리기 힘들다. 이 제약이 유지되면 평균판매가격과 수익성에 유리하다. 생산능력이 급격히 확대된 뒤 수요 증가율이 둔화하면 반대 효과도 빠르게 나타날 수 있다.

삼성전자는 메모리 생산 규모와 제조 역량이 크지만 HBM에서는 고객 인증 시점과 제품 수율이 실적의 변수가 된다. 인증이 늦어질수록 선두 업체가 장기 공급 관계를 먼저 확보한다. 반대로 선단 제품의 공급이 본격화하면 부족한 시장 물량을 흡수하며 격차를 좁힐 여지가 있다. 삼성전자 주가에는 기대보다 실제 출하와 메모리 부문의 이익 회복이 더 강하게 작용한다.

패키징도 같은 병목 구조에 놓인다. TSMC의 CoWoS 계열처럼 GPU와 HBM을 넓은 인터포저 위에 연결하는 첨단 패키징이 부족하면 웨이퍼를 생산해도 완제품을 출하하지 못한다. 패키지 면적이 커질수록 수율 관리와 장비 투자가 어려워진다. AI 가속기 수요가 파운드리 매출로 이어지는 속도는 이 후공정 증설 속도에 묶인다.

한국 반도체 주식을 볼 때 GPU 신제품 발표만 따라가면 한 박자 늦을 수 있다. HBM 가격과 고객 인증, 패키징 생산능력이 실제 출하량을 결정하기 때문이다. 선두 GPU 업체의 주문이 늘어도 메모리 공급사가 증설 비용을 감당하지 못하거나 수율이 흔들리면 이익은 기대에 못 미친다. 한국 투자자에게 AI 경쟁의 승자는 가장 빠른 GPU보다 병목 구간에서 가격 결정력을 지키는 공급사다.

07높은 성장률보다 기대치의 높이를 먼저 재야 한다

AI 반도체 기업의 주가는 현재 실적보다 앞으로 몇 년간 유지될 성장률을 먼저 반영한다. 엔비디아는 높은 매출 증가와 이익률을 동시에 보여주며 프리미엄을 정당화해 왔다. 하지만 매출 규모가 커질수록 같은 성장률을 반복하기 어려워진다. 주가가 오르려면 좋은 실적만이 아니라 시장이 예상한 것보다 더 좋은 실적이 필요하다.

AMD에는 점유율 확대 가능성이, 브로드컴에는 맞춤형 칩 성장성이 붙어 있다. 인텔은 절대 이익보다 제조 경쟁력 회복과 비용 구조 개선이 가치의 중심이다. 같은 AI 반도체 묶음으로 분류해도 주가를 움직이는 변수가 서로 다르다. 엔비디아의 마진 둔화와 AMD의 소프트웨어 채택 실패는 전혀 다른 위험인데 단순한 주가수익비율 비교는 이를 가린다.

설비투자 사이클도 경계해야 한다. 클라우드 기업이 데이터센터와 전력 확보에 막대한 자금을 쓰는 동안 가속기 주문은 강하게 유지된다. AI 서비스 수익이 투자 속도를 따라오지 못하면 고객은 장비의 사용률부터 높이려 한다. 기존 GPU를 더 효율적으로 쓰는 기간이 길어지면 신규 주문 증가율은 급격히 낮아질 수 있다.

규제와 지정학은 공급망 전체에 영향을 준다. 첨단 가속기의 중국 수출 규제가 강화되면 제품 사양을 조정하거나 판매 지역을 바꿔야 한다. 대만에 집중된 선단 파운드리와 패키징 생산도 구조적인 위험이다. 특정 사건의 발생 여부를 예측하기보다 한 지역과 한 고객에게 매출이 얼마나 집중됐는지 확인하는 편이 현실적이다.

포트폴리오 판단은 승자 하나를 고르는 문제에서 벗어날 필요가 있다. GPU 플랫폼은 엔비디아, 대체 공급자는 AMD, 맞춤형 설계는 브로드컴, 메모리 병목은 SK하이닉스와 삼성전자로 투자 논리가 나뉜다. 각 기업의 매출 성장보다 주문의 반복성, 고객 집중도, 공급 제약이 풀린 뒤에도 유지될 마진을 비교해야 한다. AI 연산 수요가 오래 성장하더라도 모든 반도체 주식이 같은 속도로 오르는 시장은 아니다.