AI 반도체

데이터센터를 성공적으로 구축하는 데 가장 중요한 것은 AI 칩 확보다. 현재 시장은 사실상 엔비디아가 휘어잡고 있다.

향후 추론용 AI 칩은 좀 더 다변화될 수 있을 것으로 예상하기도 한다. 학습의 경우 고도로 집적된 클러스터에서 더 좋은 성능을

낼 수 있기에 근거리 네트워크 기술도 매우 중요하다.

이분야에서도 엔비디아의 기술 우위는 두드러진다. 당분간 엔비디아의 독주를 막기는 어려운 이유이기도 하다.

그럼에도 불구하고 AI 인프라 구축을 위해서는 다양한 선택지를 가지고 최적의 설계가 바탕이 되어야 한다.

이에 AI 반도체 시장을 우선 살펴볼 필요가 있다.

이를 요즘 많이 사용하는 FP16 정밀도로 계산해 보면 H100 1개가 텐서 코어 전용 연산시 약 2페타플롭스3),

따라서 5천만 개는 무려 1억 페타플롭스 즉 100제타플롭스라는 상상을 초월하는 연산량이 된다.4) H100 5천만 개

GPU 구동하는 데에만 약 35GW가 필요하며, 공조 및 기타 시스템 유지를 위해 필요한 것까지 하면 아무리 적게 잡아도 50GW가

필요하다. 1GW 용량의 데이터센터라고 하더라도 50개가 필요한 용량이다.5) 엔비디아의 최신 칩인 B200으로 하면 GPU 수는

반 이상, 전력 수요는 3분의 1 정도 줄어들 것이라고 하는데 이 역시 막대한 전력과 엄청난 규모의 데이터센터가 필요하다.6)

그래픽 프로세서에서 엔비디아와 경쟁하는 AMD는 MI350X와 MI355X를 2025년 하반기 실전에 배치할 계획이다.

현재 주력 버전인 MI300X는 엔비디아의 H100보다 더 많은 고대역폭 메모리를 포함하고 있지만 성능은 H100과 유사하거나

좀 더 높은 수준이며, 올해 하반기 본격 출시될 MI355X의 경우 약 2배의 연산 성능을 가질 것으로 알려져 있다.

MI300X, MI355X가 각각 엔비디아의 H100, B200을 타겟으로 하고 있는 것으로 보인다. AMD의 경우 소프트웨어 개발 플랫폼인

ROCm(Radeon Open Compute platform)로 엔비디아의 CUDA에 대항하고 있다.

에너지 인프라

앞서도 언급했지만 이미 수백 메가와트급의 데이터센터가 가동 중이며 향후 기가와트 급의 데이터센터도 등장할 것이다.

국내에서도 실현 가능성에 많은 의문이 제기되었던 3기가와트급의 데이터센터 건립계획이 발표된 적도 있다.11)

대형 AI 데이터센터는 중소 도시 하나의 전력 사용량에 맞먹는 전기를 소모할 수 있으므로 국가 전력망에도 상당한 부담이 될 수 있다. 전력 수요에 대한 다양한 예측이 나오고 있는 가운데 한 예를 들면, 작년 여름 엔비디아 블랙웰 발표 당시 웰스파고는 AI 전력 수요가

2024년 8 TWh(테라와트시)에서 2026년까지 550% 급증하여 52 TWh, 2030년까지는 1,150% 증가한 652 TWh에 이를 것으로 예상했다. 이는 2024년 전망치 대비 무려 8,050% 증가한 수치이다.

---------------------------------------------------------------------------------------------------------------------------------------------------------