엔지니어로서 커리어를 쌓다 보면, 가장 복잡한 문제를 해결하는 방법이 의외로 ‘삭제(Delete)’ 버튼을 누르는 것일 때가 많습니다. 코드를 짤 때도 그렇지만, 인프라 아키텍처에서도 마찬가지죠.

최근 AI 모델의 파라미터가 조 단위로 넘어가면서, 우리는 GPU 최적화나 CUDA 커널 튜닝에 집중합니다. 하지만 진짜 병목은 엉뚱한 곳에서 터지고 있습니다. 바로 전력(Power) 입니다. H100 수만 장을 돌리려면 원자력 발전소 하나가 필요하다는 농담이 현실이 되어가는 지금, Terraform Industries에서 매우 도발적인 테크니컬 블로그를 공개했습니다. 제목은 ‘Direct Current Data Centers’.

핵심은 간단합니다. “그리드(Grid)도, 가스 터빈도, 인버터도 다 갖다 버리고 태양광 패널에 GPU를 직결하자.”

오늘 포스팅에서는 이 급진적인 주장이 기술적으로 타당한지, 그리고 우리 같은 엔지니어들이 여기서 무엇을 배워야 할지 딥다이브 해보겠습니다.

First Principles: GPU는 그저 ‘비싼 스위치’일 뿐이다

우리는 GPU를 ‘지능을 만드는 실리콘’이라고 부르지만, 물리학적 관점에서 보면 GPU는 그저 전자의 흐름을 제어하고 폐열을 뿜어내는 거대한 스위치 에 불과합니다. 현재 GPU 가격은 kW당 약 $50,000 수준입니다. 반면 전력을 공급하는 부품들은 상대적으로 매우 저렴하죠.

이 글의 저자인 Casey Handmer는 아주 근본적인 질문을 던집니다. “왜 전력을 공급하는 과정이 이렇게 복잡해야 하는가?”

기존 데이터센터의 전력 흐름은 비효율의 극치입니다:

1. 발전소(AC) -> 송전탑(AC) -> 변전소(AC) -> 데이터센터(AC) -> UPS(DC/AC) -> PSU(AC/DC) -> GPU(DC)

이 과정에서 변환 손실(Conversion Loss)은 필연적입니다. Terraform Industries의 제안은 이 중간 단계를 모두 삭제하고, 1000V DC 로 통일하자는 겁니다.

• 태양광 패널: 본질적으로 DC 전류원 (약 40V)
• 배터리: 본질적으로 DC 전압원 (약 3.9V)
• GPU: DC 부하

이 셋을 직렬로 연결하면 구리 사용량을 줄이면서도 전자를 수백 번 재사용할 수 있는 1000V 시스템이 완성됩니다. 인버터도, 변압기도 필요 없습니다. 그냥 Sun -> Battery -> Compute 입니다.

‘Tokens per Dollar’가 유일한 메트릭이다

이 아키텍처가 흥미로운 이유는 경제성 최적화 방식 때문입니다. 보통 데이터센터는 ‘99.999% 가용성(Five Nines)‘을 목표로 설계합니다. 이를 위해 엄청난 비용의 백업 발전기와 이중화 설비를 갖추죠.

하지만 AI 트레이닝이나 배치(Batch) 인퍼런스 작업에서 과연 99.999%가 필수일까요?

저자들은 ‘가스 발전소 + 태양광’ 하이브리드 모델과 ‘순수 태양광 + 배터리’ 모델의 비용 효율을 비교했습니다. 결과적으로, 가스 발전소를 유지하는 비용(Capex + 연료비)보다, 차라리 태양광 패널과 배터리를 과잉 공급(Over-provisioning)하고 가스 터빈을 삭제하는 것이 ‘달러당 토큰 생산량’ 측면에서 더 낫다는 결론에 도달합니다.

위 그래프를 보면, 가스 발전소가 없는(No Gas) 순수 태양광 모델이 특정 지점에서 경제적 우위를 점하는 것을 볼 수 있습니다. 물론 이를 위해선 MW당 약 15에이커(약 1.8만 평)의 땅이 필요하지만, 미국 서부 사막지대에는 널린 게 땅이니까요.

Software Governor: 하드웨어의 한계를 소프트웨어로 극복하다

개인적으로 이 글에서 가장 인상 깊었던 부분은 ‘거버너(Governor)’ 로직입니다. 순수 태양광 시스템의 치명적인 단점은 ‘해가 뜨지 않는 긴 밤’이나 ‘흐린 날’입니다. 배터리가 바닥나면 데이터센터가 셧다운되는 최악의 시나리오가 발생하죠.

여기서 엔지니어링의 묘미가 나옵니다. GPU의 전력 소모량(P)은 주파수(f)와 전압의 제곱(V^2)에 비례합니다 ($P \sim fV^2$).

즉, 배터리가 부족할 것 같으면 클럭 주파수를 소프트웨어적으로 낮추면 됩니다. 토큰 생산 속도를 3%만 줄여도, 전력 소모는 9% 가까이 줄일 수 있습니다. 단순히 On/Off 하는 게 아니라, 배터리 잔량에 따라 GPU 성능을 쓰로틀링(Throttling)하여 ‘셧다운’을 방지하는 것이죠.

위 그래프를 보면 4일 차 새벽에 배터리가 부족해질 것을 예측하고 미리 성능을 제한하는 모습을 볼 수 있습니다. 이렇게 하면 가동률(Utilization)을 99%에서 99.7%까지 끌어올릴 수 있습니다. 하드웨어의 무식한 비용을 소프트웨어 제어로 상쇄하는, 아주 모범적인 엔지니어링 사례입니다.

Hacker News와 업계의 반응

이 글은 Hacker News에서도 뜨거운 논쟁을 불러일으켰습니다. 주요 쟁점은 다음과 같습니다.

1. 송전(Transmission) 문제: “사막 한가운데 태양광을 깔면 데이터센터도 거기 있어야 한다. 송전망 구축이 제일 어려운 파트다.” -> 제 생각: 맞습니다. 하지만 AI 데이터센터는 레이턴시에 민감한 주식 거래 서버가 아닙니다. 훈련(Training) 클러스터라면 사막 한가운데 있어도 전혀 문제 될 게 없죠.
2. 리소스 낭비: “이 엄청난 에너지를 식량 생산이 아니라 챗봇에 쓴다고?” -> 제 생각: 기술 발전 단계에서 항상 나오는 비판입니다. 하지만 에너지 생산 비용 자체를 낮추는 혁신은 결국 모든 산업에 이득이 됩니다.
3. Space AI: 본문 후반부에 스페이스X의 스타링크를 활용한 ‘우주 데이터센터’ 이야기가 나오는데, 이건 아직은 시기상조라는 의견이 지배적입니다. 방사선 문제와 열 관리(복사 냉각만 가능)가 지상보다 훨씬 까다롭기 때문이죠.

결론: 복잡함을 제거하는 것이 혁신이다

솔직히 말해서, 당장 내년에 구글이나 AWS가 모든 데이터센터를 이렇게 바꿀 것이라고 보지는 않습니다. 레거시 인프라와 규제 문제는 생각보다 거대하니까요. 하지만 ‘Grid-independent(전력망 독립형)’ 데이터센터는 분명히 다가올 미래입니다.

가스 터빈을 주문하고 3년을 기다리느니, 태양광 패널을 깔고 배터리 팩을 쌓아서 6개월 만에 런칭하는 스타트업이 나올 겁니다. 엔지니어로서 우리가 주목해야 할 점은 “비싼 부품(GPU)을 살리기 위해 싼 부품(전력 인프라)을 어떻게 재설계할 것인가” 에 대한 관점의 전환입니다.

AC/DC 변환기, 인버터, 복잡한 전력망 연동… 이 모든 것이 ‘레거시 부채’로 보이는 순간, 혁신은 시작됩니다.

Verdict: 이 아키텍처는 단순한 아이디어가 아니라, 에너지 비용이 0으로 수렴하는 시대에 AI가 살아남는 생존 전략입니다. CTO라면 지금 당장 사막의 땅값을 알아봐야 할지도 모릅니다.