카테고리 없음

엔비디아 독주 시대 누가 끝낼 수 있을까?

리오넬메씨 2025. 12. 7. 00:24

“엔비디아 독주 시대, 곧 끝날까?” 구글 TPU가 흔들기 시작한 AI 인프라 시장의 진짜 변화

 

AI 시대의 핵심 인프라는 결국 연산력(Compute)입니다.
그리고 이 연산력을 누가 더 빠르고, 더 싸고, 더 에너지 효율적으로 제공하느냐가 글로벌 기술 패권과 직결되고 있죠.

지난 몇 년 동안 이 시장은 엔비디아의 독무대였습니다. GPU 시장 점유율 90% 이상이라는, 거의 ‘독점에 가까운 우위’ 속에서 누구도 엔비디아를 위협하지 못하는 듯 보였죠.

하지만 2025년, 상황이 조금씩 달라지고 있습니다.
바로 구글의 TPU(텐서 프로세싱 유닛)이 전면으로 부상하기 시작했기 때문입니다.

현재 판도: 여전히 엔비디아의 독주

 

2024~2025년 데이터센터 AI 가속기 시장에서 엔비디아의 점유율은 90% 이상.
말 그대로 ‘원톱(One-top)’ 구조입니다.

그 이유는 단순히 GPU 성능 때문이 아닙니다.
가장 중요한 건 바로 생태계(CUDA Ecosystem)입니다.

엔비디아가 강력한 이유

  • CUDA: 사실상 업계 표준 개발 플랫폼
  • PyTorch·TensorFlow 최적화
  • 전 세계 연구자·엔지니어가 이미 엔비디아 중심
  • 온프레미스, 모든 클라우드, 각종 스타트업까지 GPU 사용
  • 성능, 소프트웨어, 도구, 커뮤니티… 모든 면에서 선점

그래서 대부분 기업의 선택 패턴은 이렇습니다.

“기본 선택지 = 엔비디아, 대안 = 기타”

즉, “엔비디아 대신 무엇을 쓸까?”라는 질문 자체가 쉽지 않다는 의미죠.

 

구글의 반격: TPU·Axion·구글 서비스의 심층 통합

 

그럼에도 불구하고, 구글은 완전히 다른 방식으로 AI 인프라 시장을 파고들고 있습니다.

구글이 가진 무기:

① TPU (Tensor Processing Unit) — 전용 AI ASIC

특정 AI 워크로드에 최적화된 전용 칩으로, 일반 GPU와는 개념 자체가 다릅니다.

  • v5p
  • v6
  • 제미나이 3를 학습한 7세대 ‘Ironwood’까지 등장

특히 대규모 추론 서비스에서 성능 대비 비용 효율이 탁월하다는 평가가 많습니다.

② Axion — Arm 기반 데이터센터 CPU

구글 클라우드 서비스에 깊숙이 통합된 고성능·고효율 CPU.

③ 구글의 방대한 서비스 통합

  • 검색(Search)
  • 유튜브(Youtube)
  • Gmail·Workspace
  • Gemini(LLM)

구글은 자사 서비스 전반에 TPU를 사용하며 자체적인 실전 최적화를 굉장히 빠르게 진행할 수 있습니다.
즉, TPU는 “연구용”이 아니라 “대규모 실제 서비스용”에 최적화되어 있다는 점이 강점입니다.

실제로 벌어지는 TPU 이동: 비용을 3~4배 줄였다?

 

2025년 들어 업계에서 가장 크게 화제가 된 움직임이 바로 **TPU로의 이탈(Flywheel Shift)**입니다.

일부 생성형 AI 기업들이 엔비디아 H100/H200 기반 인프라에서 TPU v5/v6로 워크로드를 옮기며:

  • 3~4배 수준 비용 절감
  • 전력 효율 대폭 개선
  • 대규모 추론 비용 최적화

라는 결과를 얻었다고 알려져 있습니다.

특히 다음 기업들은 TPU 도입·확대를 적극 검토 또는 진행 중입니다.

  • 메타(Meta)
  • Anthropic
  • Midjourney
  • Perplexity

즉, 이제 TPU는 “특정 기업만 쓰는 칩”이 아니라 “비용을 절감하려는 기업의 대안”으로 진지하게 부상한 것입니다.

하지만 ‘완전한 엔비디아 대체’는 아직 어렵다

 

구글 TPU가 강력함에도 불구하고, 여전히 구조적인 한계가 존재합니다.

구글 TPU의 한계

  • 오직 구글 클라우드(GCP) 중심
  • 특정 워크로드·프레임워크에 최적화된 폐쇄형 환경
  • 학습·R&D 프로토타이핑에는 유연성이 떨어짐
  • 온프레미스 배포가 어려움

엔비디아의 강점

  • 온프레미스, AWS, Azure, GCP 등 어디서든 사용 가능
  • 대학·연구소·스타트업 모두 GPU 기반
  • 다양한 개발 생태계가 이미 성숙

즉, 학습 및 초기 개발 단계에서는 엔비디아가 압도적이며, TPU는 대량 추론·서비스 단계에서 비용 최적화”에 가까운 포지션입니다.

 

앞으로의 승부처: “칩 판매”가 아니라 “클라우드 패키지 전쟁”

 

여기서 중요한 점.

엔비디아 vs 구글의 경쟁은 단순히 “칩 vs 칩”이 아닙니다.
비즈니스 모델 자체가 다릅니다.

엔비디아

  • 칩(GPU)을 직접 판매
  • 서버 제조사·클라우드·기업이 이를 구매해 사용

구글

  • 구글 클라우드 + TPU + Axion + Gemini 서비스 → 하나의 “패키지”로 판매

구글은 TPU 독립 판매가 아닌 클라우드 기반 대규모 계약으로 고객을 묶어가고 있습니다.
수십억 달러 규모의 “최소 사용량 보장(guarantee)” 조건을 제공하며, 엔비디아 중심 기업을 적극적으로 끌어들이고 있죠.

 

엔비디아를 완전히 대체하진 못하지만, ‘양강 구도’는 현실화 중

 

질문을 이렇게 던지는 것이 더 현실적입니다.

엔비디아는 여전히 넘버원이지만, 구글은 특정 영역에서는 이미 충분히 강력한 넘버투 후보이며, 향후 2~3년 내 AI 인프라 시장 ‘투톱(Two-top)’ 구도까지 갈 가능성이 상당히 높습니다.

AI 산업은 결국 “누가 더 효율적이냐”의 싸움입니다.
그 관점에서 TPU의 존재감은 앞으로 더 커질 수밖에 없죠.