컴퓨팅

Google Cloud와 NVIDIA, 에이전트 시대에 맞춰 인프라를 확장하기 위한 공동 엔지니어링 협력 강화

Fri, 30 Oct 2026 04:00:00 +0000

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

기업이 지속적인 다단계 에이전트형 워크플로로 전환함에 따라 기존 인프라는 한계에 직면하고 있습니다. 하지만 성능만으로는 충분하지 않습니다. 에이전트 AI를 본격적으로 확장하려면 기업은 각 작업에 적합한 모델을 유연하게 실행할 수 있어야 합니다. 또한 민감한 지식 재산과 기본 인프라에 대한 검증 가능한 제어를 유지하는 데 필요한 데이터 주권과 운영 주권도 확보해야 합니다.

오늘 NVIDIA GTC Berlin 2026에서 Google Cloud는 이러한 기반을 제공하기 위해 스택 전반에 걸친 새로운 기술 발전을 발표합니다. 여기에는 병목 현상을 최소화하고, 생태계 선택권을 확대하며, 하드웨어 기반 보안을 통해 가장 민감한 워크로드를 보호하는 새로운 소버린 AI 및 컨피덴셜 컴퓨팅 기능을 도입하는 것이 포함됩니다.

에이전트 시대를 위한 아키텍처 설계

고객이 모델을 대규모로 학습, 서빙, 운영할 수 있도록 Google Cloud의 AI 하이퍼컴퓨터는 Google Cloud가 단일 시스템으로 공동 설계한 컴퓨팅, 스토리지, 네트워킹, 소프트웨어를 기반으로 빌드되었습니다. 오늘 Google Cloud는 NVIDIA와 협력하여 이 에이전트 네이티브 인프라의 새로운 업데이트를 발표합니다.

NVIDIA Vera Rubin 플랫폼 기반 A5X 인스턴스를 통한 가속화된 컴퓨팅: 이러한 베어메탈 GPU 가속 인스턴스는 최신 NVIDIA Vera Rubin NVL72 플랫폼을 탑재하여 대규모 환경에서도 높은 성능을 제공합니다. 다음 달에 정식 버전이 출시되면 새로운 현지 리전에서도 서비스를 제공하여 EMEA 지역의 데이터 상주 및 주권 요구사항을 지원할 수 있도록 인프라 규모를 확장할 예정입니다.
Virgo Network를 통한 수평 확장 A5X 네트워킹: Virgo Network는 메시 토폴로지를 통해 건물 내부 및 건물 간 비차단 수평 확장 패브릭을 지원합니다. 이 새로운 기능을 통해 엄청난 규모의 수평 확장이 가능해져 단일 사이트에서는 최대 80,000개의 Rubin GPU로, 멀티 사이트 배포에서는 최대 960,000개의 Rubin GPU로 클러스터를 확장할 수 있습니다.
Managed Lustre 및 NVIDIA GPUDirect Storage를 사용한 스토리지: Google Cloud Managed Lustre는 A5X 인스턴스에서 NVIDIA GPUDirect Storage를 지원할 예정입니다. 이를 통해 학습 및 추론 데이터가 CPU 및 시스템 메모리를 우회하고 병렬 파일 시스템에서 GPU 메모리로 직접 전송되는 RDMA 경로를 사용할 수 있습니다.
KV 캐싱을 통한 긴 컨텍스트 메모리: A5X 인스턴스는 긴 컨텍스트 및 멀티턴 에이전트형 워크로드를 위해 GPU 고대역폭 메모리(HBM)를 넘어 컨텍스트 메모리를 확장하도록 설계된 고급 KV 캐싱 기능도 지원합니다. 이 고속 캐싱 레이어는 스토리지 계층 전반에서 컨텍스트를 오프로드 및 재사용하여 중복 계산을 줄이고, 첫 토큰 생성 시간을 단축하며, 비용 대비 추론 처리량을 개선합니다.
Google Kubernetes Engine(GKE)의 A5X 인스턴스를 통한 워크로드 조정: GKE는 분산 AI 워크로드를 위한 다양한 기능을 제공합니다. 예를 들어 GKE 관리형 DRANET은 네트워크 인터페이스 카드를 일급 네이티브 Kubernetes 리소스로 만들어 RDMA 관리를 간소화하고, Kueue는 토폴로지 인식 스케줄링 및 리소스 관리를 통해 분산 워크로드의 성능을 향상합니다. 이러한 특성 덕분에 GKE와 A5X 인스턴스는 에이전트형 워크로드 조정을 위한 강력한 조합이 됩니다.

“에이전트 AI의 진정한 가치는 속도에만 있는 것이 아닙니다. 현대적인 제작 파이프라인의 마찰로부터 인간의 창의성을 해방하는 데 있습니다. NVIDIA Vera Rubin NVL72로 가속화된 Google Cloud의 A5X 인스턴스를 통해 WPP의 크리에이티브 및 프로덕션팀은 프레임 단위로 정확한 품질 검사를 수행하고 브랜드 애셋을 원활하게 조정하는 지능형 에이전트를 지휘할 수 있습니다. Google Cloud는 고객의 가장 야심 찬 창작 요구사항을 충족하는 데 필요한 안정성, 확장성, 주권 보안을 제공합니다.” - Stephan Pretorius, WPP 최고 기술 책임자

개방형 모델 및 생태계 혁신 확대

에이전트형 워크플로에서 단일 모델에만 의존하는 경우는 드뭅니다. 대신 작업을 가장 효율적으로 수행할 수 있는 모델로 라우팅합니다. 인프라는 로드맵을 제한하는 것이 아니라 선택의 폭을 넓혀 주어야 합니다. Google Cloud를 사용하면 멀티 클라우드, 하이브리드, 규제가 엄격한 환경에서 원하는 소프트웨어와 NVIDIA AI 인프라를 선택하여 인프라를 배포할 수 있습니다. 오늘 Google Cloud는 자유롭게 빌드하고 빠르게 적응할 수 있도록 지원하는 몇 가지 업데이트를 발표했습니다.

개방형 모델: Google Cloud는 Gemma, Mistral, NVIDIA Nemotron 등의 모델에 대한 지원을 Sovereign Cloud 포트폴리오에 추가하고 있습니다. 이를 통해 모델 가중치와 런타임을 완전히 제어하면서 개방형 가중치 모델을 실행하고 관리할 수 있으며, 종속을 방지하면서 고성능 가속을 유지할 수 있습니다.
Gemini에서 NVIDIA NeMo와 함께 NVIDIA Cosmos 3 및 NVIDIA Nemotron 3.5 SuperVL 제공: 이제 관리형 학습 클러스터를 사용하여 새로운 NVIDIA Nemotron 3.5 SuperVL 모델을 맞춤설정할 수 있습니다.MTC에 최적화된 학습 레시피를 사용하여 Google Cloud에서 NVIDIA NeMo RL 및 NVIDIA NeMo Gym을 활용한 Nemotron 사후 학습 작업을 빠르게 시작할 수 있습니다. NVIDIA Cosmos 3를 사용하면 로봇과 자율 주행 차량이 실제 환경에 배포되기 전에 시행착오를 거치며 성능을 개선할 수 있는 가상 세계를 생성하여 시뮬레이션에서 현실로 이어지는 워크플로를 지원할 수 있습니다.

소버린 AI 및 컨피덴셜 컴퓨팅으로 배포 보안 강화

에이전트가 자율적으로 수행하는 미션 크리티컬 작업이 늘어나면서 처리하는 데이터의 민감도도 점점 높아지고 있습니다. 이러한 고급 워크로드를 배포하는 조직에는 혁신을 저해하지 않는 하드웨어 기반 보호와 운영 제어가 필요합니다. 클라우드에서 모델을 학습시키는 동안 지식 재산을 보호하거나 완전히 에어 갭이 적용된 환경에서 미션 크리티컬 워크로드를 실행하는 경우 Google Cloud와 NVIDIA는 검증 가능한 보안과 로컬 관리 기능을 제공합니다.

오늘 Google Cloud는 온프레미스 환경을 위한 새로운 소버린 AI 기능과 함께 퍼블릭 클라우드를 위한 컨피덴셜 컴퓨팅의 개선 사항을 발표합니다.

Google Distributed Cloud를 통한 온프레미스 소버린 AI

인터넷에서 완전히 격리된 상태를 유지해야 하는 미션 크리티컬 워크로드의 경우 Google Distributed Cloud(GDC)는 관리형 클라우드 스택을 고객의 데이터 센터 또는 에지 시설에 직접 제공합니다. 소버린 AI 이니셔티브를 발전시키기 위해 Google Cloud는 GDC 에어 갭 적용 배포 환경 전반에 걸쳐 새로운 컴퓨팅 가속기, 멀티모달 모델, 턴키 검색 기능을 제공하고 있습니다.

GDC의 NVIDIA Blackwell Ultra GPU: 올해 초 발표된 프리뷰 버전에 이어 최신 NVIDIA HGX B300 시스템이 이제 GDC에서 정식 버전(GA)으로 제공됩니다. 이를 통해 업계 최고 수준의 컴퓨팅 밀도와 에너지 효율을 온프레미스에 제공하여 까다로운 로컬 추론 워크로드에 필요한 높은 처리량의 플랫폼 기반을 마련합니다.
GDC의 Gemini Flash 모델: NVIDIA HGX B300으로 가속화된 GDC의 Gemini 3.5 Flash를 통해 주권 모델 카탈로그를 확장하고 있습니다. 이제 조직은 에어 갭 경계 내에서 텍스트, 오디오, 동영상, 이미지를 아우르는 빠르고 처리량이 높은 멀티모달 추론을 실행할 수 있습니다.
GDC의 엔터프라이즈 검색 기능: 프리뷰 버전으로 제공되는 GDC 에어 갭 환경의 Gemini 기반 엔터프라이즈 검색 기능은 멀티모달 검색 증강 생성(RAG)을 기반으로 하는 즉시 사용 가능한 대화형 인터페이스를 제공합니다. 이러한 기능은 NVIDIA HGX B300을 사용하는 GDC 에어 갭 기반 Gemini를 통해 제공됩니다. 이제 분석가와 지식 노동자는 커스텀 엔지니어링 없이도 독점 문서, 미디어, 비정형 아카이브를 즉시 쿼리, 요약, 교차 검토할 수 있으며, 모든 색인 생성, 임베딩, 상호작용을 주권 보안 경계 내에서 엄격하게 유지할 수 있습니다.

에어 갭 적용 온프레미스 배포 외에도 NVIDIA AI 인프라에서 소버린 AI 워크로드를 실행할 수 있습니다. 이때 Google Cloud 데이터 경계를 사용하여 퍼블릭 클라우드에서 리전별 데이터 상주와 같은 제어를 적용하거나 Google Cloud 전용 환경을 사용하여 프랑스의 S3NS 또는 독일의 Thales와 같은 현지 독립 파트너가 운영하는 격리된 클라우드를 실행할 수 있습니다.

퍼블릭 클라우드의 컨피덴셜 컴퓨팅

엔터프라이즈 워크로드가 확장됨에 따라 학습이 진행되는 동안 민감도가 매우 높은 지식 재산을 보호하고, 실시간 추론 중에는 사용자 컨텍스트와 모델 IP를 보호하는 것이 안전한 AI 아키텍처를 유지하는 데 매우 중요합니다. 조직은 Google Cloud의 고급 보안 런타임과 NVIDIA 컨피덴셜 컴퓨팅을 결합하여 처리 속도를 저하시키지 않고도 검증되고 신뢰할 수 있는 실행 환경에 고성능 생성형 AI 모델을 배포할 수 있습니다.

컨피덴셜 컴퓨팅을 지원하는 G4 인스턴스 정식 버전 출시: NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU를 기반으로 하는 컨피덴셜 G4 인스턴스를 통해 개인 정보 보호 AI에 대한 접근성을 확대하고 있습니다. NVIDIA 컨피덴셜 컴퓨팅을 지원하는 G4 컨피덴셜 GPU는 성능 저하 없이 업그레이드된 보안을 제공합니다.
컨피덴셜 컴퓨팅은 현재 NVIDIA HGX B200 및 Intel TDX 기반 A4 인스턴스에서 일부 고객에게 제공되고 있습니다.
Google Cloud는 프런티어 모델 AI 서빙을 위한 단일 테넌트 베어메탈 성능과 격리가 중요하다는 점을 고려하여 컨피덴셜 베어메탈을 도입합니다. 이러한 혁신은 NVIDIA Confidential Bare Metal을 사용하는 A4X Max 인스턴스(NVIDIA GB300 NVL72 기반)로 이어집니다. 암호화된 DDR 및 NVLink 상호 연결을 통해 하드웨어 기반 보안 부팅 및 증명을 확장함으로써 베어메탈 AI 워크로드는 이러한 신뢰할 수 있는 실행 경계를 활용하여 추론 및 학습 중에 사용자 프롬프트와 모델을 보호합니다.

Google Cloud의 이점

Google Cloud는 NVIDIA와의 공동 엔지니어링 협업을 통해 NVIDIA의 풀 스택 가속 컴퓨팅 플랫폼을 AI 하이퍼컴퓨터에 직접 통합합니다. 이를 통해 모델을 대규모로 학습, 서빙, 운영하는 데 필요한 에이전트 네이티브 인프라를 확보할 수 있습니다. 오늘 발표한 새로운 기능은 NVIDIA Vera Rubin 플랫폼과 높은 처리량의 네트워킹을 개방형 모델에 대한 확장된 지원과 결합하여 이러한 통합 기반을 제공합니다.

또한 데이터에 대한 검증 가능한 제어 기능을 제공합니다. NVIDIA 인프라 전반에 걸친 새로운 소버린 AI 배포와 컨피덴셜 컴퓨팅을 통해 하드웨어 기반 보안과 로컬 데이터 레지던시를 사용하여 가장 민감한 워크로드를 보호할 수 있습니다.

Google Cloud는 하드웨어와 소프트웨어를 하나의 시스템으로 함께 설계하므로 고객은 코드를 다시 작성하지 않고도 다양한 아키텍처에서 모델을 실행할 수 있습니다. 따라서 컴퓨팅 주기가 워크로드에 집중되므로 AI 제품을 더 빠르게 출시할 수 있습니다.

이러한 새로운 기능을 시작하려면 Google Cloud 영업 담당자에게 문의하세요.

Agent Compute Engine 및 확장된 에이전트 거버넌스 소개

Fri, 30 Oct 2026 04:00:00 +0000

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

블로그 작성자: 제품 관리 부문 VP Nirav Mehta, VP/GM Michael Bachman, 제품 관리 부문 VP Kevin Hutchins

Gemini를 전 세계 규모로 확장하는 과정에서, 자율 에이전트를 안전하게 실행하는 것은 근본적으로 인프라와 관련된 과제라는 것을 직접 배울 수 있었습니다. 단일 턴 프롬프팅에서 대화형 에이전트로 전환하려면 실행 및 제어 측면에서 새로운 패러다임이 필요합니다. 대규모 동시 에이전트 세션을 지원하기 위해 Google은 이러한 과제를 해결할 수 있도록 Gemini를 위한 새로운 컴퓨팅 및 거버넌스 솔루션을 설계했습니다.

오늘 AGNTCon + MCPCon에서 Google은 업무용 에이전트로서 이미 Gemini에서 활약하고 있는, 특수 설계된 Agent Compute Engine을 공개하여 고객에게 이러한 역량을 제공하려 합니다. 앞으로 몇 달 내에 프리뷰 버전이 제공될 예정이며, 하드웨어 격리 런타임 샌드박스 보안을 지원합니다. 또한 비즈니스를 위한 Gemini의 에이전트 거버넌스 기능을 확장하여 에이전트가 작동하는 위치에 관계없이 지원하고자 합니다. 이러한 기능이 한데 모여 사용자가 에이전트를 실행, 관리, 확장하는 데 필요한 제어 역량을 제공합니다.

Agent Compute Engine 심층 분석

Agent Compute Engine은 코드를 작성 및 실행하고, 도구를 실행하고, 브라우저를 구동하고, 엔터프라이즈 워크플로를 조정하고, 작업을 대규모로 빠르게 반복해야 하는 Google의 방대한 에이전트형 워크로드를 처리하기 위해 탄생했습니다. 기존의 컴퓨팅 프리미티브는 표준 워크로드에는 적합하지만, AI 에이전트의 고유하고 반복적인 특성에는 최적화되어 있지 않았습니다.

에이전트를 위해 특별히 설계된 Agent Compute Engine은 모든 Gemini 에이전트에 자체적인 고성능 보안 컴퓨터를 제공하여 Gemini의 동적이고 이탈률이 높은 세션을 지원합니다. Agent Compute Engine은 AI 에이전트의 고유한 수명 주기 패턴에 맞게 최적화되어 있으며, 곧 이 서비스를 사용하여 자체 커스텀 에이전트를 구동할 수 있게 됩니다. 주요 특징은 다음과 같습니다.

효율적인 속도: 에이전트는 시작, 일시중지, 재개를 반복하므로 규모에 맞는 속도를 제공하는 아키텍처가 필요하며, 이 모든 과정에서 높은 효율성이 필요합니다. Agent Compute Engine은 빠르게 부팅되는 microVM을 제공하므로 에이전트 루프나 평가 스윕 작업이 인프라를 기다릴 필요가 없습니다. 나아가 여러 에이전트로 Google 사용자를 지원하려면 물리적 머신을 최대한 활용할 수 있는 비용 효율적인 솔루션이 필요합니다. Agent Compute Engine은 Copy-On-Write(COW) 메모리 공유를 사용하여 단일 운영체제 템플릿에서 여러 에이전트를 실행하고, 빠른 체크포인트 및 복원을 통해 유휴 microVM을 일시중지함으로써 이러한 효율성을 달성합니다. 에이전트가 도구 호출 실행을 완료하고 에이전트 루프의 '사고' 단계에 진입하면, microVM은 자신이 유휴 상태임을 알리고 호스트는 이 microVM을 활성 상태에서 유휴 상태로 전환합니다. 다시 말해, 에이전트가 사람이나 외부 시스템을 기다리는 동안 실행 중인 microVM을 일시중지하고 스냅샷에서 빠르게 재개할 수 있습니다.
보안, 격리, 거버넌스 강화: 에이전트가 더 복잡한 작업을 수행하게 되면서, 샌드박스 내에서 신뢰할 수 없거나 적대적인 코드 실행이 발생할 위험이 항상 존재하게 되었습니다. Agent Compute Engine을 Google의 오프로드 인프라 처리 장치(IPU)인 Titanium과 함께 실행하면 신뢰할 수 없는 AI 에이전트에 대응하기 위해 하드웨어 단계부터 고안된 심층 방어를 제공할 수 있습니다. Agent Compute Engine은 자체 게스트 커널과 루트 액세스 권한이 있는 하드웨어 격리 Cloud Hypervisor 경계를 통해 강력한 격리를 제공합니다. (Agent Compute Engine의 microVM 아키텍처와 보안에 대해 자세히 알아보려면 기술 심층 분석을 읽어보세요.) 각 microVM은 단기 사용자 인증 정보를 사용하여 에이전트의 자체 ID를 실행합니다. 또한 모든 microVM은 자체적인 암호화 방식으로 확인된 ID를 가지며, 서비스 사용자 인증 정보는 microVM 외부의 이그레스에 삽입됩니다. Agent Gateway와 통합된 Agent Compute Engine은 포괄적인 모니터링 가능성, 정책, 보안 평가를 제공합니다.
지속성 및 엔터프라이즈 통합: 에이전트는 장기 실행되는 여러 세션에서 에이전트 데이터를 유지할 수 있어야 합니다. 이를 위해 각 Agent Compute Engine microVM은 자체 Hyperdisk를 갖추고 있어 실행 작업공간과 에이전트 컨텍스트를 유지할 수 있습니다. 이에 더해, 의미 있는 작업을 수행하려면 기업 데이터를 이동시키지 않고도 microVM이 기업 데이터를 사용할 수 있어야 합니다. Agent Compute Engine을 Google의 클라우드 및 ID 패브릭에 직접 통합함으로써, 엔터프라이즈 연결이 microVM 자체를 보호하는 것과 동일한 보안 및 ID 모델에 의해 제어되므로 통합된 ID 모델과 감사 가능성을 구현할 수 있습니다.

"Gemini 에이전트를 전 세계 규모로 확장하려면 빠르게 가동되고 극도로 효율적으로 작동하는 컴퓨팅이 필요합니다. Agent Compute Engine microVM은 전 세계 사용자에게 대화형 에이전트 샌드박스를 제공하는 데 필요한 응답성, 하드웨어 격리, 워크로드 밀도를 갖추고 있습니다." - Gautham Thambidorai, Gemini 부사장 겸 Google 펠로우

Agent Substrate를 사용한 GKE 기반 빌드

맞춤설정과 멀티 클라우드 이식성이 필요하거나 이미 Kubernetes를 표준으로 도입한 플랫폼팀을 대상으로 하는 Google Kubernetes Engine(GKE) 기반의 Agent Substrate는 Kubernetes 환경에서도 에이전트 중심 설계를 지원하는 오픈소스 실행 런타임입니다. Agent Substrate는 에이전트 실행을 머신 관리에서 완전히 분리하는 제로 트러스트 아키텍처를 기반으로 빌드되었습니다. 에이전트가 유휴 상태가 되면 Agent Substrate는 에이전트의 활성 메모리 스냅샷을 생성하고 머신을 풀로 반환한 다음, 에이전트가 다시 필요해지는 순간에 에이전트를 재개합니다. 오픈소스이자 Kubernetes 기반이므로 맞춤설정하고 확장하여 기존 워크로드와 함께 실행할 수 있습니다. Agent Substrate의 주요 특징은 다음과 같습니다.

고밀도: Agent Substrate는 모든 에이전트에 대해 완전한 커널 격리와 ID 기반 네트워크 보안을 유지하면서 기존 컴퓨팅에 비해 최대 10배 더 높은 컴퓨팅 밀도를 제공합니다.
1초 미만의 활성화: 200,000개의 에이전트를 실행하는 벤치마크 검증에서 Agent Substrate는 500ms 미만의 일시중지 및 재개 지연 시간으로 초당 500회의 활성화를 유지했습니다.
보안을 우선으로 하는 기본 설정: Agent Substrate는 에이전트를 위한 제로 트러스트라고 생각하면 됩니다. 각 샌드박스에는 microVM 또는 gVisor를 선택하여 사용할 수 있는 강력한 하드웨어 격리 기능이 내장되어 있습니다. 모든 에이전트는 암호화 방식으로 보호되는 자체 ID를 부여받으며, 세분화된 네트워크 정책을 적용하고 에이전트 자체의 접근 범위를 벗어난 사용자 인증 정보를 삽입하는 이그레스 프록시와 함께 사용됩니다. 앞으로 Agent Substrate 런타임 아키텍처를 확장하여 비즈니스 거버넌스 프레임워크를 위한 더 광범위한 Gemini와 통합할 예정입니다.
오픈소스 이식성: 모든 컴퓨팅 환경의 모든 Kubernetes 클러스터에서 실행되며 Claude Code, OpenClaw, Hermes를 비롯한 모든 에이전트 프레임워크 또는 하네스와 호환됩니다.
동적 스토리지: 1초 미만의 재개 지연 시간으로 Filestore 에이전트 볼륨과 통합되어 활성 컴퓨팅과 함께 확장되며, 멀티 에이전트 워크플로를 위한 단일 공유 작업공간을 제공합니다.

Nous Research 같은 선도적인 AI팀은 이미 이 안정적인 아키텍처를 사용하여 멀티 테넌트 에이전트를 기존 고객 인프라에 바로 배포하여 효율성을 실현하고 있습니다.

“Hermes Enterprise는 고객이 기존 인프라에 배포할 수 있도록 빌드되었으며, 에이전트별 격리와 확장 가능한 액세스 제어를 처리할 수 있습니다. Agent Substrate는 플랫폼 레이어에서 이 두 가지 작업을 모두 처리하는 동시에, 귀중한 컴퓨팅 리소스도 보존합니다. Agent Substrate를 직접 사용해 본 경험 덕분에, 에이전트 워크로드가 증가하더라도 아키텍처를 효율적으로 확장할 수 있다는 확신을 갖게 되었습니다.” - Hervé Bizira, Nous Research 최고 비즈니스 책임자

모든 에이전트를 위한 거버넌스 기능 확장

조직이 자율 에이전트를 격리된 파일럿에서 멀티 런타임 프로덕션 Fleet로 전환함에 따라, 기존 보안 프레임워크를 강화하고 발전시켜야 합니다. 고객은 세 가지 과제에 직면해 있습니다. 1) 에이전트, 도구, 모델, 기술, 그리고 데이터 전반에서 동적이고 비결정론적인 상호작용 경로를 보호하는 것, 2) 최소 권한 액세스 분산 런타임을 통해 보안 상황을 기본 거부 상태로 유지하는 것, 3) 비동기 에이전트 작업을 감사할 수 있도록 보장해야 하는 것입니다. 강력한 에이전트 거버넌스가 없으면 에이전트의 무분별한 확산으로 인해 섀도 AI, 데이터 무단 반출, 추적 및 감사가 어려운 에이전트 작업 등의 위험이 빠르게 발생합니다.

이러한 과제를 해결하기 위해 Google은 Gemini 플랫폼에 다음과 같은 강력한 에이전트 거버넌스 기능을 구축했습니다.

Agent Gateway: 항공 관제사처럼 클라이언트와 에이전트 간 트래픽, 에이전트와 외부 위치 간 트래픽을 관리합니다. 또한 민감한 정보 보호, 에이전트 공격 보호, 시맨틱 거버넌스, 자체 정책 가져오기 기능을 포함한 광범위한 거버넌스 및 보안 정책을 통합합니다.
Agent Registry: 승인된 모든 실행 중인 에이전트, 도구, MCP 서버, 스킬, 모델, 엔드포인트의 정보 소스 역할을 하는 중앙 저장소를 제공하며, 적용된 정책을 통해 런타임 액세스를 제어합니다.
에이전트 아이덴티티: 개방형 표준 기반의 SPIFFE를 사용하여 각 에이전트에 고유한 보안 ID를 할당하며, 인증, 액세스 제어, 감사를 위한 디지털 서명 역할을 합니다.
에이전트 모니터링 가능성: 에이전트형 시맨틱 규칙을 채택하는 OpenTelemetry(OTel) 규정 준수 원격 분석을 제공하여 Agent Gateway 전반에서 모든 모델 호출, 도구 호출, 에이전트 홉에 대한 표준화된 측정항목, 로그, 분산 트레이스를 내보냅니다.

다양한 환경에서 에이전트 Fleet이 지속적으로 급격하게 증가하고 있는 요즘, Google은 Google Cloud 런타임, 크로스 클라우드, 온프렘, 클라이언트 기기 전반에서 비즈니스 에이전트 거버넌스 기능을 지원하도록 Gemini의 범위를 확장하여 에이전트가 실행되는 모든 곳에서 에이전트를 관리하고 보호하고 있습니다. 여기에는 다음과 같은 기능이 포함됩니다.

광범위한 Google Cloud 런타임 지원: Agent Runtime, Cloud Run, Gemini 플랫폼의 Agent Sandbox, GKE, Agent Compute Engine(프리뷰) 전반에서 포괄적인 에이전트 거버넌스를 확장합니다.
일관된 크로스 클라우드 도달범위: 경량의 Envoy 프록시 기반 정책 적용 지점을 배포하여 멀티 클라우드 및 하이브리드 환경으로 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).
엔드포인트의 로컬 에이전트에 대한 거버넌스: 관리 대상 기기에서 OS 수준 샌드박스 및 로컬 거버넌스 서비스를 통해 Claude Code 및 Antigravity CLI 같은 코딩 에이전트까지 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).

이 외에도 세분화된 비용 관리, 지능형 모델 라우팅, 간소화된 맞춤설정 및 통합을 지원하는 Agent Gateway의 새로운 에이전트 거버넌스 기능이 공개됩니다. 이번 분기에 프리뷰 버전으로 제공되는 주요 기능은 다음과 같습니다.

세분화된 토큰 및 비용 거버넌스: 토큰 관리를 통해 에이전트와 모델 전반에서 토큰 소비를 제어할 수 있습니다. 이를 통해 비용을 할당하고, 예산 가드레일을 적용하고, 토큰 측정항목에 대한 단일 정보 소스를 제공할 수 있습니다.
적절한 모델로 요청 라우팅: 모델 라우팅 정책은 사용자 및 에이전트 요청을 적절한 모델로 라우팅하여 비용을 제어하고 성능을 개선합니다.
확장 가능한 정책: Service Extensions 바인딩을 통해 인라인 프로그래밍 가능성 및 확장성에 대한 간소화된 지원이 가능해집니다. Google 서비스, 고객의 맞춤형 함수, 파트너 서비스를 데이터 경로에 바로 긴밀하게 통합할 수 있습니다.
확장된 보안 파트너 생태계: 에이전트 아이덴티티 인증 관리자를 사용한 안전한 OAuth 지원과 더불어, 서드 파티 ID 공급업체인 Ping Identity, SailPoint, Saviynt를 통해 위임된 사용자 승인을 제공합니다. 통합 파트너의 전체 목록은 여기에서 확인할 수 있습니다.
간소화되고 안전한 에이전트-도구 연결: Cloud Run용 빠른 연결을 사용하면 에이전트가 도달해야 하는 대상을 선언할 수 있으며, ID 토큰 삽입을 포함하여 구성요소 간에 안전하고 인증된 연결을 설정할 수 있습니다.

"L’Oréal의 목표는 팀에 에이전트 AI를 제공하여 새로운 아이디어를 실현하고 뷰티의 미래를 만들어 나갈 수 있도록 지원하는 것입니다. AI 에이전트는 L’Oréal의 뷰티 테크 에이전트형 플랫폼을 통해 일상 업무에 자연스럽게 녹아들고 있습니다. Google Cloud의 에이전트 거버넌스는 Cloud Run과 같은 런타임 전반에서 ID, 정책, 모니터링 가능성을 통합해 주므로 회사의 포부를 자신 있게 확장할 수 있는 기반이 됩니다. 개발자는 더 빠르게 혁신할 수 있고, 엔지니어는 각 에이전트가 액세스할 수 있는 항목을 명확하게 제어할 수 있습니다.” - Alexandre Frizzo, L’Oreal AI 수석 엔지니어

복원력 있는 에이전트 인프라를 기반으로 빌드

에이전트 시대에는 인프라를 확장하는 방식에도 진화가 필요합니다. Google은 Agent Compute Engine 및 Agent Substrate의 고성능 실행과, 지금은 크로스 클라우드 영역까지 확장된 비즈니스용 Gemini의 에이전트 거버넌스 기능을 결합하여 안전하게 보호되는 고밀도 AI 에이전트를 위한 탄력적인 기반을 구축하고 있습니다.

Agent Compute Engine에 대해 자세히 알아보고 Agent Compute Engine에 대한 관심 여부를 보여주세요.
커뮤니티와 함께 공개적으로 빌드되는 Agent Substrate를 만들어 나가는 데 힘을 보태주세요. 지금 바로 오픈소스 저장소를 방문하여 GKE에서 Agent Substrate를 사용해 보세요.
에이전트 거버넌스에 대해 자세히 알아보고 관심 여부를 알려주세요.
AGNTCon+MCPCon에서 전문가와 이야기를 나누고 Google의 데모를 살펴보세요.

글로벌 규모의 하드웨어 기반 보안: NVIDIA Blackwell을 탑재한 컨피덴셜 G4 정식 버전 출시

Tue, 27 Oct 2026 19:00:00 +0000

자율 에이전트를 프로덕션에 도입하려면 민감한 데이터와 가치 있는 지식 재산을 실시간으로 처리해야 합니다. 독점 모델 가중치, 사용자 프롬프트, 생성된 출력을 보호하기 위해서는 데이터가 실제로 처리되는 동안 데이터를 안전하게 보호하는 보안 기능이 필요합니다.

기업의 보안 강화를 지원하기 위해 오늘 Google은 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU로 구동되는 Google Cloud G4 인스턴스의 컨피덴셜 컴퓨팅을 정식 버전으로 출시한다고 발표했습니다. 이번 출시를 통해 NVIDIA 컨피덴셜 컴퓨팅을 Google Cloud의 AI 하이퍼컴퓨터에 직접 통합하여 개인 정보 보호를 저해하지 않으면서 확장하는 데 필요한 동적 성능을 제공합니다.

올해 초 컨피덴셜 G4 프리뷰 버전을 발표하면서 전 세계적인 입지와 규모에 대해 말씀드렸습니다. 이제 이러한 인스턴스는 36개 영역에서 여러 가격 모델을 통해 Compute Engine VM 및 GKE 노드에 정식 버전으로 제공됩니다.

또한 안전한 다자간 데이터 공유를 지원하는 Confidential Space도 앞으로 몇 주 내에 정식 버전으로 출시될 예정입니다.

짧은 지연 시간으로 민감한 데이터와 모델 보호

사용 중인 데이터를 보호하기 위해 GPU 처리량이나 운영 민첩성을 희생할 필요는 없습니다. 컨피덴셜 G4는 내보낼 수 없는 하드웨어 키, 검증 가능한 원격 증명, 투명한 메모리 암호화를 결합하여 조직이 에이전트 워크로드와 추론 워크로드에 대한 투자를 극대화할 수 있도록 지원합니다. 기업은 엄격한 규제 및 규정 준수 요구사항을 충족하면서도 비용을 낮게 유지할 수 있습니다.

"조직이 점점 더 복잡해지는 클라우드, 온프레미스, 에이전트 환경 전반에 AI를 배포함에 따라 민감한 데이터를 보호하는 것이 중요해졌습니다. 또한 기업은 AI 시스템이 안전하고 일관되게 정책에 따라 작동하도록 보장해야 합니다. NVIDIA RTX PRO 6000 Blackwell GPU로 구동되는 Google Cloud의 컨피덴셜 G4 VM은 개인 정보를 보호하는 AI와 AI 운영을 위한 강력한 기반을 제공합니다. Confidential Core AI는 Google Cloud를 기반으로 엔터프라이즈 원칙, 정책, 운영 요구사항을 AI 에이전트, 모델, 데이터, 도구를 모니터링하고 제어하는 실시간 보호 장치로 전환합니다. 이러한 기능이 결합되어 조직은 제어, 기밀성, 책임성을 유지하면서 Google Cloud에서 신뢰할 수 있는 AI를 확장할 수 있습니다." - Taher Behbehani, Confidential Core AI 설립자 겸 CEO

엔터프라이즈 AI 워크로드를 위한 추가적인 이점은 다음과 같습니다.

엔드 투 엔드 기밀성 및 격리: 하드웨어 적용 실행 환경에서 데이터와 모델 파라미터를 암호화하여 호스트 시스템 관리자, 하이퍼바이저, 클라우드 제공업체의 액세스로부터 지식 재산과 고객 입력 데이터를 보호합니다.
검증 가능한 암호화 신뢰: 하드웨어 기반 원격 증명을 사용하여 민감한 데이터 세트를 공개하고 워크로드를 실행하기 전에 코드, 플랫폼 구성, 환경 무결성을 검증합니다.
코드 리팩터링 불필요: 애플리케이션 변경이나 커스텀 빌드 없이 표준 Ubuntu OS 이미지, NVIDIA 드라이버, NVIDIA CUDA-X 라이브러리를 사용하여 즉시 모델을 배포할 수 있습니다.

Polaris Cloud에는 이러한 간편한 배포 방식이 획기적인 변화를 가져왔습니다.

“Polaris는 AI 에이전트를 위한 작업공간을 빌드하며, 고객은 에이전트의 작업이 실제로 어디에서 실행되었는지, 그리고 그 과정에서 암호화 방식으로 격리되었는지 확인할 수 있어야 합니다. Google Cloud의 컨피덴셜 G4는 이러한 상황을 완전히 바꿔 놓았습니다. 당사는 NVIDIA RTX PRO 6000 Blackwell GPU에서 하드웨어 기반의 출처를 확보하고 이를 고객이 결과와 함께 받는 영수증에 바인딩합니다. 그 외에는 사실상 아무것도 바뀌지 않았습니다. 동일한 G4 이미지, 동일한 NVIDIA 드라이버, 동일한 컨테이너 런타임을 사용하며 실행 시 플래그 하나만 추가하면 동일한 성능을 유지할 수 있습니다. 이를 통해 '고객의 에이전트를 실행해 드립니다'라는 고객과의 약속을 '고객이 당사와 함께 실행하는 모든 워크로드는 검증 가능합니다'로 하룻밤 사이에 업그레이드할 수 있었습니다.” - Fred Esere, Polaris Cloud 설립자 겸 CEO

다자간 데이터 공동작업: Confidential Space를 사용하여 공동 분석 및 공동 모델 학습을 안전하게 실행합니다. 여러 당사자가 서로에게 비공개 데이터를 공개하지 않고도 민감한 데이터 세트를 결합할 수 있습니다.

“기업은 가장 가치 있는 데이터를 AI에 활용하는 동시에 처리 과정에서 데이터를 보호해야 합니다. NVIDIA 컨피덴셜 컴퓨팅은 GPU 가속 워크로드에 하드웨어 기반 보호 기능을 제공하여 민감한 정보와 독점 모델이 사용되는 동안에도 안전하게 보호할 수 있도록 지원합니다. Google Cloud와 함께 NVIDIA Blackwell의 성능과 이러한 보안 기능을 컨피덴셜 G4 VM에 도입하여 조직이 높은 성능과 검증 가능한 보호 기능을 바탕으로 프로덕션 AI를 확장할 수 있도록 지원하고 있습니다.” - Dave Salvator, NVIDIA 가속 컴퓨팅 제품 부문 책임자

성능 테스트

메모리 암호화가 운영에 미치는 영향을 이해하기 위해 g4-standard-48 머신 유형에서 컨피덴셜 G4 인스턴스와 표준 비컨피덴셜 G4 인스턴스를 비교 분석했습니다. 이번 테스트는 널리 채택되어 여러 고객이 자체 추론 파이프라인을 위해 단일 GPU 인스턴스에 자주 사용하기도 하는 개방형 가중치 모델에 중점을 두었습니다.

Llama 3, Llama 3.3, Resnet-50, SDXL 등 널리 사용되는 모델에 대한 벤치마킹 결과, 컨피덴셜 G4는 AI 추론 워크로드에 대해 표준 G4 인스턴스와 동등한 수준의 성능을 제공하며, 처리량 저하는 3.5% 미만(초당 토큰 또는 이미지 수로 측정)인 것으로 나타났습니다.

참고: 성능 결과는 특정 테스트 조건 및 구성을 기반으로 합니다. 개별 워크로드 성능은 시스템 설정, 하드웨어 선택, 소프트웨어 환경에 따라 달라질 수 있습니다.

이번 분석은 민감한 데이터를 보호하고 규정 준수 요구사항을 충족하면서도 신속하게 작업을 진행할 수 있음을 보여줍니다. 실제 배포 환경에서도 이러한 절충 방식이 검증되었습니다.

"Google Cloud의 컨피덴셜 G4와 당사 워크로드에서 동일한 소프트웨어를 실행하는 표준 G4의 성능을 벤치마킹해봤습니다. 그 결과, 엔드 투 엔드 지연 시간이 5.2% 증가하는 정도의 작은 성능 저하만으로도 사용자의 증명된 환경 외부에 있는 권한 없는 사용자가 대화를 도청할 수 없도록 하는 하드웨어 수준의 보증을 확보할 수 있다는 사실을 발견했습니다. 우리는 언제나 이러한 선택을 할 것입니다. 사용자는 온프레미스의 개인 정보 보호 기능과 함께 클라우드의 편리함을 누릴 수 있기 때문입니다." - Andy Qin, Vertebrae CEO

컨피덴셜 G4 시작하기

컨피덴셜 G4를 사용하면 모델 실행 및 에이전트형 워크로드 처리 과정에서 성능, 유연성 또는 운영 단순성을 희생하지 않고도 엔터프라이즈 보안을 강화할 수 있습니다. 처리량 저하가 거의 없으면서도 검증 가능한 신뢰와 강력한 하드웨어 격리를 제공하므로 조직은 클라우드 규모에서 가치가 높은 모델을 안전하게 배포하고 중요한 데이터 자산을 보호할 수 있습니다.

GPU를 사용하는 컨피덴셜 VM 문서를 참고하여 지금 바로 시작해 보세요.

Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공

Sun, 25 Oct 2026 19:00:00 +0000

오늘 Reflection은 개발자, 연구원, 기업이 첨단 소프트웨어 엔지니어링과 장기 에이전트 작업을 자유롭게 제어하고 맞춤설정할 수 있도록 설계된 최초의 개방형 가중치 모델인 Beam을 출시했습니다. 출시 시점에 BF16, FP8, NVFP4 체크포인트를 사용할 수 있는 허용적인 Apache 2.0 라이선스에 따라 출시된 Beam은 유사한 오픈 모델보다 3~4배 더 높은 추론 컴퓨팅 효율로 복잡한 추론 및 코딩 문제를 해결함으로써 5,000억 개의 파라미터 클래스에서 추론 효율성의 새로운 표준을 제시합니다.

오늘 출시에 맞춰 Google Cloud는 Google Cloud AI 하이퍼컴퓨터 및 NVIDIA AI 인프라에서 Beam을 서빙할 수 있도록 당일부터 지원하고 즉시 실행 가능한 배포 레시피를 발표합니다.

개발자가 프로덕션에서 Beam의 토큰 효율성을 최대한 활용할 수 있도록 Google은 Reflection과 협력하여 Google Cloud에서 llm-d(vLLM 사용) 및 NVIDIA Dynamo(SGLang 사용)를 사용해 기본 서빙 스택의 성능을 최적화했습니다.

"Google Cloud에 Beam 모델을 배포하여 최대 5배 더 높은 성능과 8배 더 짧은 지연 시간을 달성하여 에이전트형 워크로드의 서빙을 최적화했습니다." - Joe Spisak, Reflection 제품 부문 부사장 겸 오픈소스 책임자

오늘 Google Cloud에서 출시와 동시에 지원을 시작함에 따라 개발자는 다음과 같은 이점을 누릴 수 있습니다.

모델 및 시스템 효율성 결합: Beam의 3~4배 향상된 추론 컴퓨팅 효율과 시스템 수준 최적화를 결합하여 A4X Max 인스턴스(NVIDIA GB300 NVL72)에서는 최대 5배 더 높은 처리량과 8배 더 낮은 지연 시간*을, G4 VM(NVIDIA RTX PRO 6000)에서는 최대 2배 더 높은 처리량과 8배 더 낮은 지연 시간*을 달성합니다.
고효율 멀티턴 서빙: KV 캐시 인식 라우팅, 프리필/디코딩 분리, 추측 디코딩, 호스트 DRAM 및 로컬 SSD로의 계층적 KV 캐시 오프로딩을 통해 긴 코딩 세션에서 중복되는 프롬프트 재계산을 줄입니다.
턴키 최적화 배포: llm-d 및 NVIDIA Dynamo를 사용하는 에이전트 워크로드에 대해 Google Cloud가 권장하는 성능 최적화 레시피는 AI-Hypercomputer/gpu-recipes, llm-d 저장소, Gemini 플랫폼의 Model Garden에서 클릭 몇 번으로 사용할 수 있습니다.

*고객 벤치마킹 기준

추론을 확장하려면 시스템 수준의 최적화가 필요

에이전트 코딩 및 도구 사용을 위한 모델을 평가할 때 추론 효율성은 두 가지 고유한 계층에서 결정됩니다. 첫 번째는 모델이 얼마나 효율적으로 추론하는지, 두 번째는 서빙 시스템이 멀티턴 루프를 얼마나 효율적으로 실행하는지입니다.

모델 수준 효율성: Reflection의 Beam

Reflection은 텍스트 네이티브 소프트웨어 엔지니어링과 다단계 도구 사용에 특화된 Beam을 설계했습니다. Beam은 총 약 5, 010억 개의 파라미터를 갖추고 있으며, 토큰당 약 230억 개의 파라미터를 활성화하고 약 100만 개의 토큰 컨텍스트 윈도우를 지원합니다. Beam은 Reflection의 Mirror CLI, Claude Code, Hermes, OpenCode 등 개발자가 이미 사용 중인 코딩 하네스에 직접 통합되어 GitHub 문제를 해결하고, CLI 및 DevOps 워크플로를 실행하고, 장기 작업을 완료할 수 있습니다.

Beam은 토큰당 230억 개의 파라미터만 활성화하고 다른 유사한 개방형 가중치 모델보다 3~4배 적은 추론 토큰을 사용하여 솔루션에 도달하므로 각 추론 단계에 필요한 추론 시간 컴퓨팅을 크게 줄입니다.

시스템 수준 효율성: AI 하이퍼컴퓨터 최적화 서빙

개발자가 에이전트를 프로덕션에 배포하면 서빙 레이어에서 또 다른 병목 현상이 나타날 수 있습니다. 에이전트형 코딩 루프에서는 단일 세션에서 모델이 수십 번 호출됩니다. 코딩 하네스는 매 턴마다 새로운 파일 읽기, 코드 차이, 컴파일러 로그, 도구 출력을 공유 대화 기록에 추가하며, 이 기록은 수만 또는 수십만 개의 토큰으로 빠르게 증가합니다.

모델 자체가 각 턴에서 3~4배 더 적은 추론 토큰을 생성하더라도 턴 전반에 걸쳐 누적된 컨텍스트 윈도우로 인해 두 가지 주요 인프라 문제가 발생합니다.

첫째, 프리필 컴퓨팅이 병목 현상을 일으킵니다. 표준 Kubernetes 부하 분산기는 스테이트리스(Stateless) 라운드 로빈 라우팅을 사용하여 요청을 분산합니다. 코딩 하네스가 세션의 15번째 턴을 전송하면 14번째 턴과는 다른 복제본에 도달하는 경우가 많습니다. 이 복제본은 이전 프롬프트 전체를 처음부터 다시 계산해야 하므로 GPU 컴퓨팅이 낭비되고 긴 프리필 큐가 생성되어 다른 사용자까지 지연시킵니다.

둘째, 디코딩은 KV 캐시 용량으로 인해 병목 현상이 발생합니다. 수십 개의 동시 에이전트 세션에 대해 긴 컨텍스트 KV 캐시를 유지하면 GPU 고대역폭 메모리(HBM)가 빠르게 가득 찹니다. HBM이 가득 차면 서빙 엔진은 오래된 KV 블록을 제거해야 합니다. 이러한 블록이 제거되는 즉시 캐시 적중률이 떨어지고 GPU 처리량이 정체됩니다.

클러스터 규모에서 Beam의 모델 수준 효율성을 유지하려면 서빙 스택을 분산 시스템으로 최적화해야 합니다. 이러한 이유로 Google Cloud의 레시피는 Beam을 llm-d(vLLM 사용) 및 NVIDIA Dynamo(SGLang 사용)와 결합합니다.

AI 하이퍼컴퓨터 추론 아키텍처 내부

Beam의 BF16, FP8, NVFP4 체크포인트를 출시 첫날부터 최대 효율로 실행할 수 있도록 Google Cloud는 AI 하이퍼컴퓨터에 수직 통합 아키텍처를 설계했습니다. 이 아키텍처에서는 각 계층이 에이전트형 서빙 수명 주기의 특정 부분을 처리합니다.

에이전트 트래픽 서빙을 위한 시스템 최적화 아키텍처

추론 포드를 스테이트리스(Stateless) 엔드포인트로 취급하는 대신 스택의 각 레이어는 멀티턴 에이전트 수명 주기를 중심으로 공동 설계됩니다.

프리픽스 및 부하 인식 라우팅(GKE + llm-d EPP/Dynamo 라우터): 작업자 포드 전반에서 캐시된 프리픽스와 큐 깊이를 추적하여 코딩 하네스의 각 후속 턴을 웜 KV 프리픽스를 보유한 복제본으로 유도하는 동시에 턴 우선순위 흐름 제어를 통해 큐 포화를 방지합니다.
분산 컴퓨팅 및 추측 디코딩(A4X Max 및 G4 인스턴스): 기본 Blackwell NVFP4, Beam의 230억 개 활성 전문가를 위한 전문가 병렬 처리(EP), 데이터 병렬 어텐션, DFlash2 추측 디코딩을 통해 vLLM 및 SGLang을 실행합니다. 프리필 및 디코딩 (P/D)풀을 분리하면 대량의 프롬프트가 급증해도 활성 토큰 생성이 중단되지 않습니다.
계층형 KV 캐시(GPU 메모리 -> DRAM 및 로컬 SSD): 활성 KV 블록은 고대역폭 GPU 메모리(Tier 1)에 유지되는 반면, 장기 세션 중에 제거된 웜 KV 블록은 vLLM의 OffloadingConnector 또는 SGLang의 HiCache를 통해 호스트 CPU DRAM 및 로컬 NVMe SSD(Tier 2)로 오버플로됩니다. 이를 통해 과거 컨텍스트를 처음부터 다시 계산하는 대신 밀리초 단위로 가져올 수 있습니다.

멀티턴 에이전트형 워크로드를 위한 시스템 최적화

동시 실행 수준이 증가하는 상황에서 AgentX 궤적 데이터 세트와 같은 멀티턴 코딩 및 도구 사용 워크로드를 서빙할 때, 서빙 스택의 각 레이어는 에이전트 워크로드의 멀티턴, 긴 컨텍스트 트래픽 패턴에 대한 성능 향상 및 지연 시간 개선에 기여합니다.

차트를 읽을 때 유의할 점이 있습니다. 두 구성은 서로 직접 비교할 수 없습니다. NVIDIA Dynamo는 NVIDIA GB300 NVL72 GPU 32개가 탑재된 A4X Max 인스턴스에서 실행되었고, llm-d는 NVIDIA RTX PRO 6000 GPU 8개가 탑재된 G4 VM에서 실행되었습니다. 각 차트는 동일한 하드웨어에서 기준 구성 대비 성능이 얼마나 향상되었는지 보여줍니다. 복제본이 많을수록 라우터가 적중할 수 있는 웜 KV 캐시가 많아지고 디코딩에서 프리필을 분할할 수 있는 공간이 늘어나므로 배포 규모가 커질수록 개선 효과가 커집니다. llm-d와 NVIDIA Dynamo는 모두 기본 인프라에 맞게 확장 및 축소됩니다.

NVIDIA Dynamo 최적화 성능과 Reflection Beam의 기준 배포 비교

llm-d 최적화 성능과 Reflection Beam의 기준 배포 비교

두 플랫폼 모두에서 이러한 최적화를 계층화하면 파레토 프런티어가 개선되어 더 높은 출력 처리량과 더 빠른 사용자당 상호작용 속도를 동시에 달성할 수 있습니다.

기준 배포(스테이트리스(Stateless) 라운드 로빈 라우팅): 접두사를 인식하지 않는 표준 Kubernetes 배포에서는 동일한 코딩 세션의 연속적인 턴이 서로 다른 복제본에 전달됩니다. 이로 인해 이전 컨텍스트에 대한 프리필 재계산이 지속적으로 이루어지고 동시 실행이 확장됨에 따라 처리량이 정체됩니다.
KV 캐시 인식 및 흐름 제어 라우팅: NVIDIA Dynamo 또는 llm-d의 Sticky EPP에서 턴 우선순위 흐름 제어와 함께 프리픽스 인식 라우팅을 사용 설정하면 멀티턴 에이전트 궤적이 웜 KV 캐시를 보유한 복제본에 고정되어 최초 토큰 생성 시간(TTFT) 지연 시간이 즉시 단축되고 GPU 컴퓨팅이 확보되어 토큰 처리량이 크게 증가합니다.
호스트 DRAM 및 로컬 SSD(LSSD) KV 오프로드: 제거된 KV 블록을 GPU 메모리에서 호스트 DRAM 및 로컬 NVMe SSD로 오프로드하면 수십 개의 긴 컨텍스트 코딩 세션이 기기 내 GPU 메모리 용량을 초과하더라도 캐시 스래싱을 방지할 수 있습니다.
분할 서빙, 추측 디코딩, KV 풀 조정: 하이브리드 KV 캐시 메모리 할당을 조정하고, 추측 디코딩을 사용 설정하고, 프리필 및 디코딩 작업자를 분리하면 토큰 생성이 과도한 프롬프트 버스트로부터 격리되는 한편, 드래프트 모델이 출력 처리량을 크게 높여 에이전트당 토큰 상호작용 속도를 빠르게 유지합니다.

PyTorchCon 및 GTC Berlin에 참석하여 시작해 보세요

이 블로그에서는 시스템 수준 최적화를 활용하여 에이전트 워크로드에 Reflection의 Beam 모델 제품군을 서빙할 때 성능을 확장하는 방법을 살펴봤습니다. 이 게시물에서 소개한 모든 Kubernetes 매니페스트, 라우터 구성, 벤치마킹 스크립트는 오픈소스이며 자체 GKE 클러스터에서 바로 실행할 수 있습니다.

최적화된 스택 배포: AI-Hypercomputer/gpu-recipes 저장소에서 A4X Max 및 G4에 llm-d 및 NVIDIA Dynamo를 사용하여 Reflection의 Beam을 실행하는 출시 당일 지원 가이드와 Gemini 플랫폼의 Model Garden을 살펴보세요.
가중치 다운로드: Reflection의 Hugging Face 페이지에서 Apache 2.0 BF16, FP8, NVFP4 체크포인트를 다운로드하세요.
산호세에서 열리는 llm-d 및 PyTorch Conference 참석: 올해 10월 산호세에서 열리는 PyTorch Conference North America에 참석하신다면 llm-d 커뮤니티 세션과 Google Cloud 부스 #에 방문해 보세요. 에이전트 워크로드를 위한 KV 캐시 인식 라우팅, P/D 분리, KV 캐시 계층화에 대한 라이브 데모를 선보일 예정입니다.
NVIDIA GTC Berlin 참석: NVIDIA GTC Berlin에 참석하신다면 부스 3026 또는 행사장으로부터 도보로 5분 거리에 있는 w3.hub의 Google Cloud Hub에서 Google Cloud 팀을 만나보세요. 세션에 대해 자세히 알아보세요.

Google Cloud의 U4 컴퓨팅 소개: 초저지연 트레이딩 지원

Wed, 14 Oct 2026 17:00:00 +0000

자본 시장에서는 패킷 전송 타이밍의 미세한 차이가 주문 대기열의 우선순위와 거래 체결에 영향을 미치므로 성공적인 운영을 위해서는 예측 가능한 성능과 짧은 지연 시간을 확보해야 합니다. 한편 기존 온프레미스 데이터 센터 환경에서는 거래소와 시장 참여자 모두가 전력 및 물리적 랙 공간의 제약뿐 아니라 하드웨어 조달에 오랜 시간이 걸리는 등 갈수록 심해지는 제약에 직면해 있습니다. 이에 따라 글로벌 자본 시장에서는 물리적 코로케이션의 속도와 결정성을 클라우드의 동적 확장성 및 자동화 기능과 결합하려는 움직임이 늘고 있습니다.

Google Cloud Next '26에서 발표되었던 ULL(Ultra Low Latency) Solution이 이제 정식 버전으로 제공됩니다. 이 솔루션은 클라우드에서 실행되는 고빈도 트레이딩 워크플로에 초저지연 네트워크와 민첩성을 제공합니다. ULL Solution에 새롭게 포함된 U4 머신 계열도 오늘부터 정식 버전으로 제공됩니다.

ULL Solution은 다음과 같은 세 가지 인프라 핵심 요소를 기반으로 합니다.

하드웨어 수준 네트워킹: 안정적인 시장 데이터 피드를 위해 확장 가능한 하드웨어 기반 멀티캐스트 데이터 배포 제공
고급 네트워킹 모니터링 가능성: 하드웨어 수준의 정밀한 타이밍으로 네트워크 트래픽을 동적으로 캡처하여 기본적인 트래픽 성능에 영향을 주지 않고 일관된 감사, 시장 상황 재현, 확실한 거래 검증 지원
결정론적인 고성능 컴퓨팅: 지연 시간에 민감한 트레이딩 실행 계층의 작업을 매번 예측 가능하고 일관된 시간 내에 처리

ULL Solution의 컴퓨팅, 스토리지, 네트워킹, 모니터링 가능성을 종합적으로 활용할 때 금융 거래소와 시장 참여자는 다음과 같은 기술적 역량을 활용할 수 있게 됩니다.

베어메탈 성능: 전용 베어메탈 컴퓨팅을 통해 물리적 호스트 리소스에 직접 액세스할 수 있어 잡음을 최소화하고 시장 데이터 피드와 주문 라우팅에서 예측 가능한 저지연 실행이 가능해집니다.
고성능 스토리지 옵션: 로컬 티타늄 SSD가 호스트에서 실시간 트랜잭션과 틱 로깅을 처리하며, 확장 가능한 Google Cloud Hyperdisk까지 더해져 시장 데이터의 영구 보관과 분석을 지원합니다.
물리적 트래픽 격리: ULL 트레이딩 패브릭의 이중화된 A/B 멀티캐스트 시장 피드는 서로 독립적인 2개의 전용 Titanium 어댑터를 통해 액세스되는 반면, 별도의 세 번째 Titanium 어댑터는 원격 분석과 관리 작업을 오프로드하고 Google Cloud 서비스에 대한 액세스를 제공합니다.
하드웨어 가속 멀티캐스트 배포: ULL 네트워크 아키텍처는 하드웨어 수준에서 멀티캐스트 피드를 수집하는 기능을 지원합니다. 따라서 시장 참여자는 기존 하이퍼바이저 수준의 가상 스위치를 거치지 않고도 처리량이 높은 시장 데이터를 저지연 트레이딩 애플리케이션으로 직접 스트리밍할 수 있습니다.
가속화된 패킷 처리: OpenOnload 및 DPDK를 지원하므로 애플리케이션 코드 변경을 최소화하면서 Linux 사용자 공간 네트워킹을 통해 예측 가능한 유니캐스트 및 멀티캐스트 패킷 처리를 구현할 수 있습니다.
정밀한 타이밍 및 UTC 동기화: Google Cloud의 Firefly 클록 동기화 시스템을 통합하여 네트워크 수준에서 10나노초 미만의 정밀도로 타임스탬프를 일관되게 기록하고 금융 거래소의 규제 요건인 100마이크로초 미만보다 뛰어난 UTC 동기화 정확도를 제공합니다.
기본 제공 원격 분석: 연중무휴로 이루어지는 저지연 패킷 캡처와 원활한 아웃오브밴드 패킷 브로커링을 통해 규정 준수와 실시간 분석을 지원합니다. 이로써 주요 트래픽 성능에 영향을 주지 않으면서 네트워크 상태를 상세하게 파악할 수 있습니다.
연중무휴 시장 지원: 실시간 트레이딩을 위한 프로덕션 워크로드는 전용 기본 영역에 격리하고, 일상적인 클라우드 유지보수와 적격성 테스트는 업데이트 및 테스트를 위한 보조 영역에서 수행하도록 설계되었습니다. 이를 통해 24시간 중단 없는 트레이딩 준비 상태를 유지할 수 있습니다.

ULL Solution의 컴퓨팅은 새로운 U4 머신 계열을 통해 제공되며 이 계열은 예측 가능한 성능과 초저지연 컴퓨팅을 제공하는 세 가지 특화 머신 시리즈로 구성됩니다. U4P와 U4C는 각각 거래소 운영자와 시장 참여자를 위한 듀얼 소켓 베어메탈 인스턴스로, 모두 3개의 물리적 NIC가 장착되어 있습니다. U4S는 운영자, 시장 참여자, 서비스 제공업체를 위한 고성능 VM입니다.

머신 시리즈	CPU 플랫폼	CPU 코어	메모리	NIC	스토리지 옵션
U4P (베어메탈)	Intel 5세대 Xeon(Emerald Rapids)	물리적 코어 120개	512GB 또는 768GB	물리적 NIC 3개(표준 1개 + ULL 2개)	로컬 티타늄 SSD(12TiB), Hyperdisk
U4C (베어메탈)	Intel 5세대 Xeon(Emerald Rapids)	물리적 코어 120개	512GB 또는 768GB	물리적 NIC 3개(표준 1개 + ULL 2개)	로컬 티타늄 SSD(12TiB), Hyperdisk
U4S (VM)	Intel 6세대 Xeon(Granite Rapids)	vCPU 2~288개	최대 2,232GB	멀티 vNIC(최대 200Gbps)	로컬 티타늄 SSD(18TiB), Hyperdisk

Google Cloud는 전 세계에서 기술적 요구사항이 가장 까다로운 금융 시장에서도 클라우드 서비스와 확장성의 이점을 활용하며 운영할 수 있도록 U4 머신 계열을 개발했습니다. 대표적인 사례로 CME Group과의 지속적인 협업을 통해 상장된 파생상품 시장을 Google Cloud로 이전하고 있습니다. 여기서 U4C 및 U4P 베어메탈 인스턴스는 물리적 코로케이션과 동등한 수준의 지연 시간을 보장하며, 예측 가능한 저지연 클록 정밀도와 하드웨어 기반 멀티캐스트 피드의 네이티브 수집 기능을 제공합니다. 이 아키텍처는 금융 시장에서 요구하는 속도, 일관성, 제어 수준을 유지하면서 핵심 거래소 시스템과 트레이딩 전략을 클라우드에서 실행할 수 있음을 보여줍니다.

"세계 최고의 파생상품 시장을 클라우드로 이전하려면 성능, 지연 시간, 안정성 측면에서 결코 타협이 용납되지 않습니다. Google Cloud의 Ultra Low Latency Solution과 U4 인스턴스 계열은 금융 시장 인프라의 획기적인 발전을 의미합니다. 결정론적인 초저지연 네트워킹 및 전용 베어메탈 컴퓨팅에 클라우드의 이점을 결합함으로써 시장 참여자는 기존 코로케이션 환경의 속도와 클라우드의 민첩성을 동시에 활용하여 시장 데이터를 수집하고 거래를 체결할 수 있습니다." - Pearce Peck-Walden, CME Group의 시장 엔지니어링 부문 상무이사

Google Cloud 네이티브 인프라 기반

ULL Solution은 일부 비공개 Google Cloud 리전에서 제공되며, 트레이딩팀은 이러한 환경에서 신속한 자동 리소스 프로비저닝, 주문형 용량 확장, 동적 Fleet 관리와 같은 핵심 클라우드 인프라의 이점을 활용할 수 있습니다. 또한 격리된 전용 ULL 네트워크에서 초저지연 거래를 실행하고, 독립적인 네트워크 인터페이스를 통해 데이터 스트림을 BigQuery, Gemini Enterprise와 같은 Google Cloud 서비스로 오프로드할 수 있습니다.

틱 투 트레이드(tick-to-trade) 워크플로를 관리하거나 실시간 시장 데이터를 처리하는 거래소 참여자에게는 마이크로초 단위의 차이도 매우 중요합니다. U4P 및 U4C 머신 시리즈는 베어메탈 인스턴스이므로 지연 시간에 민감한 실행 계층에 가상화 오버헤드가 추가되지 않습니다. 이러한 베어메탈 인스턴스는 Google Cloud의 Titanium 오프로드 시스템 아키텍처를 활용하여 호스트 리소스에 직접 액세스할 수 있도록 합니다. 사용자는 Compute Engine 인스턴스를 통해 표준 Google Cloud API로 전용 하드웨어를 프로비저닝하고, 코드형 인프라를 사용하여 배포를 조정하고, Cloud Next Generation Firewall(NGFW) 정책을 적용하고, 다양한 원격 분석 데이터를 수집할 수 있습니다.

U4S VM 시리즈는 거래 전 위험 검증, 실시간 분석과 같은 용도로 활용되어 이러한 베어메탈 제품군을 보완합니다. U4P 및 U4C 인스턴스와 함께 이러한 VM을 배포하면 트레이딩 아키텍처 전반에서 데이터가 거치는 네트워크 홉 수를 줄이는 동시에 vCPU를 2개에서 288개까지 탄력적으로 확장하고 최대 100Gbps의 네트워킹을 지원할 수 있습니다.

“U4 인스턴스를 테스트한 결과 Google Cloud가 까다로운 거래소 트레이딩 워크로드에 필요한 짧은 지연 시간과 결정성을 제공한다는 사실을 확인했습니다. 베어메탈과 VM 옵션을 모두 사용하면 가성비를 평가할 수 있어 각 트레이딩 전략에 적합한 인프라를 선택할 수 있습니다.” - Corbin Kidd, Prime Trading의 EVP/CTO

"틱 투 트레이드 성능 테스트에서 U4C 베어메탈 인스턴스는 뛰어난 속도를 보여주었으며, 클라우드 컴퓨팅과 초저지연 네트워킹이 마이크로초 단위의 트레이딩 요구사항을 충분히 충족할 수 있음을 입증했습니다. 하지만 U4 시리즈를 차별화하는 요소는 단순한 처리 속도가 아니라 구조적 결정성입니다. Google Cloud의 U4 베어메탈 제품군에 대한 스트레스 테스트를 실시했을 때 성능 곡선이 거의 평탄하게 유지되었으며, 이는 이러한 클라우드 컴퓨팅 레이아웃이 이제 기관 시장 참여자가 요구하는 엄격한 결정성을 제공할 수 있음을 보여줍니다." - Christopher Wilson, 28Stone의 경험 현대화 부문 글로벌 책임자

향후 이러한 초저지연 아키텍처는 알고리즘 트레이딩의 기반이 되어 기업이 AI 기반 트레이딩 모델에 실시간 시장 데이터를 직접 공급할 수 있도록 지원할 것입니다.

트레이딩 워크로드를 위한 스토리지 및 배치

U4 제품군은 Google Cloud 스토리지 옵션과 배치 정책을 지원하여 트레이딩팀이 거래 내역을 빠르게 기록하고 머신 간 네트워크 지연 시간을 최소화할 수 있도록 돕습니다.

빠른 로깅을 위한 로컬 티타늄 SSD: 실행 속도 저하 없이 실시간 거래 로깅과 데이터 캐싱을 지원하도록 U4P와 U4C는 최대 12TiB의 직접 연결된 NVMe SSD를 제공하며, U4S VM은 최대 18TiB까지 수직 확장할 수 있습니다.
데이터 보관을 위한 Hyperdisk: 과거 시장 데이터, 백테스팅 모델, 규제 제출용 보관 파일을 처리할 수 있도록 모든 U4 시리즈에 Hyperdisk Balanced 및 Hyperdisk Extreme 볼륨을 연결하여 인스턴스당 최대 32개의 볼륨과 512TiB까지 확장할 수 있습니다.
배치 정책: 압축 배치 정책은 물리적 네트워크 홉을 줄이기 위해 데이터 센터에서 관련 머신을 서로 가깝게 배치합니다. 또는 분산 배치 정책은 복원력을 개선하기 위해 별도의 랙에 머신을 배치합니다.

ULL Solution 시작하기

금융 거래소 운영자, 거래소 참여자, 트레이딩 서비스 제공업체는 ULL Solution을 통해 오늘날 요구되는 속도와 안정성을 확보하는 동시에 지속적으로 발전하는 AI 및 인프라 기능을 활용해 미래의 트레이딩 환경에 대비할 수 있습니다. ULL Solution은 일부 Google Cloud 리전에서 지원됩니다. 자세한 내용은 공개 문서를 확인하고 Google팀에 연락하여 액세스를 요청하세요.

9월 AI 인프라 및 조정 기능에 관한 새로운 소식

Tue, 13 Oct 2026 11:00:00 +0000

9월은 확장성의 달입니다. 전 세계가 에이전트형 Fleet의 급증에 대비하고 있는 가운데, Google Cloud는 이러한 수요에 원활하고 신속하게 대응하기 위해 AI 인프라 및 조정 제품을 강화하는 동시에 워크로드 격리와 보안을 유지하고 비용을 관리하고 있습니다. 이러한 개선사항이 Google Cloud의 컴퓨팅, 네트워크, 스토리지, 조정 제품 전반에 어떻게 반영되는지, 고객이 Google Cloud AI 인프라를 사용하는 새로운 방법, Google 전략에 대한 서드 파티 업계 검증에 대해 자세히 알아보세요.

제품, 기술, 도구 업데이트

Google Kubernetes Engine 업데이트: GKE팀은 플랫폼의 확장성을 개선하는 데 주력하고 있으며, 9월에는 다양한 형태와 규모의 개선사항이 적용되었습니다.

새로운 기능: 에이전트 워크로드에 더 높은 밀도의 실행 런타임이 필요하신가요? Google Cloud는 표준 컨테이너 런타임보다 10배 더 높은 밀도로 수백만 개의 샌드박스를 실행할 수 있도록 새로운 오픈소스 GKE Agent Substrate를 설계했습니다. 또한 Agent Substrate는 네이티브 제로 트러스트 커널 및 네트워크 격리 기능을 바탕으로 초당 500회 이상의 일시중지/재개 활성화 요청 처리 시에도 500ms 미만의 재개 성능을 제공합니다.
제품 업데이트: 이제 GKE에 Scale-to-zero 기능이 기본 제공됩니다. 자동 확장 측정항목이 포함된 HPA와 KEP-2021 지원 덕분에 워크로드를 축소하는 데 복잡한 구성요소를 구성할 필요가 없습니다. 블로그를 읽고 자세히 알아보세요.
제품 업데이트: 또한 GKE HPA(위에서 언급한 자동 확장 측정항목 사용)를 사용하면 이제 표준 측정항목 외에도 커스텀 PromQL 측정항목을 기반으로 확장 및 축소할 수 있으므로 비즈니스에 의미 있고 고유한 조건에 따라 워크로드를 트리거할 수 있습니다. 여기에서 자세히 알아보세요.
새로운 기능: 또 다른 확장성 기능은 GKE 포드 스냅샷으로, 이를 통해 CPU 및 GPU 메모리를 포함한 워크로드의 실행 상태를 저장하고 필요에 따라 복원할 수 있습니다. 내부 테스트에 따르면 GKE 포드 스냅샷 사용 시 AI 추론 시작 시간을 최대 89% 단축할 수 있습니다. 여기에서 자세히 알아보세요.
새로운 마이그레이션 도구: 마지막으로, AWS EKS에서 GKE로 컨테이너 워크로드를 마이그레이션하고 싶었지만 까다롭고 번거로운 엔지니어링 작업이 두려웠다면, Google Cloud가 최근 출시한 GKE 에이전트형 마이그레이션을 사용해 보세요. 이 도구는 불안정하고 임시적인 프롬프팅을 결정론적 가드레일로 보호되는 AI 지원 마이그레이션 파이프라인으로 대체하는 전용 에이전트 플러그인입니다. 에이전트 스킬과 로컬 모델 컨텍스트 프로토콜(MCP) 서버의 컴파일로 설계된 이 도구는 AI를 사용하여 복잡한 AWS EKS IaC 및 Kubernetes 매니페스트를 GKE 시작 영역으로 직접 변환합니다. 온보딩 가이드를 참고하여 시작하세요.
기능 업데이트: 강화 학습(RL) 및 평가 워크로드는 매우 까다롭습니다. 표준 에이전트형 RL 루프에서 LLM 정책은 GPU에서 코드 스니펫과 같은 작업을 생성하고 이를 격리된 CPU 샌드박스 내에서 실행하여 보상 신호를 관찰합니다. 그러나 수만 개의 동시 배포를 지원하도록 이 루프를 확장하면 유휴 상태의 가속기, 이미지 카디널리티, 포화 상태의 컨트롤 플레인과 같은 인프라 병목 현상이 발생합니다. 이를 위해 RL에 최적화된 GKE Agent Sandbox와 Agent Sandbox RL 조정 SDK, 인기 있는 RL Gym 및 하네스를 위한 기본 통합을 개발했습니다. 모두 정식 버전으로 제공되고 있으며 자세한 내용은 여기에서 확인할 수 있습니다.

스토리지 업데이트: AI는 많은 데이터를 학습하고 생성하며, 이러한 데이터는 블록 스토리지 시스템, 파일 시스템, 객체 스토어, 데이터베이스 등 어딘가에 저장되어야 합니다. Google Cloud는 이 중요한 레이어가 에이전트형 워크로드의 요구사항을 충족할 수 있도록 스토리지 포트폴리오의 개선사항을 발표했습니다.

제품 업데이트: Filestore 에이전트 볼륨은 에이전트형 워크로드를 위한 고성능의 탄력적인 영구 파일 스토리지를 제공합니다. GKE Agent Substrate 및 GKE 에이전트 샌드박스와의 긴밀한 통합 덕분에 Filestore 에이전트 볼륨은 전용 격리 파일 작업공간을 GKE 에이전트 샌드박스에 밀리초 단위로 자동 할당하고 연결합니다. 여기에서 프리뷰 액세스를 요청하세요.
새로운 제품: 생성형 AI 및 RAG 데이터 레이어(예: Milvus, Pinecone, Qdrant, Vespa, Redis, 인메모리 컨텍스트 캐싱)를 실행하는 경우, 주요 하이퍼스케일러 중 코어당 가장 높은 IOPS와 처리량을 제공하는 M4N VM 제품군(현재 정식 버전 출시됨)을 살펴보세요. Google Cloud의 커스텀 Titanium 오프로드 아키텍처 및 Hyperdisk Extreme과 결합된 M4N 인스턴스는 최대 25,000MiB/s(25GiB/s)의 집계 호스트 스토리지 성능과 최대 100만 IOPS를 제공합니다.
새로운 제품: 또 다른 새로운 Compute Engine 제품인 Z4D가 정식 버전으로 출시되었으며, 이는 AI/ML 학습 및 추론 워크로드를 위한 강력한 스토리지 솔루션입니다. 베어메탈 인스턴스로 구성된 Z4D는 에이전트형 마이크로 VM에 필요한 높은 로컬 SSD(LSSD) 용량과 짧은 지연 시간을 모두 제공하므로 호스트당 수천 개의 격리된 샌드박스를 기본 성능과 효율성으로 실행할 수 있습니다. 여기에서 Z4D 머신에 대해 자세히 알아보세요.
제품 업데이트: 오늘날의 AI 학습 및 추론 파이프라인은 대부분의 스토리지 관리 시스템이 대응할 수 있는 속도보다 더 빠르게 데이터를 생성하므로 스토리지 자산을 파악하려는 팀에 어려움을 초래합니다. 새로운 버전의 Storage Intelligence Advisor를 사용하면 '버킷에 무엇이 들어 있는지'에 대한 질문에 더 쉽게 답하고 예상치 못한 변경사항을 빠르게 식별할 수 있습니다. 또한 향상된 일괄 작업을 통해 버킷 전반에서 대량 변경사항을 자동화할 수 있습니다. 예를 들어 스토리지 클래스를 이동하거나, 오래되었거나 임시 데이터를 일괄 삭제하거나, 메타데이터, 태그 지정, 보관, 암호화 변경사항을 적용할 수 있습니다. 여기에서 Storage Intelligence Advisor의 최신 소식을 알아보세요.
새로운 제품: 마지막으로, 새로운 버전의 PostgreSQL용 AlloyDB는 선구적인 Google 인프라인 Colossus 분산 파일 시스템과 Jupiter 네트워크를 결합하여 에이전트 시대를 위한 타협 없는 새로운 데이터베이스 아키텍처를 지원합니다.

실무자 가이드 및 방법

방법: 전 세계에 흩어져 있는 GPU와 TPU를 단일 진입점 뒤에서 단일 풀로 작동하게 하고 싶으신가요? 이 블로그에서 그 방법을 알려드립니다. 에지에서는 멀티 클러스터 GKE Inference Gateway가 전역, 멀티 리전 트래픽 분산 및 고가용성에 중점을 둡니다. 그 아래에서는 LLM-d 라우터가 사용률을 높게 유지하는 복잡한 메모리 인식 예약 알고리즘을 처리합니다. 이 아키텍처는 의도적으로 런타임, 모델, 가속기와 무관하게 설계되었으며, 테스트에서는 멀티 클러스터 GKE Inference Gateway를 통해 트래픽을 라우팅할 때 추가된 오버헤드가 1% 미만이었습니다.
가이드: AI 모델 학습 또는 추론을 위해 TPU에서 GKE를 사용 중이거나 사용할 계획이신가요? 대규모 언어 모델(LLM)을 학습시키거나 높은 처리량의 추론 서빙을 실행하려면 Cloud TPU 및 GPU와 같은 특화된 AI 하드웨어에 상당한 투자가 필요합니다. 지출 비용을 최대한 활용하려면 GKE의 워크로드 수명 주기 측정항목을 이해해야 합니다. 이 상세 가이드에서는 불투명한 클러스터 동작을 활용 가능한 원격 분석으로 전환하는 방법을 설명합니다.

고객 및 파트너 업데이트

GKE 고객: 게임 스타트업 SeaVerse가 멀티 테넌트 워크로드에 GKE 에이전트 샌드박스를 사용하는 이유와 이 플랫폼을 통해 인프라 비용을 60% 절감한 방법을 알아보세요.

연구, 보고서, 심층 분석

혹시 놓치셨을까 봐 알려드리자면, Google은 Gartner와 Forrester의 주요 분석 보고서 3개에서 제품 또는 전략 부문 최고 점수를 획득하는 등 리더로 선정되었습니다.

Google, The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 부문 리더로 선정: 모든 클라우드 제공업체 중 가장 높은 종합 점수 획득
Google, 2026년 Gartner® Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문에서 리더로 선정: 평가 대상 공급업체 중 '비전의 완전성' 부문에서 가장 선도적인 업체로 선정되었습니다.
Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정: 평가 대상 공급업체 중 '실행 능력' 면에서 가장 높은 순위를 차지했습니다.
Google Cloud는 전 세계 GPU 제공업체의 안정성, 성능, 지원, 가격, 보안을 평가하는 최신 SemiAnalysis ClusterMax 3.0 보고서에서 골드 등급을 받았습니다. 자세한 내용은 보고서 전문을 참고하세요.

2026년 8월

제품, 기술, 도구 업데이트

제품 변경사항: Google Cloud의 퍼스트 파티 보안 확장형 NFS 파일 서비스인 Filestore는 AI 및 에이전트 워크플로를 위한 인기 스토리지 플랫폼으로 부상했으며, 이제 Google의 기본 분산 스토리지 시스템인 Colossus를 기반으로 직접 빌드된 새로운 백엔드 스토리지 계층을 통해 이 작업에 더욱 최적화된 성능을 제공합니다. 이 새로운 백엔드를 사용하면 스토리지 용량과 독립적으로 IOPS를 프로비저닝할 수 있으며 GKE와 긴밀하게 통합됩니다. AI 환경에서는 공통 데이터 세트를 읽고 써야 하는 대규모 에이전트 그룹인 이른바 에이전트형 스웜을 성능 저하 없이 서비스하는 데 도움이 될 수 있습니다. 자세한 내용은 블로그 게시물을 참고하세요.
새로운 기능: 이제 GKE의 분산 Ray 클러스터에서 gVisor 샌드박스를 사용할 수 있습니다. Google은 Anyscale과의 파트너십을 통해 Google의 오픈소스 애플리케이션 커널인 gVisor를 분산 Ray 클러스터에 직접 통합할 수 있는 Ray용 실험용 라이브러리를 선보였습니다. gVisor는 일반 컨테이너보다 강력한 격리 기능을 제공하면서도, 가벼운 환경 덕분에 빠른 시작 시간과 낮은 메모리 오버헤드라는 장점까지 모두 갖추고 있습니다. GKE에서 이러한 샌드박싱 기능을 사용해 보려면 Ray 샌드박싱 사용자 가이드를 참고하세요.
제품 변경사항: 개인용 AI 에이전트를 실행할 고성능의 사용하기 쉬운 인프라를 찾고 계신가요? 하지만 비용 부담은 줄이고 싶으시다면 주목해 주세요. 새로운 Cloud Run 인스턴스는 Cloud Run의 전용 싱글톤 컴퓨팅 런타임으로, 에이전트가 유휴 상태일 때도 종료되지 않습니다. 더욱 놀라운 점은 1개의 vCPU와 1GiB 메모리 사양의 Cloud Run 인스턴스를 30일 내내 중단 없이 실행해도 비용이 단돈 $5.70에 불과하다는 것입니다.

실무자 가이드, 문서, 방법

안내 가이드: 모델 컨텍스트 프로토콜(MCP) 분야의 중요한 소식입니다. 2026년 7월 28일 사양을 기준으로 프로토콜 코어는 '완전히 스테이트리스(Stateless)입니다. 핸드셰이크는 이제 필요 없습니다. 초기화 / 초기화 완료 핸드셰이크(SEP-2575)와 논리적 Mcp-Session-Id 헤더(SEP-2567)가 완전히 사라졌습니다. 대신 이제 모든 요청이 자체 설명적이고 독립적으로 이루어집니다.' 정말 놀랍지 않은가요? Google Developers 블로그에서 최신 MCP 사양의 변경사항과 구현 방법을 자세히 알아보세요.
가이드: 실시간 AI 시스템은 기존 네트워크 부하 분산 기법을 무력화합니다. '백엔드는 고립된 요청을 처리하는 대신 지속적으로 실시간 양방향 스트림을 관리해야 합니다. 오디오 청크, 스크립트, 모델 출력, 합성 음성이 동시에 끊임없이 오가기 때문입니다.' 사용자가 개입하면 상황은 더 복잡해집니다. '서버는 현재 진행 중인 음성 생성을 즉시 중단하고, 컨텍스트를 업데이트하도록 전환하고, 새로운 도구를 트리거하고, 다른 대답을 작성하기 시작해야 합니다. 이 모든 작업은 연결을 끊지 않고 수행되어야 합니다.' AI 시대에 부하를 관리하는 새로운 접근 방식에 대해 알아보려면 세션 인식 부하 분산으로 실시간 AI 에이전트 확장하기를 읽어보세요.
방법: 다양한 GPU 가속기를 혼합하여 사용하더라도 GKE에서 탄력적이고 확장 가능한 LLM 추론 플랫폼을 빌드하는 방법을 알아봅니다. 제안된 아키텍처는 Capacity Advisor와 Compute Advisor 외에도 RunAI:model streamer나 병렬 다운로드를 지원하는 GCPFuse와 같은 고성능 스토리지를 결합합니다. 자세한 내용은 여기에서 확인하세요.
문서: GPU 또는 TPU가 있는 호스트의 경우 라이브 마이그레이션을 사용하여 업데이트할 수 없으므로 유지보수 문제가 발생합니다. 이 새로운 문서 페이지에서 학습 및 추론 워크로드의 다운타임 허용 범위에 따라 가속기가 장착된 호스트를 업데이트하는 방법을 알아보세요.
문서: Advanced Compute Images(ACI)는 AI/ML 및 HPC 인프라를 위한 표준화된 이미지 스택이므로 커스텀 이미지를 수동으로 빌드할 필요가 없습니다. 이 새로운 문서 페이지에서 Google Cloud CLI, 콘솔 또는 SchedMD의 Slurm 워크로드 관리자를 사용하여 ACI 이미지를 만드는 방법을 알아보세요.
가이드: AI 워크로드는 설계하기가 어렵고, 리소스 집약적이며, 버스트가 발생하기 쉬운 것으로 알려져 있습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용되는 컴퓨팅 리소스가 대량으로 발생할 수 있습니다. 새로운 블로그에서는 Google Cloud에서 동적 용량 관리를 달성하는 세 가지 주요 방법을 간략하게 설명합니다. 1) 계획된 다운타임에 대한 용량 예약, 2) 계획되지 않은 다운타임에 대한 자동화된 대체 용량 유지, 3) GKE의 핵심 조정 기능을 활용한 리소스 할당 자동화입니다.

고객 및 파트너 업데이트

비즈니스 조정 소프트웨어 제공업체인 UiPath는 급증하는 워크로드를 처리하고 있었으며, 비용을 더 예측 가능하게 만들고 싶었습니다. 이를 위해 인프라를 재설계하여 고립된 클러스터에서 공유 Google Cloud GPU Fleet으로 전환했습니다. 여기에는 학습을 위한 A3 VM 인스턴스(NVIDIA H100 GPU)와 추론을 위한 G4 VM 인스턴스(NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU)가 모두 포함되었습니다. 아키텍처에 대한 자세한 내용은 여기에서 확인할 수 있습니다.
AI 개발 가속화에 주력하는 첨단 AI 연구소인 Mirendil은 모델 사전 학습 및 사후 학습 애플리케이션을 지원하기 위해 TPU와 NVIDIA GPU를 모두 갖춘 AI 하이퍼컴퓨터를 사용하고 있다고 발표했습니다.
소매 CRM 제공업체인 Replenit은 BigQuery, Gemini Enterprise Agent Platform, Cloud TPU에서 실행되는 오픈소스 Gemma 모델을 사용하여 Google Cloud에서 AI 의사 결정 엔진을 빌드했습니다. Replenit의 발표에 따르면, 이 조합을 통해 이전 클라우드 제공업체 대비 파이프라인 비용을 90%나 절감할 수 있었습니다. 자세한 내용은 우수사례 전문을 읽어보세요.
Malachyte는 Bigtable, Managed Service for Apache Kafka, Pub/Sub, Compute Engine, GKE를 기반으로 AI 기반 이커머스 추천 플랫폼을 설계했습니다. 이 블로그에서 이 모든 것이 어떻게 결합되는지 확인해 보세요.

2026년 7월

제품, 기술, 도구 업데이트

제품 변경사항: Google Cloud Managed Lustre가 정식 버전(GA)으로 출시되었습니다. 이제 용량 TiB당 125MB/s부터 250MB/s, 500MB/s, 최대 1,000MB/s까지 네 가지 성능 등급의 처리량을 선택할 수 있으며, 스토리지 용량을 최대 8PB까지 확장할 수 있습니다. Managed Lustre 솔루션은 DDN의 EXAScaler를 기반으로 하며, 고성능 스토리지 분야에서 수십 년간 쌓아온 DDN의 리더십과 Google Cloud의 클라우드 인프라 전문성이 결합된 결과물입니다.
제품 변경사항: C4N 네트워크 및 스토리지 최적화 VM 정식 버전 출시. C4N은 데이터 전송 병목 현상을 제거하기 위해 빌드된 Google Cloud 최초의 네트워크 및 블록 스토리지 최적화 VM 시리즈입니다. 5세대 Intel Xeon 확장 가능 프로세서로 구동되고 Google의 Titanium 오프로딩 하드웨어를 기반으로 빌드된 이 제품은 Hyperdisk Extreme과 함께 사용할 때 400Gbps의 네트워크 대역폭, 초당 9,500만 패킷(MPPS), 최대 25GiB/s의 블록 스토리지 처리량을 구현합니다.
새로운 기능: 네트워크 정책이 적용된 최대 15,000개 노드 규모의 GKE Dataplane V2(GA). 이 기능을 사용하면 표준 GKE 클러스터를 최대 15,000개 노드까지 확장하면서도 전체 활성 네트워크 정책 적용을 유지할 수 있어 대기업 및 AI/ML 고객의 대규모 인프라 요구사항을 지원할 수 있습니다.
새로운 기능: llm-d의 협력적 타임 슬라이싱. 강화 학습(RL) 워크로드를 실행하는 경우, 이제 독립적인 RL 작업을 공유 물리적 하드웨어에 인터리브 처리할 수 있어 모델 수렴이나 정확도에 영향을 주지 않으면서 가속기의 총 가동 주기를 기준치인 약 40%에서 최대 70%까지 늘릴 수 있습니다.
새로운 AI 보안 도구: GKE에서 AI 공급망을 보호하고, AI 워크로드를 안전하게 배포하고, 섀도 AI를 줄이고 싶으신가요? Google은 컨테이너 클러스터를 지속적으로 모니터링하여 실행 중인 AI 런타임(예: vLLM 및 Triton)을 자동으로 감지하고 표준 CycloneDX 머신러닝 자재 명세서(ML-BOM)를 생성하는 가볍고 권한이 없는 Kubernetes 컨트롤러인 k8s-aibom을 오픈소스로 공개했습니다. k8s-aibom 프로젝트를 확인하고 참여해 보세요.

실무자 가이드 및 방법

안내 가이드: 7월 27일, Google은 2.8조 파라미터를 가진 개방형 가중치 모델인 Moonshot AI의 Kimi K3에 대해 가중치가 공개된 당일부터 즉각적인 지원을 시작한다고 발표했습니다. Model Garden, 커스텀 조정, llm-d 레시피가 포함된 GKE 등 선호하는 배포 경로에 관계없이 이 가이드에서는 Google Cloud에서 Kimi K3를 평가하고 파일럿하는 데 도움이 되는 자세한 단계별 안내를 제공합니다.
안내 가이드: Google Kubernetes Engine(GKE) 관리형 DRANET은 GPU와 TPU를 모두 지원합니다. 이 구현을 활용하는 방법은 여러 가지가 있습니다. 사용자가 모든 권한을 갖는 표준 클러스터 방식과 Google이 복잡한 설정을 대신 처리해 주는 Autopilot 클러스터 방식 중에서 선택할 수 있습니다. 실무형 실습인 TPU, GKE 관리형 DRANET, Gemma 4를 사용하는 GKE Autopilot 클러스터에서 자세히 알아보세요.
안내 가이드: GPU가 아닌 TPU에서 Ray를 실행하는 방법을 알아봅니다. 이 2부작 시리즈의 1부에서는 TPU 슬라이스에 대해 설명하고(힌트: Ray는 이를 일정 예약이 가능한 또 다른 가속기로 간주함), Ray의 다양한 AI 라이브러리를 살펴봅니다 (2부).
안내 가이드: 기기가 이론적인 성능 사양을 달성하는지 정확하게 평가하고 특정 성능 격차 또는 아키텍처별 병목 현상을 식별하는 데 도움이 되는 새로운 마이크로벤치마크 제품군을 사용하여 샘플 워크로드에 대한 TPU를 평가합니다. 여기에서 자세히 알아보세요.
안내 가이드: 예산에 부담을 주지 않고 에이전트를 확장하세요. GKE 에이전트 샌드박스와 포드 스냅샷을 통해 GKE 조정을 사용하여 고정된 컴퓨팅 공간에 더 많은 에이전트를 안전하게 패킹하는 방법을 알아보세요. 성능 최적화와 비용 최적화 중 무엇을 목표로 하든, 에이전트 효율성을 극대화하기 위해 어떤 설정을 어떻게 조정해야 하는지 알려드립니다.
기술적 청사진: Ironwood 기반 Mistral 3 Large 추론 최적화 자세히 알아보기. 이 블로그에서는 Google의 한 팀이 Google Ironwood(TPU v7x)에서 Mistral 3 대규모 MoE 모델의 추론을 최적화하여, 1.5배의 성능 향상을 이끌어낸 과정을 개략적으로 소개합니다. 이 팀은 하이브리드 샤딩을 적용하고, 선형 VPU 합산을 트리 축소 방식으로 대체했으며, GMM/MLA 커널 최적화와 비동기 스케줄링 도입을 통해 이를 실현했습니다. 그 결과, 벤치마크 정확도에는 영향을 주지 않으면서도 처리량을 최대 48%까지 끌어올리는 성과를 거두었습니다. 블로그 전체 내용은 여기에서 확인하세요.

연구, 보고서, 심층 분석

보고서: Google은 최초로 발표된 GartnerⓇ Magic Quadrant™ AI 인프라 부문에서 리더로 선정되었으며, '실행 능력'에서 가장 높은 평가를 받고 '비전의 완전성'에서 가장 앞선 위치를 차지했습니다. Gartner는 Google의 독점적인 확장형 컴퓨팅, 통합 AI 하이퍼컴퓨터 아키텍처, AI 컴퓨팅 용량의 규모를 주요 강점으로 꼽았습니다. 여기에서 사본을 다운로드하세요.
보고서: Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 AI 인프라 현황 보고서를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83%는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다. 함께 제공되는 블로그를 읽고 에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 어떤 도움이 되는지 알아보세요.

2026년 6월

제품, 기술, 도구 업데이트

제품 변경사항: AI에 사용되는 민감한 정보를 보호하는 것은 안전한 고급 클라우드 인프라의 핵심입니다. 컨피덴셜 컴퓨팅은 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE) 내에서 사용 중인 데이터를 암호화하여 보호하고 검증 가능한 데이터 무결성을 제공합니다. 이 기능은 이제 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU가 탑재된 가속기 최적화 G4 머신 시리즈에서 이용 가능합니다. 컨피덴셜 G4 VM 및 컨피덴셜 G4 GKE 노드를 지금 바로 이용해 보세요.
개발자 리소스: 새로운 TPU 개발자 허브는 모델 빌더, 최적화 전문가, 개발자가 Google Cloud TPU의 성능을 최대한 활용하는 방법을 배울 수 있는 공간입니다. 자세한 내용은 이 블로그를 참고하세요.
새로운 제품: 새로운 OpenTelemetry 기반 TPU AI 원격 분석 수집기 에이전트를 사용하여 AI 워크로드를 확장하세요. 이제 사상 처음으로 정밀한 TPU 하드웨어 원격 분석 데이터를 Google Cloud Monitoring, Google Managed Prometheus 또는 자체 호스팅 Grafana 스택으로 바로 전송할 수 있습니다.

실무자 가이드 및 방법

안내 가이드: TPU, Cloud Storage FUSE, 동적 리소스 할당(DRA)을 사용하여 GKE Inference Gateway에서 실행되는 AI 추론 워크로드에 고가용성을 빌드하는 방법을 알아봅니다. 이 블로그에서 전반적인 내용을 살펴보거나, 실습 Codelab을 통해 모든 기술적 세부정보를 직접 익혀볼 수 있습니다.
안내 가이드: 모델 컨텍스트 프로토콜(MCP)을 통해 AI 에이전트를 Cloud Storage의 비정형 데이터에 연결할 수 있다는 사실을 알고 계셨나요? 이 블로그에서는 세 가지 고객 사례를 통해 왜 이러한 연결이 필요한지 살펴보고, 완전 관리형 서비스나 제어 및 맞춤설정의 폭이 넓은 자체 관리형 로컬 서버 중 나에게 맞는 방식을 선택해 구현하는 방법을 알아봅니다.

연구, 보고서, 심층 분석

보고서: 독립적인 벤치마크 보고서에 따르면, GKE Inference Gateway는 업계 선두의 다른 관리형 Kubernetes 서비스와 비교해 처리량은 15.7% 더 높고, 대기 시간은 92.8% 더 짧으며, 토큰 간 지연 시간은 62.6% 더 낮은 압도적인 성능을 기록했습니다. 이러한 압도적인 성능은 프리픽스 캐싱 기술 덕분입니다. 이 기술은 길고 반복되는 프롬프트 프리픽스의 KV 캐시(활성화 상태)를 저장함으로써 LLM 성능을 획기적으로 최적화합니다. 블로그에서 자세히 알아보세요.
아키텍처 심층 분석: TPU 및 GKE의 콜드 스타트 문제를 자세히 살펴보고 Run:ai Model Streamer가 어떻게 상황을 바꿀 수 있는지 알아봅니다.

고객 및 파트너 업데이트

고객 성공사례: Pager Health는 GKE, BigQuery, Cloud SQL, Gemini Enterprise Agent Platform을 활용하여 운영 단편화를 제거하고 간소화된 맞춤형 미국 의료 경험을 제공하여 삶을 변화시키고 있습니다.
고객 성공사례: 고객 리뷰 플랫폼인 Trustpilot은 Dataflow와 Gemini Enterprise Agent Platform을 통해 파인 튜닝된 Gemma 모델을 사용하여 대용량 스트리밍 파이프라인을 구축했습니다. 이 파이프라인은 비용 최적화된 A2 VM에서 A100 GPU를 사용해 실행되며, Gemini Enterprise Agent Platform에서 유지관리하는 최적화된 버전의 vLLM도 활용합니다.

2026년 5월

제품, 기술, 도구 업데이트

제품 변경사항: 이제 GKE Agent Sandbox가 정식 버전으로 제공됩니다.
새로운 오픈소스 프로젝트: Agent Substrate는 에이전트 인프라 밀도의 한계를 뛰어넘기 위해 새롭게 공개된 오픈소스 프로젝트입니다.
새로운 기능: 온디바이스 머신러닝(ML)을 대규모로 테스트하고 벤치마킹할 수 있는 솔루션인 Google AI Edge Portal이 이제 온디바이스 LLM의 벤치마킹과 디버깅을 지원합니다. 자세한 내용은 여기를 참고하세요.
제품 심층 분석: AI 워크로드를 위한 새로운 고성능 스토리지 제품군인 Cloud Storage Rapid를 심층적으로 살펴보았습니다. 출시 시점에는 고성능 영역 객체 스토리지 제품인 Rapid Bucket(이전 명칭: Rapid Storage)과 주문형 읽기를 가속화하고 기존 버킷의 워크로드를 위해 컴퓨팅과 데이터를 함께 배치하는 Rapid Cache(이전 명칭: Anywhere Cache)가 제공됩니다.

연구, 보고서, 심층 분석

아키텍처 심층 분석: Google 글로벌 인프라 부문 부사장 비카시 콜리와 엔지니어링 연구원 아르준 싱이 AI 워크로드가 네트워크 인프라에 미치는 영향을 개괄적으로 설명하고, 이를 더 효과적으로 지원하기 위해 데이터 센터 패브릭, WAN, 글로벌 네트워크에 적용한 심층적인 개선사항을 논의합니다.
아키텍처 심층 분석: 인스턴스 수준의 안정성 방식에서 벗어나, TPU 기반 프런티어 AI 모델 개발을 위한 새로운 클러스터 수준 안정성 모델을 공개했습니다.

고객 및 파트너 업데이트

고객 성공사례: 시각 미디어 제공업체인 Imgix는 NVIDIA RTX PRO 6000 Blackwell GPU 기반 G4 VM이 탑재된 AI 하이퍼컴퓨터에서 80억 개 이상의 이미지와 동영상을 제공합니다.

GKE CPU 시작 부스트: 과도한 프로비저닝 없는 앱 시작 가속화

Tue, 13 Oct 2026 02:00:00 +0000

갑작스러운 트래픽 급증에 대응하여 마이크로서비스를 시작하거나, 새로운 소프트웨어 버전을 배포하거나, 애플리케이션 복제본을 확장하는 등의 경우, Google Kubernetes Engine(GKE)에서 실행 중인 애플리케이션에 신속하고 반응성이 뛰어난 사용자 환경을 제공하려면 포드 시작 시간이 중요합니다.

하지만 플랫폼 엔지니어와 개발자는 애플리케이션이 안정 상태에서 작동할 때보다 시작 시 훨씬 더 많은 CPU 성능을 요구할 때가 많다는 고질적인 딜레마에 직면해 있습니다. 안정 상태의 일반적인 사용량에 맞춰 CPU 요청량을 설정하면 실행 시 CPU 제한이 발생하여 콜드 스타트가 느려지고 준비 여부 프로브에서 제한 시간 초과가 발생할 수 있습니다. 반대로, 단기적인 시작 버스트를 충족하기 위해 기본 CPU 요청을 과도하게 프로비저닝하면 귀중한 컴퓨팅 리소스가 낭비되고 인프라 비용이 증가합니다.

오늘 GKE용 CPU 시작 부스트 프리뷰 버전을 발표하게 되어 기쁩니다. CPU 시작 부스트는 GKE의 수직형 포드 자동 확장 처리(VPA)에 바로 통합되어 초기 설정 중에는 컨테이너의 CPU 할당량을 동적으로 높이고 애플리케이션이 준비되면 기준이 되는 안정 상태 수준으로 원활하게 다시 축소합니다. 이 모든 과정에서 컨테이너를 다시 시작할 필요는 없습니다.

현대화된 애플리케이션 부팅 시 추가 CPU가 필요한 이유

새 컨테이너가 시작되면 사용자 요청을 처리하기 전에 리소스 집약적인 초기 설정 작업을 수행하는 경우가 있습니다. 사용하는 기술 스택에 따라 다르지만 다음과 같은 시작 워크로드에는 상당한 CPU 주기가 필요합니다.

Java JVM 애플리케이션: Spring Boot와 같은 프레임워크는 클래스 로드, 클래스 경로 스캔, 종속 항목 삽입 컨테이너 인스턴스화, 적시(Just-In-Time) 컴파일 실행을 위해 높은 CPU 버스트 용량이 필요합니다.
Node.js 서버: 앱은 초기 실행 시 JavaScript 파일을 파싱하고 복잡한 모듈 종속 항목 트리(require/import)를 빌드하며 V8 엔진 최적화 및 JIT 컴파일 패스를 실행합니다.
Python 및 AI/ML 마이크로서비스: 이러한 서비스는 초기 주기를 사용하여 PyTorch, NumPy, LangChain과 같은 대규모 라이브러리를 가져오고, .pyc 바이트 코드를 컴파일하고, ORM 데이터베이스 스키마를 설정하고, 캐시 구조를 사전 로드합니다.

CPU 요청 규모를 안정 상태의 성능에만 맞춰 설정하면 이러한 초기 설정 워크로드가 시작 시 CPU 제한을 겪게 되어 준비 여부 프로브가 지연됩니다. 느린 콜드 스타트를 방지하기 위해 팀에서는 CPU 요청을 과도하게 프로비저닝하는 경우가 많습니다. 하지만 애플리케이션이 안정화된 후에는 추가 CPU 리소스가 유휴 상태가 되어 아무런 가치도 창출하지 못한 채 클라우드 비용만 증가시킵니다.

CPU 시작 부스트의 작동 방식

CPU 시작 부스트는 워크로드 시작 중에 일시적으로 vCPU를 '부스트'하고 초기 설정이 완료되면 자동으로 기본 수준으로 되돌려 이 문제를 해결합니다.

주요 이점:

콜드 스타트 속도 향상: 애플리케이션 초기 설정 시간을 최대 2배 단축하여 예상치 못한 트래픽 급증 시 자동 확장 반응 속도를 높입니다.
클라우드 지출 최적화: 시작 시에만 필요해 유휴 상태에 있는 용량에 비용을 지불하는 대신 실제 런타임 니즈에 맞게 안정 상태의 CPU 요청을 적정 규모로 설정할 수 있습니다.
포드 재시작 불필요: 실행 중인 컨테이너 내에서 리소스 크기가 동적으로 조정됩니다.
유연한 정책 제어: 간단한 포드 수준의 배수(예: 시작 시 CPU 2배)를 적용하거나 복잡한 멀티 컨테이너 포드에 컨테이너별로 세분화된 규칙을 정의할 수 있습니다.

내부 작동 방식: Kubernetes 인플레이스 포드 크기 조절

기존에는 포드의 리소스 요청이나 한도를 변경하려면 포드를 삭제하고 다시 생성해야 했습니다. 이 과정에서 컨테이너가 다시 시작되고 캐시가 무효화되며 노드 재스케줄링에 따른 오버헤드가 발생했습니다.

이 문제를 해결하기 위해 CPU 시작 부스트는 Kubernetes 인플레이스 포드 크기 조절(IPPR)을 기반으로 합니다.

KEP-1287을 통해 추적되는 IPPR은 동적인 인플레이스 리소스 변환 기능을 도입했습니다. IPPR은 Kubernetes 1.27에서 알파 버전으로 처음 도입되고 v1.33에서 베타로 승격되었으며 v1.35에서 정식 버전(GA)으로 전환되었습니다. 이 기능을 사용하면 Kubernetes 컨트롤 플레인과 kubelet이 컨테이너 프로세스를 다시 시작하지 않고도 실행 중인 포드의 컨테이너 CPU와 메모리 요청을 업데이트할 수 있습니다.

GKE는 VPA 내에서 IPPR을 활용하여 포드 승인 시 시작 CPU 부스트를 적용하고 준비 후에는 원활하게 단계적으로 축소합니다.

CPU 시작 부스트 작동 방식(포드 수명 주기 개요)

CPU 시작 부스트는 세 가지 단계로 작동합니다.

승인 단계: 포드를 배포하면 VPA 승인 웹훅이 생성 요청을 가로챕니다. 정책(예: 2배수 또는 +2 vCPU)에 따라 상향 조정된 CPU 요청을 계산하고 추적용 주석과 함께 이 상향된 CPU 요청을 포드 사양에 삽입합니다.
시작 단계: 부스트된 CPU 할당량으로 포드가 예약되고 초기 설정됩니다. 애플리케이션은 CPU 제한 없이 최대 속도로 클래스 로딩, JIT 컴파일, 모듈 파싱을 완료합니다.
부스트 해제 단계: 포드의 readinessProbe를 통과하고 설정된 durationSeconds 대기 시간이 경과되는 즉시 VPA 업데이터가 인플레이스 크기 조절 요청을 실행합니다. CPU 요청이 기본 수준으로 다시 낮아지며 그와 동시에 컨테이너는 중단 없이 계속 실행됩니다.

기본 요건 및 가용성

CPU 시작 부스트는 현재 GKE에서 프리뷰 버전으로 제공됩니다.

GKE 버전: Standard 및 Autopilot 클러스터의 1.36.0-gke.4447000 버전 이상
클러스터 모드: GKE Autopilot에서 기본적으로 사용 설정됩니다(VPA는 기본적으로 활성화됨). GKE Standard에서는 수직형 포드 자동 확장(VPA)이 사용 설정되어 있는지만 확인하면 됩니다.
워크로드 지원: Deployments 및 StatefulSet를 비롯한 표준 Kubernetes 컨트롤러에서 작동합니다.

시작하기: CPU 시작 부스트 구성

CPU 시작 부스트를 구성하려면 VerticalPodAutoscaler 매니페스트에 startupBoost 섹션을 추가하기만 하면 됩니다.

예시 1: 고정된 안정 상태를 사용하는 포드 수준 부스트(`updateMode: "Off"`)

안정 상태 CPU 요청은 매니페스트 정의에 고정한 상태로 VPA를 시작 부스트 용도로만 사용하려면 updateMode를 "Off"로 설정하세요.

code_block: <ListValue: [StructValue([('code', 'apiVersion: "autoscaling.k8s.io/v1"\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n name: java-app-startup-boost\r\n namespace: default\r\nspec:\r\n targetRef:\r\n apiVersion: "apps/v1"\r\n kind: Deployment\r\n name: java-app\r\n updatePolicy:\r\n updateMode: "Off"\r\n startupBoost:\r\n cpu:\r\n type: "Factor"\r\n factor: 2\r\n durationSeconds: 10'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f2dc53d5a10>)])]>

이 예시에서 GKE는 시작 중에 컨테이너의 CPU 요청을 2배 늘리고, 준비 여부 프로브 통과 후 10초간 부스트된 할당량을 유지한 다음 기본 수준으로 다시 줄입니다.

예시 2: 시작 부스트와 지속적인 VPA 자동 확장의 결합

GKE가 시작 중에 CPU를 부스트하고 시작 후에도 안정 상태의 리소스를 지속적으로 최적화하도록 하려면 updateMode를 "InPlaceOrRecreate"로 설정하세요.

code_block: <ListValue: [StructValue([('code', 'apiVersion: "autoscaling.k8s.io/v1"\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n name: nodejs-app-vpa\r\n namespace: default\r\nspec:\r\n targetRef:\r\n apiVersion: "apps/v1"\r\n kind: Deployment\r\n name: nodejs-service\r\n updatePolicy:\r\n updateMode: "InPlaceOrRecreate"\r\n startupBoost:\r\n cpu:\r\n type: "Factor"\r\n factor: 3\r\n durationSeconds: 15'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f2dc4ceef10>)])]>

예시 3: 세분화된 컨테이너 수준 부스트

부팅 시 추가 CPU가 필요하지 않은 사이드카(예: Logging 에이전트 또는 서비스 메시 프록시)를 실행하는 포드의 경우 특정 앱 컨테이너를 타겟팅할 수 있습니다.

code_block: <ListValue: [StructValue([('code', 'apiVersion: "autoscaling.k8s.io/v1"\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n name: app-container-boost\r\nspec:\r\n targetRef:\r\n apiVersion: "apps/v1"\r\n kind: Deployment\r\n name: API-gateway\r\n updatePolicy:\r\n updateMode: "Off"\r\n resourcePolicy:\r\n containerPolicies:\r\n - containerName: "web-app"\r\n mode: "Off"\r\n startupBoost:\r\n cpu:\r\n type: "Quantity"\r\n quantity: "2"\r\n durationSeconds: 5'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f2dc4cec510>)])]>

클러스터에서 시작 부스트 확인

kubectl을 사용하여 GKE가 시작 부스트를 적용한 후 다시 축소했는지 확인할 수 있습니다.

1. 포드 주석 검사: vpaCpuStartupBoost 추적 주석을 확인합니다.

code_block: <ListValue: [StructValue([('code', 'kubectl get pod <POD_NAME> -o yaml'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f2dc66a3390>)])]>

기본 CPU 요청과 부스트된 CPU 요청을 나타내는 주석을 찾습니다.

2. 인플레이스 크기 조절 이벤트 모니터링: GKE가 준비 상태가 된 후 CPU 요청을 다시 기본 수준으로 축소했는지 확인합니다.

code_block: <ListValue: [StructValue([('code', 'kubectl get events --field-selector reason=InPlaceResizedByVPA'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f2dc66a2bd0>)])]>

프로덕션 워크로드 권장사항

수평형 포드 자동 확장 처리(HPA)와 함께 사용: CPU 시작 부스트와 함께 HPA를 사용하는 경우 안정적인 readinessProbe를 정의하고 durationSeconds를 짧게 유지하세요(예: 0초~10초). 이렇게 하면 HPA가 초기 설정 중 발생하는 CPU 급증을 안정 상태의 높은 부하로 오인하는 것을 방지할 수 있습니다.
GKE Capacity Buffers API로 트래픽 급증 처리: 대규모 환경에서 시작에 따른 리소스 부담을 줄이면 더 적은 수의 노드에서 더 높은 워크로드 밀도를 달성하여 전반적인 활용률을 높일 수 있습니다. 엄격한 SLO를 유지하면서 운영 오버헤드를 최소화하고 갑작스러운 트래픽 급증을 흡수하려면 GKE capacity buffers API 도입을 고려해 보세요.
GKE Autopilot 리소스 비율: GKE Autopilot에서는 포드가 유효한 CPU 대 메모리 비율을 유지해야 합니다. 기본 메모리 할당량이 시작 시 부스트된 CPU 비율을 수용할 수 있는지 확인하세요.

지금 시작하기

CPU 시작 부스트를 사용하는 GKE 사용자는 Java, Node.js, Python과 같은 CPU 집약적인 워크로드에서 매우 빠른 콜드 스타트를 구현하는 동시에 리소스 효율성을 극대화하고 클라우드 비용을 절감할 수 있다는 두 가지 이점을 모두 누릴 수 있습니다.

GKE 워크로드의 시작 속도를 높일 준비가 되셨나요?

GKE CPU 시작 부스트 문서를 살펴보세요.
GKE의 수직형 포드 자동 확장에 대해 자세히 알아보세요.
GKE 1.36.0-gke.4447000 이상을 실행하는 GKE Standard 또는 Autopilot 클러스터에서 CPU 시작 부스트를 사용해 보세요.

스토리지 최적화 Z4D 머신 계열 정식 버전 출시, IO 집약적 워크로드를 위해 설계

Thu, 08 Oct 2026 02:00:00 +0000

오늘 Google Cloud는 가상 머신(VM) 및 베어메탈 인스턴스를 모두 지원하는 Google Compute Engine의 차세대 스토리지 최적화 Z4D 머신 시리즈를 정식 버전으로 출시합니다.

Z4D는 SQL, NoSQL, KVrocks, 벡터 데이터베이스, 데이터 분석, 데이터 검색 등 대규모 로컬 스토리지 용량과 높은 스토리지 성능이 필요한 IO 집약적이고 비즈니스 크리티컬한 워크로드를 위해 빌드되었습니다. 5세대 AMD EPYC 프로세서(Turin)를 기반으로 하며 Titanium의 최신 개선사항과 결합된 Z4D는 최대 84,000GiB의 로컬 SSD(LSSD) 스토리지를 제공합니다. 이전 세대 Z3 인스턴스에 비해 까다로운 워크로드의 성능을 최대 40% 향상하므로 클라우드 투자를 적절한 규모로 조정하면서 애플리케이션 처리량을 늘릴 수 있습니다. 또한 Z4D의 대규모 LSSD 용량은 AI/ML 학습 및 추론 워크로드와 대규모 분산 병렬 파일 시스템 실행을 위한 강력한 스토리지 솔루션입니다.

Z4D VM 및 베어메탈 인스턴스

Z4D VM 포트폴리오는 대규모 총 로컬 SSD 용량과 vCPU당 높은 로컬 SSD 용량을 제공하여 인프라를 적절한 규모로 조정하고 워크로드 요구사항에 맞게 클러스터를 확장할 수 있도록 지원합니다. Z4D는 두 가지 VM 유형을 제공합니다. Z4D-highmem-standardlssd VM 유형은 7가지 VM 형태를 포함하며 vCPU당 219GiB의 LSSD를 제공합니다. 이러한 VM은 데이터 분석(OLAP)과 MySQL 및 Postgres와 같은 SQL 데이터베이스에 최적화되어 있습니다. Z4D-highmem-highlssd VM 유형에는 7가지 VM 형태가 포함되며, vCPU당 438GiB의 LSSD를 제공하고 분산 데이터베이스, 데이터 스트리밍, 대규모 병렬 파일 시스템, 데이터 검색에 최적화되어 있습니다. 또한 Z4D 클러스터로 확장하여 기존 Z3 기반 워크로드를 쉽게 확장할 수 있습니다.

Z4D 베어메탈 인스턴스를 사용하면 가상화 레이어 없이 물리적 하드웨어에 직접 액세스할 수 있습니다. 이를 통해 지연 시간에 민감한 워크로드, 커스텀 하이퍼바이저, 특정 라이선스 요구사항이 있는 워크로드의 지연 시간을 줄일 수 있습니다. 또한 Z4D 베어메탈은 여러 클라우드 제공업체에서 작동하는 하이브리드 멀티 클라우드 플랫폼인 Nutanix Cloud Clusters(NC2)를 지원하는 최초의 AMD 기반 인스턴스가 될 것입니다. Z4D 베어메탈 인스턴스는 마이크로 VM을 사용하는 에이전트 AI 아키텍처에 필요한 LSSD 용량과 짧은 지연 시간을 제공하므로 개발자는 호스트당 수천 개의 격리된 샌드박스를 네이티브 성능과 효율성으로 실행할 수 있습니다.

Z4D VM 및 베어메탈 인스턴스는 84,000GiB의 로컬 SSD 스토리지 외에도 최대 384개의 vCPU와 최대 3,072GiB의 메모리를 제공합니다. Z4D 인스턴스는 Titanium SSD를 기반으로 하며, CPU 리소스에서 로컬 스토리지 처리 작업을 오프로드하여 실시간 데이터 처리, 짧은 지연 시간, 높은 처리량의 스토리지 성능, 향상된 스토리지 보안을 제공합니다. Z4D는 최대 15,600K의 무작위 읽기 IOPS와 최대 75,600MiB/s의 순차 읽기 처리량을 제공하여 LSSD 스토리지 성능을 Z3 대비 최대 70% 향상합니다. 또한 Z4D는 Z3에 비해 IO 지연 시간을 늘리지 않고도 쓰기 지연 시간을 최대 25% 줄이고 혼합 읽기-쓰기 IOPS를 최대 30% 개선합니다. 동시에 Z4D 인스턴스는 Z3에 비해 네트워킹 처리량을 두 배로 늘리고 최대 400Gbps의 표준 네트워킹 대역폭을 제공하여 엔터프라이즈 및 AI/ML 워크로드에 필요한 연결 및 스토리지 성능을 제공합니다.

고객 및 파트너 반응

"Elastic은 관측 가능성, 보안, 검색, AI 솔루션을 지원하는 Elasticsearch Platform을 통해 동급 최고의 성능을 제공하기 위해 최선을 다하고 있습니다. 이러한 워크로드를 대규모로 실행하는 팀에는 성능과 비용 효율성이 매우 중요합니다. 새로운 Z4D 가상 머신에 대한 초기 테스트 결과, 이전 세대 Z3 VM에 비해 색인 생성 처리량이 최대 50% 향상된 것으로 나타났습니다. Google Cloud에 배포하는 Elasticsearch 사용자에게 이러한 이점을 제공할 수 있기를 기대합니다." - 유브라지 굽타, Elastic 수석 제품 관리자

"Z4D 인스턴스로 마이그레이션한 후 처리 런타임이 약 70% 단축되었고 전체 비용도 절감되었습니다. 이러한 개선을 통해 Immunai는 대규모 면역 데이터를 훨씬 더 빠르게 처리하고 이를 생물학적 인사이트로 전환하여 제약 회사가 신약 발견 및 개발 전 과정에서 더 많은 정보에 입각한 결정을 내릴 수 있도록 지원합니다." - 가이 야크다브, Immunai 소프트웨어 엔지니어링 부문 전무이사

"Google Cloud와의 기술 협력을 확대하고 AMD와의 전략적 파트너십을 강화하여 새로운 Z4D 베어메탈 인스턴스에 Nutanix Cloud Clusters(NC2)를 도입하게 되어 기쁩니다. Z4D 기반 NC2는 NC2가 지원되는 최초의 AMD 메탈 인스턴스로서, 고객에게 중요한 이정표가 될 것입니다. AMD의 최첨단 컴퓨팅 성능과 Google Cloud의 강력한 인프라, Nutanix 하이브리드 클라우드 플랫폼을 결합하여 전례 없는 유연성, 확장성, 선택권을 제공함으로써 엔터프라이즈 워크로드를 지원하고 있습니다." - 사빈 파칼라, Nutanix 제품 관리 부문 부사장

"Redis는 전 세계 수천 개 조직에서 실시간 데이터 인프라와 AI 워크로드를 지원합니다. Flex는 이를 더 큰 데이터 세트로 확장하여 RAM만 사용하는 경제성을 제공합니다. 로컬 SSD는 규모를 처리하고 메모리는 속도를 제공합니다. Google Cloud의 새로운 Z4D 스토리지 최적화 VM을 동일한 플래시 집약적 워크로드에서 Flex 벤치마크 제품군을 사용하여 현재 세대 C3D 인스턴스와 비교했습니다. 결과는 인상적이었습니다. 소규모 형태에서 처리량이 최대 4.3배 더 높고 지연 시간은 최대 77% 더 낮았습니다. Z4D는 또한 전체 RAM 적중률에서 초당 약 180만 건의 작업을 유지했습니다. 플래시에서 제공하는 데이터가 많을수록 이점이 더 커졌으며, 이는 Flex가 설계된 목적과 정확히 일치합니다. Z4D는 더 작은 리소스 사용량으로 동일한 성능 등급을 제공할 수 있는 명확한 길을 열어주며, Z4D가 정식 버전으로 출시됨에 따라 테스트를 확장할 수 있기를 기대합니다." - 벤자민 르노, Redis CTO

"Shopify는 자사 Fleet에 가장 적합한 솔루션을 모색하고 있으며, Z4D는 빠른 로컬 연결 스토리지 및 빠른 네트워킹과 함께 높은 CPU 밀도를 제공합니다. Shopify의 사용자 경험은 데이터 제공 속도에 달려 있으며, AI 쇼핑 에이전트는 사람보다 훨씬 더 적극적으로 스토어프론트를 쿼리합니다. 이러한 인스턴스 형태는 이를 따라잡을 수 있는 처리량을 제공합니다. Z4D는 Z3보다 처리량이 약 20% 더 향상된 것을 확인했습니다." - 브래드 디트리히, Shopify 수석 엔지니어

"Google의 Z4D VM은 상당한 도약을 이뤄냈습니다. 테스트 결과, 이전 Gen 2 VM보다 최대 60% 더 우수한 성능을 보였으며 Z3 VM보다 최대 36% 더 우수한 성능을 보였습니다. Z4D는 높은 로컬 SSD 밀도와 강력한 비용 효율성, 향상된 시스템 안정성을 통해 Silk 고객에게 가장 까다로운 워크로드에 대해 더 빠르고 예측 가능한 성능을 제공합니다." - 아딕 소콜로브스키, Silk 최고 R&D 책임자

"AI를 페타바이트 규모의 최신 데이터와 연결하면 그 어느 때보다 더 많은 검색을 수행할 수 있습니다. 새로운 Z4D 인스턴스 유형을 도입하게 되어 기쁩니다. Z3와 비교했을 때 실제 쿼리 및 색인 생성 워크로드에서 처리량이 40% 개선되었으며, 이는 고객에게 더 빠르고 저렴한 웹 규모 검색을 제공하는 것으로 직접 이어집니다." - 벤 린세이, turbopuffer 엔지니어

향상된 유지보수 경험

Z4D VM과 베어메탈 인스턴스 모두 필요한 유지보수 며칠 전에 시스템에서 알림을 제공하므로 사용자가 미리 계획을 세우고 원하는 시간에 유지보수 작업을 예약하기가 더 쉽습니다. Z4D VM은 42,000GiB 이하의 로컬 SSD 스토리지를 사용하는 VM의 유지보수 이벤트 중에 인스턴스를 라이브 마이그레이션할 수 있도록 지원하여 유지보수 경험을 한층 더 개선합니다. 84,000GiB의 로컬 SSD가 있는 Z4D VM과 Z4D 베어메탈 인스턴스는 계획된 유지보수 이벤트 중에 데이터를 보존한 상태로 종료되고 다시 시작됩니다.

Hyperdisk 지원

Z4D VM 및 베어메탈은 각 인스턴스의 스토리지 성능과 용량을 독립적으로 조정하여 각 워크로드의 성능을 최적화할 수 있는 Google Cloud의 워크로드 최적화 블록 스토리지인 Hyperdisk를 지원합니다.

특히 확장 가능한 고성능 네트워크 연결 스토리지를 위한 Hyperdisk Balanced, Hyperdisk Throughput, Extreme Hyperdisk 스토리지와 호환되며 인스턴스당 최대 512TiB의 용량을 지원합니다. 범용 워크로드의 경우 인스턴스당 최대 320K IOPS를 제공하는 Hyperdisk Balanced가 성능과 비용 효율성을 모두 충족합니다. Hyperdisk Extreme은 매우 짧은 지연 시간을 제공하며 Z4D VM 및 베어메탈 인스턴스당 최대 500K IOPS 및 12,500MiB/s 처리량을 지원하므로 까다로운 데이터베이스 워크로드에 적합합니다.

지금 바로 Z4D를 사용해 보세요

Z4D VM은 현재 전 세계 일부 리전에서 사용할 수 있으며 Z4D 베어메탈 인스턴스는 프리뷰 버전으로 제공됩니다. 자세한 정보와 액세스 권한은 담당 계정팀에 문의하세요. Z4D 인스턴스 사용을 시작하려면 Google Cloud 콘솔에서 새로운 VM 또는 GKE 노드 풀을 생성할 때 스토리지 최적화 머신 계열에서 Z4D를 선택하세요. Z4D 머신 시리즈 페이지에서 자세히 알아보세요. 리전별 사용 가능 여부에 대한 자세한 내용은 Google Cloud 영업 담당자에게 문의하세요.

AI 인프라를 위한 동적 용량 관리

Fri, 02 Oct 2026 04:00:00 +0000

인터넷은 수십억 명의 사람과 모바일 기기를 연결하여 모든 사람의 손에 컴퓨터를 쥐여주었습니다. 이제 우리는 다음 번의 큰 기술 변화의 한가운데에 있으며, 수백만 개의 자율 AI 에이전트를 배포하여 직원 및 최종 사용자와 함께 작업하고 있습니다. 오늘 Google Cloud는 조직이 프로젝트 수준의 AI 지출을 관리하고 토큰 쇼크를 없앨 수 있도록 돕는 Gemini Enterprise용 새로운 FinOps 제어 기능을 발표했습니다. 하지만 에이전트 시대의 엄청난 규모로 인해 인프라를 포함한 스택의 모든 레이어에 새로운 제약이 가해지고 있습니다. AI 워크로드는 아키텍처를 설계하기가 어렵고 리소스 집약적이며 버스트가 잦은 것으로 악명이 높습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용된 컴퓨팅 리소스가 대량으로 발생할 수 있습니다.

조직은 인프라 투자에서 더 많은 가치를 추출하는 데 도움이 되는 인사이트가 필요합니다. 이 블로그에서는 예측 가능한 비용과 성능으로 단일의 유연한 기반에서 엔터프라이즈 및 AI 애플리케이션을 실행하는 데 도움이 되는 동적 용량 관리 , 즉 예약 및 활용 전략에 대한 권장사항을 소개합니다. 이러한 기능은 워크로드에 유연한 가격 책정 및 할인을 제공하는 주문형, 스팟, 약정 사용 할인 (CUD) 소비 모델을 보강하도록 설계되었습니다. 그럼 시작하겠습니다.

간단한 요약

동적 용량 관리를 구현하는 세 가지 방법:

계획된 이벤트의 용량을 예약합니다. 캘린더 모드를 사용하여 계획된 이벤트에 앞서 미션 크리티컬 리소스 (GPU, TPU, 일부 VM 제품군)를 예약하거나, 동적 워크로드 스케줄러의 flex-start 모드를 사용하여 시작 시간이 유연한 일괄 작업의 비용을 최적화할 수 있습니다. 용량을 확보하면 해당 리소스는 지정된 기간 동안 보장됩니다.
모든 애플리케이션에 대한 대체 계획을 수립하여 서비스 연속성을 유지합니다. 관리형 인스턴스 그룹 (MIG)을 사용하여 자동화된 우선순위 지정 하드웨어 대체 목록을 정의하면 선호하는 옵션을 사용할 수 없을 때 앱이 자동으로 다음 승인된 컴퓨팅 옵션으로 전환됩니다.
단일 적응형 컨트롤 플레인에서 전체 용량 관리 수명 주기를 자동화합니다. Google Kubernetes Engine (GKE)은 커스텀 컴퓨팅 클래스를 사용하는 폴백 목록부터 동적 리소스 할당을 통한 세분화된 하드웨어 슬라이싱에 이르기까지 전체 프로세스를 조정하는 에이전트 네이티브 환경을 제공하므로 에이전트는 안전한 샌드박스와 컨테이너에서 빠르게 스핀업할 수 있으며, GKE는 즉시 리소스를 동적으로 재할당합니다.

아키텍처 유연성이 중요한 이유

기업의 90%가 향후 3년 내에 에이전트를 배포하기를 원하지만, 현재 IT 설정으로 부하를 처리할 수 있다고 확신하는 IT 리더는 17%에 불과합니다. 이러한 워크로드에는 고유한 성능 요구사항이 있으므로 조직에서는 가속기 (GPU, TPU)와 맞춤형 컴퓨팅, 메모리, 스토리지 비율을 갖춘 CPU를 포함한 특수 인프라를 도입하기 위해 경쟁하고 있습니다. 그러나 에이전트는 엔터프라이즈 애플리케이션과 데이터베이스에 액세스해야 하며, 그 양과 규모는 일반적인 인간 사용량을 훨씬 초과하는 경우가 많습니다. 에이전트와 에이전트가 상호작용하는 애플리케이션의 높은 수요를 처리하려면 동적 인프라가 필요합니다. 인프라팀은 이러한 요구사항을 충족하기 위해 Google의 Axion과 같은 맞춤 설계된 프로세서를 활용할 수 있지만 하드웨어만으로는 완전한 솔루션이 될 수 없습니다. 또한 인프라를 현명하게 사용하고 실행 비효율성을 해결하여 스택 전반에 걸쳐 더 많은 유연성을 확보할 수 있는 방법도 필요합니다.

인프라 제약 극복 방법

이러한 유연성을 확보하려면 예측 가능한 수요에 대한 리소스를 확보하고 예측할 수 없는 수요에 대응하기 위한 자동화를 구축하는 두 가지 접근방식이 필요합니다. 이 두 가지를 결합하면 계획된 이벤트에 대한 용량을 미리 예약할 수 있으며 인프라가 수동 개입 없이 예상치 못한 변경사항에 적응할 수 있습니다.

1. 예정된 이벤트의 용량 예약

동적 워크로드 스케줄러를 사용하면 예정된 마일스톤, 오프라인 학습 또는 예상되는 수요 급증에 앞서 미션 크리티컬 용량을 확보할 수 있습니다. 필요한 리소스를 미리 예약하면 지출을 최적화하고 필요한 컴퓨팅 리소스에 액세스할 수 있습니다. 동적 워크로드 스케줄러는 하드웨어 가속기 (TPU 및 GPU)와 일부 CPU를 두 가지 모드로 지원합니다.

Flex-start 모드: 일괄 처리, 모델 학습, 오프라인 미세 조정과 같이 지연 시간에 덜 민감한 워크로드에 사용합니다. 리소스를 즉시 요청하는 대신 정의된 기간 요청을 제출하면 시스템이 작업을 지능적으로 큐에 추가하고 용량이 확보되는 즉시 리소스를 프로비저닝합니다. 이를 통해 비용 효율성을 극대화하고 수요가 높은 가속기를 확보할 수 있는 능력을 크게 향상할 수 있습니다.
캘린더 모드: 주요 제품 출시, 예정된 마이그레이션, 계절적 트래픽 급증과 같이 시간 제약이 있는 미션 크리티컬 이벤트에 사용합니다. 이벤트의 정확한 시작일과 종료일을 지정하면 미래용 예약이 생성됩니다. 이렇게 하면 이벤트가 시작될 때 요청된 용량을 사용할 수 있습니다.

2. 모든 애플리케이션에 대한 대체 계획을 수립하여 서비스 연속성 유지

모든 트래픽 급증을 예측할 수 있는 것은 아닙니다. 또한 속보나 갑작스러운 시장 변화로 인해 사용자 활동이 급증하는 등 예상치 못한 트래픽에 대비한 계획도 세워야 합니다. 서비스가 중단 없이 필요한 리소스를 확보하려면 허용 가능한 하드웨어 구성의 자동화된 우선순위 시퀀스인 대체 계획이 필요합니다. 이 전략은 다음과 같은 이점이 있습니다.

단일 VM 유형, 크기 또는 구성에서 워크로드를 분리합니다. 이러한 광고는 선호하는 옵션을 사용할 수 없는 경우 수동 개입 없이 실행할 수 있습니다.
최신 VM 세대를 기본 선택으로 채택하고 이전 세대를 자동 폴백 옵션으로 유지하여 점진적인 기술 새로고침을 실행할 수 있습니다.

Google Compute Engine에서 컨테이너화되지 않은 워크로드를 실행하는 경우 관리형 인스턴스 그룹 (MIG)의 인스턴스 유연성 과 대량 VM 생성을 통해 용량을 동적으로 관리할 수 있습니다. 인스턴스 유연성을 사용하면 단일 머신 유형으로 제한되지 않고 VM 인스턴스에 여러 머신 유형을 지정할 수 있습니다.

작동 방식: 선호하는 머신 유형을 일시적으로 사용할 수 없는 경우 MIG는 실시간 용량을 기반으로 목록에서 호환되는 대체 머신 유형을 자동으로 프로비저닝합니다. 리전 내에서 MIG가 검색할 수 있는 여러 영역을 지정하여 위치 유연성과 결합하면 프로비저닝 성공률을 크게 개선할 수 있습니다. MIG에서 스팟 VM을 사용하는 경우 Compute Engine은 스팟 용량 신호와 자동으로 통합되어 예상 가동 시간이 더 길고 선점 위험이 낮은 머신 유형의 우선순위를 지정합니다.

또한 기준 디스크 기본값을 설정하고 디스크 재정의를 구성하여 인스턴스 유연성을 블록 스토리지 계층으로 확장 할 수 있습니다. 이렇게 하면 VM이 다른 머신 유형으로 폴백될 때 스토리지가 이에 맞게 조정됩니다.

작동 방식: 대부분의 경우 인스턴스 템플릿에서 '디스크 유형'을 완전히 생략하고 기본 옵션을 사용하면 됩니다. 하지만 연결된 VM보다 수명이 긴 데이터 디스크의 경우 여러 VM 세대에 걸쳐 빠르고 내구성이 뛰어난 Hyperdisk를 사용 설정할 수 있습니다.

Compute Engine은 가상 머신을 사용하는 조직에 인스턴스 유연성을 제공하는 반면, GKE는 한 단계 더 나아가 단일 컨트롤 플레인에서 전체 용량 수명 주기를 자동화합니다. GKE 커스텀 ComputeClasses를 사용하면 플랫폼팀은 다차원 대체 목록을 설계하고, 다양한 VM 머신 계열, 크기, 비율을 자동으로 결합하고, 여러 영역에 걸쳐 확장하고, 주문형 VM과 스팟 VM 간에 전환할 수 있습니다. 동적 워크로드 스케줄러를 용량 타겟으로 사용하고 커스텀 ComputeClass를 사용하여 정책과 우선순위를 정의하면 용량 관리 수명 주기를 완전히 자동화할 수 있습니다.

작동 방식: ComputeClass를 설정하면 GKE가 선호하는 노드 구성을 사용할 수 없는 경우 자동으로 감지하고 우선순위에 따라 사전 승인된 대체 옵션으로 대체합니다. 활성 마이그레이션을 사용 설정하면 용량이 확보되는 즉시 GKE가 워크로드를 우선순위가 더 높은 노드 구성으로 정상적으로 마이그레이션합니다. 부팅 디스크와 같은 수명이 짧은 디스크의 경우 GKE는 인스턴스 계열에 따라 적절한 기본값을 동적으로 선택합니다. 하지만 VM보다 수명이 긴 장기 디스크의 경우 Hyperdisk를 사용할 수 있습니다.

또 다른 GKE 기능인 동적 리소스 할당은 개발자가 리소스 소비 방식을 결정하는 고급 규칙을 정의할 수 있도록 하여 낭비적인 전부 또는 전무 하드웨어 할당을 없애는 데 도움이 됩니다.

작동 방식: 애플리케이션이 전체 GPU 또는 TPU를 요청하는 대신 총 메모리 또는 코어 수와 같은 정확한 파라미터를 지정하면 시스템이 완벽한 하드웨어 슬라이스를 할당하여 사용률을 극대화하고 비용을 절감할 수 있습니다.

동적 인프라를 향한 다음 단계로 나아가세요

AI를 확장한다고 해서 인프라 예산을 선형적으로 확장하거나 기술 부채를 더 많이 축적해야 하는 것은 아닙니다. 이러한 예시에서 볼 수 있듯이 적절한 도구를 사용하면 제약사항을 극복하고 컴퓨팅 투자에서 얻는 가치를 획기적으로 바꿀 수 있습니다. 시작하는 방법은 다음과 같습니다.

워크로드를 감사하여 즉각적인 비용 절감 효과를 얻으세요. 현재 단일 VM 계열, 머신 유형 또는 가용성 영역에 긴밀하게 결합된 애플리케이션을 식별하고 실행 가능한 대체 하드웨어 구성을 매핑합니다. 기존 구성을 넘어 워크로드 수준의 목표에 따라 더 나은 서비스를 제공하거나 대안으로 작용할 수 있는 새로운 컴퓨팅 옵션을 평가합니다. 그런 다음 Compute Engine MIG, 대량 VM 생성 또는 GKE Custom ComputeClasses를 사용하여 자동으로 채택하고 장애 조치 목록에 통합합니다.
최소 지출 약정으로 대폭 할인된 가격 이용: 지속 사용 할인이 자동으로 적용되거나 Compute의 유연한 약정 사용 할인 가입 시 최대 63% 가 할인됩니다. 이 할인은 특정 머신 유형이나 위치와 관계없이 사용한 리소스에 따라 적용됩니다.
계정팀과 협력: Google Cloud 계정팀에 문의하여 맞춤형 용량 관리 전략을 수립하고 자동화된 대체 목록을 구성하세요.

보고서: 조직의 83%가 에이전트 AI를 지원하려면 인프라를 업그레이드해야 함

Mon, 28 Sep 2026 19:00:00 +0000

수년 동안 엔터프라이즈 AI는 대화형 AI, 즉 우리가 매일 상호작용하는 고객 서비스 봇과 디지털 어시스턴트와 동의어였습니다. 하지만 오늘날 시장은 변화했습니다. 이제 단순한 채팅을 통해 답을 제공하는 AI에서 벗어나, AI가 조치를 취하고, 워크플로를 자동화하며, 복잡한 작업을 스스로 실행하는 단계로 공식적으로 전환되었습니다. 이러한 변화는 완전히 새로운 사용 사례를 가능하게 하지만, 한 가지 문제가 있습니다. 바로 과거에 의존했던 기본 인프라에 상당한 부담을 준다는 점입니다.

Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 AI 인프라 현황 보고서를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83% 는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다.

왜일까요? 어제의 인프라는 자율적으로 작동하는 에이전트를 위해 빌드되지 않았기 때문입니다.

이 블로그에서는 선도적인 조직이 탄력적이고 유연한 기반을 구축하기 위해 인프라를 어떻게 재고하고 있는지에 관한 연구의 핵심 인사이트를 소개합니다. 자세한 내용은 보고서 전문을 다운로드하여 읽어보시기 바랍니다.

유동적인 컴퓨팅으로 '추론세' 탈출

에이전트형 워크로드는 새로운 수준의 규모를 도입합니다. 단일 프롬프트가 수백 개의 다운스트림 작업을 트리거할 수 있으므로 대규모 컨텍스트 윈도우를 메모리에 보관해야 합니다. 이러한 연속적인 추론 루프를 기존 아키텍처에서 실행하려고 하면 재정적으로 지속 가능하지 않습니다. 실제로 리더의 62% 는 데이터 이그레스 요금, 스토리지 증가, 유휴 상태의 특수 하드웨어로 인해 상당한 추론 비용이 발생하고 있습니다. 또한 81% 는 운영 복잡성을 AI 확장의 숨겨진 비용으로 꼽았습니다.

이 문제를 해결하려면 조직은 운영 오버헤드를 최소화하면서 적절한 실리콘 칩을 적절한 작업에 동적으로 매칭할 수 있는 유동적인 컴퓨팅이 필요합니다.

대규모 학습: 새로운 TPU 8t와 같은 컴퓨팅 가속기는 세계에서 가장 정교한 모델을 학습시킬 수 있는 엄청난 규모를 제공합니다.
지연 시간이 짧은 추론: 한편 TPU 8i는 온칩 메모리를 극대화하도록 설계되어 에이전트가 실시간으로 생각하고 반응할 수 있습니다.
조정: CPU 기반의 범용 컴퓨팅은 AI 컨트롤 플레인 운영을 추진하는 데 중요한 구성요소로 부상하고 있습니다. 조직은 Google Axion과 같은 고효율 Arm 기반 프로세서를 사용하여 강화 학습 시뮬레이션을 비용 효율적으로 실행하고 에이전트를 조정할 수 있습니다.

중앙 집중식 거버넌스로 에이전트 확산 관리

에이전트는 이메일을 읽고, 데이터베이스를 쿼리하며, 비즈니스 전반에서 워크플로를 실행하는 등 자율적으로 작동하도록 설계되었습니다. 하지만 에이전트 AI가 확장되면서 조직은 에이전트 확산이라는 새로운 과제에 직면하고 있습니다. 다양한 플랫폼에 흩어져 있는 수천 개의 자율 에이전트를 가시성과 제어력을 잃지 않고 어떻게 관리할 수 있을까요?

기술 리더의 79% 가 추론 확장을 가로막는 가장 큰 과제로 보안, 거버넌스, MLOps를 꼽는 것은 놀라운 일이 아닙니다. 에이전트 시대에는 혁신을 이루기 전에 성숙한 거버넌스 전략이 필요합니다. 이를 위해서는 에이전트 권한, ID, 워크플로를 위한 단일 기록 시스템을 제공하는 중앙 집중식 컨트롤 플레인을 만들어야 합니다.

선도적인 기업들은 서로 다른 도구를 패치하는 대신 Agent Gateway와 같은 솔루션을 활용하여 엔터프라이즈급 거버넌스를 적용하고 있습니다. Agent Gateway는 에이전트가 데이터를 공유하는 방식을 정확히 파악하는 데 필요한 가시성을 제공합니다. 정확한 읽기/쓰기 범위를 정의하고 모든 상호작용의 전체 감사 추적을 유지할 수 있으며, 에이전트가 중요한 작업을 수행하기 전에 승인이 필요한 경우 인간 참여형(Human-In-The-Loop) 감독을 제공합니다. 통합되고 간단한 거버넌스를 추구하는 이러한 움직임은 조직의 78%가 이제 생성형 AI 솔루션을 주요 클라우드 파트너로부터 직접 도입하는 이유를 설명해 줍니다. 이는 2025년 대비 30% 증가한 수치입니다.

통합 데이터 레이어

에이전트는 추론을 수행하므로 조직 전체에서 지속적으로 대규모 쿼리를 실행합니다. 데이터가 사일로 전반에 걸쳐 분산되어 있다면 AI는 사실상 눈을 가리고 비행하는 것과 같습니다.

연결되지 않은 데이터를 관리하는 데서 벗어나 고유하고 실행 가능한 비즈니스 컨텍스트를 수집하기 위해 리더들은 통합 데이터 레이어를 도입하고 있습니다. 에이전트는 비정형 데이터에 자동으로 주석을 달아 검색 가능하게 만드는 Smart Storage와 같은 도구와 교차 클라우드 레이크하우스를 사용하여 데이터가 어디에 있든 커스텀 파이프라인이나 중복된 데이터 없이도 데이터를 기본적으로 읽고 이해할 수 있습니다.

하이브리드 멀티 클라우드 및 디지털 주권

퍼블릭 클라우드와 로컬 컴퓨팅을 둘러싼 논쟁은 하이브리드가 최종 지향점이라는 명확한 합의점으로 귀결되었습니다. 실제로 현재 조직의 52% 가 하이브리드 멀티 클라우드 아키텍처를 사용하고 있습니다.

기술 리더의 경우 이러한 변화는 주로 디지털 주권과 데이터 중력에 의해 주도됩니다. 실제로 리더의 48% 는 엄격한 데이터 레지던시 제어 기능을 갖춘 인프라를 우선적으로 고려하고 있습니다. 변화하는 현지 법규를 준수하는 곳에서 AI를 실행할 수 있는 유연성이 필요합니다. 광범위한 컴퓨팅을 위해 퍼블릭 클라우드를 활용하든, 에어 갭 격리를 위해 Google Distributed Cloud를 통해 파운데이션 모델을 온프레미스에 완전히 도입하든, 현대적인 인프라는 지정학적 현실에 맞춰 조정되어야 합니다.

에지의 AI

기술 리더와 인프라 설계자에게 모든 에이전트 상호작용을 처리하기 위해 엄격하게 중앙 집중화된 클라우드 토폴로지에 의존하는 것은 실현 가능한 전략이 아닙니다. 현재 조직의 90% 가 에지 배포를 AI 이니셔티브에 중요한 요소로 꼽고 있으며, 72% 는 에지 배포가 매우 중요하거나 상당히 중요하다고 설명합니다.

AI를 에지로 이동하면 다음 세 가지 문제를 해결할 수 있습니다.

지연 시간 병목 현상: 실시간 에이전트, 특히 음성, 동영상 또는 금융 거래 알고리즘에 의존하는 에이전트는 원격 데이터 센터로의 왕복에 걸리는 마이크로초 단위의 지연 시간을 감당할 수 없습니다.
운영 복원력: 인터넷 연결이 끊어져도 비즈니스가 중단되지 않아야 합니다. 에지 배포를 통해 제조 공장, 소매점 또는 병원에서 실행되는 에이전트가 자율적으로 계속 작동할 수 있습니다.
비용 효율성 유지: 클라우드에서 상시 가동되는 연속 추론을 실행하는 데는 비용이 많이 듭니다. 조직은 스마트폰, IoT 기기, 로컬 웨어하우스 서버와 같은 에지 기기에서 고도로 최적화된 모델을 활용하여 컴퓨팅 부담을 로컬로 전환하고 토큰당 가변 비용을 대폭 절감할 수 있습니다.

에너지 장벽을 뚫고

에너지 소비는 연례 보고서에만 사용되는 지속 가능성 측정항목이었습니다. 오늘날에는 중요한 운영 역할을 수행하고 있습니다. 현재 리더의 91% 는 하드웨어 선택 시 전력 소비량을 고려하며 61% 는 이를 주요 또는 핵심 요소로 평가합니다.

기술 리더에게 전력 소비는 성장을 가로막는 세 가지 장벽을 제시합니다.

그리드 부족: 특정 지역에서는 전력을 더 구매할 수 없으므로 프로비저닝할 수 있는 컴퓨팅 인프라의 양이 크게 제한됩니다.
규정 준수: 에너지 효율성은 이제 운영을 위한 엄격한 법적 전제 조건입니다. 예를 들어 독일에서는 새로운 데이터 센터가 전력 사용 효율 (PUE) 1.2 이하를 달성해야 합니다. 또한 아일랜드에서는 대규모 데이터 센터가 전력망 사용량의 100% 에 해당하는 현장 가동형 발전 시설을 갖추도록 의무화하고 있습니다.
인프라 경제성: 비효율적인 전력 소비는 AI 배포의 총소유비용 (TCO)을 크게 증가시킵니다. 고전력 하드웨어를 수용하려면 고급 냉각 아키텍처, 특수 랙 설계, 시설 업그레이드에 막대한 자본적 지출 (CapEx)이 필요합니다.

에너지 장벽을 해결하려면 기술 리더가 에너지를 전략적 자산으로 취급해야 합니다. 최적화의 초점 영역 중 하나는 와트당 성능으로 전환되어야 합니다. 이러한 이유로 공동 설계된 실리콘이 점점 더 중요해지고 있습니다. 예를 들어, 새로운 TPU 8t는 이전 세대보다 성능이 거의 3배 향상되었으며 에너지 효율은 최대 2배 더 높습니다.

통합된 AI 최적화 인프라

결국 어제의 아키텍처로는 내일의 에이전트 시스템이 직면할 과제를 해결할 수 없습니다. 엔지니어링팀이 이기종 컴퓨팅, 스토리지, 네트워킹 레이어를 수동으로 통합해야 하는 경우 조직은 기본적인 상호 운용성을 보장하기 위해서만 높은 운영 오버헤드를 감수해야 합니다.

따라서 기술 리더는 신속하고 비용 효율적으로 혁신하기 위해 전체적이고 통합된 시스템으로 전환하고 있습니다.

이것이 바로 Google Cloud AI 하이퍼컴퓨터의 철학입니다. 모든 계층이 함께 작동하도록 공동 설계 및 공동 엔지니어링된 아키텍처입니다. 커스텀 실리콘 (TPU, GPU, CPU)은 사일로에서 설계되지 않습니다. 초고대역폭 네트워킹 (Virgo Network), 스토리지 (Managed Lustre, Hyperdisk), 소프트웨어 조정 레이어 (GKE)와 함께 엔지니어링됩니다.

디지털 세계와 물리적 세계를 연결

공동 설계된 이러한 포괄적인 접근방식을 도입하면 큰 성과를 거둘 수 있습니다. 이러한 수준의 확장 가능하고 유동적인 인텔리전스가 에지에서 작동하면서 우리는 물리적 AI의 시대로 접어들고 있습니다. 새로운 세대의 자율 로봇은 실제 세계에 발을 들여놓기 전에 Google Cloud의 디지털 트윈 시뮬레이션에서 수백만 번 작업을 연습하여 물리적 세계를 감지, 시뮬레이션, 탐색할 수 있습니다. 복잡한 산업 검사 수행부터 영화 같은 비디오 촬영에 이르기까지 AI는 이제 현실 세계에서 실질적인 문제를 해결하고 있습니다.

에이전트 AI를 위한 청사진

에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 도움이 됩니다. 2026년에 번창할 조직은 비용 효율적이고, 에지에서 복원력이 뛰어나며, 자율적인 조치를 위해 최적화되어 있고, 기본적으로 거버넌스가 적용되는 통합 기반을 수용하고 있습니다.

시작하시겠습니까? AI 인프라 현황 보고서를 다운로드하여 Google Cloud의 조사 결과에 대한 데이터를 살펴보고 동종 업계의 다른 기업이 어떻게 성공을 위해 빌드하고 있는지 알아보세요.

M4N VM 제품군 정식 버전 출시: I/O 및 메모리 집약적 워크로드를 위한 코어당 최고 수준의 IOPS 및 처리량 제공

Mon, 28 Sep 2026 16:00:00 +0000

엔터프라이즈 조직이 미션 크리티컬 애플리케이션을 확장함에 따라 스토리지 I/O 및 메모리 액세스가 심각한 운영 병목 현상을 초래할 수 있습니다. Oracle 데이터베이스, SAP HANA와 같은 인메모리 데이터베이스, 높은 처리량의 SQL Server 클러스터, EHR 시스템, 실시간 빅데이터 분석 등 메모리 집약적 데이터베이스를 사용하는 기업은 필요한 RAM 용량과 스토리지 대역폭을 확보하기 위해 컴퓨팅 코어(vCPU)를 과도하게 프로비저닝해야 하는 경우가 많으며, 이는 고가의 서드 파티 소프트웨어 라이선스 비용 상승으로 이어집니다.

오늘 Google Compute Engine에서 네트워크 및 블록 스토리지 최적화 VM 제품군의 두 번째 제품인 M4N 머신 시리즈의 정식 버전을 출시했습니다. 이 머신 시리즈는 I/O 집약적인 고성능 메모리 워크로드를 위해 특별히 설계되었습니다. 다른 하이퍼스케일러의 유사 제품과 비교했을 때 M4N은 고성능 메모리 인스턴스에서 코어당 가장 높은 IOPS 및 처리량을 제공하며 Oracle 데이터베이스의 총소유비용을 20% 이상 절감합니다.

또한 M4N은 더 높은 메모리 비율(최대 26:1)과 크기(6TB)로 최적화된 업계 최초의 네트워크 및 블록 스토리지 인스턴스입니다. 5세대 인텔® 제온® 스케일러블 프로세서로 구동되고 Google Cloud의 커스텀 Titanium 오프로드 아키텍처를 기반으로 빌드된 M4N 인스턴스는 Hyperdisk Extreme과 결합 시 최대 25,000MiB/s(25GiB/s)의 총 호스트 스토리지 성능과 최대 100만 IOPS를 제공하여 기존 M4 인스턴스의 블록 스토리지 성능을 두 배로 높입니다.

M4N은 극도로 높은 밀도의 RAM과 타협 없는 I/O 성능을 모두 요구하는 워크로드를 대상으로 하며, 높은 처리량을 필요로 하는 엔터프라이즈 애플리케이션의 특정 스토리지 및 네트워크 병목 현상을 해결하여 기존 메모리 최적화 제품군(M1, M2, M3, M4, X4 등)을 보완합니다.

고성능을 요구하는 워크로드를 위해 설계됨

워크로드 카테고리	대표적인 적용 분야	M4N의 장점
미션 크리티컬 엔터프라이즈 DB	Oracle, SAP HANA, SQL Server, IBM DB2, MySQL, PostgreSQL	최대 26.57GB/vCPU의 메모리 대 코어 비율과 25GiB/s의 스토리지 성능을 결합하여 신속한 데이터 수집, 트랜잭션 로깅 및 지연 없는 백업 주기를 지원합니다.
생성형 AI 및 RAG 데이터 레이어	Milvus, Pinecone, Qdrant, Vespa, Redis, 인메모리 컨텍스트 캐싱	RAM의 대규모 벡터 색인을 대상으로 1밀리초 미만의 유사성 검색을 수행하고, 분산 모델 검색을 위해 400Gbps의 네트워크 대역폭을 결합합니다.
엔터프라이즈 의료 및 ERP	Epic Systems(운영 데이터베이스), SAP ECC, SAP S/4HANA	지속적인 I/O 여유 공간으로 임상 및 트랜잭션 처리량이 급증하는 시간대에 쿼리 지연 시간 급증을 방지합니다.
실시간 분석 및 EDA	전자 설계 자동화, 유전체학 모델링, 인메모리 OLAP	대규모 데이터 세트를 RAM에 온전히 로드할 수 있는 높은 메모리 용량과 체크포인트 덤프를 위한 최대 스토리지 대역폭을 갖추고 있습니다.

Oracle 라이선스 비용 최적화

엔터프라이즈 IT 부서는 코어 기반 소프트웨어 라이선스 비용 상승으로 어려움을 겪고 있습니다. Oracle 데이터베이스와 같은 워크로드의 경우 라이선스 요금은 일반적으로 인스턴스에 할당된 vCPU 또는 물리적 코어 수를 기준으로 산정됩니다. 지금까지는 필요한 양의 RAM과 스토리지 성능을 얻기 위해 필요 이상으로 많은 컴퓨팅 코어에 대한 비용을 지불해야 했습니다.

M4N은 업계 최고의 높은 메모리 대 vCPU 비율로 이러한 패러다임을 바꿉니다. M4N은 모든 주요 하이퍼스케일러의 고성능 메모리 인스턴스 중 코어당 가장 높은 IOPS와 처리량을 제공하므로 데이터베이스 관리자는 다음과 같은 이점을 누릴 수 있습니다.

TCO 및 라이선스 오버헤드 감소: Oracle 데이터베이스 성능 밀도 요구사항을 충족하면서 코어의 과도한 프로비저닝을 방지하여 주요 하이퍼스케일러의 유사 제품에 비해 TCO를 20% 이상 절감합니다.
인프라 규모 적정 조정: 대규모 메모리 풀에 액세스하는 동시에 워크로드에 필요한 정확한 양의 컴퓨팅 성능을 할당할 수 있습니다.
캐시 적중률 개선: 코어당 사용 가능한 메모리가 늘어나면 데이터베이스의 더 많은 부분이 시스템 글로벌 영역(SGA)에 상주할 수 있어 비용이 많이 드는 I/O 작업을 줄이고 효율성을 더욱 높일 수 있습니다.

고객의 의견

M4N을 조기에 도입한 결과, 워크로드에 최적화된 인프라가 혁신의 원동력임이 입증되었습니다.

“M4N 도입 전에는 Google Cloud에서 까다로운 I/O 요구사항을 충족하고 필요한 성능 밀도를 확보하기 위해 컴퓨팅 리소스를 과도하게 프로비저닝해야 하는 경우가 많았습니다. 새로운 M4N 인스턴스는 소형부터 대형까지 다양한 사양에서 높은 처리량을 제공하여 이 문제를 해결합니다." - 셰리 트로잔, Sabre 수석 솔루션 설계자

"Google Cloud가 미션 크리티컬 데이터베이스 워크로드를 위한 차세대 고성능 인프라를 선보여서 매우 기쁩니다. 이 새로운 컴퓨팅 플랫폼은 확장성, 복원력, 고성능이 필요한 엔터프라이즈급 Oracle 배포에 있어 엄청난 잠재력을 보여줍니다. Google Cloud에서 Oracle 워크로드를 실행하는 고객에게 이 혁신이 어떤 의미를 가질지 기대가 큽니다.” - 발라 쿠치보틀라, Tessell 공동 설립자 겸 CEO

"Google Cloud는 M4N을 통해 플랫폼 공동 설계의 한계를 계속해서 넓혀가고 있습니다. 5세대 인텔 제온 스케일러블 프로세서와 Google의 커스텀 Titanium 오프로드 아키텍처를 결합한 M4N은 세계에서 가장 까다로운 미션 크리티컬 데이터 환경에 필요한 압도적인 메모리 용량, 높은 메모리 대역폭, 타협 없는 I/O 처리량을 제공합니다." - 인텔

새로운 소식: M4N으로 극한의 데이터 레이어 확장

M4N은 클라우드 인프라에서 이전에는 별개로 여겨졌던 두 가지 패러다임인 대규모 메모리 사용량과 극한의 I/O 성능을 하나로 연결합니다. 커스텀 Titanium 오프로드로 설계된 M4N은 인프라 부가기능이나 메모리 밀도 저하 없이 I/O 병목 현상을 최소화합니다. M4N이 이러한 환경에 어떻게 적용되는지 살펴보겠습니다.

1. 고대역폭 데이터 전송 지원

대규모 메모리 사용량이 요구되는 워크로드의 경우 M4N은 다음과 같은 이점을 제공합니다.

우수한 VM 간 대역폭: 동일한 VPC 내에서 최대 400Gbps의 집계 VM 간 네트워크 대역폭과 최대 50Gbps의 단일 흐름 대역폭을 제공하여 분산 데이터베이스 클러스터와 실시간 스트리밍 데이터 레이어를 위한 비차단 데이터 교환을 지원합니다.
향상된 인터넷 및 이그레스 처리량: 최대 200Gbps의 인터넷 이그레스 대역폭과 최대 48MPPS의 패킷 처리 성능을 제공합니다.
즉시 사용 가능한 고대역폭: 프리미엄 Tier_1 네트워킹 부가기능을 구매하거나 구성할 필요 없이 최대 성능을 구현할 수 있습니다.

2. Hyperdisk를 통한 동적 스토리지 성능

Google Cloud의 차세대 스토리지 포트폴리오와 결합된 Hyperdisk 기반 M4N을 사용하면 IOPS, 처리량, 용량을 독립적으로 조정할 수 있습니다.

Hyperdisk Extreme(HdX): 최대 25GiB/s의 집계 블록 스토리지 처리량과 1,000,000 IOPS를 제공하며, 이는 표준 M4의 스토리지 성능보다 두 배 높은 수준입니다. 이는 신속한 데이터베이스 복구, 트랜잭션 체크포인트 설정, 즉각적인 인메모리 색인 새로고침에 적합합니다.
Hyperdisk Balanced(HdB): 최대 20GiB/s의 처리량과640,000 IOPS까지 확장되어 대규모 환경에서 비용 효율적인 엔터프라이즈 스토리지를 제공합니다.

M4N 머신 유형 및 사양

M4N 인스턴스는 3가지 메모리 대 vCPU 비율 등급으로 제공되며, 16~224개의 vCPU와 최대 5,952GB의 DDR5 RAM까지 확장 가능합니다. 또한 M4N은 특정 워크로드 요구사항에 맞게 세 가지 메모리 대 vCPU 비율로 사전 정의된 VM 구성을 제공하며, 리소스 기반 약정 사용 할인(CUD)을 지원합니다. 자세한 내용은 여기에서 확인하세요.

지금 시작하기

M4N 인스턴스는 현재 전 세계 일부 리전에서 이용 가능합니다. M4N 제품군이 메모리 및 I/O 집약적 애플리케이션의 성능을 어떻게 향상시키고 라이선스 비용을 절감할 수 있는지 자세히 알아보려면 계정 담당자에게 문의하거나 관련 문서를 참조하세요.

The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 부문 리더로 선정된 Google

Thu, 17 Sep 2026 22:00:00 +0000

10개의 주요 퍼블릭 클라우드 제공업체를 30가지 포괄적 기준으로 평가한 Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 Google Cloud가 리더로 선정되고 ‘현재 제품’ 부문에서 최고 점수를 받았다는 소식을 전하게 되어 기쁩니다. 또한 Google은 비전, 혁신, AI 개발 서비스, 데이터베이스 서비스, 분석 서비스, 컨테이너 및 Kubernetes 서비스, 현대화 서비스, 보안 서비스 등을 포함한 30개 평가 항목 중 23개 항목에서 최고 점수를 받았습니다. Forrester의 이번 평가는 에이전트 시대를 선도하기 위해서는 실리콘부터 시스템, 모델에 이르기까지 정교하게 설계된 완전한 통합 플랫폼이 필수적이라는 Google의 확신을 다시 한번 뒷받침합니다.

무료 보고서 보기: The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 The Forrester Wave™: Public Cloud Platforms, Q3 2026.

글로벌 엔터프라이즈에서 검증된 공동 설계 인프라를 기반으로 구축하세요

지난 10여 년 동안 Google의 인프라 엔지니어, 애플리케이션 개발자, AI 연구원은 Gemini, Google 검색, YouTube, Google 지도, Gmail을 구동하는 인프라를 공동 설계하기 위해 긴밀하게 협력해 왔습니다. Google에 필요한 플랫폼과 인프라는 단순히 구매해서 사용할 수 있는 것이 아니었기에 직접 만들어야 했습니다. 그 결과 TPU, Transformer 아키텍처, Kubernetes, Axion을 비롯해 오늘날의 Gemini에 이르는 다양한 혁신 기술이 탄생했습니다.

에이전트 시대에는 컴퓨팅, 조정 소프트웨어, 현대화 도구, 글로벌 네트워크가 유기적으로 작동하여 AI 연구의 최전선에 있지 않더라도 투자 대비 더 큰 가치를 창출할 수 있는 통합 AI 스택이 필수적입니다. Google Cloud는 이러한 획기적인 혁신을 선도적인 엔터프라이즈와 스타트업, 첨단 연구소에도 제공하여 새로운 차원의 확장성과 효율성 달성을 돕기 위해 끊임없이 노력해 왔습니다. 이번 Forrester 평가는 이러한 Google Cloud 전략을 다시 한번 입증해 줍니다.

"Google Cloud의 비전은 ‘에이전트형 엔터프라이즈’를 실현하는 것으로, Google Cloud 플랫폼 전반에는 이미 AI가 깊숙이 자리 잡고 있습니다. 덕분에 Google Cloud는 엔터프라이즈 내 AI 도입을 주도하는 비즈니스 사용자를 대상으로 기술 스택의 상위 계층으로 영향력을 한층 더 확대할 수 있는 유리한 고지를 점하고 있습니다. Google Cloud는 빠른 기술 혁신과 광범위한 AI 지원 클라우드 플랫폼을 원하는 엔터프라이즈에 적합합니다.” - The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서

안전하고 유연한 플랫폼에서 에이전트를 빠르게 실행하세요

대부분의 기존 인프라는 에이전트의 속도를 따라갈 수 없기 때문에 엔터프라이즈에는 확장 가능한 대안이 필요합니다. 그렇다고 AI 에이전트만을 위해 완전히 새로운 플랫폼을 구축할 필요는 없습니다. Kubernetes는 마이크로서비스와 트랜잭션 데이터베이스부터 실시간 LLM 추론에 이르기까지 현대적인 엔터프라이즈 애플리케이션을 위한 검증된 업계 표준입니다. Google Cloud는 조직이 하나의 검증된 플랫폼에서 기존 워크로드와 함께 자율 에이전트를 확장할 수 있도록 Google Kubernetes Engine(GKE)과 운영 도구를 지속적으로 발전시키고 있습니다.

Forrester는 컨테이너 및 Kubernetes 서비스, 서버리스/FaaS 서비스, 운영 관리 서비스 부문에서 Google Cloud에 최고점을 부여하며 다음과 같이 평가했습니다.

"운영자는 운영 관리뿐 아니라 컨테이너 및 Kubernetes 서비스 분야에서도 강력한 제품 또는 서비스를 만나볼 수 있습니다. 이번 평가에서 중대한 기능 격차는 확인되지 않았습니다."

지난 3개월 동안 Google Cloud는 엔터프라이즈가 에이전트 워크로드를 예측 가능한 방식으로 확장할 수 있도록 인프라 포트폴리오를 한층 더 강화했습니다. 최근 업데이트를 통해 가능해진 작업은 다음과 같습니다.

GKE 에이전트 샌드박스(정식 버전)와 Cloud Run Sandboxes(프리뷰)를 사용하여 기본 거부 보안을 적용한 상태로 기존 워크로드와 함께 신뢰할 수 없는 에이전트 코드를 안전하게 실행할 수 있습니다. 이러한 기능을 통해 1초 이내에 에이전트를 위한 경량 gVisor 격리 경계를 프로비저닝하며 클러스터당 초당 최대 300개의 샌드박스를 생성할 수 있습니다.
GKE Pod Snapshots를 사용하여 컨테이너 RAM 상태를 Google Cloud Storage에 직접 직렬화함으로써 유휴 컴퓨팅 비용을 최대 90% 절감할 수 있습니다. 이를 통해 유휴 에이전트 세션을 약 100밀리초 만에 일시중지하고 약 280밀리초 만에 재개할 수 있습니다.
GKE Inference Gateway의 예측 라우팅을 통해 첫 번째 토큰 생성 시간(TTFT)을 최대 70% 단축하고 캐시 적중률을 두 배로 높일 수 있습니다. 이 기능은 지속적으로 학습되는 ML 모델을 사용하여 실시간 트래픽 데이터를 기반으로 라우팅을 결정합니다.

실시간 엔터프라이즈 데이터를 기반으로 에이전트를 그라운딩하세요

에이전트의 성능은 그라운딩하는 컨텍스트의 품질에 달려 있습니다. 기존의 분산 데이터 토폴로지는 단편화된 멀티홉 파이프라인을 통해 운영 데이터베이스와 분석 시스템을 분리합니다. 에이전트 시대에는 이러한 단절로 인해 멀티홉 지연이 발생하고 컨텍스트가 최신 상태를 유지하지 못하며 거버넌스 마찰이 초래됩니다.

Google의 에이전트형 데이터 클라우드는 엔터프라이즈 데이터 플랫폼을 정적인 저장소에서 동적인 추론 엔진으로 발전시키고 트랜잭션 처리와 지능형 애널리틱스를 능동적인 작업 시스템으로 통합하여 자율 워크플로에 필수적인 실시간 컨텍스트와 결정론적 응답성을 제공합니다. Google은 데이터베이스 서비스, 분석 서비스, 데이터 통합 서비스, 데이터 거버넌스 서비스의 모든 평가 기준에서 5점 만점에 5점을 받았습니다.

“데이터베이스 서비스와 분석 분야에서 Google Cloud가 쌓아온 전통적인 강점은 멀티 클라우드 및 하이브리드 역량은 물론, 분석과 트랜잭션 시스템을 하나로 잇는 에이전트형 데이터 클라우드를 통해 강력한 성과를 견인하고 있습니다.”

지난 3개월 동안 Google Cloud는 고객이 데이터 자산을 하나로 통합할 수 있도록 에이전트형 데이터 클라우드에 다음과 같은 핵심 기능을 도입했습니다.

SAP 시스템과 BigQuery 간의 양방향 제로 카피 데이터 공유를 지원하는 BigQuery용 SAP BDC Connect(정식 버전)를 통해 에이전트는 비용이 많이 드는 데이터 이동 없이 실시간 재무 및 공급망 레코드를 쿼리할 수 있습니다.
Knowledge Catalog를 사용하여 전체 데이터 자산의 비즈니스 의미를 매핑하고 추론할 수 있습니다. 이제 Google 및 파트너 데이터 플랫폼, 시맨틱 모델, 서드 파티 카탈로그 전반의 네이티브 컨텍스트를 집계하여 거버넌스가 적용된 단일 정보 소스로 통합할 수 있습니다.
레이크하우스 제휴를 통해 PostgreSQL 데이터 영역에서 Iceberg 및 BigQuery의 실시간 데이터에 액세스할 수 있습니다. 데이터 이동 없이 AlloyDB의 트랜잭션 데이터와 BigQuery 또는 Iceberg의 과거 인사이트를 실시간으로 조인할 수 있습니다. 또한 Datastream을 사용하여 데이터를 BigQuery로 지속적으로 복제할 수 있으며, 특히 AlloyDB에서 Iceberg 테이블로 직접 지속적으로 복제할 수도 있습니다.

벤치마크 설정: Google Cloud에서 미래를 구축하세요

Forrester가 발표한 The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 Google Cloud가 리더로 선정된 것을 매우 영광스럽게 생각합니다. Google은 이번 평가가 수십 년에 걸친 기초 연구와 체계적인 풀 스택 공동 설계, 개방적이고 안정적인 클라우드를 구축하려는 Google의 노력을 입증한다고 생각합니다.

단편화된 인프라의 시대는 끝났습니다. 100만 개의 가속기 칩을 활용해 모델을 확장하는 AI 연구소부터, 청산 시스템에서 수조 달러 규모의 거래를 처리하는 글로벌 금융 거래소, 그리고 자율 워크플로를 통해 수백만 명의 사용자에게 혁신적인 경험을 제공하는 엔터프라이즈에 이르기까지, Google Cloud는 다음 세대의 혁신을 실현하는 데 필요한 최상의 성능과 확장성, 보안, 그리고 탄탄한 데이터 기반을 제공합니다.

클라우드 여정의 다음 단계로 나아가세요.

전체 보고서 다운로드: The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 상세한 분석 내용을 확인해 보세요.

Google, 2026년 Gartner® Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문에서 리더로 선정

Thu, 10 Sep 2026 11:00:00 +0000

Gartner®는 Google을 9년 연속으로 Gartner Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문 리더로 선정했으며, 비전의 완전성 부문에서 가장 선도적인 업체로 선정했습니다.

이는 고객이 Google Cloud에서 가장 까다로운 워크로드를 안정적이고 안전하게 빌드하고 확장할 수 있도록 지원하기 위한 Google Cloud의 오랜 노력을 인정받은 결과라고 생각합니다. 에이전트 시대에 접어들면서 Google Cloud는 동적 인프라를 통해 고객의 여정을 가속화하고, 예측 가능한 비용과 성능을 위해 유연한 단일 플랫폼에서 엔터프라이즈 앱, 데이터, 에이전트를 연결하고 있습니다.

이러한 성장을 이끄는 요인은 무엇일까요? Google Cloud를 차별화하는 세 가지 주요 이점은 다음과 같습니다.

커스텀 실리콘 칩 및 하드웨어 시스템, 개방형 소프트웨어 및 조정, 프런티어 모델, 에이전트형 애플리케이션 전반에서 공동 설계된 통합 기술 스택
어디서나 사용자, 데이터, 앱, 에이전트를 안전하게 연결하고 확장할 수 있는 동적 인프라
필수 클라우드의 기능 저하 없이 조직이 데이터를 완전히 제어할 수 있도록 지원하는 진정한 선택권을 갖춘 디지털 주권

Google Cloud는 고객이 필요한 유연성, 성능, 제어 기능을 제공하면서 규모에 맞게 혁신하고 제공할 수 있도록 지원하기 위해 최선을 다하고 있습니다. Google Cloud가 인프라를 지속적으로 구축하고 개선하는 데 있어 준수하는 세 가지 설계 원칙을 자세히 살펴보겠습니다.

1. 종속 없이 공동 설계된 스택으로 AI 가속화

Google Cloud는 실리콘 칩부터 에이전트형 애플리케이션에 이르기까지 긴밀하게 공동 설계된 완전한 퍼스트 파티 AI 스택을 제공하는 유일한 제공업체입니다. Google Cloud의 인프라팀은 Google DeepMind 연구원과 협력하여 기술 스택의 모든 계층을 공동 설계하고 최적화합니다. Google TPU 및 Arm 기반 Google Axion 프로세서와 같은 커스텀 실리콘 칩부터 Google Kubernetes Engine(GKE) 및 Gemini 모델에 이르기까지 Google 시스템은 뛰어난 성능과 예측 가능한 비용을 제공합니다.

하드웨어와 소프트웨어를 공동 설계하면 운영 효율성이 크게 향상되지만, 그렇다고 해서 폐쇄적인 생태계를 만드는 것은 아닙니다. Google Cloud는 분산 추론을 위한 llm-d와 같은 프레임워크, GKE Prism을 사용한 개방형 모델 벤치마킹, TPU 및 GPU 전반에서 PyTorch 호환성을 위한 TorchTPU를 통한 하드웨어 종속 제거 등 스택의 모든 계층에서 오픈소스와 개방형 표준을 위해 최선을 다하고 있습니다. 모델, 프레임워크, 실리콘 칩 전반에서 완전한 유연성을 유지하면서 수직적으로 공동 설계된 스택의 모든 기능을 활용할 수 있습니다. 긴밀하게 통합된 이러한 모든 구성요소를 결합하면 탁월한 확장성, 성능, 효율성을 갖춘 AI 하이퍼컴퓨터를 빌드할 수 있습니다. 이는 전 세계 상위 10개 AI 연구소 중 9곳이 선택한 것과 동일한 인프라 기반입니다.

2. 동적 인프라를 통해 신속하고 경제적으로 확장

오늘날 AI 리소스에 대한 수요는 급증하고 있습니다. Google 내부적으로는 현재 데이터 센터에서 매월 3,200조 개의 토큰을 처리하고 있으며, 이는 작년 대비 약 7배 증가한 수치입니다1. 이러한 변화에 대처하는 기업 리더에게 AI 시스템 확장은 설계가 까다롭기로 유명하고 리소스 집약적이며, 버스트 현상이 빈번하여, 확장 병목 현상과 대규모 유휴 컴퓨팅 리소스가 발생할 수 있습니다.

조직에는 용량 관리를 자동화하고, 자체 속도에 맞춰 비즈니스 애플리케이션을 현대화하며, 데이터, 앱, 에이전트를 안전하게 연결하여 최적화된 글로벌 경험을 제공할 수 있는 동적 인프라가 필요합니다.

에이전트 규모에서 성공하려면 단일 시스템으로 작동할 수 있는 인프라가 필요합니다. Google Cloud를 사용하면 다음과 같은 작업을 수행할 수 있습니다.

Gemini 기반 도구를 사용해 핵심 앱을 지능적으로 매핑하고 현대화하여 정적인 기존 시스템을 AI와 에이전트를 위한 동적인 기반으로 전환함으로써 AI 전환을 시작 하세요.
워크로드에 최적화된 다양한 컴퓨팅 유형과 구성 중에서 선택할 수 있습니다. 사전 정의된 커스텀 CPU 형태, NVIDIA GPU, Google 커스텀 실리콘 칩(TPU 및 Axion CPU)을 결합할 수 있습니다. 이들은 AI 및 엔터프라이즈 워크로드에 대해 뛰어난 비용 대비 성능을 제공하도록 설계되었습니다.
Google Kubernetes Engine을 통해 유연한 단일 컨트롤 플레인에서 기업과 AI 인프라를 연결하세요. 여기에는 계획된 이벤트에 대한 용량을 미리 예약하는 동적 워크로드 스케줄러와 같은 용량 관리 기능과 리소스 소비 방식을 지시하는 고급 규칙을 정의하는 동적 리소스 할당이 포함되어 사용률을 극대화하고 비용을 절감하는 데 도움이 됩니다.
Gemini Cloud Assist를 사용하여 새로운 에이전트 기반 워크플로의 운영 문제를 선제적으로 식별, 해결, 조치함으로써 2일 차 운영을 간소화합니다.
마지막으로, Cross-Cloud Interconnect를 통해 하이브리드 및 멀티 클라우드 환경에서 워크로드를 실행할 수 있습니다. 이 서비스는 Google의 1,000만 킬로미터가 넘는 비공개 파이버 백본을 활용하여 공개 인터넷 라우팅보다 최대 40% 더 높은 성능을 제공하고 몇 분 만에 자동화된 전송을 지원합니다2.

동적 인프라, 적응형 애플리케이션, 반응형 시스템의 통합 기반을 채택함으로써 조직은 이 새로운 기술 분야를 선도하는 데 필요한 복원력과 고성능 인프라를 구축할 수 있습니다.

3. 더 많은 선택권과 보안으로 디지털 주권 확보

현대화, 첨단 AI 기능, 규제 제어 중 어느 하나도 포기할 필요가 없습니다. Google의 Sovereign Cloud는 세 가지 유연한 배포 옵션을 통해 주권 플랫폼 전반에서 Gemini 및 개방형 가중치 모델에 대한 액세스를 제공합니다.

데이터 주권 및 제어: Google Cloud 데이터 경계를 통해 데이터의 위치와 암호화 권한을 완벽하게 제어할 수 있습니다. 키 액세스 근거(KAJ)와 함께 외부 키 관리(EKM)를 사용하여 Google 인프라 외부에서 암호화 키를 관리하는 동시에 Google Cloud와 Google Workspace 전반에서 정확한 지리적 처리 및 스토리지 경계를 적용합니다.
현지 규정 준수 및 리전 운영: 유럽 고객을 위해 Google Cloud 전용 환경에서 빌드되고 현지 파트너가 독점적으로 운영하는 물리적 및 논리적으로 분리된 리전 클라우드에서 애플리케이션을 실행하세요. 프랑스에서는 S3NS가 PREMI3NS를 통해 프랑스 국가 정보 시스템 보안국(ANSSI)의 SecNumCloud 3.2 인증을 획득한 독립형 주권 클라우드를 제공합니다. Thales가 운영하는 전용 주권 클라우드 운영도 곧 독일에서 제공될 예정입니다.
온프레미스 및 에어 갭 적용 유연성: Google Distributed Cloud(GDC)를 통해 Google Cloud 기능을 온프레미스 환경에 직접 가져올 수 있습니다. GDC는 두 가지 배포 모드를 제공합니다. 에어 갭 적용 모드는 공공 부문, 방위, 규제 대상 기업 워크로드를 위해 공용 인터넷에 전혀 연결되지 않은 상태로 작동하는 완전 관리형 독립 실행 환경입니다. 연결 모드는 통합 관리를 위해 Google Cloud의 중앙 집중식 컨트롤 플레인을 활용하면서 로컬 하드웨어에서 워크로드를 실행할 수 있도록 지원합니다.

클라우드 여정 가속화

핵심 엔터프라이즈 시스템을 현대화하든, 복잡한 규정 준수 요구사항을 관리하든, 자율 AI 에이전트를 배포하든, Google Cloud는 성공에 필요한 성능, 확장성, 선택의 자유를 제공합니다.

2026년 Gartner Magic Quadrant의 전략적 클라우드 플랫폼 서비스 전문을 읽어보거나 AI 하이퍼컴퓨터 페이지를 살펴보고 자세히 알아보세요.

^{1. Pichai, Sundar. <I/O 2026: 에이전트형 Gemini 시대에 오신 것을 환영합니다> The Keyword, Google, 2026년 5월 19일}

^{2. 테스트에서 크로스 클라우드 네트워크를 통해 전송되는 대상 트래픽의 네트워크 지연 시간은 공개 인터넷을 통해 전송되는 트래픽(동일한 대상 기준)보다 40% 이상 짧았습니다.}

8세대 TPU 내부: 아키텍처 심층 분석

Wed, 02 Sep 2026 20:00:00 +0000

Google의 TPU 설계 철학은 항상 확장성, 안정성, 효율성이라는 세 가지 핵심 요소에 중점을 두고 있습니다. AI 모델이 밀집된 대규모 언어 모델 (LLM)에서 대규모 전문가 망 (MoE) 및 추론 중심 아키텍처로 진화함에 따라 하드웨어는 초당 부동 소수점 연산 (FLOPS)을 추가하는 것 이상의 작업을 수행해야 합니다. 즉, 최신 워크로드의 특정 운영 강도에 맞게 진화해야 합니다.

에이전트 AI의 부상으로 긴 컨텍스트 윈도우와 복잡한 순차적 논리를 처리할 수 있는 인프라가 필요해졌습니다. 동시에 월드 모델은 현재의 다음 데이터 시퀀스 아키텍처에서 필요한 진화로 등장했습니다. 이는 새로운 에이전트가 위험한 시행착오가 아닌 '상상력'을 통해 미래 시나리오를 시뮬레이션하고, 결과를 예측하고, 학습하고 있음을 의미합니다. 8세대 TPU (TPU 8t 및 TPU 8i)는 이러한 과제에 대한 Google Cloud의 해답으로, 학습의 첫 번째 토큰부터 다중 턴 추론 체인의 마지막 단계에 이르기까지 모든 워크로드가 가능한 가장 효율적인 경로로 실행되도록 보장합니다. 이러한 TPU는 Google DeepMind의 Genie 3과 같은 월드 모델을 효율적으로 학습시키고 제공하도록 빌드되어 수백만 개의 에이전트가 다양한 시뮬레이션 환경에서 추론을 연습하고 개선할 수 있습니다.

TPU 8: 특화된 설계

사전 학습, 사후 학습, 실시간 서빙의 인프라 요구사항이 서로 다르다는 점을 인식한 Google Cloud는 8세대 TPU에 TPU 8t와 TPU 8i라는 두 가지 시스템을 도입했습니다. 이러한 새로운 시스템은 하드웨어, 소프트웨어, 네트워킹을 결합하여 전체 AI 수명 주기를 지원하는 통합 슈퍼컴퓨팅 아키텍처인 Google Cloud의 AI 하이퍼컴퓨터의 핵심 구성요소입니다. 두 시스템 모두 Google AI 스택의 핵심 DNA를 공유하고 전체 AI 수명 주기를 지원하지만, 각각은 고유한 병목 현상을 해결하고 개발의 중요한 단계에서 효율성을 최적화하도록 빌드되었습니다. 또한 8세대 TPU 시스템 전반에 Arm 기반 Axion CPU 헤더를 통합하여 데이터 준비 지연 시간으로 인한 호스트 병목 현상을 제거했습니다. Axion은 복잡한 데이터 전처리와 조정 작업을 처리할 수 있는 컴퓨팅 헤드룸을 제공하므로 TPU가 계속 공급되고 멈추지 않습니다.

TPU 8t: 사전 학습의 강자

대규모 사전 학습 및 임베딩 집약적 워크로드에 최적화된 TPU 8t는 단일 슈퍼포드에서 9,600개의 칩이라는 훨씬 더 큰 규모로 입증된 3D 토러스 네트워크 토폴로지를 활용합니다. TPU 8t는 수백 개의 슈퍼포드에서 최대 처리량을 제공하도록 설계되어 학습 실행이 일정대로 진행되도록 보장합니다.

이전 세대 TPU 대비 TPU 8t의 주요 개선사항은 다음과 같습니다.

SparseCore의 장점: TPU 8t의 핵심은 임베딩 조회의 불규칙한 메모리 액세스 패턴을 처리하도록 설계된 특수 가속기인 SparseCore입니다. MXU (행렬 곱셈 단위)가 행렬 연산을 처리하는 동안 SparseCore는 데이터 종속적인 all-gather 연산을 다른 집합 연산과 함께 오프로드하여 범용 칩을 괴롭히는 제로 연산 병목 현상을 방지합니다.
VPU/MXU 중첩 및 균형 잡힌 확장: TPU 8t는 프로비저닝된 FLOPS 사용률을 극대화하도록 설계되었습니다. 더 균형 잡힌 벡터 처리 단위 (VPU) 확장을 구현함으로써 아키텍처는 노출된 벡터 연산 시간을 최소화합니다. 이를 통해 MXU의 행렬 곱셈과 양자화, 소프트맥스, 레이어 정규화가 더 잘 겹치도록 하여 칩이 순차적 벡터 작업을 기다리지 않고 계속 작동할 수 있습니다.
기본 FP4: TPU 8t는 기본 4비트 부동 소수점 (FP4)을 도입하여 메모리 대역폭 병목 현상을 극복하고, 낮은 정밀도 양자화에서도 대규모 모델의 정확성을 유지하면서 MXU 처리량을 두 배로 늘립니다. 파라미터당 비트를 줄임으로써 플랫폼은 에너지 집약적인 데이터 이동을 최소화하고 더 큰 모델 레이어를 로컬 하드웨어 버퍼에 맞게 조정하여 최대 컴퓨팅 사용률을 달성할 수 있습니다.

그림 1: TPU 8t ASIC 블록 다이어그램

Virgo 네트워크 토폴로지 및 최대 4배의 데이터 센터 네트워크 증가: TPU 8t의 대규모 데이터 요구사항을 지원하기 위해 Virgo 네트워크를 도입했습니다. 이 새로운 네트워킹 아키텍처를 통해 DCN을 통한 TPU 8t 학습에서 데이터 센터 네트워크 (DCN) 대역폭이 최대 4배 증가합니다. Virgo Network는 최신 AI 워크로드의 극단적인 요구사항을 충족하도록 설계된 수평 확장 패브릭입니다. 스위치당 더 많은 포트를 허용하여 네트워크 계층을 줄이는 high-radix 스위치를 기반으로 구축되었으며, 평면적인 2계층 비차단 토폴로지를 사용합니다. 기존 데이터 센터 네트워크와 비교했을 때 네트워크 계층을 최소화하여 지연 시간을 크게 줄입니다. TPU 8t 칩을 연결하기 위한 독립적인 제어 도메인이 있는 다중 평면 설계가 특징입니다. TPU 8t 랙은 컴퓨팅 및 스토리지 서비스에 액세스하기 위해 Jupiter 남북 패브릭과도 연결됩니다. 이러한 간소화된 아키텍처는 고가용성으로 세계 최대 규모의 학습 클러스터를 지원하는 데 필요한 대규모 바이섹션 대역폭과 결정적 짧은 지연 시간을 제공합니다.

칩 간 상호 연결 (ICI)의 대역폭이 2배로 늘어나고 이전 세대 대비 최대 4배의 원시 스케일 아웃 DCN 대역폭을 제공하는 TPU 8t는 데이터 병목 현상을 크게 줄여줍니다. 그런 다음 최첨단 모델의 개발을 더욱 가속화하기 위해 단일 클러스터를 넘어 분산 학습을 확장합니다. JAX와 Pathways를 사용하면 이제 단일 학습 클러스터에서 100만 개 이상의 TPU 칩으로 확장할 수 있습니다. Virgo 네트워크는 단일 패브릭에서 최대 47페타비트/초의 차단되지 않는 양방향 대역폭으로 134,000개 이상의 TPU 8t 칩을 연결할 수 있습니다. 이 패브릭은 선형에 가까운 확장 성능으로 1.7K ExaFlops 이상의 성능을 제공합니다.

그림 2: Virgo 패브릭에 대한 TPU 8t 랙 수준 연결

더 빠른 스토리지 액세스: TPU 8t에 TPUDirect RDMA 와 TPU Direct Storage를 도입합니다. TPU Direct RDMA를 사용하면 호스트 CPU와 DRAM을 우회하여 TPU의 메모리 (HBM)와 네트워크 인터페이스 카드 (NIC) 간에 직접 데이터를 전송할 수 있습니다. 이렇게 하면 지연 시간과 호스트 시스템 병목 현상이 줄어들어 TPU 간 통신의 유효 대역폭이 증가합니다. 마찬가지로 TPUDirect Storage는 TPU와 10T Lustre와 같은 고속 관리형 스토리지 간에 직접 메모리 액세스를 지원하여 CPU 호스트 병목 현상을 우회함으로써 대규모 데이터 전송을 위한 대역폭을 효과적으로 두 배로 늘립니다. 이 아키텍처를 사용하면 실리콘이 라인 속도로 학습 데이터를 수집할 수 있으므로 대규모 멀티모달 데이터 세트를 처리할 때도 MXU가 완전히 포화 상태를 유지할 수 있습니다.

Managed Lustre 10T와 TPUDirect Storage를 결합하여 수백 페타바이트의 데이터 세트를 실리콘으로 직접 라우팅하는 TPU 8t는 데이터 수집 병목 현상으로 인한 학습 지연을 방지합니다. 이를 통해 7세대 Ironwood TPU에서 학습하는 것보다 10배 빠른 스토리지 액세스를 제공합니다.

그림 3: 위쪽 다이어그램은 TPUDirect Storage가 없는 데이터 전송 경로를 보여줍니다. 아래 다이어그램은 2개의 TPU 8t 칩 간의 TPUDirect Storage를 사용한 TPU 8t 데이터 전송과 관리형 10T Lustre 스토리지를 사용한 TPUDirect Storage를 보여줍니다.

TPU 8i: 샘플링 및 서빙 전문가

학습 후 및 동시 실행 추론에 최적화된 TPU 8i는 Google의 최고 수준의 온칩 SRAM, 새로운 CAE (Collectives Acceleration Engine), Boardfly라는 새로운 서빙 최적화 네트워크 토폴로지로 설계되었습니다.

대규모 온칩 SRAM: 이전 세대보다 3배 더 많은 온칩 SRAM을 갖춘 TPU 8i는 더 큰 KV 캐시를 완전히 실리콘에 호스팅하여 긴 컨텍스트 디코딩 중에 코어의 유휴 시간을 크게 줄일 수 있습니다.

그림 4: TPU 8i ASIC 블록 다이어그램

집단 가속 엔진 (CAE): 샘플링 병목 현상을 해결하기 위해 TPU 8i는 CAE를 사용합니다. CAE는 코어 전반의 결과를 거의 제로에 가까운 지연 시간으로 집계하여 자기 회귀 디코딩 및 '생각의 사슬' 처리 중에 필요한 축소 및 동기화 단계를 구체적으로 가속화합니다. 각 TPU 8i 칩에는 온코어 다이에 2개의 TensorCore (TC)가 있고 칩렛 다이에 1개의 CAE가 있어 이전 세대 Ironwood TPU의 코어 다이에 있던 4개의 SparseCore (SC)를 대체합니다. TPU 8i는 특수 CAE를 통합하여 수집의 온칩 지연 시간을 5배 더 줄입니다. 집단 연산당 지연 시간이 짧다는 것은 대기 시간이 짧다는 의미이며, 이는 수백만 개의 에이전트를 동시에 실행하는 데 필요한 더 높은 처리량에 직접적으로 기여합니다.
Boardfly ICI 토폴로지: 3D 토러스는 수천 개의 칩을 연결하여 일관성 있게 사용할 수 있도록 하지만, 대규모 메시에는 칩 간에 더 많은 홉이 있고 전체 대기 시간이 더 깁니다. 8i에서는 완전 연결 보드에서 칩이 서로 연결되는 방식을 변경한 다음 그룹으로 집계했습니다. 높은 기수 설계를 활용하여 이러한 칩을 최대 1,152개까지 함께 연결하여 네트워크 지름과 데이터 패킷이 시스템을 가로지르기 위해 거쳐야 하는 홉 수를 줄입니다. Boardfly는 MoE 및 추론 모델의 핵심인 전체 대 전체 통신에 필요한 홉을 줄여 통신 집약적인 워크로드의 지연 시간을 최대 50% 까지 개선합니다.

그림 5: 4개의 완전 연결된 칩으로 구성된 템플릿에서 8개의 보드로 구성된 완전 연결된 그룹으로 빌드업되는 TPU 8i 계층적 Boardfly 토폴로지. 이러한 그룹 36개가 완전 연결되어 TPU 8i 포드를 구성함

Boardfly는 다음과 같은 요소로 구성되며, 토폴로지는 본질적으로 계층적입니다.

빌딩 블록 (BB): 각 트레이는 내부 ICI 링크를 사용하여 4개의 칩으로 구성된 링을 형성하며, 더 넓은 네트워킹을 위해 16개의 외부 연결을 제공합니다.
그룹 (G): 8개의 보드가 구리 케이블을 통해 완전히 연결되어 로컬 그룹을 만들고 그룹 내 통신을 위해 사용 가능한 외부 링크 11개를 활용합니다.
포드 구조: 최종 아키텍처는 광학 회로 스위치 (OCS)를 통해 연결된 36개 그룹 (최대 1,024개의 활성 칩)으로 확장되어 칩 간 통신에 최대 7홉의 지연 시간을 보장합니다.

심층 분석: Boardfly 대 토러스 수학

TPU 8i에 토러스를 사용하지 않는 이유 네트워크 지름에 달려 있습니다.

3D 토러스에서는 각 차원이 링처럼 감싸는 그리드에 노드가 배열됩니다. 8 x 8 x 16 (1024칩) 구성에서 가장 멀리 있는 칩에 도달하려면 패킷이 각 링의 절반 거리를 통과해야 합니다.

3D 토러스 = 8/2(X) + 8/2(Y) + 16/2(Z) = 16홉

토러스는 밀집된 학습에 일반적인 인접 노드 간 통신에 매우 효율적이지만, 전체 통신 패턴에 지연 시간 세금을 부과합니다. 추론 모델과 MoE의 시대에는 토큰을 라우팅하기 위해 모든 칩이 다른 칩과 통신해야 할 수 있으므로 홉 수가 중요합니다.

Boardfly의 고기수 토폴로지는 Dragonfly 토폴로지 원칙에서 영감을 받았습니다. 보드 그룹 간의 직접 광 장거리 링크 수를 늘려 네트워크를 평면화합니다. 동일한 1024개 칩 포드의 경우 Boardfly는 네트워크 직경을 16홉에서 7홉으로 줄입니다.

네트워크 직경이 56% 감소하면 테일 지연 시간이 직접적으로 단축되므로 TPU 8i CAE가 포드 전체에서 데이터가 도착할 때까지 기다릴 필요가 없습니다.

그림 6: TPU 8i 포드에서 광 회로 스위치를 통해 최대 7홉 ICI 네트워크 직경을 시각적으로 표현한 그림

TPU 8t 및 TPU 8i 한눈에 보기

기능	TPU 8t	TPU 8i
기본 워크로드	대규모 사전 학습	샘플링, 서빙, 추론
네트워크 토폴로지	3D 토러스	Boardfly
특수 칩 기능	SparseCore (임베딩) 및 LLM 디코더 엔진	CAE (Collectives Acceleration Engine)
HBM 용량	216 GB	288 GB
온칩 SRAM (Vmem)	128MB	384MB
최고 FP4 PFLOPS	12.6	10.1
HBM 대역폭	6,528GB/초	8,601GB/초 (TPU 8t의 약 1.3배)
CPU 헤더	Arm Axion	Arm Axion

소프트웨어 지원: 성능 중심의 AI 스택

하드웨어의 성능은 이를 구동하는 소프트웨어에 따라 달라집니다. 8세대 TPU는 7세대 Ironwood TPU에서 개척한 것과 동일한 성능 중심 스택을 기반으로 빌드되었으며, 고급 프레임워크의 추상화를 희생하지 않고도 커스텀 커널 개발에 액세스할 수 있도록 설계되었습니다. 이 스택에는 다음이 포함됩니다.

Pallas 및 Mosaic: Google은 Python으로 하드웨어 인식 커널을 작성할 수 있는 커스텀 커널 언어인 Pallas를 최고 수준으로 지원합니다. 이를 통해 TPU 8i CAE 및 TPU 8t SparseCore에서 성능을 최대한 끌어낼 수 있습니다.
네이티브 PyTorch 환경: TPU에 대한 네이티브 PyTorch 지원이 이제 프리뷰 버전으로 제공됩니다. 현재 PyTorch에서 모델을 빌드하고 서빙하고 있다면 이전보다 훨씬 쉽게 TPU를 사용할 수 있습니다. Eager 모드와 같이 사용 중인 기본 기능을 완벽하게 지원하는 TPU에 기존 모델을 그대로 가져올 수 있습니다.
이식성: Ironwood에서 실행되는 동일한 JAX, PyTorch 또는 Keras 코드가 이 세대로 확장됩니다. Accelerated Linear Algebra (XLA)는 백그라운드에서 Boardfly 토폴로지와 CAE 동기화의 복잡한 변환을 처리하므로 상호 연결이 아닌 모델에 집중할 수 있습니다.

세대별 성능 향상

하드웨어와 소프트웨어를 공동 설계하려는 Google의 노력은 계속해서 결실을 맺고 있습니다. 8세대 TPU는 7세대 Ironwood TPU와 비교했을 때 다음과 같은 엄청난 이점을 제공합니다.

학습 가격 대비 성능: TPU 8t는 대규모 학습을 위해 Ironwood TPU 대비 달러당 최대 2.7배 더 높은 성능을 제공합니다.
추론 가격 성능: TPU 8i는 특히 대규모 MoE 모델의 짧은 지연 시간 목표에서 Ironwood TPU 대비 달러당 성능이 최대 80% 향상되었습니다.
에너지 효율성: 두 칩 모두 와트당 성능이 최대 2배 향상되어 차세대 AI를 지속 가능한 방식으로 확장하는 데 중요한 역할을 합니다.

향후 계획

차세대 혁신을 선도하는 Google Cloud 고객을 지원하기 위해 Google Cloud는 TPU 8t와 TPU 8i를 AI 수명 주기의 다각적인 미래 수요에 맞게 조정된 두 가지의 고유한 전문 시스템으로 설계했습니다. TPU 8t 및 8i는 모두 가장 까다로운 서빙 및 학습 워크로드 전용으로 빌드되었으며 JAX, PyTorch, vLLM, XLA, Pathways와 같은 AI 하이퍼컴퓨터 소프트웨어 스택과 완전히 통합됩니다. 이러한 전문화와 처음부터 다시 설계한 디자인은 Google DeepMind와의 긴밀한 협업을 통해 탁월한 가격 대비 성능과 전력 효율성을 제공합니다.

8세대 아키텍처의 모듈성은 미래를 위한 명확하고 고유한 로드맵을 제공합니다. 컴퓨팅 환경의 모든 주요 변화에는 인프라 혁신이 필요했으며, 에이전트 시대도 마찬가지입니다. 연속적인 피드백 루프 내에서 계획, 실행, 학습하는 추론 에이전트는 원래 기존 학습 또는 트랜잭션 추론에 최적화된 하드웨어에서 최고의 효율성으로 작동할 수 없습니다. 운영 강도가 근본적으로 다르기 때문입니다. Google Cloud의 8세대 TPU 인프라는 이러한 구체적인 요구사항을 정면으로 충족하기 위해 진화했습니다.

8세대 TPU 제품군에 대해 자세히 알아보려면 다음을 참고하세요.

검증 가능하고 안전한 기밀 AI: 구글 클라우드, 기밀 컴퓨팅(Confidential Computing)의 지평을 넓히다

Tue, 23 Jun 2026 16:00:00 +0000

해당 블로그의 원문은 2026년 6월 24일 Google Cloud 블로그(영문)에 게재되었습니다.

AI와 함께 사용되는 민감한 데이터를 보호하는 것은 선진적이고 안전한 클라우드 인프라를 제공하겠다는 구글 클라우드의 약속에서 중요한 부분입니다. 기밀 컴퓨팅(Confidential Computing)은 하드웨어 기반의 신뢰 실행 환경(TEE) 내에서 검증 가능한 데이터 무결성을 바탕으로 사용 중인 데이터를 암호학적으로 보호합니다.

우리는 클라우드 AI 배포에서 검증 가능한 프라이버시를 더욱 강화하는 데 기여할 하드웨어 생태계 전반의 최신 기밀 컴퓨팅(Confidential Computing) 혁신 기술들을 공유하게 되어 매우 기쁩니다.

글로벌 규모의 기밀 AI

기밀 AI 역량을 글로벌 규모로 확장함으로써, 우리는 AI 추론 및 파인튜닝(미세 조정) 워크로드가 강제력 있는 프라이버시 보장 하에 실행될 수 있도록 지원합니다.

기밀 AI의 대중화: 프리뷰 단계의 NVIDIA RTX PRO 6000 Blackwell GPU 탑재 기밀 G4 VM

우리는 글로벌 규모에서 접근 가능한 기밀 AI의 기념비적인 순간을 발표하게 되어 기쁘게 생각합니다. 바로 NVIDIA RTX NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs를 특징으로 하는 가속기 최적화 G4 머신 시리즈 기반의 기밀 VM(Confidential VMs) 및 기밀 GKE(Confidential GKE) 노드입니다.

이를 게임 체인저로 만드는 것은 바로 글로벌 규모와 유연성입니다. 기밀 G4는 표준 G4가 제공되는 모든 구글 클라우드 리전에서 사용할 수 있으며, 온디맨드(On Demand), 예약(Reservations), DWS 플렉스 스타트(DWS Flex Start), 스팟/선점형(Spot/Preemptible)을 포함한 다수의 사용 모델 전반에서 가용합니다.

"조직이 여러 인프라 환경에 걸쳐 AI를 확장함에 따라, 데이터 및 실행에 대한 프라이버시와 통제권을 유지하는 것은 점점 더 어려워지고 있습니다. NVIDIA RTX PRO 6000 Blackwell GPU로 구동되는 구글 클라우드 기밀 G4 VM은 확장되는 기밀 AI 인프라 생태계에 매우 의미 있는 추가 모델입니다. AI 워크플로우가 이제 에이전트, 데이터 소스 및 인프라 경계를 넘나들고 있는 만큼, Super Protocol은 구글 클라우드 기밀 VM, 타사 클라우드 및 온프레미스 환경 전반에 걸쳐 일관된 기밀 AI 운영 모델을 제공합니다. 이는 기밀 컴퓨팅의 복잡성을 추상화하여 개발 팀이 오직 AI 성과에만 집중할 수 있도록 돕습니다." - 율리아 곤타르(Yulia Gontar), Super Protocol COO.

AMD SEV를 레버리징하는 5세대 AMD EPYC Turin CPU로 구동되는, NVIDIA RTX PRO 6000 Blackwell GPU 탑재 G4 머신 시리즈는 강력한 하드웨어 기반 보안을 활성화합니다. 이 아키텍처는 TEE 내부에서 처리되는 동안 민감한 데이터를 안전하게 보호하는 동시에, CPU와 GPU 사이를 이동하는 데이터까지 철저히 암호화합니다.

"구글 클라우드 플랫폼(GCP)의 기밀 G4 VM은 Vertebrae의 비즈니스를 위한 당연한 선택이었습니다. 우리 고객들에게 프라이버시와 보안은 결코 타협할 수 없는 절대 조건이기 때문입니다. 우리의 제품은 민감한 업무상 대화를 처리하므로, CPU와 GPU 모두가 신뢰 실행 환경(TEE) 내에서 구동되고 있음을 보여주는 하드웨어 서명 증명(hardware-signed attestation)을 지원해야 합니다. 구글 클라우드의 기밀 컴퓨팅을 도입함으로써, 우리는 클라우드 환경 내 AI 프라이버시의 최전선을 실현할 수 있게 되었습니다." - 앤디 친(Andy Qin), Vertebrae CEO.

기밀 G4를 통해, 여러분은 성능 저하를 최소화하면서 극도의 고강도 제한 데이터, 민감한 모델, 혹은 프라이빗 프롬프트가 개입된 AI 추론, 파인튜닝, HPC(고성능 컴퓨팅) 및 다양한 사용 사례들의 잠재력을 마음껏 실현할 수 있습니다. 지금 바로 Confidential G4 VMs 및 Confidential G4 GKE Nodes를 시작해 보세요.

엔드투엔드 프라이빗 추론의 구현: 오픈소스 프롬프트 암호화 SDK

기밀 AI의 접근성을 높여가는 와중에도, 우리는 AI 워크로드 내 민감한 데이터를 보호하는 것이 단순히 모델 실행 환경의 안전을 확보하는 차원을 넘어선다는 점을 잘 이해하고 있습니다. 프롬프트와 이에 대한 답변 그 자체만으로도 극도의 기밀 정보가 포함될 수 있기 때문입니다. 전체 추론 라이프사이클에 대한 암호학적 보호를 제공하기 위해, 우리는 이제 GitHub에서 사용 가능한 프롬프트 암호화 SDK(Prompt Encryption SDKs)의 오픈소스 출시를 발표하게 되어 매우 기쁩니다.

이 툴킷은 여러분이 AI 추론 워크로드를 위한 엔드투엔드 보안 채널을 확립할 수 있도록 돕습니다. 프롬프트가 클라이언트를 떠나는 순간부터 TEE 내부에서 처리될 때까지 암호학적으로 완벽히 보호되며, 모델의 답변 또한 클라이언트로 되돌아오는 전체 경로 동안 이와 동일하게 안전하게 보호됩니다.

프롬프트 암호화 SDK를 활용한 프롬프트 및 답변 암호화

Client SDK는 클라이언트 애플리케이션에 통합되며, TEE(신뢰 실행 환경)에서 실행되는 추론 서버에 통합된 Server SDK와 협력하여 작동합니다. SDK를 사용하여 인증된(attested) TLS 세션이 수립되면, 클라이언트는 서버가 검증된 기밀 컴퓨팅(Confidential Computing) 환경 내에서 승인된 워크로드를 실행하고 있음을 확신할 수 있습니다.

이후 클라이언트 앱은 이 서버만이 TEE 내부에서 프롬프트를 복호화하고 처리할 수 있음을 인지한 상태에서 암호화된 프롬프트를 추론 서버로 전송할 수 있습니다. 서버에 답변이 준비되면, 동일한 암호화 채널을 통해 클라이언트 앱으로 답변을 다시 전송합니다.

지금 바로 GitHub 저장소 및 Codelab을 통해 시작하실 수 있습니다.

구글 클라우드 기반의 애플 비공개 클라우드 컴퓨팅(PCC) 구현

프라이버시 보호에 대한 구글의 약속은 구글 클라우드 상에서 비공개 클라우드 컴퓨팅(PCC)을 확장하기 위한 애플과의 협업을 통해 깊이 있게 입증되고 있습니다.

구글은 애플의 프라이버시 및 보안 약속을 구글 클라우드 기반 PCC로 확장하기 위해 애플과 협력하게 된 것을 자랑스럽게 생각합니다. 구글 플랫폼은 구글 클라우드 인프라 상에 구축된 다층적 보안 접근 방식을 통해 애플 PCC의 프라이버시 약속을 지원합니다. 여기에는 Intel TDX가 포함된 구글 클라우드 기밀 컴퓨팅, NVIDIA Blackwell GPU가 적용된 NVIDIA 기밀 컴퓨팅(NVIDIA Confidential Computing), Titan 칩이 탑재된 구글의 타이타늄(Titanium) 보안 아키텍처 활용, 그리고 검증 가능한 투명성을 보장하기 위해 공동 엔지니어링된 오픈소스 호스트 스택이 포함됩니다.

이러한 기술들이 유기적으로 결합되어 구글 클라우드 상의 애플 PCC가 데이터 보호 및 사용자 프라이버시에 대한 엄격한 요구 사항을 충족하도록 돕습니다. 이번 협업에 대해 자세히 알아보려면 구글의 블로그 포스트인 기밀 AI의 차세대 시대를 열다(Powering the next era of Confidential AI)를 읽어보시기 바랍니다.

기밀 인프라의 고도화

구글 클라우드는 기밀 컴퓨팅(Confidential Computing) 기능을 전사 인프라에 걸쳐 폭넓게 지원하기 위해 최선을 다하고 있습니다. 구글의 목표는 하드웨어 기반 보안 기능을 핵심 컴퓨팅 오퍼링에 긴밀하게 통합하여, 고객이 성능 저하나 운영 유연성 타협 없이 데이터 보호 수준을 한층 강화할 수 있도록 돕는 것입니다.

C4 머신 시리즈에 인텔 신뢰 도메인 확장(Intel TDX) 기술 도입

C4 머신 시리즈 기반의 인텔 TDX 적용 기밀 VM(Confidential VMs)이 곧 프리뷰 단계로 출시될 예정입니다.

최신 6세대 인텔 제온(Intel Xeon) 프로세서로 구동되는 이번 통합 모델은 데이터 집약적인 워크로드를 위해 컴퓨팅 집적도 및 성능 면에서 비약적인 도약을 이뤄냈습니다. 인텔 TDX를 활용함으로써, C4 인스턴스는 기반 호스트 및 하이퍼바이저로부터 민감한 애플리케이션과 데이터를 안전하게 격리 및 보호하는 하드웨어 격리형 신뢰 도메(Trust Domains, TDs)를 생성합니다.

이 아키텍처는 기밀성과 프라이버시를 보장하는 동시에 원격 증명(remote attestation) 기능을 활성화하므로, 민감한 데이터를 처리하기 전에 해당 하드웨어 환경을 암호학적으로 검증할 수 있습니다. 무엇보다도 코드 수정 없이 단 몇 번의 클릭만으로 기밀 컴퓨팅 기능을 손쉽게 활성화할 수 있습니다.

라이브 마이그레이션(Live Migration) 기능 확장

비즈니스에 치명적인 미션 크리티컬 프로덕션 환경을 가동하기 위해서는 클라우드의 정기 유지 보수 기간 중에도 고가용성(High Availability)과 상시 무중단 구동(Continuous Uptime)이 필수적으로 요구됩니다.

C3D 기반 기밀 VM의 라이브 마이그레이션(Live Migration) 기능이 정식 버전(GA)으로 출시되었습니다. 이 기능을 통해 구글 클라우드는 실행 중인 워크로드를 중단하거나 암호화된 게스트 메모리를 외부로 노출하지 않은 채 예정된 하드웨어 유지 보수 작업을 안전하게 수행할 수 있으며, 장시간 가동되는 소버린 애플리케이션의 원활한 무중단 운영을 보장합니다.

신뢰와 협업의 강화: 기밀 공간(Confidential Space)의 혁신

기밀 공간(Confidential Space)은 안전한 다자간 컴퓨팅(multi-party computation) 및 데이터 공유를 지원하기 위해 정교하게 설계된 기밀 컴퓨팅 환경입니다. 이를 통해 여러 기업 및 기관은 서로 데이터를 직접 노출하거나 구글 클라우드에 데이터를 투명하게 노출하지 않고도, 공동 머신러닝 모델 학습이나 정밀 데이터 분석 등 민감한 데이터 중심의 긴밀한 협업을 안전하게 수행할 수 있습니다.

"구글 클라우드 기밀 공간(Confidential Space) 덕분에 우리는 금융 기관 고객에게 기존 온프레미스 서비스와 유사하거나 그보다 뛰어난 철저한 보안 보증을 약속할 수 있게 되었습니다." - 올리비에 리쇼(Olivier Richaud), Symphony 플랫폼 및 사이트 신뢰성 엔지니어링(SRE) 부사장. "이처럼 보안 및 프라이버시에 극도로 민감한 고객을 클라우드 기반 SaaS 서비스로 전환하는 것은 기밀 컴퓨팅의 혁신이 없었다면 결코 불가능했을 일입니다."

기밀 공간의 핵심 설계 사상은 워크로드 운영자(시스템 관리자)를 신뢰 경계(trust boundary)에서 완전히 분리 배제하여, 오직 정식으로 권한이 부여되고 무결성이 검증된(attested) 워크로드만이 해당 데이터에 접근할 수 있도록 하는 강력한 암호학적 보증을 수여하는 데 있습니다.

"금융 서비스 분야에서 AI 시스템이 소비자를 대행하여 의사를 결정하는 사례가 늘어남에 따라, 데이터가 처리되는 환경 전반에 대한 신뢰 확보는 무엇보다 중요한 화두입니다. Sahamati는 구글 클라우드 기밀 공간을 인도의 오픈 파이낸스 생태계 내에서 프라이버시를 완벽히 보호하는 차세대 AI를 구현하는 중대한 기반 기술로 보고 있으며, 이를 통해 강력한 보안 및 책임 규제 준수를 보장하는 혁신적인 신뢰 관계를 형성하고 있습니다." - 키란 고피나스(Kiran Gopinath), Sahamati Labs 최고혁신책임자(CIO) 겸 총괄.

기밀 공간을 위해 도입된 구글의 새로운 기술 진보는 더욱 강화된 유연성과 강력한 보안 보증을 약속합니다. 주요 업데이트 내용은 다음과 같습니다:

독립적인 제3기관 검증: 인텔 트러스트 어쏘리티(Intel Trust Authority)와의 통합

인텔 트러스트 어쏘리티(Intel Trust Authority)(ITA)가 기밀 공간(Confidential Space)을 위한 독립적인 인증 검증(attestation verifier) 서비스로 정식 출시(GA)되었음을 기쁘게 발표합니다.

이번 서비스 통합을 통해 여러 기관 및 기업들은 기밀 워크로드에 암호화 키를 공개하기 전에 인텔의 하드웨어 신뢰 기준점(Root of trust) 기반 인증을 활용하여 기밀 공간 환경의 무결성을 독립적으로 사전 검사 및 검증할 수 있게 되었습니다. 클라우드 서비스 제공사로부터 기밀성 증명 분석 과정을 물리적으로 분리 독립시킴으로써, 고객은 한층 극대화된 투명성, 확실한 보안 보증, 그리고 더욱 강력해진 제3자 신뢰 모델의 혜택을 톡톡히 누릴 수 있습니다.

"기밀 컴퓨팅이 구글 핵심 인프라와 결합됨에 따라 구글 클라우드와 인텔은 하드웨어 신뢰 기준점 보안 및 독립적인 증명 과정을 현대 클라우드 컴퓨팅 환경의 기본 필수 아키텍처로 정비해 가고 있습니다. 프로덕션 워크로드가 실행되는 인텔 TDX 기반 C4 기밀 VM에서부터 이제 정식 출시되어 강력한 다자간 데이터 협업을 촉진하는 인텔 트러스트 어쏘리티 기반 기밀 공간에 이르기까지, 고객들은 규제 기준이 가장 혹독하고 까다로운 환경 속에서도 애플리케이션 코드를 수정하거나 가동 성능 저하 없이 가장 민감한 고성능 AI 및 데이터 워크플로우를 암호화, 검증 및 자율 확장할 수 있습니다." - 아난드 파슈파시(Anand Pashupathy), 인텔 코포레이션 인텔 제품 보증 및 보안(IPAS) 총괄 매니저 겸 부사장.

안전한 협업 가속화: H100 GPU를 지원하는 기밀 공간

안전한 다자간 AI 및 머신러닝 개발을 지원하기 위해, NVIDIA Hopper GPU를 지원하는 기밀 공간의 구동 환경이 정식 출시되었습니다. 이를 통해 여러 파트너들은 강력한 Hopper GPU의 가속 성능을 가동하는 기밀 공간 환경 내에서 안심하고 자사 데이터를 취합해 AI 모델 훈련 및 추론 워크로드를 수행하는 동시에, 개별 원시 데이터가 타사 파트너나 구글 클라우드에 투명하게 유출되는 것을 차단할 수 있습니다.

기밀 공간은 데이터 센터를 임의로 통합하거나 데이터를 중앙 집중식으로 모으지 않고도, 민감한 데이터 세트 전반에 걸친 연합 학습(Federated Learning) 및 다자간 공동 모델 구축과 같은 혁신적인 사용 사례를 안전하게 실현합니다.

"구글 클라우드 기밀 공간의 기밀 GPU 지원 기능은 안전한 AI 도입을 가로막던 가장 큰 장애물, 즉 민감한 워크로드 보호와 프로덕션 수준의 고성능 확보 간의 제약적인 타협점을 완벽히 소멸시켰습니다." - 아디 히르슈타인(Adi Hirschtein), Duality 제품 부문 부사장. "이를 통해 헬스케어, 금융 서비스, 정부 공공 기관에 종사하는 Duality 고객들은 대규모 민감 데이터 위에서 작동하는 연합 학습, 기밀 AI, 그리고 암호화된 RAG(검색 증강 생성) 워크플로우를 완벽한 데이터·모델 격리 가드레일 속에서 끊김 없이 마음껏 구동할 수 있습니다."

앞으로 나아갈 길

기밀 컴퓨팅은 다가올 AI 시대의 클라우드 컴퓨팅에서 결코 배제할 수 없는 가장 핵심적인 필수 인프라 레이어로 부상하고 있습니다. 구글이 야심 차게 진화시키고 있는 다양한 기밀 VM 포트폴리오, 혁신 가속 하드웨어 채널, 그리고 검증된 오픈소스 툴킷을 지금 바로 탐색해 보시고, 귀사 내부 조직에서 안전한 다자간 데이터 협업과 한층 프라이빗한 AI 기술 혁신 청사진을 완성해 보시기 바랍니다.

기술에 대해 보다 자세히 알아보고 싶으시다면, 2026년 6월 23일과 24일에 개최된 기밀 컴퓨팅 서밋(Confidential Computing Summit)을 통해 구글 클라우드가 제안하는 기밀 AI의 미래를 직접 확인해 보세요!

Google Distributed Cloud의 새로운 혁신

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘 Google Cloud Next에서 우리는 Google Distributed Cloud (GDC)의 새로운 기능들을 발표합니다. 이를 통해 여러분의 데이터가 있는 곳 어디에서나 Gemini와 고급 AI 스택을 활용할 수 있게 되어, AI 혁신과 데이터 주권(sovereignty) 사이에서 더 이상 타협할 필요가 없습니다. 이는 소버린 네오클라우드(sovereign neocloud) 아키텍처의 촉매제 역할을 할 것입니다.

GDC는 고객의 데이터 센터나 에지(edge) 등 필요한 곳 어디로든 Google Cloud를 확장해 줍니다. GDC는 고객의 특정한 보안 및 하드웨어 요구 사항을 충족하기 위해 두 가지 모델로 제공됩니다: GDC 에어갭(air-gapped)은 최고 수준의 보안과 컴플라이언스를 위해 설계된 Google 공급 전용 하드웨어에서 실행되는 완전 격리형 배포 모델입니다; GDC 커넥티드(connected)는 고객의 자체 하드웨어에서 Google이 관리하는 통합 소프트웨어 라이프사이클의 이점을 누릴 수 있는 모델입니다.

전통적으로 엄격한 데이터 규제와 주권 요구 사항이 있는 기업 및 정부 기관은 최신 AI 기능을 활용하는 데 제약이 있었습니다. 이들의 유일한 선택지는 자체 시스템을 구축하는 것이었으나, 이는 느리고 복잡하며 막대한 비용이 들었습니다. GDC는 이러한 어려움을 해결해 줍니다. 이제 번거로운 과정 없이 온프레미스 환경에서 세계 최고 수준의 AI 혁신을 경험할 수 있습니다.

GDC는 완벽한 온프레미스 AI 솔루션을 제공합니다. AI 워크로드에 최적화된 관리형 인프라, 유연성을 위한 Gemini 또는 오픈 모델 선택권, 그리고 비용 효율적인 인퍼런스(Inference) 서비스가 포함됩니다. 이러한 토대를 바탕으로 데이터에 대한 완전한 통제권을 유지하면서 보안이 강화된 AI 에이전트와 애플리케이션을 구축하고 실행할 수 있습니다.

GDC의 새로운 혁신 기술들이 여러분의 소버린 AI 워크로드를 어떻게 지원하는지 자세히 살펴보겠습니다.

관리형 AI 인프라

온프레미스에서 소버린 AI 요구 사항을 충족하려면 컴퓨팅, 스토리지, 네트워킹 전반에서 막대한 성능 요구치를 감당할 수 있는 관리형 인프라가 필요합니다. 온프레미스 AI 워크로드는 동적이며 예측하기 어렵기 때문에, 다양한 요구 사항 전반에서 최고의 성능을 제공하는 새로운 인프라 혁신을 도입합니다.

NVIDIA Blackwell GPU: NVIDIA Blackwell (NVIDIA HGX B200) 및 NVIDIA Blackwell Ultra platforms (NVIDIA HGX B300) GPU를 통해 AI 성능을 가속화합니다. 5세대 NVIDIA NVLink를 활용하여 데이터 센터급 대역폭을 여러분의 환경에 직접 제공합니다.
Google Cloud 머신 패밀리: GDC는 이미 범용 워크로드를 위한 N2 및 N3 머신 패밀리를 지원하고 있으며, 이제 까다로운 인퍼런스(Inference) 작업을 처리하기 위해 최대 컴퓨팅 성능이 2.25배 향상된 새로운 A4 머신 패밀리를 지원합니다. 또한 메모리 대 vCPU 비율이 높아야 하는 ERP 및 데이터 분석과 같은 워크로드를 위해 메모리 최적화형인 M2 및 M3 머신 패밀리를 GDC에 도입합니다.
강화된 스토리지 규모 및 성능: GDC는 이제 존(zone)당 6PB의 오브젝트 스토리지를 지원하며(기존 1PB 대비), 이는 이전보다 6배 늘어난 용량입니다. 또한 존당 30 IOPS/GB(기존 3 IOPS/GB 대비)를 제공하여 성능을 10배 향상시켰으며 스토리지 병목 현상을 최소화했습니다.

데이터 센터 내 Foundational Model

GDC를 사용하면 Google의 플래그십 모델인 Gemini의 성능을 여러분의 환경에 직접 가져올 수 있습니다. 최신 세대 NVIDIA Blackwell GPU를 기반으로 자체 경계 내에서 네이티브 배포를 지원함으로써, 세계 수준의 생성형 AI와 엄격한 데이터 주권 사이의 간극을 메워줍니다.

오늘 저희는 최신 Gemini Flash 모델이 GDC connected 고객을 위해 NVIDIA Blackwell 및 Blackwell Ultra 플랫폼에서 프리뷰로 제공된다는 기쁜 소식을 전해드립니다. 이로써 기존에 지원되던 GDC air-gapped 고객에 이어, 더 많은 고객이 최신 AI 성능을 직접 경험하실 수 있게 되었습니다.

“Samsung SDS는 Google Distributed Cloud에 Gemini를 도입하여 글로벌 제조 현장을 획기적으로 개선했습니다. 최첨단 AI를 로컬에서 직접 구동함으로써 클라우드 지연 시간 없이 IoT 데이터를 분석하고, 실시간 예방 정비와 품질 관리를 수행할 수 있게 되었습니다. 이를 통해 핵심 지식재산권(IP)에 대한 엄격한 데이터 주권을 유지하면서도 클라우드와 같은 민첩성을 확보했습니다.” – 삼성SDS 대표이사 이준희

AI 인퍼런스 서비스: Google Distributed Cloud AI gateway 발표

성능을 최적화하고 인프라의 복잡성을 추상화하기 위해, 소버린 환경을 위한 AI gateway를 소개합니다. 이 지능형 미들웨어는 모델을 위한 컨트롤 플레인 역할을 하며 다음과 같은 기능을 제공합니다.

동적 요청 라우팅(Dynamic request routing): 하드 코딩된 로직이 아닌 비용, 지연 시간, 정확도를 바탕으로 인퍼런스 요청을 적절한 AI 모델로 자동 라우팅합니다.
지능형 로드 밸런싱(Intelligent load balancing): GPU 사용률을 기반으로 최적의 장치를 선택하여 인퍼런스 효율성을 극대화하도록 요청을 배분합니다.
할당량 관리(Quota management): 요청의 우선순위를 정해 핵심 애플리케이션이 필요한 처리량을 확보하고, 할당량 관리 목표를 달성할 수 있도록 보장합니다.
관측성(Observability): 모든 인퍼런스 호출에 대해 트레이싱 및 로깅 기능을 내장하여, 규제가 엄격한 환경에서도 감사 가능성(auditability)을 확보할 수 있도록 돕습니다.

에이전틱 AI 애플리케이션 및 에이전트

조직이 edge 환경에서 AI를 진정으로 실무에 적용하려면 단순히 파운다셔널 모델을 갖추는 것 이상의 대안이 필요합니다. 스스로 행동할 수 있는 에이전틱 AI 아키텍처를 기반으로 구축된, 자율적이고 안전한 에이전트가 필요합니다. 저희는 오늘 Google Distributed Cloud를 위한 새로운 소버린 에이전틱 AI 아키텍처(sovereign agentic AI architecture)를 발표하게 되어 매우 기쁩니다. Kubernetes 상에서 서드파티 제공업체들과 함께 구축된 이 아키텍처는 여러분의 에이전틱 워크플로가 보안이 철저한 고객 조직 경계(Customer Organization boundary) 내에서 완전히 실행되도록 보장합니다

이 에이전틱 아키텍처를 활용하면 개발, 코딩 또는 데이터 분석과 같은 에이전틱 태스크(agentic tasks)를 수행하는 강력한 AI 에이전트를 보안 경계 내에서 안전하게 구축하고 배포할 수 있습니다.

Google Distributed Cloud로 어디서나 구현하는 AI

우리는 GDC가 온프레미스, 커넥티드(connected), 에어갭(air-gapped) 환경 전반에서 Google 모델과 타사 모델을 제공할 수 있는 최고의 플랫폼이라고 믿습니다. 이를 통해 모든 고객은 데이터 주권을 타협하지 않고도 AI와 에이전틱 솔루션을 활용할 수 있습니다. 제품에 대해 더 자세히 알아보시려면 웹사이트를 방문해 주세요. 오늘 소개해 드린 혁신 기술들은 소버린 AI 시대에 꼭 필요한 유연성과 보안을 제공합니다. 실제 작동 모습을 확인하시려면 Next ’26의 GDC 브레이크아웃 세션이나 쇼케이스에 참여해 보시기 바랍니다.

Google AI 인프라의 미래: 에이전틱 시대를 위한 확장

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

AI는 질문에 답하는 수준을 넘어 추론하고 행동하는 단계로 진화하고 있습니다. 오늘날의 에이전틱 시대(agentic era)를 선도하고자 하는 기업에는 이러한 새로운 요구사항에 맞춰 설계되고 최적화된 컴퓨팅 인프라가 필요합니다. 오늘 Google Cloud Next에서 우리는 여러분이 더 빠르게 혁신하고, 매력적인 사용자 및 고객 경험을 제공하며, 비용과 에너지 효율을 최적화할 수 있도록 돕는 새로운 AI 인프라 기능들을 대규모로 선보입니다.

에이전틱 인텔리전스로의 전환

에이전틱 시대에는 단 하나의 의도가 연쇄 반응을 일으킵니다. 단순한 채팅과 달리, 메인 AI 에이전트는 목표를 세부 작업으로 분해하여 이를 수행할 전문 에이전트 그룹에 할당합니다. 이 에이전트들은 서로 협력하고, 상태를 유지하며, 강화 학습을 활용해 실시간으로 결과물을 만들어냅니다.

이 과정은 상호작용당 지능의 밀도를 높여주지만, 동시에 기존 아키텍처로는 비용 급증이나 성능 병목 현상 없이 감당하기 어려운 복잡성을 초래합니다. 효율적이고 효과적으로 확장하기 위해서는 파편화된 부품과 기술을 수동으로 통합하는 방식에서 벗어나야 합니다. 똑똑하고 빠르며, 확장 가능하고 비용 효율적인 에이전틱 경험을 제공하기 위해서는 전용 하드웨어, 오픈 소프트웨어, 유연한 소비 모델을 아우르는 통합 인프라 스택이 필요합니다.

Google의 AI Hypercomputer는 에이전틱 시대를 위해 구축되고 최적화된 AI 전용 인프라로, 이러한 새로운 요구사항을 충족하도록 설계되었습니다. 이는 Google의 플래그십 모델인 Gemini, 소비자용 AI 서비스, 그리고 기업용 AI 솔루션을 뒷받침하는 것과 동일한 토대입니다. 오늘 우리는 다음과 같은 AI 인프라 포트폴리오의 대대적인 확장을 발표합니다.

TPU 8t 및 TPU 8i: Google의 8세대 TPU
A5X 베어메탈 인스턴스: NVIDIA Vera Rubin NVL72 기반
Axion N4A VM: Google 커스텀 Axion Arm 기반 CPU 탑재
Google Compute Engine 4세대 VM: Intel 및 AMD x86 기반 CPU 탑재
Virgo Network: AI 워크로드를 위한 혁신적인 데이터 센터 패브릭
Google Cloud Managed Lustre: 고성능 병렬 파일 시스템
Z4M VM: 오픈 병렬 파일 시스템을 위한 대용량 로컬 SSD 스토리지 및 RDMA 지원
전용 KV 캐시(KV Cache) 확장형 스토리지 서브시스템
TPU용 네이티브 PyTorch 지원
에이전트 네이티브 워크로드 오케스트레이션을 위한 새로운 GKE 기능

이러한 기능들이 결합되어 모델 및 복잡한 에이전틱 워크플로의 개발 속도를 높여줄 것입니다. 이를 통해 혁신을 가속화하고, 고객에게 유용하고 응답성이 뛰어난 서비스를 제공하는 동시에, 대규모 환경에서도 비용을 절감하고 에너지를 책임감 있게 사용할 수 있습니다.

조금 더 자세히 살펴보겠습니다.

에이전틱 AI를 위해 맞춤 설계된 8세대 TPU 시스템 발표

오늘 우리는 8세대 텐서 프로세싱 유닛(TPU)을 발표하게 되어 기쁘게 생각합니다. 이번 세대에는 처음으로 두 개의 서로 다른 칩과 전문화된 시스템이 포함되었으며, 에이전틱 시대를 위해 특별히 설계되었습니다.

TPU 8t: 고처리량(high-throughput) AI 워크로드에 최적화된 학습용 강력한 엔진입니다. 이전 세대보다 약 3배 높은 컴퓨팅 성능을 제공하여 거대 모델의 학습 기간을 획기적으로 단축함으로써 AI 개발의 규모를 재정의합니다. 단일 슈퍼포드(superpod)에 9,600개의 칩을 탑재하여 121 엑사플롭스(exaflops)의 연산 능력과 고속 상호 연결(ICI)로 연결된 2페타바이트의 공유 메모리를 제공합니다. 이 방대한 컴퓨팅 자원과 통합 메모리, 그리고 두 배로 늘어난 ICI 대역폭은 가장 복잡한 모델조차 선형에 가까운 확장성과 최대의 시스템 활용률을 달성하도록 돕습니다. 이제 Pathways와 JAX로 조율되는 단일 클러스터 내 100만 개 이상의 TPU 칩을 통해 수개월이 걸리던 학습을 수주 만에 끝낼 수 있습니다.
TPU 8i: 인퍼런스 및 강화 학습(RL)을 위한 혁신적인 추론 시스템입니다. 에이전틱 워크플로와 전문가 혼합(MoE) 모델에 필요한 초저지연성을 제공하도록 설계되었습니다. 온칩 SRAM을 384MB로 3배 늘리고 고대역폭 메모리(HBM)를 288GB로 증설하여 메모리 벽(memory wall)을 허물었으며, 방대한 KV 캐시를 온전히 실리콘 위에 호스팅할 수 있습니다. 또한 ICI 대역폭을 19.2Tb/s로 두 배 늘리고 ICI 네트워크 직경을 50% 이상 줄였으며, 전용 집합 통신 가속 엔진(CAE)을 도입하여 온칩 지연 시간을 최대 5배까지 단축함으로써 고동시성 요청 시의 렉을 최소화했습니다. 이러한 설계를 통해 TPU 8i는 이전 세대보다 인퍼런스당 비용 효율성을 80% 향상시켜, 빠르고 인터랙티브한 사용자 경험을 경제적으로 구현합니다.

TPU 8t와 TPU 8i는 곧 클라우드 고객들에게 제공될 예정입니다. 아키텍처에 대한 자세한 내용은 심층 분석 자료를 통해 확인해 보시기 바랍니다.

NVIDIA Vera Rubin 플랫폼 기반의 A5X

우리는 모든 상황에 맞는 단 하나의 정답은 없다는 점을 잘 알고 있습니다. 고객마다 워크로드와 요구사항, 사용 사례가 다르기 때문입니다. 이에 Google은 NVIDIA와 긴밀히 협력하여 최신 GPU 플랫폼을 Google Cloud에서 매우 안정적이고 확장 가능한 서비스로 제공하고 있습니다. 우리는 올해 말 출시 예정인 차세대 Vera Rubin 플랫폼 기반의 인스턴스를 가장 먼저 제공하는 파트너 중 하나가 될 것입니다.

또한 Open Compute Project를 통해 NVIDIA와 함께 오픈 소스 Falcon 네트워킹 프로토콜을 공동 설계하며 신뢰할 수 있는 전송 프로토콜의 지평을 넓히고 있습니다. A5X는 Falcon의 다양한 혁신적 개념을 구현할 예정입니다.

예를 들어, Thinking Machine Labs는 Google의 NVIDIA 기반 인프라를 활용하여 전문 사례를 위한 강화 학습 및 미세 조정(fine-tuning)용 오픈 플랫폼인 Tinker를 구동하고 있으며, Google AI Hypercomputer를 통해 2배 이상 빠른 학습 및 서비스 속도를 달성했습니다.

Axion, Intel, AMD를 통한 에이전틱 로직 및 강화 학습 가속

GPU와 TPU가 AI 모델의 학습과 서비스에 탁월하다면, 핵심 AI 모델을 둘러싼 복잡한 로직, 도구 호출(tool-calls), 피드백 루프를 처리하기 위해서는 고성능 CPU 기반 서비스가 이를 뒷받침해야 합니다. Google의 새로운 Axion 기반 N4A CPU 인스턴스는 이러한 에이전트 런타임에 대해 탁월한 가성비를 제공합니다. 실제로 Google Axion N4A 기반의 GKE Agent Sandbox는 타 하이퍼스케일러의 에이전트 워크로드 대비 최대 30% 더 나은 가성비를 실현합니다. 이러한 효율성은 Intel 및 AMD의 최신 x86 인스턴스를 탑재한 4세대 Compute Engine VM 제품군을 포함한 전체 포트폴리오로 확장됩니다. 이들은 RL 보상 계산, 에이전트 오케스트레이션, 중첩 시각화와 같은 광범위한 강화 학습(RL) 태스크에 최적화되어 모든 AI 워크로드에 최적의 역량을 제공합니다.

데이터 센터급 스케일아웃 패브릭을 위한 Virgo Network

AI Hypercomputer의 일부인 Virgo Network는 현대적인 대규모 AI 워크로드의 까다로운 요구사항을 충족하도록 설계되었습니다. 이전 세대보다 대역폭이 4배 향상된 통합 패브릭(collapsed fabric) 아키텍처는 '확장 비용(scaling tax)'을 제거하여 경이로운 수준의 피크 컴퓨팅 파워를 제공합니다. 이러한 용량 덕분에 가장 야심 찬 AI 워크로드도 선형에 가까운 효율로 확장할 수 있습니다.

초대형 클러스터링: Virgo Network와 TPU 8t를 통해 단일 데이터 센터 내의 단일 패브릭에 134,000개의 TPU를 연결할 수 있으며, 여러 데이터 센터 사이트에 걸쳐 100만 개 이상의 TPU를 하나의 학습 클러스터로 묶을 수 있습니다. 이는 전 세계에 분산된 인프라를 하나의 매끄러운 슈퍼컴퓨터로 전환하는 것과 같습니다.
GPU 지원 확장: Virgo Network는 A5X(NVIDIA Vera Rubin NVL72 기반)에도 적용되어 단일 데이터 센터 내 최대 80,000개의 GPU, 여러 사이트에 걸쳐 최대 960,000개의 GPU 연결을 지원합니다.

스토리지: 데이터 병목 현상의 최소화

거대한 컴퓨팅 클러스터의 효율은 데이터를 공급하는 스토리지 시스템의 성능에 좌우됩니다. 컴퓨팅 속도가 빨라지는 동안 스토리지가 병목 지점이 되지 않도록, 우리는 다음과 같은 네 가지 핵심 스토리지 혁신을 제공합니다.

학습 및 인퍼런스 가속: Google Cloud Managed Lustre는 이제 작년보다 10배, 타 하이퍼스케일러보다 최대 20배 빠른 10TB/s의 대역폭을 제공합니다. 용량 또한 80페타바이트로 늘어났으며, 이는 새로운 C4NX 인스턴스와 Hyperdisk Exapools 덕분에 가능해졌습니다.
지연 시간 최소화: Managed Lustre는 새로운 TPUDirect 및 RDMA를 활용하여 데이터가 호스트를 거치지 않고 가속기로 직접 이동하게 합니다. 이러한 처리 오버헤드 제거를 통해 AI 에이전트는 사용자가 원하는 즉각적인 속도로 응답할 수 있습니다.
최대 학습 가동률 유지: Google Cloud Storage의 Rapid Buckets는 1밀리초 미만의 지연 시간과 초당 2,000만 건의 연산 처리를 통해 객체 스토리지를 혁신합니다. 이를 통해 대규모 학습 체크포인트 생성 및 복구가 거의 즉각적으로 이루어지며, 가속기의 가동률을 95% 이상으로 유지하여 학습 주기를 앞당기고 귀중한 TPU/GPU 자원을 효율적으로 사용하게 합니다.
커스텀 솔루션 구축: Vast Data나 Sycomp와 같은 신뢰할 수 있는 병렬 파일 시스템을 통합하고자 하는 ISV 및 조직을 위해 Z4M 인스턴스를 출시합니다. 각 Z4M 인스턴스는 최대 168TiB의 로컬 SSD 용량까지 확장 가능하며, 수천 대 규모의 RDMA 클러스터에 배포될 수 있습니다.

이러한 새로운 스토리지 옵션은 종합적인 스토리지 포트폴리오를 제공하며, 각 사용 사례에 최적화된 스토리지 서비스를 통해 AI Hypercomputer 스택의 강력한 성능을 온전히 활용할 수 있도록 지원합니다.

GKE: 에이전트 네이티브 워크로드를 위한 오케스트레이션

에이전틱 시대에 지능의 효율성은 곧 확장 속도에 달려 있습니다. 이에 우리는 GKE를 에이전트 네이티브 워크로드를 위한 최고의 오케스트레이션 엔진으로 탈바꿈시켰습니다.

전체 스택에 걸친 지연 시간 단축

기민한 에이전트 응답을 지원하기 위해 초기 구동 및 확장 프로세스의 모든 밀리초를 최적화했습니다. GKE는 수요 급증에 인프라가 대응하는 방식을 효율화하여 사용자가 시스템에 접속하는 즉시 에이전트가 준비되도록 보장합니다.

노드 및 포드(Pod) 시작 가속: GKE 노드 시작 속도가 최대 4배 빨라졌으며, 포드 시작 시간은 최대 80% 단축되었습니다.
신속한 모델 로딩: run:AI Model Streamer와 Google Cloud Storage의 Rapid Cache를 활용하여 모델 로딩 속도를 5배 높임으로써 기존의 스토리지 병목을 제거했습니다.

AI 기반 인퍼런스 게이트웨이를 통한 지능형 라우팅

작년에 도입된 GKE Inference Gateway를 기반으로, 대규모 서비스의 복잡성을 해결하기 위해 'AI를 위한 AI' 기술을 적용하고 있습니다.

Inference Gateway의 새로운 예측형 지연 시간 부스트(predictive latency boost)는 단순한 휴리스틱 추측 대신 머신러닝 기반의 실시간 용량 인지 라우팅으로 대체됩니다. 이러한 지능형 오케스트레이션은 수동 튜닝 없이도 첫 번째 토큰 생성 시간(TTFT) 지연을 70% 이상 단축합니다. 이는 비즈니스 측면에서 더 자연스러운 음성 대화와 매끄러운 실시간 상호작용으로 직결됩니다.

또한 Inference Gateway는 최근 Cloud Native Computing Foundation(CNCF)샌드박스 프로젝트로 채택된 쿠버네티스 네이티브 고성능 분산 LLM 인퍼런스 프레임워크인 llm-d와 함께 배포될 수 있습니다. Google Cloud는 Red Hat, IBM Research, CoreWeave, NVIDIA와 함께 llm-d의 창립 기여자로서 '어떤 모델, 어떤 가속기, 어떤 클라우드든 상관없는' 업계의 명확한 비전을 수립하는 데 동참하고 있습니다.

전체 AI 라이프사이클을 위한 개방형 소프트웨어 생태계

하드웨어는 함께 설계된 소프트웨어를 통해 그 잠재력을 온전히 발휘합니다. AI Hypercomputer는 JAX, PyTorch, vLLM과 같이 업계에서 가장 널리 쓰이는 프레임워크에 대해 최적화된 네이티브 지원을 제공함으로써 엔지니어들이 더 빠르게 업무를 진행할 수 있도록 돕습니다. 이러한 개방형 소프트웨어 레이어는 개발과 배포 사이의 마찰을 줄여주며, 이는 곧 시장 출시 시간 단축과 더 나은 자원 효율성으로 이어집니다.

현재 우리는 일부 고객을 대상으로 TPU용 네이티브 PyTorch 지원 기능인 TorchTPU의 프리뷰를 진행하고 있습니다. TorchTPU를 사용하면 Eager Mode와 같은 네이티브 PyTorch 기능을 완벽하게 지원받으며 모델을 TPU에서 있는 그대로 실행할 수 있습니다. 여기에 TPU 기반의 강력한 vLLM 지원까지 더해진 우리의 메시지는 명확합니다. Google은 언제나 개방성과 고객의 선택권을 최우선으로 하여 시스템을 구축한다는 것입니다.

에이전틱 성장을 위한 토대

에이전틱 시대에 빠르고 비용 효율적으로 혁신하기 위해서는 성능이나 선택권을 타협하지 않는 통합 시스템이 필요합니다. 그것이 바로 AI Hypercomputer가 제공하는 가치입니다. 실리콘부터 소프트웨어까지 모든 레이어를 함께 설계함으로써 통합의 부담을 제거하고, 여러분의 팀이 비즈니스를 발전시키는 데만 집중할 수 있도록 했습니다.

또한 AI Hypercomputer는 Google의 모든 상위 레벨 서비스 생태계를 뒷받침하는 강력한 토대 역할을 합니다. 이 통합 스택은 Gemini Enterprise부터 Gemini Enterprise Agent Platform까지 모든 서비스를 구동하며, 이러한 인프라의 혁신이 비즈니스 가치로 직접 연결되도록 보장합니다. 서버리스 학습 서비스나 새로운 Managed RL API와 같은 완전 관리형 서비스를 활용하여, AI Hypercomputer의 압도적인 성능 향상을 바탕으로 여러분의 비즈니스 로직에 맞게 Gemini를 커스터마이징하고 정교한 에이전트 기반 솔루션을 제공할 수 있습니다.

업데이트되고 확장된 이 AI 플랫폼을 통해 여러분이 만들어갈 다음 혁신을 기대하겠습니다.

컴퓨팅의 새로운 변화: 코어 및 에이전틱 워크로드의 확장

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Next '26에서 우리는 더 높은 성능과 더 낮은 비용으로 핵심 범용 업무 및 AI 워크로드를 에이전틱 세상에 맞게 구현할 수 있는 다양한 컴퓨팅 기능을 발표합니다.

이것이 중요한 이유: IT 리더와 개발자들은 에이전틱 AI와 일상적인 고객 경험을 이끄는 웹 서버, 데이터베이스, 엔터프라이즈 애플리케이션 등 범용 사용 사례 사이에서 컴퓨팅 투자와 리소스의 균형을 맞춰야 하는 과제에 직면해 있습니다.

한쪽에서는 에이전트들이 컴퓨팅 인프라에 예측 불가능한 수요를 발생시키며, 종종 기하급수적으로 확장되기도 합니다. 단 한 번의 사용자 상호작용이 수백 개의 동시적이고 높은 처리량과 낮은 지연 시간을 요구하는 작업들을 즉각적으로 촉발할 수 있습니다. 반면, 범용 워크로드는 에이전틱 세상을 구동하는 데 필요한 데이터를 생성하고 보유합니다. 이들을 실행하기 위해 정적이고 파편화된 인프라에 의존하는 것은 성능 병목 현상과 비용 폭증의 위험을 초래하며, 결국 조직이 급격한 수요 증가에 대응할 수 없게 만듭니다.

단순한 휴가 검색이 재고 확인, 동적 가격 책정 모델, AI 기반 맞춤형 일정 생성이라는 방대한 에이전트 오케스트레이션을 즉각적으로 일으키는 글로벌 여행 애플리케이션을 생각해 보십시오. 현대적인 아키텍처가 없다면, 이러한 갑작스러운 수요 급증은 핵심 예약 데이터베이스를 마비시키고 비즈니스를 중단시킬 수 있습니다.

우리는 범용 및 에이전틱 워크플로에 맞춰 적응하는 Google Cloud 인프라인 유동적 컴퓨팅(Fluid Compute)을 통해 이 문제를 해결합니다. 유동적 컴퓨팅은 성능, 용량, 규모를 실시간으로 유연하게 조정함으로써 두 워크로드 모두 성공적으로 작동하도록 지원합니다. 이러한 동적 유연성은 Google Kubernetes Engine(GKE)의 자동화된 오케스트레이션과 새로운 Agent Sandbox를 기반으로 하며, 기계적인 속도로 안전하고 격리된 실행 환경을 즉시 프로비저닝합니다.

Next ‘26에서 발표된 새로운 컴퓨팅 기능들을 더 자세히 살펴보겠습니다.

AI와 범용 워크로드의 통합 실행

에이전틱 플래닝과 강화 학습은 자율적인 태스크의 예측 불가능한 폭증을 처리하기 위해 매우 유동적인 컴퓨팅에 의존합니다. 에이전트가 생성한 코드를 격리하기 위해 정적인 인프라에 의존하면 심각한 프로비저닝 지연이 발생하고 클라우드 예산이 크게 늘어날 수 있습니다. 적응형 클라우드 토대를 채택하면 이러한 병목 현상을 제거할 수 있습니다. GKE Agent Sandbox를 활용하면 팀이 수천 개의 실행 환경을 안전하게 시작할 수 있습니다. 이러한 확장 가능한 샌드박스를 효율적인 Google Axion 프로세서와 결합하면 인공지능 혁신을 가속화하는 동시에 총소유비용(TCO)을 최적화할 수 있습니다.

Google Cloud 컴퓨팅 출시 및 발표의 새로운 소식은 다음과 같습니다.

Google Axion N4A 정식 출시(GA): Google의 커스텀 Arm 기반 Axion CPU의 민첩성을 활용해 보세요. Java 애플리케이션, 스케일아웃 웹 서버, 스타트업 및 엔터프라이즈의 SaaS 등 비용에 민감한 워크로드에서 동급 최신 x86 기반 VM보다 최대 2배 더 나은 가성비를 달성할 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
GKE Agent Sandbox(Axion N4A 기반 가성비 모델) 정식 출시(GA): 하이퍼스케일러 중 업계 유일의 네이티브 샌드박스 서비스인 GKE Agent Sandbox는 성능 저하 없이 에이전트가 신뢰할 수 없는 코드와 도구 호출을 안전하게 실행할 수 있도록 설계된 확장 가능한 저지연 인프라를 제공합니다. Google Axion을 사용하면 비용이나 선택권의 타협 없이 선도적인 인프라에서 에이전트를 구축할 수 있습니다. Google Axion N4A 인스턴스에서 구동되는 GKE Agent Sandbox는 타사 대비 최대 30% 더 나은 가성비를 제공합니다. [여기]에서 GKE Agent Sandbox를 사용해 보세요.
첫 번째 Axion 베어메탈 인스턴스, Google Axion C4A.metal 프리뷰: C4A.metal 인스턴스는 중첩 가상화의 성능 오버헤드나 복잡성 없이 Android 개발, 자동차 시뮬레이션, CI/CD 파이프라인, 보안 워크로드 및 커스텀 하이퍼바이저를 구동합니다. C4A.metal은 이번 여름 정식 출시 예정입니다. 자세한 내용은 [여기]를 참조하세요.
모든 쉐이프에서 Intel Xeon 6(Granite Rapids) 지원을 확대한 C4 인스턴스: 네이티브 FP16을 지원하는 Intel AMX를 사용해 LLM 인퍼런스 및 벡터 검색과 같은 AI 워크로드에서 고성능을 구현하세요. 처리량은 높이고 지연 시간은 줄여 타사 대비 13% 더 나은 가성비를 제공합니다. C4 VM은 모든 쉐이프에서 Intel Xeon 6 프로세서를 사용할 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
유연한 약정 사용 할인(Flexible CUDs) 지원 확대 정식 출시(GA): 총소유비용(TCO)을 최적화하면서 리전 및 VM 제품군 간에 지출을 유연하게 전환하세요. 이제 메모리 최적화(M1-M4), HPC 최적화(H3, H4D) VM 제품군은 물론 Cloud Run까지 더 넓은 범위의 VM 및 서비스를 지원합니다. 자세한 내용은 [여기]를 참조하세요.

고객 사례:

Unity: Unity Vector를 통해 실시간 AI의 경제성을 재정의하고 있습니다. 온디맨드 기능 프로세서 워크로드를 Google Axion N4A 인스턴스로 마이그레이션하여 지연 시간의 증가 없이 비용 효율성을 20% 향상시켰습니다.
Deutsche Börse: 독일의 선도적인 시장 인프라 제공업체인 Deutsche Börse는 수십 개의 핵심 금융 애플리케이션을 최신 C4 및 C4D 인스턴스로 현대화했습니다. 이를 통해 매일 수백만 건의 금융 거래를 처리하는 데 필요한 일관된 성능을 확보했으며, 시장 출시 속도를 58% 앞당기고 TCO를 33% 절감했습니다.
WP Engine: 1밀리초가 중요한 수백만 개의 디지털 경험을 제공합니다. C4D 및 N4D 인스턴스에서 GKE 클러스터를 실행하여 모바일 최적화 REST API의 지연 시간을 최대 60% 줄였으며, 데이터 집약적인 애플리케이션 요청 처리 속도를 최대 51% 높였습니다.
eDreams ODIGEO: 대규모 AI 기반 여행 플랫폼을 운영하는 이 회사는 Java 기반 이커머스 모듈을 Axion VM으로 마이그레이션했습니다. 이를 통해 수주가 걸리던 수동 코드 최적화 작업을 즉시 제거했으며, 코드 변경 없이 P95 지연 시간을 75%나 대폭 개선했습니다.
Chainguard: 소프트웨어 빌드 시스템의 완전한 격리를 위해 Axion C4A 베어메탈 인스턴스를 도입했습니다. 이를 통해 빌드 성능을 유지하면서도 아키텍처적 일관성을 갖춘 보안 개발 파이프라인을 구축하고 강력한 하이퍼바이저 보안 경계를 설정할 수 있었습니다.

I/O 및 지연 시간에 민감한 워크로드의 통합 실행

AI와 핵심 워크로드 모두 데이터를 저장, 읽기, 이동하는 과정을 하나의 고성능 작업으로 처리하는 능력에 의존합니다. 전통적으로 이러한 단계는 vCPU 수에 묶인 네트워크 및 스토리지 제한으로 인해 속도가 느려졌으며, 이는 AI 모델이 작동하는 데 필요한 데이터를 충분히 공급받지 못하는 상황을 초래하곤 했습니다.

이제 가속화된 하이퍼디스크(Hyperdisk) 성능을 통한 신속한 데이터 액세스와 고성능 네트워킹을 활용하여 이러한 제약을 제거할 수 있습니다. 데이터 파이프라인이 컴퓨팅과 독립적으로 확장되도록 함으로써, AI 학습 및 I/O 민감 워크로드는 수요가 최고조에 달하는 시점에도 안정성을 유지하는 데 필요한 전용 대역폭을 확보할 수 있습니다.

C4N 프리뷰: 동시 모바일 앱 요청이나 실시간 재고 업데이트와 같은 대규모 네트워크 애플리케이션은 트래픽 피크 시 병목 현상이 발생할 위험이 있습니다. 복잡한 패킷 처리를 오프로드하는 Titanium 어댑터가 탑재된 C4N을 통해 처리량을 극대화하세요. C4N은 초당 9,500만 개의 패킷을 처리하며, 이는 다른 주요 하이퍼스케일러 대비 40% 우수한 성능입니다. 대규모 데이터 세트의 신속한 전송을 위해 설계된 C4N은 약 400Gbps의 VM 간 대역폭을 제공하며, 이는 vCPU당 대역폭이 4배 개선된 수치입니다. 또한 C4 VM 대비 인터넷 게이트웨이를 통한 이그레스(Egress) 네트워크 대역폭이 8배 증가했습니다. 하이퍼디스크 익스트림(Hyperdisk Extreme)과 결합된 C4N은 현대적인 데이터베이스와 기업용 AI 애플리케이션이 필요로 하는 저지연, 고속 데이터 액세스를 지원하며, 25GiB/s의 블록 스토리지 처리량과 약 100만 IOPS를 제공합니다. [여기]에서 C4N 프리뷰 액세스를 신청하세요.
M4N 프리뷰: 메모리 집약적인 데이터베이스를 운영할 때, 메모리 속도를 맞추기 위해 컴퓨팅 코어(vCPU)를 과도하게 프로비저닝하여 소프트웨어 라이선스 비용이 상승하는 경우가 많습니다. 새로운 M4N 시리즈는 바로 이 문제를 해결하기 위해 도입되었습니다. M4N에서 하이퍼디스크 익스트림을 사용해 Oracle 워크로드를 실행하면 TCO를 20% 이상 절감할 수 있습니다. vCPU당 26.57GiB의 RAM을 제공하여 훨씬 적은 코어로도 Oracle을 효율적으로 실행할 수 있기 때문입니다. M4N과 하이퍼디스크 익스트림의 조합은 주요 하이퍼스케일러의 고메모리 인스턴스 중 코어당 가장 높은 IOPS와 처리량을 제공합니다. [여기]에서 프리뷰를 신청하세요.
Z4D 발표: 새로운 Z4D 인스턴스로 I/O 집약적 워크로드를 최적화하고 네트워크 기반 스토리지 병목 현상을 제거하세요. 노드에 직접 연결된 최대 84TiB의 고성능 로컬 SSD를 확보함으로써 SQL, NoSQL 및 벡터 데이터베이스를 위한 방대한 데이터 세트를 처리할 수 있습니다. Z4D는 C4N 및 M4N과 동일하게 최대 400Gbps의 VM 간 대역폭을 제공합니다. Z4D 가상 머신 및 베어메탈 인스턴스는 곧 프리뷰로 제공될 예정입니다.

고객 사례:

Ericsson: 5G 코어 워크로드는 본질적으로 네트워크 집약적이며, 일반적인 퍼블릭 클라우드 인스턴스가 대규모로 유지하기 힘든 고처리량 패킷 처리와 결정론적 지연 시간을 요구합니다. Ericsson은 C4N을 활용하여 'Ericsson On-Demand'를 구동하는 최적의 네트워크 성능을 확보했습니다. 네트워크 최적화 컴퓨팅에 집중한 C4N의 아키텍처 덕분에 자사의 5G Core-as-a-Service는 최근 1Tbps 달성이라는 전례 없는 처리량 수준에 도달하는 동시에 고객이 기대하는 통신사급 신뢰성을 유지할 수 있었습니다.
Teradata: Teradata의 'Autonomous Knowledge Cloud'는 세계 최대 규모의 기업들이 엔터프라이즈 인텔리전스를 활성화하고 데이터를 비즈니스 성과로 전환할 수 있도록 지원합니다. 고객들은 성능과 효율성이 가치를 결정하는 미션 크리티컬한 고I/O 분석을 대규모로 실행하기 위해 Teradata에 의존합니다. C4N 인스턴스는 이러한 까다로운 워크로드에 매우 적합하며, 강력한 가성비를 제공하고 최적화된 배포를 지원합니다. Teradata는 C4N을 통해 고객이 통찰력을 가속화하고 확신을 가지고 확장하며 데이터 및 AI 투자로부터 더 큰 임팩트를 창출하도록 돕고 있습니다.

까다로운 스토리지 요구사항 해결

웹 서버, 애플리케이션, 데이터베이스와 같은 기초 워크로드는 에이전틱 세상을 구동하는 데 필요한 데이터를 보유하고 있습니다. 이 중요한 정보를 경직된 하드웨어에 가두는 것은 기업 현대화를 완전히 중단시킬 수 있는 병목 현상을 야기합니다. 예를 들어, 글로벌 소매 브랜드가 연말 프로모션을 진행할 때 레거시 하드웨어가 에이전트들의 갑작스러운 쿼리 홍수를 처리하지 못해 재고 데이터베이스가 타임아웃되고 고객 요청을 누락하는 상황을 상상해 보십시오.

조직은 데이터 전달의 차단을 방지하기 위해 vCPU당 높은 IOPS와 처리량이 뒷받침되는 최고 성능의 데이터베이스 호스트가 필요합니다. 이러한 애플리케이션을 최신 클라우드 인프라로 마이그레이션하면 총소유비용(TCO)과 운영 처리량이 크게 향상됩니다. 전략적 클라우드 마이그레이션을 통해 고객은 현대화를 가로막는 아키텍처적 장벽을 제거하고 AI를 위한 데이터를 개방할 수 있습니다. 처리량 및 용량에 민감한 워크로드를 위한 유동적 컴퓨팅(Fluid Compute)의 새로운 소식은 다음과 같습니다.

Hyperdisk Balanced 성능 개선: Hyperdisk Balanced는 애플리케이션 및 관계형 데이터베이스를 포함한 범용 워크로드를 위해 빠르고 효율적인 블록 스토리지를 제공합니다. 이제 볼륨당 최대 2.4 GiB/s의 처리량과 160K IOPS를 지원하며, 이는 타 하이퍼스케일러의 범용 블록 스토리지 제품보다 높은 성능인 동시에 평균 지연 시간은 더 낮습니다. 특히 Hyperdisk Balanced High Availability(고가용성) 기능을 통해 전체 디스크 성능을 활성 VM으로 동적 라우팅함으로써, SQL Server나 PostgreSQL과 같은 고가용성 DB의 성능을 4배 향상시키고 스토리지 과다 프로비저닝의 필요성을 없앴습니다. 또한 가동 중단 없는 암호화 키 교체와 즉각적인 스냅샷을 위한 컨시스턴시 그룹(Consistency Groups)을 활용해 보안성을 한층 강화할 수 있습니다. 이러한 기능들을 통해 범용 워크로드의 TCO(총소유비용)를 낮추고 성능과 탄력성을 높일 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
Hyperdisk ML 성능 개선 및 Hyperdisk Exapools 정식 출시(GA): 통합 처리량이 2 TiB/s(기존 1.2 TiB/s에서 상향)로 늘어난 Hyperdisk ML은 AI 스토리지 병목 현상을 제거합니다. 타사 대비 디스크당 200배 이상 높은 처리량을 제공하여 귀중한 가속기 클러스터가 유휴 상태로 방치되지 않도록 지원하며, 이를 통해 차세대 인텔리전트 에이전트를 구동하면서 AI 컴퓨팅 ROI를 극대화할 수 있습니다. 또한 대규모 학습 요구사항에 맞춰 AI 클러스터당 업계 최고의 통합 블록 스토리지 성능과 용량을 제공하는 Hyperdisk Exapools도 정식 출시되었습니다. Hyperdisk ML 및 Exapools에 대한 자세한 내용은 [여기]와 [여기]를 참조하세요.
Z4M 발표: 최대 168 TiB의 로컬 SSD, 400 Gbps의 네트워크 대역폭, RDMA 지원 및 베어메탈 형태를 제공하여 분산 병렬 파일 시스템과 대규모 AI/ML 워크로드를 지원합니다. Z4M은 클러스터 디렉터(Cluster Director)와 통합되며, 데이터에 대한 초고속 저지연 액세스를 위해 가속기와 병치(colocation)될 수 있는 옵션이 제공됩니다. Z4M VM 및 베어메탈 인스턴스는 2026년 3분기에 프리뷰로 제공될 예정입니다.

고객 사례:

Shopify: 블랙 프라이데이 주말 세일 기간 동안 Shopify는 성능이나 신뢰성을 타협하지 않고 8,100만 명의 구매자를 대상으로 146억 달러 이상의 거래를 처리하고 1억 3,600만 개의 패키지를 추적했습니다. 이는 Compute Engine의 Z-시리즈 기반 스토리지를 토대로 구축된 Shop App 덕분에 가능했습니다.
HubX: 모델 로딩 속도가 사용자 경험을 결정짓는 대규모 AI 기반 모바일 애플리케이션 포트폴리오를 운영하는 HubX는 심각한 I/O 병목 현상을 해결하기 위해 GKE에 Hyperdisk ML을 도입했습니다. 이 특화된 스토리지 레이어를 통해 수백 명의 동시 판독기를 지원하고, 피크 타임의 포드(pod) 초기화 시간을 30배 단축했습니다. 이를 통해 유휴 가속기 비용을 획기적으로 줄이고 복잡한 인퍼런스 워크로드를 안정적으로 확장할 수 있었습니다.

에이전틱 시대를 위한 유동적 인프라

이제 기초 워크로드와 AI 에이전트가 더 이상 용량이나 성능을 두고 경쟁할 필요가 없습니다. Google Cloud의 유동적 컴퓨팅(Fluid Compute)을 통해 병목 현상을 방지하고, 기존 업무와 AI 워크로드가 서로 협력하며 번창할 수 있는 적응형 클라우드 인프라를 경험해 보세요.

지금 시작하시겠습니까?

Google Cloud 콘솔로 이동하여 다음 프로젝트를 위한 VM을 즉시 생성해 보세요.
마이그레이션을 계획 중이라면 Migration Center의 AI 기반 도구 세트를 확인하여 비용 추산, 비즈니스 사례 작성 및 현대화 옵션 평가를 시작해 보시기 바랍니다.

클릭에서 클러스터로: Intel TDX를 통해 확장되는 Confidential Computing

Fri, 29 Aug 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 8월 30일 Google Cloud 블로그(영문)에 게재되었습니다.

프라이버시를 보호하는 기밀 컴퓨팅(Confidential Computing)은 저희가 5년 전에 Confidential 가상 머신(VM)을 처음 선보인 이래로 많은 발전을 이루었습니다. 사용 중인 데이터를 보호할 수 있는 이 기술은 데이터가 저장 및 전송 중일 때의 암호화를 넘어선 보안 격차를 강화합니다.

그 이후로 고객들은 Confidential Computing을 사용하여 환자 의료 데이터를 보호하고, GDPR 및 Schrems II의 개인정보 보호 지침을 준수하여 미국-유럽 데이터 전송을 수행하며, HPC(고성능 컴퓨팅) 워크로드를 안전하게 실행해 왔습니다.

하드웨어 기반의 TEE(신뢰 실행 환경)에서 워크로드를 격리함으로써, Confidential Computing은 고객들이 가장 민감한 정보를 퍼블릭 클라우드에서 안심하고 처리할 수 있게 해줍니다.

Confidential Computing의 발전의 일환으로, 작년에 Intel TDX(Trust Domain Extensions)를 활용한 기밀 VM을 도입하여 더욱 강력한 보안 기능을 추가했습니다. Intel TDX는 VM 내에 격리된 신뢰 도메인(TD)을 생성하고, 하드웨어 확장 기능을 사용하여 메모리를 관리 및 암호화하여 클라우드 워크로드를 보호하며, 검증을 위한 하드웨어 기반 원격 증명(remote attestation)을 제공합니다.

구글 클라우드는 크게 확장되고 정식 출시된 Intel TDX 기반 서비스들을 소개합니다. 여기에는 Confidential GKE 노드, 기밀 공간(Confidential Space), Confidential GPU, 그리고 고객들이 Confidential Computing을 사용할 수 있는 더 많은 리전 및 영역이 포함됩니다.

클릭 한 번으로 Confidential VM 생성

이제 Google Cloud Console은 Google Compute Engine(GCE) 고객에게 Intel TDX를 위한 새로운 인터페이스를 제공하며, 코드 변경이 필요 없습니다. 시작하려면 다음 단계를 따르세요.

GCE의 인스턴스 생성 페이지에서 시작합니다.
‘보안’ 탭으로 이동하여 Confidential VM 서비스 아래의 사용 설정(Enable)을 클릭합니다.
드롭다운 메뉴에서 Intel TDX를 선택하고 확인(Confirm)을 클릭합니다.

이렇게 간단한 방법으로 Confidential VM을 만들 수 있습니다.

Google Cloud 콘솔에서 Intel TDX를 사용하여 새로운 기밀 VM을 생성

더 많은 리전 및 영역에서 기밀 컴퓨팅 활용

Intel TDX를 활용한 기밀 VM은 처음에는 3개 리전(9개 영역)에서 지원되었습니다. 늘어나는 수요에 맞춰, C3 머신 시리즈에 대한 Intel TDX 지원을 10개 리전(21개 영역)으로 확장했으며, 앞으로 더 많은 리전 및 영역을 추가할 계획입니다. 전체 목록은 여기에서 확인할 수 있습니다. 리전 가용성 및 확장성은 매우 중요하므로, 고객 계정팀이 고객의 용량 수요를 충족할 수 있도록 조기 계획 수립을 도와드립니다.

Intel TDX를 활용한 Confidential GKE Node 정식 출시

Confidential GKE Nodes는 Confidential VM을 기반으로 구축되었으며, Google Kubernetes Engine(GKE) 클러스터 및 노드 풀에 하드웨어 기반 보호 기능을 제공하여 컨테이너화된 워크로드가 메모리 내에서 암호화되도록 보장합니다. 오늘부터 Confidential GKE Nodes는 GKE Standard 및 GKE Autopilot에서 Intel TDX를 활용하여 정식으로 제공됩니다.

C3 머신 시리즈의 Intel TDX를 활용한 기밀 GKE 노드는 CLI, API, UI, Terraform을 통해 GKE Standard에서 생성할 수 있습니다. 기밀 설정은 코드 변경 없이 클러스터 수준 또는 노드 풀 수준에서 설정할 수 있습니다. 자세한 내용은 여기에서 확인할 수 있습니다.

C3 머신 시리즈의 Intel TDX를 활용한 Confidential GKE Nodes는 GKE Autopilot에서도 생성할 수 있습니다. 이는 맞춤형 컴퓨팅 클래스를 사용하여 활성화할 수 있습니다. GKE에서 컴퓨팅 클래스는 자동 확장 이벤트 중에 워크로드를 실행할 노드를 프로비저닝하는 데 GKE가 사용하는 일련의 노드 속성으로 구성된 프로필입니다. 시작하려면 문서를 확인하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7f2dc5ab5b90>), ('btn_text', ''), ('href', ''), ('image', None)])]>

Intel TDX를 활용한 기밀 공간(Confidential Space) 정식 출시

마찬가지로 Confidential VM을 기반으로 구축된 당사의 Confidential Space 서비스는 내부자 위협 해결, 공동 머신러닝 학습 및 비공개 생성형 AI 추론 지원, 민감한 데이터에 대한 다자간 협업 촉진 등 여러 일반적인 문제에 대한 강력한 솔루션입니다. 다음은 고객들이 Confidential Space을 활용하여 구축한 몇 가지 예시입니다.

기밀 매칭: 고객들은 Google Ads 측정 및 잠재고객 솔루션을 위해 자체 퍼스트 파티 데이터를 안전하게 연결할 수 있었습니다.
Symphony: 기밀 클라우드를 통해 SaaS 기업이 고도의 규제가 적용되는 금융 산업에서 권한 있는 내부 관계자로부터 고객 데이터를 격리하는 것을 보장할 수 있음을 보여주었습니다
Duality: 의료, 금융 서비스 및 공공 부문에서 광범위한 사용 사례에 대한 개인정보를 보호하는 학습 솔루션을 제공했습니다
Flare: 블록체인에서 검증 가능한 AI 혁신을 주도했습니다

이전에는 기밀 공간이 AMD 기반 기술 및 하드웨어(N2D, C2D, C3D, C4D 머신 시리즈)에서만 사용 가능했지만, 이제 Intel 기반 기술 및 하드웨어에서도 사용할 수 있습니다. 이는 하드웨어 신뢰점(root of trust)을 통한 증명 보장을 원하는 고객과 Intel의 C3 머신 시리즈에 중점을 둔 고객에게 이상적입니다.

또한, Intel TDX를 활용한 기밀 공간은 RTMR(runtime measurement registers)에 측정값이 기록되며, 이 측정값은 Google Cloud Attestation에 의해 검증됩니다. 참고로, Intel TDX를 활용한 기밀 VM에서도 이제 RTMR이 채워집니다. 기밀 공간의 이점은 NCC Group의 최신 독립 보안 평가에서 강조되었습니다.

NVIDIA H100 GPU를 활용한 기밀 VM 및 기밀 GKE 노드 정식 출시

사용 중인 데이터를 보호하면서 성능과 보안을 모두 원한다면, 가속기 최적화 A3 머신 시리즈에서 NVIDIA H100 GPU를 활용한 Confidential VM 및 Confidential GKE Node가 이제 정식으로 제공됩니다. 이 서비스들은 Google Cloud 최초의 기밀 GPU를 제공하며, 보안 컴퓨팅에 대한 수요를 충족하기 위해 사용 편의성에 중점을 둡니다. 또한, CPU에 Intel TDX를, GPU에 NVIDIA Confidential Computing을 활성화하여 데이터 집약적인 AI 및 ML 워크로드로 보안을 확장합니다. 이제 모델 전반에 걸쳐 추론 및 학습 과정에서 데이터를 성능 저하 없이 안전하게 보호할 수 있습니다.

NVIDIA H100 GPU를 활용한 Confidential VM은 a3-highgpu-1g 머신 유형으로 europe-west4-c, us-central1-a, and us-east5-a 세 가지 영역에서 사용할 수 있습니다. 대부분의 AI 및 ML 워크로드에 대해 코드 변경이 필요 없습니다. 가격에 대한 자세한 내용은 여기를 참조하십시오. NVIDIA H100 GPU를 활용한 Confidential GKE Node는 GKE Standard와 GKE Autopilot(맞춤형 컴퓨팅 클래스를 통해) 모두에서 정식으로 제공됩니다. 시작하려면 여기를 클릭하세요.

또한, NVIDIA H100 GPU를 활용한 Confidential Space도 미리 보기로 제공됩니다.

Intel, 독립 증명을 위한 무료 등급 제공

Intel의 증명 검증 서비스인 Intel Tiber Trust Authority가 이제 무료 등급을 제공합니다. Google Cloud 기밀 VM 및 기밀 공간은 모두 Intel Tiber Trust Authority와 타사 증명 서비스로 통합되어 있었지만, 이제 Intel Tiber Trust Authority는 무료 등급(유료 지원 선택 가능)을 제공하여 모든 사용자가 보안 증명에 더 쉽게 접근할 수 있도록 하고 있습니다.

Confidential VM 및 Confidential Space 고객은 Intel Tiber Trust Authority를 사용하여 더 강력한 권한 분리 보안 보장을 얻을 수 있습니다. 자세히 알아보려면 여기를 클릭하세요.

고객 후기

"Super Protocol, Google Cloud, 그리고 NVIDIA의 공동 노력 덕분에 이제 클라우드 경계 없이 기밀 AI를 구현하는 새로운 가능성의 장이 열렸습니다. NVIDIA H100 GPU 기반의 A3 기밀 VM이 Super의 분산 인프라 및 마켓플레이스에 통합되면서, 기업들은 어떤 환경에서든 민감한 AI 및 데이터를 안전하게 실행하고, 수익화하며, 협업할 수 있습니다. 이를 통해 Google Cloud 고객들은 신뢰를 공유하거나, 수동으로 협의하거나, 타협할 필요 없이 다른 클라우드의 파트너들과 원활하게 협업할 수 있습니다. 더 넓은 시장에서는 A3 인스턴스 규모가 전 세계적인 접근을 가속화하며, Super는 기밀 컴퓨팅에 대한 전문 지식 없이도 완전 자동화된 방식으로 기밀성, 검증 가능성, 그리고 자율성을 보장합니다. 우리는 고객과 파트너가 어디에 있든 작동하도록 구축된 기밀 AI의 다음 장을 열게 되어 매우 기쁩니다." - Super Protocol 창립자 겸 CEO, Nukri Basharuli

"Google Cloud와 협력하여 기밀 컴퓨팅이 활성화된 GPU 솔루션을 검증하게 되어 자랑스럽습니다. 이는 성능이나 확장성 저하 없이 AI 및 머신러닝 워크로드의 민감한 데이터를 보호하는 데 큰 진전입니다. 기밀 컴퓨팅을 통해 조직은 클라우드 제공업체와 조직 내부자 및 내부 위협으로부터 민감한 데이터와 모델을 보호하면서 클라우드에서 민감한 워크로드를 처리할 수 있습니다. 그러나 생성형 AI 및 에이전트형 AI 사용 사례의 경우, CPU만 보호하는 것으로는 충분하지 않습니다. CPU와 GPU 모두 상호 신뢰를 바탕으로 기밀 모드로 실행되어야 합니다. Google Cloud의 새로운 서비스를 통해 Anjuna는 이제 Intel TDX와 NVIDIA H100 GPU를 기밀 모드로 활용하는 기밀 컨테이너를 출시할 수 있습니다. 이는 데이터, 구성, 비밀 및 코드가 모든 신뢰할 수 없는 엔티티로부터 종단간 보호되도록 보장하여 민감한 데이터에 대한 최첨단 보안을 제공합니다." - Anjuna Security CTO, Steve Van Lare

"전 세계적으로 데이터 처리가 그 어느 때보다 세 배나 빠르게 성장하고 6개월마다 두 배로 증가함에 따라, 클라우드 컴퓨팅의 미래는 신뢰를 기반으로 구축되어야 합니다. Google과의 협력을 통해 Modelyo는 NVIDIA H100 GPU가 탑재된 A3 머신 시리즈의 기밀 VM을 활용하여 기밀 컴퓨팅을 원활하고 직관적이며 완전히 통합된 클라우드 경험으로 전환합니다. 이를 통해 우리는 상호 연결된 환경 전반에 걸쳐 종단간 관리형 솔루션을 제공하며, 조직이 모든 단계에서 데이터가 손쉽게 보호된다는 것을 알고 자신 있게 혁신할 수 있도록 지원합니다." - Modelyo CEO, Benny Meir

기밀 컴퓨팅 시작하기

민감한 워크로드에 추가적인 보호 및 개인정보 보호 계층을 더하려면, 지금 Confidential VM 및 Confidential GKE Node 문서를 확인하세요

Ironwood TPU 및 AI 하이퍼컴퓨터의 새로운 혁신 기술 소개

Thu, 01 May 2025 18:22:00 +0000

* 본 아티클의 원문은 2025년 4월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날의 혁신은 실험실이나 설계도에서 탄생하는 것이 아니라 AI 인프라를 기반으로 이루어집니다. AI 워크로드에는 새롭고 고유한 요구사항이 있습니다. 이러한 요구사항을 충족하려면 성능과 효율성을 대규모로 달성할 수 있도록 하드웨어와 소프트웨어를 정교하게 조합해야 하며, 필요에 따라 이러한 인프라에 액세스할 수 있는 사용 편의성과 유연성을 확보해야 합니다. Google Cloud는 이를 위해 AI 하이퍼컴퓨터를 활용합니다.

AI 하이퍼컴퓨터는 Google이 10년 이상 쌓아온 AI 전문성을 바탕으로 개발한 통합형 슈퍼컴퓨팅 시스템으로 Google Cloud에서 실행되는 거의 모든 AI 워크로드를 뒷받침합니다. Vertex AI를 사용할 때 내부에서 실행되며, AI 하이퍼컴퓨터의 성능 최적화 하드웨어, 개방형 소프트웨어, 유연한 소비 모델에 직접 액세스해 인프라를 세밀하게 제어할 수 있습니다. 이러한 모든 기능은 AI 워크로드의 학습 및 서빙을 위한 더 많은 인텔리전스를 일관되게 저렴한 가격으로 제공하도록 설계되었습니다. 이러한 통합 시스템 접근 방식은 시장에서 차별화되는 요소이며, Gemini Flash 2.0이 GPT-4o에 비해 달러당 24배, DeepSeek-R1에 비해 5배 높은 인텔리전스를 달성할 수 있는 이유 중 하나입니다¹.

오늘 Google Cloud는 AI 워크로드에 대해 비용 대비 최고의 인텔리전스를 제공하도록 종합적으로 설계된 AI 하이퍼컴퓨터 스택 전반의 새로운 혁신을 소개합니다.

성능 최적화 하드웨어의 발전

Google Cloud는 다양한 컴퓨팅, 네트워킹, 스토리지 옵션을 제공하기 위해 성능 최적화 하드웨어 포트폴리오를 지속적으로 확장하고 있습니다.

7세대 TPU인 Ironwood: 추론을 위해 설계된 Ironwood는 이전 세대인 Trillium에 비해 5배 더 큰 최대 컴퓨팅 용량과 6배 더 큰 고대역폭 메모리(HBM) 용량을 제공합니다. Ironwood는 256개 칩 또는 9,216개 칩의 두 가지 구성으로 제공되며, 각각 단일 수직 확장 포드로 사용할 수 있습니다. 더 큰 포드는 42.5엑사플롭의 놀라운 컴퓨팅 성능을 제공합니다. Ironwood는 Trillium에 비해 전력 효율이 2배 더 높아 와트당 가치가 훨씬 더 높습니다. 개발자는 PyTorch와 JAX 전반에 걸쳐 최적화된 스택을 통해 Ironwood에 액세스할 수 있습니다. 이 획기적인 TPU에 대한 자세한 내용은 여기에서 확인하세요.

A4 및 A4X VM: Google Cloud는 A4 및 A4X VM과 함께 NVIDIA B200 및 GB200 NVL72 GPU를 모두 제공하는 최초의 하이퍼스케일러입니다. 지난달 Google Cloud는 NVIDIA GTC에서 A4 VM(NVIDIA B200)의 정식 버전을 발표했으며, A4X VM(NVIDIA GB200)은 현재 프리뷰 버전으로 제공되고 있습니다. A4 및 A4X에 대한 자세한 내용은 여기에서 확인하세요.

네트워킹 강화: AI 워크로드에 필요한 지연 시간이 매우 짧은 환경을 지원하기 위해 Google Cloud의 새로운 400G Cloud Interconnect 및 Cross-Cloud Interconnect는 기존 100G Cloud Interconnect 및 Cross-Cloud Interconnect보다 최대 4배 더 많은 대역폭을 제공해 온프레미스 또는 기타 클라우드 환경에서 Google Cloud에 대한 연결을 제공합니다. 자세한 내용은 여기를 클릭해 오늘 게시된 네트워킹 블로그 내용을 확인하세요.

Hyperdisk Exapools: 하이퍼스케일러 가운데 AI 클러스터당 가장 높은 성능과 용량을 갖춘 블록 스토리지로, 얇게 프로비저닝된 단일 풀에서 최대 엑사바이트 수준의 블록 스토리지 용량과 초당 수 테라바이트의 처리량을 프로비저닝할 수 있습니다.

Rapid Storage: 최적의 활용을 위해 기본 스토리지를 TPU 또는 GPU와 함께 코로케이션할 수 있는 새로운 Cloud Storage 영역 버킷입니다. Cloud Storage 리전별 버킷보다 최대 20배 빠른 임의 읽기 데이터 로드를 제공합니다.

Cloud Storage Anywhere Cache: 기존 리전별 버킷과 함께 작동해 선택한 영역 내에서 데이터를 캐싱하는 강력한 일관성을 갖춘 새로운 읽기 캐시입니다. Anywhere Cache는 데이터를 가속기에 가깝게 유지해 지연 시간을 70% 단축함으로써 실시간 반응형 추론 상호작용을 지원합니다. 자세한 내용은 여기를 클릭해 스토리지 혁신 블로그를 참고하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 인프라를 체험할 수 있는 $300 무료 크레딧 제공'), ('body', <wagtail.rich_text.RichText object at 0x7f2dc4c4a9d0>), ('btn_text', '무료 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/compute'), ('image', None)])]>

학습 및 추론을 위한 개방형 소프트웨어 기능

하드웨어의 진정한 가치는 공동 설계된 소프트웨어를 통해 실현됩니다. AI 하이퍼컴퓨터의 소프트웨어 레이어는 AI 실무자와 엔지니어가 PyTorch, JAX, vLLM, Keras와 같은 개방형의 인기 ML 프레임워크와 라이브러리를 통해 더 빠르게 작업할 수 있도록 지원합니다. 인프라팀은 배포 시간을 단축하고 비용 효율적으로 리소스를 활용할 수 있게 됩니다. Google Cloud는 AI 학습과 추론을 위한 소프트웨어에서 상당한 진전을 이루었습니다.

Pathways on Cloud: Google DeepMind에서 개발한 Pathways는 Google의 내부 대규모 학습 및 추론 인프라를 지원하는 분산 런타임으로, 이제 Google Cloud에서 처음으로 제공됩니다. 추론을 지원하기 위해 분할 서빙과 같은 기능이 포함됩니다. 분할 서빙은 별도의 컴퓨팅 단위에서 추론 워크로드의 사전 입력 및 디코딩 단계를 동적으로 확장할 수 있도록 하며, 각 단계가 독립적으로 확장되어 지연 시간이 매우 짧고 처리량이 높습니다. 이 기능은 처리량이 높고 지연 시간이 짧은 추론 라이브러리인 JetStream을 통해 고객에게 제공됩니다. 또한 Pathways는 탄력적 학습을 지원해 학습 워크로드가 장애 발생 시 자동으로 축소되고 복구 시 수직 확장되며, 동시에 연속성을 유지합니다. Pathways 아키텍처의 추가 사용 사례를 비롯해 Pathways on Cloud에 대해 자세히 알아보려면 이 문서를 확인하세요.

높은 성능과 안정성으로 모델 학습

학습 워크로드는 수천 개의 노드에서 실행되는 고도로 동기화된 작업입니다. 단일 노드의 성능 저하만으로도 전체 작업이 중단될 수 있으며, 이는 출시 지연과 비용 증가로 이어질 수 있습니다. 클러스터를 빠르게 프로비저닝하려면 근접한 특정 모델 아키텍처에 맞게 조정된 VM이 필요합니다. 또한 노드 장애를 예측하고 신속하게 문제를 해결하며, 장애 발생 시 워크로드 연속성을 보장할 수 있는 기능도 필요합니다.

GKE용 Cluster Director 및 Slurm용 Cluster Director. Cluster Director(기존 Hypercompute Cluster)를 사용하면 물리적으로 함께 배치된 VM, 타겟팅된 워크로드 배치, 고급 클러스터 유지보수 제어, 토폴로지 인식 예약을 통해 가속기 그룹을 단일 단위로 배포하고 관리할 수 있습니다. 오늘 Google Cloud는 올해 말에 출시될 Cluster Director의 새로운 업데이트를 발표합니다.

Slurm용 Cluster Director는 Slurm 클러스터를 프로비저닝하고 운영하기 위한 간소화된 UI와 API를 갖춘 완전 관리형 Slurm 제품입니다. 여기에는 안정적이고 반복 가능한 배포를 위해 사전 구성된 소프트웨어를 사용한 일반적인 워크로드의 청사진이 포함됩니다.
360° 관측 가능성 기능에는 클러스터 사용률, 상태, 성능을 모니터링하는 대시보드와 AI 상태 예측, 낙오 항목 감지와 같은 고급 기능이 포함되며, 개별 노드 수준에서 장애를 선제적으로 감지하고 해결합니다.
자동화된 전체 상태 점검 등 작업 연속성 기능을 통해 Fleet를 지속적으로 모니터링하고 비정상 노드를 선제적으로 교체합니다. 결과적으로 다단계 체크포인팅을 통해 더 빠른 저장 및 검색이 가능해져 성능이 저하된 클러스터에서도 중단 없는 학습이 가능합니다.

GKE용 Cluster Director가 출시되면 새로운 Cluster Director 기능이 기본적으로 지원됩니다. Slurm용 Cluster Director는 GPU와 TPU를 모두 지원하며 몇 달 내로 출시될 예정입니다. 등록하여 사전 체험판을 이용하세요.

규모와 상관없이 효율적으로 추론 워크로드 실행

지난해 AI 추론은 급격히 발전했습니다. 더 길고 가변성이 높은 컨텍스트 윈도우로 인해 상호작용이 더욱 정교해지고 있으며, 추론 및 다단계 추론으로 인해 컴퓨팅 수요가 점차 학습에서 추론 시간으로(테스트 시간 확장) 이동하고 그에 따라 비용도 증가하고 있습니다. 최종 사용자를 위한 유용한 AI 애플리케이션을 지원하려면 현재와 미래의 상호작용을 효율적으로 지원할 수 있는 소프트웨어가 필요합니다.

GKE의 AI 추론 기능 발표: Inference Gateway 및 Inference Quickstart

GKE Inference Gateway는 지능형 확장 및 부하 분산 기능을 제공하여 생성형 AI 모델 인식 확장 및 부하 분산 기법으로 요청 예약 및 라우팅을 처리할 수 있도록 지원합니다.
GKE Inference Quickstart를 사용하면 AI 모델과 원하는 성능을 선택할 수 있으며 GKE가 이에 맞게 적절한 인프라, 가속기, Kubernetes 리소스를 구성해 줍니다.

두 기능 모두 현재 프리뷰 버전으로 제공되며, 두 기능을 함께 사용하면 다른 관리형 및 오픈소스 Kubernetes 제품에 비해 서빙 비용을 30% 이상 줄이고 지연 시간을 60% 줄이며 처리량을 최대 40%까지 높일 수 있습니다.

TPU용 vLLM 지원: vLLM은 빠르고 효율적인 추론 라이브러리로 잘 알려져 있습니다. 이제 vLLM을 사용해 TPU에서 손쉽게 추론을 실행하고, 소프트웨어 스택을 변경하지 않고도 몇 가지 구성만 변경하여 TPU의 가격 대비 성능 이점을 누릴 수 있습니다. vLLM은 Compute Engine, GKE, Vertex AI, Dataflow에서 지원됩니다. 또한 GKE 커스텀 컴퓨팅 클래스를 사용하면 동일한 vLLM 배포 내에서 TPU와 GPU를 함께 사용할 수 있습니다.

더욱 유연한 소비

동적 워크로드 스케줄러(DWS)는 가속기에 저렴한 비용으로 쉽게 액세스할 수 있도록 지원하는 리소스 관리 및 작업 예약 플랫폼입니다. 오늘 Google Cloud는 DWS 가속기 지원 확대를 발표합니다. TPU v5e, Trillium, A3 Ultra(NVIDIA H200), A4(NVIDIA B200) VM을 flex-start 모드를 통해 프리뷰 버전으로 지원하며, 이달 말에는 TPU에 대한 캘린더 모드 지원이 제공될 예정입니다. 또한 flex-start 모드에서는 리소스를 즉시 프로비저닝하고 동적으로 확장할 수 있는 새로운 프로비저닝 방법을 지원하므로 장기 실행 추론 워크로드와 더 다양한 범위의 학습 워크로드에 적합합니다. 이는 모든 노드를 동시에 프로비저닝해야 하는 flex-start 모드의 큐 프로비저닝 방법과는 별도로 제공됩니다.

Next '25에서 AI 하이퍼컴퓨터에 대해 알아보기

최신 소식을 놓치지 마세요. 이벤트 웹사이트에서 모든 발표와 심층 분석을 만나보세요. 컴퓨팅 및 AI 인프라의 다음 단계를 시작으로 다음 세션을 확인해 보세요.

_{1. arXiv (LMArena), Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, Wei-Lin Chiang, Lianmin Zheng, Ying Sheng, Anastasios 1 Nikolas Angelopoulos, Tianle Li, Dacheng Li, Hao Zhang, Banghua Zhu, Michael Jordan, Joseph E. Gonzalez, Ion Stoica, 2024. 2025년 3월 19일 기준 정보입니다. 이 벤치마크는 모델 출력 품질(인간 검토자가 판단)을 출력 생성에 필요한 가격/100만 토큰과 비교하여 효율성을 비교합니다. 여기서 '인텔리전스'란 모델 출력 품질에 대한 인간의 인식을 의미합니다.}

컴퓨팅

Google Cloud와 NVIDIA, 에이전트 시대에 맞춰 인프라를 확장하기 위한 공동 엔지니어링 협력 강화

에이전트 시대를 위한 아키텍처 설계

개방형 모델 및 생태계 혁신 확대

소버린 AI 및 컨피덴셜 컴퓨팅으로 배포 보안 강화

Google Distributed Cloud를 통한 온프레미스 소버린 AI

퍼블릭 클라우드의 컨피덴셜 컴퓨팅

Google Cloud의 이점

Agent Compute Engine 및 확장된 에이전트 거버넌스 소개

Agent Compute Engine 심층 분석

Agent Substrate를 사용한 GKE 기반 빌드

모든 에이전트를 위한 거버넌스 기능 확장

복원력 있는 에이전트 인프라를 기반으로 빌드

글로벌 규모의 하드웨어 기반 보안: NVIDIA Blackwell을 탑재한 컨피덴셜 G4 정식 버전 출시

짧은 지연 시간으로 민감한 데이터와 모델 보호

성능 테스트

컨피덴셜 G4 시작하기

Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공

추론을 확장하려면 시스템 수준의 최적화가 필요

모델 수준 효율성: Reflection의 Beam

시스템 수준 효율성: AI 하이퍼컴퓨터 최적화 서빙

AI 하이퍼컴퓨터 추론 아키텍처 내부

멀티턴 에이전트형 워크로드를 위한 시스템 최적화

PyTorchCon 및 GTC Berlin에 참석하여 시작해 보세요

Google Cloud의 U4 컴퓨팅 소개: 초저지연 트레이딩 지원

Google Cloud 네이티브 인프라 기반

트레이딩 워크로드를 위한 스토리지 및 배치

ULL Solution 시작하기

9월 AI 인프라 및 조정 기능에 관한 새로운 소식

제품, 기술, 도구 업데이트

실무자 가이드 및 방법

고객 및 파트너 업데이트

연구, 보고서, 심층 분석

2026년 8월

제품, 기술, 도구 업데이트

실무자 가이드, 문서, 방법

고객 및 파트너 업데이트

2026년 7월

제품, 기술, 도구 업데이트

실무자 가이드 및 방법

연구, 보고서, 심층 분석

2026년 6월

제품, 기술, 도구 업데이트

실무자 가이드 및 방법

연구, 보고서, 심층 분석

고객 및 파트너 업데이트

2026년 5월

제품, 기술, 도구 업데이트

연구, 보고서, 심층 분석

고객 및 파트너 업데이트

GKE CPU 시작 부스트: 과도한 프로비저닝 없는 앱 시작 가속화

현대화된 애플리케이션 부팅 시 추가 CPU가 필요한 이유

CPU 시작 부스트의 작동 방식

내부 작동 방식: Kubernetes 인플레이스 포드 크기 조절

CPU 시작 부스트 작동 방식(포드 수명 주기 개요)

기본 요건 및 가용성

시작하기: CPU 시작 부스트 구성

예시 1: 고정된 안정 상태를 사용하는 포드 수준 부스트(updateMode: "Off")

예시 2: 시작 부스트와 지속적인 VPA 자동 확장의 결합

예시 3: 세분화된 컨테이너 수준 부스트

클러스터에서 시작 부스트 확인

프로덕션 워크로드 권장사항

지금 시작하기

스토리지 최적화 Z4D 머신 계열 정식 버전 출시, IO 집약적 워크로드를 위해 설계

Z4D VM 및 베어메탈 인스턴스

고객 및 파트너 반응

향상된 유지보수 경험

Hyperdisk 지원

지금 바로 Z4D를 사용해 보세요

AI 인프라를 위한 동적 용량 관리

간단한 요약

아키텍처 유연성이 중요한 이유

인프라 제약 극복 방법

동적 인프라를 향한 다음 단계로 나아가세요

보고서: 조직의 83%가 에이전트 AI를 지원하려면 인프라를 업그레이드해야 함

유동적인 컴퓨팅으로 '추론세' 탈출

중앙 집중식 거버넌스로 에이전트 확산 관리

통합 데이터 레이어

하이브리드 멀티 클라우드 및 디지털 주권

에지의 AI

예시 1: 고정된 안정 상태를 사용하는 포드 수준 부스트(`updateMode: "Off"`)