컴퓨팅

스토리지 최적화 Z4D 머신 계열 정식 버전 출시, IO 집약적 워크로드를 위해 설계

Thu, 08 Oct 2026 02:00:00 +0000

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

오늘 Google Cloud는 가상 머신(VM) 및 베어메탈 인스턴스를 모두 지원하는 Google Compute Engine의 차세대 스토리지 최적화 Z4D 머신 시리즈를 정식 버전으로 출시합니다.

Z4D는 SQL, NoSQL, KVrocks, 벡터 데이터베이스, 데이터 분석, 데이터 검색 등 대규모 로컬 스토리지 용량과 높은 스토리지 성능이 필요한 IO 집약적이고 비즈니스 크리티컬한 워크로드를 위해 빌드되었습니다. 5세대 AMD EPYC 프로세서(Turin)를 기반으로 하며 Titanium의 최신 개선사항과 결합된 Z4D는 최대 84,000GiB의 로컬 SSD(LSSD) 스토리지를 제공합니다. 이전 세대 Z3 인스턴스에 비해 까다로운 워크로드의 성능을 최대 40% 향상하므로 클라우드 투자를 적절한 규모로 조정하면서 애플리케이션 처리량을 늘릴 수 있습니다. 또한 Z4D의 대규모 LSSD 용량은 AI/ML 학습 및 추론 워크로드와 대규모 분산 병렬 파일 시스템 실행을 위한 강력한 스토리지 솔루션입니다.

Z4D VM 및 베어메탈 인스턴스

Z4D VM 포트폴리오는 대규모 총 로컬 SSD 용량과 vCPU당 높은 로컬 SSD 용량을 제공하여 인프라를 적절한 규모로 조정하고 워크로드 요구사항에 맞게 클러스터를 확장할 수 있도록 지원합니다. Z4D는 두 가지 VM 유형을 제공합니다. Z4D-highmem-standardlssd VM 유형은 7가지 VM 형태를 포함하며 vCPU당 219GiB의 LSSD를 제공합니다. 이러한 VM은 데이터 분석(OLAP)과 MySQL 및 Postgres와 같은 SQL 데이터베이스에 최적화되어 있습니다. Z4D-highmem-highlssd VM 유형에는 7가지 VM 형태가 포함되며, vCPU당 438GiB의 LSSD를 제공하고 분산 데이터베이스, 데이터 스트리밍, 대규모 병렬 파일 시스템, 데이터 검색에 최적화되어 있습니다. 또한 Z4D 클러스터로 확장하여 기존 Z3 기반 워크로드를 쉽게 확장할 수 있습니다.

Z4D 베어메탈 인스턴스를 사용하면 가상화 레이어 없이 물리적 하드웨어에 직접 액세스할 수 있습니다. 이를 통해 지연 시간에 민감한 워크로드, 커스텀 하이퍼바이저, 특정 라이선스 요구사항이 있는 워크로드의 지연 시간을 줄일 수 있습니다. 또한 Z4D 베어메탈은 여러 클라우드 제공업체에서 작동하는 하이브리드 멀티 클라우드 플랫폼인 Nutanix Cloud Clusters(NC2)를 지원하는 최초의 AMD 기반 인스턴스가 될 것입니다. Z4D 베어메탈 인스턴스는 마이크로 VM을 사용하는 에이전트 AI 아키텍처에 필요한 LSSD 용량과 짧은 지연 시간을 제공하므로 개발자는 호스트당 수천 개의 격리된 샌드박스를 네이티브 성능과 효율성으로 실행할 수 있습니다.

Z4D VM 및 베어메탈 인스턴스는 84,000GiB의 로컬 SSD 스토리지 외에도 최대 384개의 vCPU와 최대 3,072GiB의 메모리를 제공합니다. Z4D 인스턴스는 Titanium SSD를 기반으로 하며, CPU 리소스에서 로컬 스토리지 처리 작업을 오프로드하여 실시간 데이터 처리, 짧은 지연 시간, 높은 처리량의 스토리지 성능, 향상된 스토리지 보안을 제공합니다. Z4D는 최대 15,600K의 무작위 읽기 IOPS와 최대 75,600MiB/s의 순차 읽기 처리량을 제공하여 LSSD 스토리지 성능을 Z3 대비 최대 70% 향상합니다. 또한 Z4D는 Z3에 비해 IO 지연 시간을 늘리지 않고도 쓰기 지연 시간을 최대 25% 줄이고 혼합 읽기-쓰기 IOPS를 최대 30% 개선합니다. 동시에 Z4D 인스턴스는 Z3에 비해 네트워킹 처리량을 두 배로 늘리고 최대 400Gbps의 표준 네트워킹 대역폭을 제공하여 엔터프라이즈 및 AI/ML 워크로드에 필요한 연결 및 스토리지 성능을 제공합니다.

고객 및 파트너 반응

"Elastic은 관측 가능성, 보안, 검색, AI 솔루션을 지원하는 Elasticsearch Platform을 통해 동급 최고의 성능을 제공하기 위해 최선을 다하고 있습니다. 이러한 워크로드를 대규모로 실행하는 팀에는 성능과 비용 효율성이 매우 중요합니다. 새로운 Z4D 가상 머신에 대한 초기 테스트 결과, 이전 세대 Z3 VM에 비해 색인 생성 처리량이 최대 50% 향상된 것으로 나타났습니다. Google Cloud에 배포하는 Elasticsearch 사용자에게 이러한 이점을 제공할 수 있기를 기대합니다." - 유브라지 굽타, Elastic 수석 제품 관리자

"Z4D 인스턴스로 마이그레이션한 후 처리 런타임이 약 70% 단축되었고 전체 비용도 절감되었습니다. 이러한 개선을 통해 Immunai는 대규모 면역 데이터를 훨씬 더 빠르게 처리하고 이를 생물학적 인사이트로 전환하여 제약 회사가 신약 발견 및 개발 전 과정에서 더 많은 정보에 입각한 결정을 내릴 수 있도록 지원합니다." - 가이 야크다브, Immunai 소프트웨어 엔지니어링 부문 전무이사

"Google Cloud와의 기술 협력을 확대하고 AMD와의 전략적 파트너십을 강화하여 새로운 Z4D 베어메탈 인스턴스에 Nutanix Cloud Clusters(NC2)를 도입하게 되어 기쁩니다. Z4D 기반 NC2는 NC2가 지원되는 최초의 AMD 메탈 인스턴스로서, 고객에게 중요한 이정표가 될 것입니다. AMD의 최첨단 컴퓨팅 성능과 Google Cloud의 강력한 인프라, Nutanix 하이브리드 클라우드 플랫폼을 결합하여 전례 없는 유연성, 확장성, 선택권을 제공함으로써 엔터프라이즈 워크로드를 지원하고 있습니다." - 사빈 파칼라, Nutanix 제품 관리 부문 부사장

"Redis는 전 세계 수천 개 조직에서 실시간 데이터 인프라와 AI 워크로드를 지원합니다. Flex는 이를 더 큰 데이터 세트로 확장하여 RAM만 사용하는 경제성을 제공합니다. 로컬 SSD는 규모를 처리하고 메모리는 속도를 제공합니다. Google Cloud의 새로운 Z4D 스토리지 최적화 VM을 동일한 플래시 집약적 워크로드에서 Flex 벤치마크 제품군을 사용하여 현재 세대 C3D 인스턴스와 비교했습니다. 결과는 인상적이었습니다. 소규모 형태에서 처리량이 최대 4.3배 더 높고 지연 시간은 최대 77% 더 낮았습니다. Z4D는 또한 전체 RAM 적중률에서 초당 약 180만 건의 작업을 유지했습니다. 플래시에서 제공하는 데이터가 많을수록 이점이 더 커졌으며, 이는 Flex가 설계된 목적과 정확히 일치합니다. Z4D는 더 작은 리소스 사용량으로 동일한 성능 등급을 제공할 수 있는 명확한 길을 열어주며, Z4D가 정식 버전으로 출시됨에 따라 테스트를 확장할 수 있기를 기대합니다." - 벤자민 르노, Redis CTO

"Shopify는 자사 Fleet에 가장 적합한 솔루션을 모색하고 있으며, Z4D는 빠른 로컬 연결 스토리지 및 빠른 네트워킹과 함께 높은 CPU 밀도를 제공합니다. Shopify의 사용자 경험은 데이터 제공 속도에 달려 있으며, AI 쇼핑 에이전트는 사람보다 훨씬 더 적극적으로 스토어프론트를 쿼리합니다. 이러한 인스턴스 형태는 이를 따라잡을 수 있는 처리량을 제공합니다. Z4D는 Z3보다 처리량이 약 20% 더 향상된 것을 확인했습니다." - 브래드 디트리히, Shopify 수석 엔지니어

"Google의 Z4D VM은 상당한 도약을 이뤄냈습니다. 테스트 결과, 이전 Gen 2 VM보다 최대 60% 더 우수한 성능을 보였으며 Z3 VM보다 최대 36% 더 우수한 성능을 보였습니다. Z4D는 높은 로컬 SSD 밀도와 강력한 비용 효율성, 향상된 시스템 안정성을 통해 Silk 고객에게 가장 까다로운 워크로드에 대해 더 빠르고 예측 가능한 성능을 제공합니다." - 아딕 소콜로브스키, Silk 최고 R&D 책임자

"AI를 페타바이트 규모의 최신 데이터와 연결하면 그 어느 때보다 더 많은 검색을 수행할 수 있습니다. 새로운 Z4D 인스턴스 유형을 도입하게 되어 기쁩니다. Z3와 비교했을 때 실제 쿼리 및 색인 생성 워크로드에서 처리량이 40% 개선되었으며, 이는 고객에게 더 빠르고 저렴한 웹 규모 검색을 제공하는 것으로 직접 이어집니다." - 벤 린세이, turbopuffer 엔지니어

향상된 유지보수 경험

Z4D VM과 베어메탈 인스턴스 모두 필요한 유지보수 며칠 전에 시스템에서 알림을 제공하므로 사용자가 미리 계획을 세우고 원하는 시간에 유지보수 작업을 예약하기가 더 쉽습니다. Z4D VM은 42,000GiB 이하의 로컬 SSD 스토리지를 사용하는 VM의 유지보수 이벤트 중에 인스턴스를 라이브 마이그레이션할 수 있도록 지원하여 유지보수 경험을 한층 더 개선합니다. 84,000GiB의 로컬 SSD가 있는 Z4D VM과 Z4D 베어메탈 인스턴스는 계획된 유지보수 이벤트 중에 데이터를 보존한 상태로 종료되고 다시 시작됩니다.

Hyperdisk 지원

Z4D VM 및 베어메탈은 각 인스턴스의 스토리지 성능과 용량을 독립적으로 조정하여 각 워크로드의 성능을 최적화할 수 있는 Google Cloud의 워크로드 최적화 블록 스토리지인 Hyperdisk를 지원합니다.

특히 확장 가능한 고성능 네트워크 연결 스토리지를 위한 Hyperdisk Balanced, Hyperdisk Throughput, Extreme Hyperdisk 스토리지와 호환되며 인스턴스당 최대 512TiB의 용량을 지원합니다. 범용 워크로드의 경우 인스턴스당 최대 320K IOPS를 제공하는 Hyperdisk Balanced가 성능과 비용 효율성을 모두 충족합니다. Hyperdisk Extreme은 매우 짧은 지연 시간을 제공하며 Z4D VM 및 베어메탈 인스턴스당 최대 500K IOPS 및 12,500MiB/s 처리량을 지원하므로 까다로운 데이터베이스 워크로드에 적합합니다.

지금 바로 Z4D를 사용해 보세요

Z4D VM은 현재 전 세계 일부 리전에서 사용할 수 있으며 Z4D 베어메탈 인스턴스는 프리뷰 버전으로 제공됩니다. 자세한 정보와 액세스 권한은 담당 계정팀에 문의하세요. Z4D 인스턴스 사용을 시작하려면 Google Cloud 콘솔에서 새로운 VM 또는 GKE 노드 풀을 생성할 때 스토리지 최적화 머신 계열에서 Z4D를 선택하세요. Z4D 머신 시리즈 페이지에서 자세히 알아보세요. 리전별 사용 가능 여부에 대한 자세한 내용은 Google Cloud 영업 담당자에게 문의하세요.

AI 인프라를 위한 동적 용량 관리

Fri, 02 Oct 2026 04:00:00 +0000

인터넷은 수십억 명의 사람과 모바일 기기를 연결하여 모든 사람의 손에 컴퓨터를 쥐여주었습니다. 이제 우리는 다음 번의 큰 기술 변화의 한가운데에 있으며, 수백만 개의 자율 AI 에이전트를 배포하여 직원 및 최종 사용자와 함께 작업하고 있습니다. 오늘 Google Cloud는 조직이 프로젝트 수준의 AI 지출을 관리하고 토큰 쇼크를 없앨 수 있도록 돕는 Gemini Enterprise용 새로운 FinOps 제어 기능을 발표했습니다. 하지만 에이전트 시대의 엄청난 규모로 인해 인프라를 포함한 스택의 모든 레이어에 새로운 제약이 가해지고 있습니다. AI 워크로드는 아키텍처를 설계하기가 어렵고 리소스 집약적이며 버스트가 잦은 것으로 악명이 높습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용된 컴퓨팅 리소스가 대량으로 발생할 수 있습니다.

조직은 인프라 투자에서 더 많은 가치를 추출하는 데 도움이 되는 인사이트가 필요합니다. 이 블로그에서는 예측 가능한 비용과 성능으로 단일의 유연한 기반에서 엔터프라이즈 및 AI 애플리케이션을 실행하는 데 도움이 되는 동적 용량 관리 , 즉 예약 및 활용 전략에 대한 권장사항을 소개합니다. 이러한 기능은 워크로드에 유연한 가격 책정 및 할인을 제공하는 주문형, 스팟, 약정 사용 할인 (CUD) 소비 모델을 보강하도록 설계되었습니다. 그럼 시작하겠습니다.

간단한 요약

동적 용량 관리를 구현하는 세 가지 방법:

계획된 이벤트의 용량을 예약합니다. 캘린더 모드를 사용하여 계획된 이벤트에 앞서 미션 크리티컬 리소스 (GPU, TPU, 일부 VM 제품군)를 예약하거나, 동적 워크로드 스케줄러의 flex-start 모드를 사용하여 시작 시간이 유연한 일괄 작업의 비용을 최적화할 수 있습니다. 용량을 확보하면 해당 리소스는 지정된 기간 동안 보장됩니다.
모든 애플리케이션에 대한 대체 계획을 수립하여 서비스 연속성을 유지합니다. 관리형 인스턴스 그룹 (MIG)을 사용하여 자동화된 우선순위 지정 하드웨어 대체 목록을 정의하면 선호하는 옵션을 사용할 수 없을 때 앱이 자동으로 다음 승인된 컴퓨팅 옵션으로 전환됩니다.
단일 적응형 컨트롤 플레인에서 전체 용량 관리 수명 주기를 자동화합니다. Google Kubernetes Engine (GKE)은 커스텀 컴퓨팅 클래스를 사용하는 폴백 목록부터 동적 리소스 할당을 통한 세분화된 하드웨어 슬라이싱에 이르기까지 전체 프로세스를 조정하는 에이전트 네이티브 환경을 제공하므로 에이전트는 안전한 샌드박스와 컨테이너에서 빠르게 스핀업할 수 있으며, GKE는 즉시 리소스를 동적으로 재할당합니다.

아키텍처 유연성이 중요한 이유

기업의 90%가 향후 3년 내에 에이전트를 배포하기를 원하지만, 현재 IT 설정으로 부하를 처리할 수 있다고 확신하는 IT 리더는 17%에 불과합니다. 이러한 워크로드에는 고유한 성능 요구사항이 있으므로 조직에서는 가속기 (GPU, TPU)와 맞춤형 컴퓨팅, 메모리, 스토리지 비율을 갖춘 CPU를 포함한 특수 인프라를 도입하기 위해 경쟁하고 있습니다. 그러나 에이전트는 엔터프라이즈 애플리케이션과 데이터베이스에 액세스해야 하며, 그 양과 규모는 일반적인 인간 사용량을 훨씬 초과하는 경우가 많습니다. 에이전트와 에이전트가 상호작용하는 애플리케이션의 높은 수요를 처리하려면 동적 인프라가 필요합니다. 인프라팀은 이러한 요구사항을 충족하기 위해 Google의 Axion과 같은 맞춤 설계된 프로세서를 활용할 수 있지만 하드웨어만으로는 완전한 솔루션이 될 수 없습니다. 또한 인프라를 현명하게 사용하고 실행 비효율성을 해결하여 스택 전반에 걸쳐 더 많은 유연성을 확보할 수 있는 방법도 필요합니다.

인프라 제약 극복 방법

이러한 유연성을 확보하려면 예측 가능한 수요에 대한 리소스를 확보하고 예측할 수 없는 수요에 대응하기 위한 자동화를 구축하는 두 가지 접근방식이 필요합니다. 이 두 가지를 결합하면 계획된 이벤트에 대한 용량을 미리 예약할 수 있으며 인프라가 수동 개입 없이 예상치 못한 변경사항에 적응할 수 있습니다.

1. 예정된 이벤트의 용량 예약

동적 워크로드 스케줄러를 사용하면 예정된 마일스톤, 오프라인 학습 또는 예상되는 수요 급증에 앞서 미션 크리티컬 용량을 확보할 수 있습니다. 필요한 리소스를 미리 예약하면 지출을 최적화하고 필요한 컴퓨팅 리소스에 액세스할 수 있습니다. 동적 워크로드 스케줄러는 하드웨어 가속기 (TPU 및 GPU)와 일부 CPU를 두 가지 모드로 지원합니다.

Flex-start 모드: 일괄 처리, 모델 학습, 오프라인 미세 조정과 같이 지연 시간에 덜 민감한 워크로드에 사용합니다. 리소스를 즉시 요청하는 대신 정의된 기간 요청을 제출하면 시스템이 작업을 지능적으로 큐에 추가하고 용량이 확보되는 즉시 리소스를 프로비저닝합니다. 이를 통해 비용 효율성을 극대화하고 수요가 높은 가속기를 확보할 수 있는 능력을 크게 향상할 수 있습니다.
캘린더 모드: 주요 제품 출시, 예정된 마이그레이션, 계절적 트래픽 급증과 같이 시간 제약이 있는 미션 크리티컬 이벤트에 사용합니다. 이벤트의 정확한 시작일과 종료일을 지정하면 미래용 예약이 생성됩니다. 이렇게 하면 이벤트가 시작될 때 요청된 용량을 사용할 수 있습니다.

2. 모든 애플리케이션에 대한 대체 계획을 수립하여 서비스 연속성 유지

모든 트래픽 급증을 예측할 수 있는 것은 아닙니다. 또한 속보나 갑작스러운 시장 변화로 인해 사용자 활동이 급증하는 등 예상치 못한 트래픽에 대비한 계획도 세워야 합니다. 서비스가 중단 없이 필요한 리소스를 확보하려면 허용 가능한 하드웨어 구성의 자동화된 우선순위 시퀀스인 대체 계획이 필요합니다. 이 전략은 다음과 같은 이점이 있습니다.

단일 VM 유형, 크기 또는 구성에서 워크로드를 분리합니다. 이러한 광고는 선호하는 옵션을 사용할 수 없는 경우 수동 개입 없이 실행할 수 있습니다.
최신 VM 세대를 기본 선택으로 채택하고 이전 세대를 자동 폴백 옵션으로 유지하여 점진적인 기술 새로고침을 실행할 수 있습니다.

Google Compute Engine에서 컨테이너화되지 않은 워크로드를 실행하는 경우 관리형 인스턴스 그룹 (MIG)의 인스턴스 유연성 과 대량 VM 생성을 통해 용량을 동적으로 관리할 수 있습니다. 인스턴스 유연성을 사용하면 단일 머신 유형으로 제한되지 않고 VM 인스턴스에 여러 머신 유형을 지정할 수 있습니다.

작동 방식: 선호하는 머신 유형을 일시적으로 사용할 수 없는 경우 MIG는 실시간 용량을 기반으로 목록에서 호환되는 대체 머신 유형을 자동으로 프로비저닝합니다. 리전 내에서 MIG가 검색할 수 있는 여러 영역을 지정하여 위치 유연성과 결합하면 프로비저닝 성공률을 크게 개선할 수 있습니다. MIG에서 스팟 VM을 사용하는 경우 Compute Engine은 스팟 용량 신호와 자동으로 통합되어 예상 가동 시간이 더 길고 선점 위험이 낮은 머신 유형의 우선순위를 지정합니다.

또한 기준 디스크 기본값을 설정하고 디스크 재정의를 구성하여 인스턴스 유연성을 블록 스토리지 계층으로 확장 할 수 있습니다. 이렇게 하면 VM이 다른 머신 유형으로 폴백될 때 스토리지가 이에 맞게 조정됩니다.

작동 방식: 대부분의 경우 인스턴스 템플릿에서 '디스크 유형'을 완전히 생략하고 기본 옵션을 사용하면 됩니다. 하지만 연결된 VM보다 수명이 긴 데이터 디스크의 경우 여러 VM 세대에 걸쳐 빠르고 내구성이 뛰어난 Hyperdisk를 사용 설정할 수 있습니다.

Compute Engine은 가상 머신을 사용하는 조직에 인스턴스 유연성을 제공하는 반면, GKE는 한 단계 더 나아가 단일 컨트롤 플레인에서 전체 용량 수명 주기를 자동화합니다. GKE 커스텀 ComputeClasses를 사용하면 플랫폼팀은 다차원 대체 목록을 설계하고, 다양한 VM 머신 계열, 크기, 비율을 자동으로 결합하고, 여러 영역에 걸쳐 확장하고, 주문형 VM과 스팟 VM 간에 전환할 수 있습니다. 동적 워크로드 스케줄러를 용량 타겟으로 사용하고 커스텀 ComputeClass를 사용하여 정책과 우선순위를 정의하면 용량 관리 수명 주기를 완전히 자동화할 수 있습니다.

작동 방식: ComputeClass를 설정하면 GKE가 선호하는 노드 구성을 사용할 수 없는 경우 자동으로 감지하고 우선순위에 따라 사전 승인된 대체 옵션으로 대체합니다. 활성 마이그레이션을 사용 설정하면 용량이 확보되는 즉시 GKE가 워크로드를 우선순위가 더 높은 노드 구성으로 정상적으로 마이그레이션합니다. 부팅 디스크와 같은 수명이 짧은 디스크의 경우 GKE는 인스턴스 계열에 따라 적절한 기본값을 동적으로 선택합니다. 하지만 VM보다 수명이 긴 장기 디스크의 경우 Hyperdisk를 사용할 수 있습니다.

또 다른 GKE 기능인 동적 리소스 할당은 개발자가 리소스 소비 방식을 결정하는 고급 규칙을 정의할 수 있도록 하여 낭비적인 전부 또는 전무 하드웨어 할당을 없애는 데 도움이 됩니다.

작동 방식: 애플리케이션이 전체 GPU 또는 TPU를 요청하는 대신 총 메모리 또는 코어 수와 같은 정확한 파라미터를 지정하면 시스템이 완벽한 하드웨어 슬라이스를 할당하여 사용률을 극대화하고 비용을 절감할 수 있습니다.

동적 인프라를 향한 다음 단계로 나아가세요

AI를 확장한다고 해서 인프라 예산을 선형적으로 확장하거나 기술 부채를 더 많이 축적해야 하는 것은 아닙니다. 이러한 예시에서 볼 수 있듯이 적절한 도구를 사용하면 제약사항을 극복하고 컴퓨팅 투자에서 얻는 가치를 획기적으로 바꿀 수 있습니다. 시작하는 방법은 다음과 같습니다.

워크로드를 감사하여 즉각적인 비용 절감 효과를 얻으세요. 현재 단일 VM 계열, 머신 유형 또는 가용성 영역에 긴밀하게 결합된 애플리케이션을 식별하고 실행 가능한 대체 하드웨어 구성을 매핑합니다. 기존 구성을 넘어 워크로드 수준의 목표에 따라 더 나은 서비스를 제공하거나 대안으로 작용할 수 있는 새로운 컴퓨팅 옵션을 평가합니다. 그런 다음 Compute Engine MIG, 대량 VM 생성 또는 GKE Custom ComputeClasses를 사용하여 자동으로 채택하고 장애 조치 목록에 통합합니다.
최소 지출 약정으로 대폭 할인된 가격 이용: 지속 사용 할인이 자동으로 적용되거나 Compute의 유연한 약정 사용 할인 가입 시 최대 63% 가 할인됩니다. 이 할인은 특정 머신 유형이나 위치와 관계없이 사용한 리소스에 따라 적용됩니다.
계정팀과 협력: Google Cloud 계정팀에 문의하여 맞춤형 용량 관리 전략을 수립하고 자동화된 대체 목록을 구성하세요.

8월 AI 인프라 및 조정 기능에 관한 새로운 소식

Thu, 01 Oct 2026 10:00:00 +0000

이번 달 AI 인프라 및 조정 기능에 관한 새로운 소식에 오신 것을 환영합니다. 이 시리즈에서는 Google Cloud에서 제공하는 모든 AI 컴퓨팅, 네트워크, 스토리지, 프레임워크, 조정 소프트웨어에 관한 제품 변경사항, 방법, 고객 사례, 연구, 기타 리소스를 모아서 소개합니다. 솔직히 8월은 한산한 달이 될 줄 알았는데, 예상은 완전히 빗나갔습니다. 자세한 내용은 직접 확인해 주세요.

2026년 8월

제품, 기술, 도구 업데이트

제품 변경사항: Google Cloud의 퍼스트 파티 보안 확장형 NFS 파일 서비스인 Filestore는 AI 및 에이전트 워크플로를 위한 인기 스토리지 플랫폼으로 부상했으며, 이제 Google의 기본 분산 스토리지 시스템인 Colossus를 기반으로 직접 빌드된 새로운 백엔드 스토리지 계층을 통해 이 작업에 더욱 최적화된 성능을 제공합니다. 이 새로운 백엔드를 사용하면 스토리지 용량과 독립적으로 IOPS를 프로비저닝할 수 있으며 GKE와 긴밀하게 통합됩니다. AI 환경에서는 공통 데이터 세트를 읽고 써야 하는 대규모 에이전트 그룹인 이른바 에이전트형 스웜을 성능 저하 없이 서비스하는 데 도움이 될 수 있습니다. 자세한 내용은 블로그 게시물을 참고하세요.
새로운 기능: 이제 GKE의 분산 Ray 클러스터에서 gVisor 샌드박스를 사용할 수 있습니다. Google은 Anyscale과의 파트너십을 통해 Google의 오픈소스 애플리케이션 커널인 gVisor를 분산 Ray 클러스터에 직접 통합할 수 있는 Ray용 실험용 라이브러리를 선보였습니다. gVisor는 일반 컨테이너보다 강력한 격리 기능을 제공하면서도, 가벼운 환경 덕분에 빠른 시작 시간과 낮은 메모리 오버헤드라는 장점까지 모두 갖추고 있습니다. GKE에서 이러한 샌드박싱 기능을 사용해 보려면 Ray 샌드박싱 사용자 가이드를 참고하세요.
제품 변경사항: 개인용 AI 에이전트를 실행할 고성능의 사용하기 쉬운 인프라를 찾고 계신가요? 하지만 비용 부담은 줄이고 싶으시다면 주목해 주세요. 새로운 Cloud Run 인스턴스는 Cloud Run의 전용 싱글톤 컴퓨팅 런타임으로, 에이전트가 유휴 상태일 때도 종료되지 않습니다. 더욱 놀라운 점은 1개의 vCPU와 1GiB 메모리 사양의 Cloud Run 인스턴스를 30일 내내 중단 없이 실행해도 비용이 단돈 $5.70에 불과하다는 것입니다.

실무자 가이드, 문서, 방법

안내 가이드: 모델 컨텍스트 프로토콜(MCP) 분야의 중요한 소식입니다. 2026년 7월 28일 사양을 기준으로 프로토콜 코어는 '완전히 스테이트리스(Stateless)입니다. 핸드셰이크는 이제 필요 없습니다. 초기화 / 초기화 완료 핸드셰이크(SEP-2575)와 논리적 Mcp-Session-Id 헤더(SEP-2567)가 완전히 사라졌습니다. 대신 이제 모든 요청이 자체 설명적이고 독립적으로 이루어집니다.' 정말 놀랍지 않은가요? Google Developers 블로그에서 최신 MCP 사양의 변경사항과 구현 방법을 자세히 알아보세요.
가이드: 실시간 AI 시스템은 기존 네트워크 부하 분산 기법을 무력화합니다. '백엔드는 고립된 요청을 처리하는 대신 지속적으로 실시간 양방향 스트림을 관리해야 합니다. 오디오 청크, 스크립트, 모델 출력, 합성 음성이 동시에 끊임없이 오가기 때문입니다.' 사용자가 개입하면 상황은 더 복잡해집니다. '서버는 현재 진행 중인 음성 생성을 즉시 중단하고, 컨텍스트를 업데이트하도록 전환하고, 새로운 도구를 트리거하고, 다른 대답을 작성하기 시작해야 합니다. 이 모든 작업은 연결을 끊지 않고 수행되어야 합니다.' AI 시대에 부하를 관리하는 새로운 접근 방식에 대해 알아보려면 세션 인식 부하 분산으로 실시간 AI 에이전트 확장하기를 읽어보세요.
방법: 다양한 GPU 가속기를 혼합하여 사용하더라도 GKE에서 탄력적이고 확장 가능한 LLM 추론 플랫폼을 빌드하는 방법을 알아봅니다. 제안된 아키텍처는 Capacity Advisor와 Compute Advisor 외에도 RunAI:model streamer나 병렬 다운로드를 지원하는 GCPFuse와 같은 고성능 스토리지를 결합합니다. 자세한 내용은 여기에서 확인하세요.
문서: GPU 또는 TPU가 있는 호스트의 경우 라이브 마이그레이션을 사용하여 업데이트할 수 없으므로 유지보수 문제가 발생합니다. 이 새로운 문서 페이지에서 학습 및 추론 워크로드의 다운타임 허용 범위에 따라 가속기가 장착된 호스트를 업데이트하는 방법을 알아보세요.
문서: Advanced Compute Images(ACI)는 AI/ML 및 HPC 인프라를 위한 표준화된 이미지 스택이므로 커스텀 이미지를 수동으로 빌드할 필요가 없습니다. 이 새로운 문서 페이지에서 Google Cloud CLI, 콘솔 또는 SchedMD의 Slurm 워크로드 관리자를 사용하여 ACI 이미지를 만드는 방법을 알아보세요.
가이드: AI 워크로드는 설계하기가 어렵고, 리소스 집약적이며, 버스트가 발생하기 쉬운 것으로 알려져 있습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용되는 컴퓨팅 리소스가 대량으로 발생할 수 있습니다. 새로운 블로그에서는 Google Cloud에서 동적 용량 관리를 달성하는 세 가지 주요 방법을 간략하게 설명합니다. 1) 계획된 다운타임에 대한 용량 예약, 2) 계획되지 않은 다운타임에 대한 자동화된 대체 용량 유지, 3) GKE의 핵심 조정 기능을 활용한 리소스 할당 자동화입니다.

고객 및 파트너 업데이트

비즈니스 조정 소프트웨어 제공업체인 UiPath는 급증하는 워크로드를 처리하고 있었으며, 비용을 더 예측 가능하게 만들고 싶었습니다. 이를 위해 인프라를 재설계하여 고립된 클러스터에서 공유 Google Cloud GPU Fleet으로 전환했습니다. 여기에는 학습을 위한 A3 VM 인스턴스(NVIDIA H100 GPU)와 추론을 위한 G4 VM 인스턴스(NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU)가 모두 포함되었습니다. 아키텍처에 대한 자세한 내용은 여기에서 확인할 수 있습니다.
AI 개발 가속화에 주력하는 첨단 AI 연구소인 Mirendil은 모델 사전 학습 및 사후 학습 애플리케이션을 지원하기 위해 TPU와 NVIDIA GPU를 모두 갖춘 AI 하이퍼컴퓨터를 사용하고 있다고 발표했습니다.
소매 CRM 제공업체인 Replenit은 BigQuery, Gemini Enterprise Agent Platform, Cloud TPU에서 실행되는 오픈소스 Gemma 모델을 사용하여 Google Cloud에서 AI 의사 결정 엔진을 빌드했습니다. Replenit의 발표에 따르면, 이 조합을 통해 이전 클라우드 제공업체 대비 파이프라인 비용을 90%나 절감할 수 있었습니다. 자세한 내용은 우수사례 전문을 읽어보세요.
Malachyte는 Bigtable, Managed Service for Apache Kafka, Pub/Sub, Compute Engine, GKE를 기반으로 AI 기반 이커머스 추천 플랫폼을 설계했습니다. 이 블로그에서 이 모든 것이 어떻게 결합되는지 확인해 보세요.

2026년 7월

제품, 기술, 도구 업데이트

제품 변경사항: Google Cloud Managed Lustre가 정식 버전(GA)으로 출시되었습니다. 이제 용량 TiB당 125MB/s부터 250MB/s, 500MB/s, 최대 1,000MB/s까지 네 가지 성능 등급의 처리량을 선택할 수 있으며, 스토리지 용량을 최대 8PB까지 확장할 수 있습니다. Managed Lustre 솔루션은 DDN의 EXAScaler를 기반으로 하며, 고성능 스토리지 분야에서 수십 년간 쌓아온 DDN의 리더십과 Google Cloud의 클라우드 인프라 전문성이 결합된 결과물입니다.
제품 변경사항: C4N 네트워크 및 스토리지 최적화 VM 정식 버전 출시. C4N은 데이터 전송 병목 현상을 제거하기 위해 빌드된 Google Cloud 최초의 네트워크 및 블록 스토리지 최적화 VM 시리즈입니다. 5세대 Intel Xeon 확장 가능 프로세서로 구동되고 Google의 Titanium 오프로딩 하드웨어를 기반으로 빌드된 이 제품은 Hyperdisk Extreme과 함께 사용할 때 400Gbps의 네트워크 대역폭, 초당 9,500만 패킷(MPPS), 최대 25GiB/s의 블록 스토리지 처리량을 구현합니다.
새로운 기능: 네트워크 정책이 적용된 최대 15,000개 노드 규모의 GKE Dataplane V2(GA). 이 기능을 사용하면 표준 GKE 클러스터를 최대 15,000개 노드까지 확장하면서도 전체 활성 네트워크 정책 적용을 유지할 수 있어 대기업 및 AI/ML 고객의 대규모 인프라 요구사항을 지원할 수 있습니다.
새로운 기능: llm-d의 협력적 타임 슬라이싱. 강화 학습(RL) 워크로드를 실행하는 경우, 이제 독립적인 RL 작업을 공유 물리적 하드웨어에 인터리브 처리할 수 있어 모델 수렴이나 정확도에 영향을 주지 않으면서 가속기의 총 가동 주기를 기준치인 약 40%에서 최대 70%까지 늘릴 수 있습니다.
새로운 AI 보안 도구: GKE에서 AI 공급망을 보호하고, AI 워크로드를 안전하게 배포하고, 섀도 AI를 줄이고 싶으신가요? Google은 컨테이너 클러스터를 지속적으로 모니터링하여 실행 중인 AI 런타임(예: vLLM 및 Triton)을 자동으로 감지하고 표준 CycloneDX 머신러닝 자재 명세서(ML-BOM)를 생성하는 가볍고 권한이 없는 Kubernetes 컨트롤러인 k8s-aibom을 오픈소스로 공개했습니다. k8s-aibom 프로젝트를 확인하고 참여해 보세요.

실무자 가이드 및 방법

안내 가이드: 7월 27일, Google은 2.8조 파라미터를 가진 개방형 가중치 모델인 Moonshot AI의 Kimi K3에 대해 가중치가 공개된 당일부터 즉각적인 지원을 시작한다고 발표했습니다. Model Garden, 커스텀 조정, llm-d 레시피가 포함된 GKE 등 선호하는 배포 경로에 관계없이 이 가이드에서는 Google Cloud에서 Kimi K3를 평가하고 파일럿하는 데 도움이 되는 자세한 단계별 안내를 제공합니다.
안내 가이드: Google Kubernetes Engine(GKE) 관리형 DRANET은 GPU와 TPU를 모두 지원합니다. 이 구현을 활용하는 방법은 여러 가지가 있습니다. 사용자가 모든 권한을 갖는 표준 클러스터 방식과 Google이 복잡한 설정을 대신 처리해 주는 Autopilot 클러스터 방식 중에서 선택할 수 있습니다. 실무형 실습인 TPU, GKE 관리형 DRANET, Gemma 4를 사용하는 GKE Autopilot 클러스터에서 자세히 알아보세요.
안내 가이드: GPU가 아닌 TPU에서 Ray를 실행하는 방법을 알아봅니다. 이 2부작 시리즈의 1부에서는 TPU 슬라이스에 대해 설명하고(힌트: Ray는 이를 일정 예약이 가능한 또 다른 가속기로 간주함), Ray의 다양한 AI 라이브러리를 살펴봅니다 (2부).
안내 가이드: 기기가 이론적인 성능 사양을 달성하는지 정확하게 평가하고 특정 성능 격차 또는 아키텍처별 병목 현상을 식별하는 데 도움이 되는 새로운 마이크로벤치마크 제품군을 사용하여 샘플 워크로드에 대한 TPU를 평가합니다. 여기에서 자세히 알아보세요.
안내 가이드: 예산에 부담을 주지 않고 에이전트를 확장하세요. GKE 에이전트 샌드박스와 포드 스냅샷을 통해 GKE 조정을 사용하여 고정된 컴퓨팅 공간에 더 많은 에이전트를 안전하게 패킹하는 방법을 알아보세요. 성능 최적화와 비용 최적화 중 무엇을 목표로 하든, 에이전트 효율성을 극대화하기 위해 어떤 설정을 어떻게 조정해야 하는지 알려드립니다.
기술적 청사진: Ironwood 기반 Mistral 3 Large 추론 최적화 자세히 알아보기. 이 블로그에서는 Google의 한 팀이 Google Ironwood(TPU v7x)에서 Mistral 3 대규모 MoE 모델의 추론을 최적화하여, 1.5배의 성능 향상을 이끌어낸 과정을 개략적으로 소개합니다. 이 팀은 하이브리드 샤딩을 적용하고, 선형 VPU 합산을 트리 축소 방식으로 대체했으며, GMM/MLA 커널 최적화와 비동기 스케줄링 도입을 통해 이를 실현했습니다. 그 결과, 벤치마크 정확도에는 영향을 주지 않으면서도 처리량을 최대 48%까지 끌어올리는 성과를 거두었습니다. 블로그 전체 내용은 여기에서 확인하세요.

연구, 보고서, 심층 분석

보고서: Google은 최초로 발표된 GartnerⓇ Magic Quadrant™ AI 인프라 부문에서 리더로 선정되었으며, '실행 능력'에서 가장 높은 평가를 받고 '비전의 완전성'에서 가장 앞선 위치를 차지했습니다. Gartner는 Google의 독점적인 확장형 컴퓨팅, 통합 AI 하이퍼컴퓨터 아키텍처, AI 컴퓨팅 용량의 규모를 주요 강점으로 꼽았습니다. 여기에서 사본을 다운로드하세요.
보고서: Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 AI 인프라 현황 보고서를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83%는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다. 함께 제공되는 블로그를 읽고 에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 어떤 도움이 되는지 알아보세요.

2026년 6월

제품, 기술, 도구 업데이트

제품 변경사항: AI에 사용되는 민감한 정보를 보호하는 것은 안전한 고급 클라우드 인프라의 핵심입니다. 컨피덴셜 컴퓨팅은 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE) 내에서 사용 중인 데이터를 암호화하여 보호하고 검증 가능한 데이터 무결성을 제공합니다. 이 기능은 이제 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU가 탑재된 가속기 최적화 G4 머신 시리즈에서 이용 가능합니다. 컨피덴셜 G4 VM 및 컨피덴셜 G4 GKE 노드를 지금 바로 이용해 보세요.
개발자 리소스: 새로운 TPU 개발자 허브는 모델 빌더, 최적화 전문가, 개발자가 Google Cloud TPU의 성능을 최대한 활용하는 방법을 배울 수 있는 공간입니다. 자세한 내용은 이 블로그를 참고하세요.
새로운 제품: 새로운 OpenTelemetry 기반 TPU AI 원격 분석 수집기 에이전트를 사용하여 AI 워크로드를 확장하세요. 이제 사상 처음으로 정밀한 TPU 하드웨어 원격 분석 데이터를 Google Cloud Monitoring, Google Managed Prometheus 또는 자체 호스팅 Grafana 스택으로 바로 전송할 수 있습니다.

실무자 가이드 및 방법

안내 가이드: TPU, Cloud Storage FUSE, 동적 리소스 할당(DRA)을 사용하여 GKE Inference Gateway에서 실행되는 AI 추론 워크로드에 고가용성을 빌드하는 방법을 알아봅니다. 이 블로그에서 전반적인 내용을 살펴보거나, 실습 Codelab을 통해 모든 기술적 세부정보를 직접 익혀볼 수 있습니다.
안내 가이드: 모델 컨텍스트 프로토콜(MCP)을 통해 AI 에이전트를 Cloud Storage의 비정형 데이터에 연결할 수 있다는 사실을 알고 계셨나요? 이 블로그에서는 세 가지 고객 사례를 통해 왜 이러한 연결이 필요한지 살펴보고, 완전 관리형 서비스나 제어 및 맞춤설정의 폭이 넓은 자체 관리형 로컬 서버 중 나에게 맞는 방식을 선택해 구현하는 방법을 알아봅니다.

연구, 보고서, 심층 분석

보고서: 독립적인 벤치마크 보고서에 따르면, GKE Inference Gateway는 업계 선두의 다른 관리형 Kubernetes 서비스와 비교해 처리량은 15.7% 더 높고, 대기 시간은 92.8% 더 짧으며, 토큰 간 지연 시간은 62.6% 더 낮은 압도적인 성능을 기록했습니다. 이러한 압도적인 성능은 프리픽스 캐싱 기술 덕분입니다. 이 기술은 길고 반복되는 프롬프트 프리픽스의 KV 캐시(활성화 상태)를 저장함으로써 LLM 성능을 획기적으로 최적화합니다. 블로그에서 자세히 알아보세요.
아키텍처 심층 분석: TPU 및 GKE의 콜드 스타트 문제를 자세히 살펴보고 Run:ai Model Streamer가 어떻게 상황을 바꿀 수 있는지 알아봅니다.

고객 및 파트너 업데이트

고객 성공사례: Pager Health는 GKE, BigQuery, Cloud SQL, Gemini Enterprise Agent Platform을 활용하여 운영 단편화를 제거하고 간소화된 맞춤형 미국 의료 경험을 제공하여 삶을 변화시키고 있습니다.
고객 성공사례: 고객 리뷰 플랫폼인 Trustpilot은 Dataflow와 Gemini Enterprise Agent Platform을 통해 파인 튜닝된 Gemma 모델을 사용하여 대용량 스트리밍 파이프라인을 구축했습니다. 이 파이프라인은 비용 최적화된 A2 VM에서 A100 GPU를 사용해 실행되며, Gemini Enterprise Agent Platform에서 유지관리하는 최적화된 버전의 vLLM도 활용합니다.

2026년 5월

제품, 기술, 도구 업데이트

제품 변경사항: 이제 GKE Agent Sandbox가 정식 버전으로 제공됩니다.
새로운 오픈소스 프로젝트: Agent Substrate는 에이전트 인프라 밀도의 한계를 뛰어넘기 위해 새롭게 공개된 오픈소스 프로젝트입니다.
새로운 기능: 온디바이스 머신러닝(ML)을 대규모로 테스트하고 벤치마킹할 수 있는 솔루션인 Google AI Edge Portal이 이제 온디바이스 LLM의 벤치마킹과 디버깅을 지원합니다. 자세한 내용은 여기를 참고하세요.
제품 심층 분석: AI 워크로드를 위한 새로운 고성능 스토리지 제품군인 Cloud Storage Rapid를 심층적으로 살펴보았습니다. 출시 시점에는 고성능 영역 객체 스토리지 제품인 Rapid Bucket(이전 명칭: Rapid Storage)과 주문형 읽기를 가속화하고 기존 버킷의 워크로드를 위해 컴퓨팅과 데이터를 함께 배치하는 Rapid Cache(이전 명칭: Anywhere Cache)가 제공됩니다.

연구, 보고서, 심층 분석

아키텍처 심층 분석: Google 글로벌 인프라 부문 부사장 비카시 콜리와 엔지니어링 연구원 아르준 싱이 AI 워크로드가 네트워크 인프라에 미치는 영향을 개괄적으로 설명하고, 이를 더 효과적으로 지원하기 위해 데이터 센터 패브릭, WAN, 글로벌 네트워크에 적용한 심층적인 개선사항을 논의합니다.
아키텍처 심층 분석: 인스턴스 수준의 안정성 방식에서 벗어나, TPU 기반 프런티어 AI 모델 개발을 위한 새로운 클러스터 수준 안정성 모델을 공개했습니다.

고객 및 파트너 업데이트

고객 성공사례: 시각 미디어 제공업체인 Imgix는 NVIDIA RTX PRO 6000 Blackwell GPU 기반 G4 VM이 탑재된 AI 하이퍼컴퓨터에서 80억 개 이상의 이미지와 동영상을 제공합니다.

보고서: 조직의 83%가 에이전트 AI를 지원하려면 인프라를 업그레이드해야 함

Mon, 28 Sep 2026 19:00:00 +0000

수년 동안 엔터프라이즈 AI는 대화형 AI, 즉 우리가 매일 상호작용하는 고객 서비스 봇과 디지털 어시스턴트와 동의어였습니다. 하지만 오늘날 시장은 변화했습니다. 이제 단순한 채팅을 통해 답을 제공하는 AI에서 벗어나, AI가 조치를 취하고, 워크플로를 자동화하며, 복잡한 작업을 스스로 실행하는 단계로 공식적으로 전환되었습니다. 이러한 변화는 완전히 새로운 사용 사례를 가능하게 하지만, 한 가지 문제가 있습니다. 바로 과거에 의존했던 기본 인프라에 상당한 부담을 준다는 점입니다.

Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 AI 인프라 현황 보고서를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83% 는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다.

왜일까요? 어제의 인프라는 자율적으로 작동하는 에이전트를 위해 빌드되지 않았기 때문입니다.

이 블로그에서는 선도적인 조직이 탄력적이고 유연한 기반을 구축하기 위해 인프라를 어떻게 재고하고 있는지에 관한 연구의 핵심 인사이트를 소개합니다. 자세한 내용은 보고서 전문을 다운로드하여 읽어보시기 바랍니다.

유동적인 컴퓨팅으로 '추론세' 탈출

에이전트형 워크로드는 새로운 수준의 규모를 도입합니다. 단일 프롬프트가 수백 개의 다운스트림 작업을 트리거할 수 있으므로 대규모 컨텍스트 윈도우를 메모리에 보관해야 합니다. 이러한 연속적인 추론 루프를 기존 아키텍처에서 실행하려고 하면 재정적으로 지속 가능하지 않습니다. 실제로 리더의 62% 는 데이터 이그레스 요금, 스토리지 증가, 유휴 상태의 특수 하드웨어로 인해 상당한 추론 비용이 발생하고 있습니다. 또한 81% 는 운영 복잡성을 AI 확장의 숨겨진 비용으로 꼽았습니다.

이 문제를 해결하려면 조직은 운영 오버헤드를 최소화하면서 적절한 실리콘 칩을 적절한 작업에 동적으로 매칭할 수 있는 유동적인 컴퓨팅이 필요합니다.

대규모 학습: 새로운 TPU 8t와 같은 컴퓨팅 가속기는 세계에서 가장 정교한 모델을 학습시킬 수 있는 엄청난 규모를 제공합니다.
지연 시간이 짧은 추론: 한편 TPU 8i는 온칩 메모리를 극대화하도록 설계되어 에이전트가 실시간으로 생각하고 반응할 수 있습니다.
조정: CPU 기반의 범용 컴퓨팅은 AI 컨트롤 플레인 운영을 추진하는 데 중요한 구성요소로 부상하고 있습니다. 조직은 Google Axion과 같은 고효율 Arm 기반 프로세서를 사용하여 강화 학습 시뮬레이션을 비용 효율적으로 실행하고 에이전트를 조정할 수 있습니다.

중앙 집중식 거버넌스로 에이전트 확산 관리

에이전트는 이메일을 읽고, 데이터베이스를 쿼리하며, 비즈니스 전반에서 워크플로를 실행하는 등 자율적으로 작동하도록 설계되었습니다. 하지만 에이전트 AI가 확장되면서 조직은 에이전트 확산이라는 새로운 과제에 직면하고 있습니다. 다양한 플랫폼에 흩어져 있는 수천 개의 자율 에이전트를 가시성과 제어력을 잃지 않고 어떻게 관리할 수 있을까요?

기술 리더의 79% 가 추론 확장을 가로막는 가장 큰 과제로 보안, 거버넌스, MLOps를 꼽는 것은 놀라운 일이 아닙니다. 에이전트 시대에는 혁신을 이루기 전에 성숙한 거버넌스 전략이 필요합니다. 이를 위해서는 에이전트 권한, ID, 워크플로를 위한 단일 기록 시스템을 제공하는 중앙 집중식 컨트롤 플레인을 만들어야 합니다.

선도적인 기업들은 서로 다른 도구를 패치하는 대신 Agent Gateway와 같은 솔루션을 활용하여 엔터프라이즈급 거버넌스를 적용하고 있습니다. Agent Gateway는 에이전트가 데이터를 공유하는 방식을 정확히 파악하는 데 필요한 가시성을 제공합니다. 정확한 읽기/쓰기 범위를 정의하고 모든 상호작용의 전체 감사 추적을 유지할 수 있으며, 에이전트가 중요한 작업을 수행하기 전에 승인이 필요한 경우 인간 참여형(Human-In-The-Loop) 감독을 제공합니다. 통합되고 간단한 거버넌스를 추구하는 이러한 움직임은 조직의 78%가 이제 생성형 AI 솔루션을 주요 클라우드 파트너로부터 직접 도입하는 이유를 설명해 줍니다. 이는 2025년 대비 30% 증가한 수치입니다.

통합 데이터 레이어

에이전트는 추론을 수행하므로 조직 전체에서 지속적으로 대규모 쿼리를 실행합니다. 데이터가 사일로 전반에 걸쳐 분산되어 있다면 AI는 사실상 눈을 가리고 비행하는 것과 같습니다.

연결되지 않은 데이터를 관리하는 데서 벗어나 고유하고 실행 가능한 비즈니스 컨텍스트를 수집하기 위해 리더들은 통합 데이터 레이어를 도입하고 있습니다. 에이전트는 비정형 데이터에 자동으로 주석을 달아 검색 가능하게 만드는 Smart Storage와 같은 도구와 교차 클라우드 레이크하우스를 사용하여 데이터가 어디에 있든 커스텀 파이프라인이나 중복된 데이터 없이도 데이터를 기본적으로 읽고 이해할 수 있습니다.

하이브리드 멀티 클라우드 및 디지털 주권

퍼블릭 클라우드와 로컬 컴퓨팅을 둘러싼 논쟁은 하이브리드가 최종 지향점이라는 명확한 합의점으로 귀결되었습니다. 실제로 현재 조직의 52% 가 하이브리드 멀티 클라우드 아키텍처를 사용하고 있습니다.

기술 리더의 경우 이러한 변화는 주로 디지털 주권과 데이터 중력에 의해 주도됩니다. 실제로 리더의 48% 는 엄격한 데이터 레지던시 제어 기능을 갖춘 인프라를 우선적으로 고려하고 있습니다. 변화하는 현지 법규를 준수하는 곳에서 AI를 실행할 수 있는 유연성이 필요합니다. 광범위한 컴퓨팅을 위해 퍼블릭 클라우드를 활용하든, 에어 갭 격리를 위해 Google Distributed Cloud를 통해 파운데이션 모델을 온프레미스에 완전히 도입하든, 현대적인 인프라는 지정학적 현실에 맞춰 조정되어야 합니다.

에지의 AI

기술 리더와 인프라 설계자에게 모든 에이전트 상호작용을 처리하기 위해 엄격하게 중앙 집중화된 클라우드 토폴로지에 의존하는 것은 실현 가능한 전략이 아닙니다. 현재 조직의 90% 가 에지 배포를 AI 이니셔티브에 중요한 요소로 꼽고 있으며, 72% 는 에지 배포가 매우 중요하거나 상당히 중요하다고 설명합니다.

AI를 에지로 이동하면 다음 세 가지 문제를 해결할 수 있습니다.

지연 시간 병목 현상: 실시간 에이전트, 특히 음성, 동영상 또는 금융 거래 알고리즘에 의존하는 에이전트는 원격 데이터 센터로의 왕복에 걸리는 마이크로초 단위의 지연 시간을 감당할 수 없습니다.
운영 복원력: 인터넷 연결이 끊어져도 비즈니스가 중단되지 않아야 합니다. 에지 배포를 통해 제조 공장, 소매점 또는 병원에서 실행되는 에이전트가 자율적으로 계속 작동할 수 있습니다.
비용 효율성 유지: 클라우드에서 상시 가동되는 연속 추론을 실행하는 데는 비용이 많이 듭니다. 조직은 스마트폰, IoT 기기, 로컬 웨어하우스 서버와 같은 에지 기기에서 고도로 최적화된 모델을 활용하여 컴퓨팅 부담을 로컬로 전환하고 토큰당 가변 비용을 대폭 절감할 수 있습니다.

에너지 장벽을 뚫고

에너지 소비는 연례 보고서에만 사용되는 지속 가능성 측정항목이었습니다. 오늘날에는 중요한 운영 역할을 수행하고 있습니다. 현재 리더의 91% 는 하드웨어 선택 시 전력 소비량을 고려하며 61% 는 이를 주요 또는 핵심 요소로 평가합니다.

기술 리더에게 전력 소비는 성장을 가로막는 세 가지 장벽을 제시합니다.

그리드 부족: 특정 지역에서는 전력을 더 구매할 수 없으므로 프로비저닝할 수 있는 컴퓨팅 인프라의 양이 크게 제한됩니다.
규정 준수: 에너지 효율성은 이제 운영을 위한 엄격한 법적 전제 조건입니다. 예를 들어 독일에서는 새로운 데이터 센터가 전력 사용 효율 (PUE) 1.2 이하를 달성해야 합니다. 또한 아일랜드에서는 대규모 데이터 센터가 전력망 사용량의 100% 에 해당하는 현장 가동형 발전 시설을 갖추도록 의무화하고 있습니다.
인프라 경제성: 비효율적인 전력 소비는 AI 배포의 총소유비용 (TCO)을 크게 증가시킵니다. 고전력 하드웨어를 수용하려면 고급 냉각 아키텍처, 특수 랙 설계, 시설 업그레이드에 막대한 자본적 지출 (CapEx)이 필요합니다.

에너지 장벽을 해결하려면 기술 리더가 에너지를 전략적 자산으로 취급해야 합니다. 최적화의 초점 영역 중 하나는 와트당 성능으로 전환되어야 합니다. 이러한 이유로 공동 설계된 실리콘이 점점 더 중요해지고 있습니다. 예를 들어, 새로운 TPU 8t는 이전 세대보다 성능이 거의 3배 향상되었으며 에너지 효율은 최대 2배 더 높습니다.

통합된 AI 최적화 인프라

결국 어제의 아키텍처로는 내일의 에이전트 시스템이 직면할 과제를 해결할 수 없습니다. 엔지니어링팀이 이기종 컴퓨팅, 스토리지, 네트워킹 레이어를 수동으로 통합해야 하는 경우 조직은 기본적인 상호 운용성을 보장하기 위해서만 높은 운영 오버헤드를 감수해야 합니다.

따라서 기술 리더는 신속하고 비용 효율적으로 혁신하기 위해 전체적이고 통합된 시스템으로 전환하고 있습니다.

이것이 바로 Google Cloud AI 하이퍼컴퓨터의 철학입니다. 모든 계층이 함께 작동하도록 공동 설계 및 공동 엔지니어링된 아키텍처입니다. 커스텀 실리콘 (TPU, GPU, CPU)은 사일로에서 설계되지 않습니다. 초고대역폭 네트워킹 (Virgo Network), 스토리지 (Managed Lustre, Hyperdisk), 소프트웨어 조정 레이어 (GKE)와 함께 엔지니어링됩니다.

디지털 세계와 물리적 세계를 연결

공동 설계된 이러한 포괄적인 접근방식을 도입하면 큰 성과를 거둘 수 있습니다. 이러한 수준의 확장 가능하고 유동적인 인텔리전스가 에지에서 작동하면서 우리는 물리적 AI의 시대로 접어들고 있습니다. 새로운 세대의 자율 로봇은 실제 세계에 발을 들여놓기 전에 Google Cloud의 디지털 트윈 시뮬레이션에서 수백만 번 작업을 연습하여 물리적 세계를 감지, 시뮬레이션, 탐색할 수 있습니다. 복잡한 산업 검사 수행부터 영화 같은 비디오 촬영에 이르기까지 AI는 이제 현실 세계에서 실질적인 문제를 해결하고 있습니다.

에이전트 AI를 위한 청사진

에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 도움이 됩니다. 2026년에 번창할 조직은 비용 효율적이고, 에지에서 복원력이 뛰어나며, 자율적인 조치를 위해 최적화되어 있고, 기본적으로 거버넌스가 적용되는 통합 기반을 수용하고 있습니다.

시작하시겠습니까? AI 인프라 현황 보고서를 다운로드하여 Google Cloud의 조사 결과에 대한 데이터를 살펴보고 동종 업계의 다른 기업이 어떻게 성공을 위해 빌드하고 있는지 알아보세요.

M4N VM 제품군 정식 버전 출시: I/O 및 메모리 집약적 워크로드를 위한 코어당 최고 수준의 IOPS 및 처리량 제공

Mon, 28 Sep 2026 16:00:00 +0000

엔터프라이즈 조직이 미션 크리티컬 애플리케이션을 확장함에 따라 스토리지 I/O 및 메모리 액세스가 심각한 운영 병목 현상을 초래할 수 있습니다. Oracle 데이터베이스, SAP HANA와 같은 인메모리 데이터베이스, 높은 처리량의 SQL Server 클러스터, EHR 시스템, 실시간 빅데이터 분석 등 메모리 집약적 데이터베이스를 사용하는 기업은 필요한 RAM 용량과 스토리지 대역폭을 확보하기 위해 컴퓨팅 코어(vCPU)를 과도하게 프로비저닝해야 하는 경우가 많으며, 이는 고가의 서드 파티 소프트웨어 라이선스 비용 상승으로 이어집니다.

오늘 Google Compute Engine에서 네트워크 및 블록 스토리지 최적화 VM 제품군의 두 번째 제품인 M4N 머신 시리즈의 정식 버전을 출시했습니다. 이 머신 시리즈는 I/O 집약적인 고성능 메모리 워크로드를 위해 특별히 설계되었습니다. 다른 하이퍼스케일러의 유사 제품과 비교했을 때 M4N은 고성능 메모리 인스턴스에서 코어당 가장 높은 IOPS 및 처리량을 제공하며 Oracle 데이터베이스의 총소유비용을 20% 이상 절감합니다.

또한 M4N은 더 높은 메모리 비율(최대 26:1)과 크기(6TB)로 최적화된 업계 최초의 네트워크 및 블록 스토리지 인스턴스입니다. 5세대 인텔® 제온® 스케일러블 프로세서로 구동되고 Google Cloud의 커스텀 Titanium 오프로드 아키텍처를 기반으로 빌드된 M4N 인스턴스는 Hyperdisk Extreme과 결합 시 최대 25,000MiB/s(25GiB/s)의 총 호스트 스토리지 성능과 최대 100만 IOPS를 제공하여 기존 M4 인스턴스의 블록 스토리지 성능을 두 배로 높입니다.

M4N은 극도로 높은 밀도의 RAM과 타협 없는 I/O 성능을 모두 요구하는 워크로드를 대상으로 하며, 높은 처리량을 필요로 하는 엔터프라이즈 애플리케이션의 특정 스토리지 및 네트워크 병목 현상을 해결하여 기존 메모리 최적화 제품군(M1, M2, M3, M4, X4 등)을 보완합니다.

고성능을 요구하는 워크로드를 위해 설계됨

워크로드 카테고리	대표적인 적용 분야	M4N의 장점
미션 크리티컬 엔터프라이즈 DB	Oracle, SAP HANA, SQL Server, IBM DB2, MySQL, PostgreSQL	최대 26.57GB/vCPU의 메모리 대 코어 비율과 25GiB/s의 스토리지 성능을 결합하여 신속한 데이터 수집, 트랜잭션 로깅 및 지연 없는 백업 주기를 지원합니다.
생성형 AI 및 RAG 데이터 레이어	Milvus, Pinecone, Qdrant, Vespa, Redis, 인메모리 컨텍스트 캐싱	RAM의 대규모 벡터 색인을 대상으로 1밀리초 미만의 유사성 검색을 수행하고, 분산 모델 검색을 위해 400Gbps의 네트워크 대역폭을 결합합니다.
엔터프라이즈 의료 및 ERP	Epic Systems(운영 데이터베이스), SAP ECC, SAP S/4HANA	지속적인 I/O 여유 공간으로 임상 및 트랜잭션 처리량이 급증하는 시간대에 쿼리 지연 시간 급증을 방지합니다.
실시간 분석 및 EDA	전자 설계 자동화, 유전체학 모델링, 인메모리 OLAP	대규모 데이터 세트를 RAM에 온전히 로드할 수 있는 높은 메모리 용량과 체크포인트 덤프를 위한 최대 스토리지 대역폭을 갖추고 있습니다.

Oracle 라이선스 비용 최적화

엔터프라이즈 IT 부서는 코어 기반 소프트웨어 라이선스 비용 상승으로 어려움을 겪고 있습니다. Oracle 데이터베이스와 같은 워크로드의 경우 라이선스 요금은 일반적으로 인스턴스에 할당된 vCPU 또는 물리적 코어 수를 기준으로 산정됩니다. 지금까지는 필요한 양의 RAM과 스토리지 성능을 얻기 위해 필요 이상으로 많은 컴퓨팅 코어에 대한 비용을 지불해야 했습니다.

M4N은 업계 최고의 높은 메모리 대 vCPU 비율로 이러한 패러다임을 바꿉니다. M4N은 모든 주요 하이퍼스케일러의 고성능 메모리 인스턴스 중 코어당 가장 높은 IOPS와 처리량을 제공하므로 데이터베이스 관리자는 다음과 같은 이점을 누릴 수 있습니다.

TCO 및 라이선스 오버헤드 감소: Oracle 데이터베이스 성능 밀도 요구사항을 충족하면서 코어의 과도한 프로비저닝을 방지하여 주요 하이퍼스케일러의 유사 제품에 비해 TCO를 20% 이상 절감합니다.
인프라 규모 적정 조정: 대규모 메모리 풀에 액세스하는 동시에 워크로드에 필요한 정확한 양의 컴퓨팅 성능을 할당할 수 있습니다.
캐시 적중률 개선: 코어당 사용 가능한 메모리가 늘어나면 데이터베이스의 더 많은 부분이 시스템 글로벌 영역(SGA)에 상주할 수 있어 비용이 많이 드는 I/O 작업을 줄이고 효율성을 더욱 높일 수 있습니다.

고객의 의견

M4N을 조기에 도입한 결과, 워크로드에 최적화된 인프라가 혁신의 원동력임이 입증되었습니다.

“M4N 도입 전에는 Google Cloud에서 까다로운 I/O 요구사항을 충족하고 필요한 성능 밀도를 확보하기 위해 컴퓨팅 리소스를 과도하게 프로비저닝해야 하는 경우가 많았습니다. 새로운 M4N 인스턴스는 소형부터 대형까지 다양한 사양에서 높은 처리량을 제공하여 이 문제를 해결합니다." - 셰리 트로잔, Sabre 수석 솔루션 설계자

"Google Cloud가 미션 크리티컬 데이터베이스 워크로드를 위한 차세대 고성능 인프라를 선보여서 매우 기쁩니다. 이 새로운 컴퓨팅 플랫폼은 확장성, 복원력, 고성능이 필요한 엔터프라이즈급 Oracle 배포에 있어 엄청난 잠재력을 보여줍니다. Google Cloud에서 Oracle 워크로드를 실행하는 고객에게 이 혁신이 어떤 의미를 가질지 기대가 큽니다.” - 발라 쿠치보틀라, Tessell 공동 설립자 겸 CEO

"Google Cloud는 M4N을 통해 플랫폼 공동 설계의 한계를 계속해서 넓혀가고 있습니다. 5세대 인텔 제온 스케일러블 프로세서와 Google의 커스텀 Titanium 오프로드 아키텍처를 결합한 M4N은 세계에서 가장 까다로운 미션 크리티컬 데이터 환경에 필요한 압도적인 메모리 용량, 높은 메모리 대역폭, 타협 없는 I/O 처리량을 제공합니다." - 인텔

새로운 소식: M4N으로 극한의 데이터 레이어 확장

M4N은 클라우드 인프라에서 이전에는 별개로 여겨졌던 두 가지 패러다임인 대규모 메모리 사용량과 극한의 I/O 성능을 하나로 연결합니다. 커스텀 Titanium 오프로드로 설계된 M4N은 인프라 부가기능이나 메모리 밀도 저하 없이 I/O 병목 현상을 최소화합니다. M4N이 이러한 환경에 어떻게 적용되는지 살펴보겠습니다.

1. 고대역폭 데이터 전송 지원

대규모 메모리 사용량이 요구되는 워크로드의 경우 M4N은 다음과 같은 이점을 제공합니다.

우수한 VM 간 대역폭: 동일한 VPC 내에서 최대 400Gbps의 집계 VM 간 네트워크 대역폭과 최대 50Gbps의 단일 흐름 대역폭을 제공하여 분산 데이터베이스 클러스터와 실시간 스트리밍 데이터 레이어를 위한 비차단 데이터 교환을 지원합니다.
향상된 인터넷 및 이그레스 처리량: 최대 200Gbps의 인터넷 이그레스 대역폭과 최대 48MPPS의 패킷 처리 성능을 제공합니다.
즉시 사용 가능한 고대역폭: 프리미엄 Tier_1 네트워킹 부가기능을 구매하거나 구성할 필요 없이 최대 성능을 구현할 수 있습니다.

2. Hyperdisk를 통한 동적 스토리지 성능

Google Cloud의 차세대 스토리지 포트폴리오와 결합된 Hyperdisk 기반 M4N을 사용하면 IOPS, 처리량, 용량을 독립적으로 조정할 수 있습니다.

Hyperdisk Extreme(HdX): 최대 25GiB/s의 집계 블록 스토리지 처리량과 1,000,000 IOPS를 제공하며, 이는 표준 M4의 스토리지 성능보다 두 배 높은 수준입니다. 이는 신속한 데이터베이스 복구, 트랜잭션 체크포인트 설정, 즉각적인 인메모리 색인 새로고침에 적합합니다.
Hyperdisk Balanced(HdB): 최대 20GiB/s의 처리량과640,000 IOPS까지 확장되어 대규모 환경에서 비용 효율적인 엔터프라이즈 스토리지를 제공합니다.

M4N 머신 유형 및 사양

M4N 인스턴스는 3가지 메모리 대 vCPU 비율 등급으로 제공되며, 16~224개의 vCPU와 최대 5,952GB의 DDR5 RAM까지 확장 가능합니다. 또한 M4N은 특정 워크로드 요구사항에 맞게 세 가지 메모리 대 vCPU 비율로 사전 정의된 VM 구성을 제공하며, 리소스 기반 약정 사용 할인(CUD)을 지원합니다. 자세한 내용은 여기에서 확인하세요.

지금 시작하기

M4N 인스턴스는 현재 전 세계 일부 리전에서 이용 가능합니다. M4N 제품군이 메모리 및 I/O 집약적 애플리케이션의 성능을 어떻게 향상시키고 라이선스 비용을 절감할 수 있는지 자세히 알아보려면 계정 담당자에게 문의하거나 관련 문서를 참조하세요.

The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 부문 리더로 선정된 Google

Thu, 17 Sep 2026 22:00:00 +0000

10개의 주요 퍼블릭 클라우드 제공업체를 30가지 포괄적 기준으로 평가한 Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 Google Cloud가 리더로 선정되고 ‘현재 제품’ 부문에서 최고 점수를 받았다는 소식을 전하게 되어 기쁩니다. 또한 Google은 비전, 혁신, AI 개발 서비스, 데이터베이스 서비스, 분석 서비스, 컨테이너 및 Kubernetes 서비스, 현대화 서비스, 보안 서비스 등을 포함한 30개 평가 항목 중 23개 항목에서 최고 점수를 받았습니다. Forrester의 이번 평가는 에이전트 시대를 선도하기 위해서는 실리콘부터 시스템, 모델에 이르기까지 정교하게 설계된 완전한 통합 플랫폼이 필수적이라는 Google의 확신을 다시 한번 뒷받침합니다.

무료 보고서 보기: The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 The Forrester Wave™: Public Cloud Platforms, Q3 2026.

글로벌 엔터프라이즈에서 검증된 공동 설계 인프라를 기반으로 구축하세요

지난 10여 년 동안 Google의 인프라 엔지니어, 애플리케이션 개발자, AI 연구원은 Gemini, Google 검색, YouTube, Google 지도, Gmail을 구동하는 인프라를 공동 설계하기 위해 긴밀하게 협력해 왔습니다. Google에 필요한 플랫폼과 인프라는 단순히 구매해서 사용할 수 있는 것이 아니었기에 직접 만들어야 했습니다. 그 결과 TPU, Transformer 아키텍처, Kubernetes, Axion을 비롯해 오늘날의 Gemini에 이르는 다양한 혁신 기술이 탄생했습니다.

에이전트 시대에는 컴퓨팅, 조정 소프트웨어, 현대화 도구, 글로벌 네트워크가 유기적으로 작동하여 AI 연구의 최전선에 있지 않더라도 투자 대비 더 큰 가치를 창출할 수 있는 통합 AI 스택이 필수적입니다. Google Cloud는 이러한 획기적인 혁신을 선도적인 엔터프라이즈와 스타트업, 첨단 연구소에도 제공하여 새로운 차원의 확장성과 효율성 달성을 돕기 위해 끊임없이 노력해 왔습니다. 이번 Forrester 평가는 이러한 Google Cloud 전략을 다시 한번 입증해 줍니다.

"Google Cloud의 비전은 ‘에이전트형 엔터프라이즈’를 실현하는 것으로, Google Cloud 플랫폼 전반에는 이미 AI가 깊숙이 자리 잡고 있습니다. 덕분에 Google Cloud는 엔터프라이즈 내 AI 도입을 주도하는 비즈니스 사용자를 대상으로 기술 스택의 상위 계층으로 영향력을 한층 더 확대할 수 있는 유리한 고지를 점하고 있습니다. Google Cloud는 빠른 기술 혁신과 광범위한 AI 지원 클라우드 플랫폼을 원하는 엔터프라이즈에 적합합니다.” - The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서

안전하고 유연한 플랫폼에서 에이전트를 빠르게 실행하세요

대부분의 기존 인프라는 에이전트의 속도를 따라갈 수 없기 때문에 엔터프라이즈에는 확장 가능한 대안이 필요합니다. 그렇다고 AI 에이전트만을 위해 완전히 새로운 플랫폼을 구축할 필요는 없습니다. Kubernetes는 마이크로서비스와 트랜잭션 데이터베이스부터 실시간 LLM 추론에 이르기까지 현대적인 엔터프라이즈 애플리케이션을 위한 검증된 업계 표준입니다. Google Cloud는 조직이 하나의 검증된 플랫폼에서 기존 워크로드와 함께 자율 에이전트를 확장할 수 있도록 Google Kubernetes Engine(GKE)과 운영 도구를 지속적으로 발전시키고 있습니다.

Forrester는 컨테이너 및 Kubernetes 서비스, 서버리스/FaaS 서비스, 운영 관리 서비스 부문에서 Google Cloud에 최고점을 부여하며 다음과 같이 평가했습니다.

"운영자는 운영 관리뿐 아니라 컨테이너 및 Kubernetes 서비스 분야에서도 강력한 제품 또는 서비스를 만나볼 수 있습니다. 이번 평가에서 중대한 기능 격차는 확인되지 않았습니다."

지난 3개월 동안 Google Cloud는 엔터프라이즈가 에이전트 워크로드를 예측 가능한 방식으로 확장할 수 있도록 인프라 포트폴리오를 한층 더 강화했습니다. 최근 업데이트를 통해 가능해진 작업은 다음과 같습니다.

GKE 에이전트 샌드박스(정식 버전)와 Cloud Run Sandboxes(프리뷰)를 사용하여 기본 거부 보안을 적용한 상태로 기존 워크로드와 함께 신뢰할 수 없는 에이전트 코드를 안전하게 실행할 수 있습니다. 이러한 기능을 통해 1초 이내에 에이전트를 위한 경량 gVisor 격리 경계를 프로비저닝하며 클러스터당 초당 최대 300개의 샌드박스를 생성할 수 있습니다.
GKE Pod Snapshots를 사용하여 컨테이너 RAM 상태를 Google Cloud Storage에 직접 직렬화함으로써 유휴 컴퓨팅 비용을 최대 90% 절감할 수 있습니다. 이를 통해 유휴 에이전트 세션을 약 100밀리초 만에 일시중지하고 약 280밀리초 만에 재개할 수 있습니다.
GKE Inference Gateway의 예측 라우팅을 통해 첫 번째 토큰 생성 시간(TTFT)을 최대 70% 단축하고 캐시 적중률을 두 배로 높일 수 있습니다. 이 기능은 지속적으로 학습되는 ML 모델을 사용하여 실시간 트래픽 데이터를 기반으로 라우팅을 결정합니다.

실시간 엔터프라이즈 데이터를 기반으로 에이전트를 그라운딩하세요

에이전트의 성능은 그라운딩하는 컨텍스트의 품질에 달려 있습니다. 기존의 분산 데이터 토폴로지는 단편화된 멀티홉 파이프라인을 통해 운영 데이터베이스와 분석 시스템을 분리합니다. 에이전트 시대에는 이러한 단절로 인해 멀티홉 지연이 발생하고 컨텍스트가 최신 상태를 유지하지 못하며 거버넌스 마찰이 초래됩니다.

Google의 에이전트형 데이터 클라우드는 엔터프라이즈 데이터 플랫폼을 정적인 저장소에서 동적인 추론 엔진으로 발전시키고 트랜잭션 처리와 지능형 애널리틱스를 능동적인 작업 시스템으로 통합하여 자율 워크플로에 필수적인 실시간 컨텍스트와 결정론적 응답성을 제공합니다. Google은 데이터베이스 서비스, 분석 서비스, 데이터 통합 서비스, 데이터 거버넌스 서비스의 모든 평가 기준에서 5점 만점에 5점을 받았습니다.

“데이터베이스 서비스와 분석 분야에서 Google Cloud가 쌓아온 전통적인 강점은 멀티 클라우드 및 하이브리드 역량은 물론, 분석과 트랜잭션 시스템을 하나로 잇는 에이전트형 데이터 클라우드를 통해 강력한 성과를 견인하고 있습니다.”

지난 3개월 동안 Google Cloud는 고객이 데이터 자산을 하나로 통합할 수 있도록 에이전트형 데이터 클라우드에 다음과 같은 핵심 기능을 도입했습니다.

SAP 시스템과 BigQuery 간의 양방향 제로 카피 데이터 공유를 지원하는 BigQuery용 SAP BDC Connect(정식 버전)를 통해 에이전트는 비용이 많이 드는 데이터 이동 없이 실시간 재무 및 공급망 레코드를 쿼리할 수 있습니다.
Knowledge Catalog를 사용하여 전체 데이터 자산의 비즈니스 의미를 매핑하고 추론할 수 있습니다. 이제 Google 및 파트너 데이터 플랫폼, 시맨틱 모델, 서드 파티 카탈로그 전반의 네이티브 컨텍스트를 집계하여 거버넌스가 적용된 단일 정보 소스로 통합할 수 있습니다.
레이크하우스 제휴를 통해 PostgreSQL 데이터 영역에서 Iceberg 및 BigQuery의 실시간 데이터에 액세스할 수 있습니다. 데이터 이동 없이 AlloyDB의 트랜잭션 데이터와 BigQuery 또는 Iceberg의 과거 인사이트를 실시간으로 조인할 수 있습니다. 또한 Datastream을 사용하여 데이터를 BigQuery로 지속적으로 복제할 수 있으며, 특히 AlloyDB에서 Iceberg 테이블로 직접 지속적으로 복제할 수도 있습니다.

벤치마크 설정: Google Cloud에서 미래를 구축하세요

Forrester가 발표한 The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 Google Cloud가 리더로 선정된 것을 매우 영광스럽게 생각합니다. Google은 이번 평가가 수십 년에 걸친 기초 연구와 체계적인 풀 스택 공동 설계, 개방적이고 안정적인 클라우드를 구축하려는 Google의 노력을 입증한다고 생각합니다.

단편화된 인프라의 시대는 끝났습니다. 100만 개의 가속기 칩을 활용해 모델을 확장하는 AI 연구소부터, 청산 시스템에서 수조 달러 규모의 거래를 처리하는 글로벌 금융 거래소, 그리고 자율 워크플로를 통해 수백만 명의 사용자에게 혁신적인 경험을 제공하는 엔터프라이즈에 이르기까지, Google Cloud는 다음 세대의 혁신을 실현하는 데 필요한 최상의 성능과 확장성, 보안, 그리고 탄탄한 데이터 기반을 제공합니다.

클라우드 여정의 다음 단계로 나아가세요.

전체 보고서 다운로드: The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 보고서에서 상세한 분석 내용을 확인해 보세요.

Google, 2026년 Gartner® Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문에서 리더로 선정

Thu, 10 Sep 2026 11:00:00 +0000

Gartner®는 Google을 9년 연속으로 Gartner Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문 리더로 선정했으며, 비전의 완전성 부문에서 가장 선도적인 업체로 선정했습니다.

이는 고객이 Google Cloud에서 가장 까다로운 워크로드를 안정적이고 안전하게 빌드하고 확장할 수 있도록 지원하기 위한 Google Cloud의 오랜 노력을 인정받은 결과라고 생각합니다. 에이전트 시대에 접어들면서 Google Cloud는 동적 인프라를 통해 고객의 여정을 가속화하고, 예측 가능한 비용과 성능을 위해 유연한 단일 플랫폼에서 엔터프라이즈 앱, 데이터, 에이전트를 연결하고 있습니다.

이러한 성장을 이끄는 요인은 무엇일까요? Google Cloud를 차별화하는 세 가지 주요 이점은 다음과 같습니다.

커스텀 실리콘 칩 및 하드웨어 시스템, 개방형 소프트웨어 및 조정, 프런티어 모델, 에이전트형 애플리케이션 전반에서 공동 설계된 통합 기술 스택
어디서나 사용자, 데이터, 앱, 에이전트를 안전하게 연결하고 확장할 수 있는 동적 인프라
필수 클라우드의 기능 저하 없이 조직이 데이터를 완전히 제어할 수 있도록 지원하는 진정한 선택권을 갖춘 디지털 주권

Google Cloud는 고객이 필요한 유연성, 성능, 제어 기능을 제공하면서 규모에 맞게 혁신하고 제공할 수 있도록 지원하기 위해 최선을 다하고 있습니다. Google Cloud가 인프라를 지속적으로 구축하고 개선하는 데 있어 준수하는 세 가지 설계 원칙을 자세히 살펴보겠습니다.

1. 종속 없이 공동 설계된 스택으로 AI 가속화

Google Cloud는 실리콘 칩부터 에이전트형 애플리케이션에 이르기까지 긴밀하게 공동 설계된 완전한 퍼스트 파티 AI 스택을 제공하는 유일한 제공업체입니다. Google Cloud의 인프라팀은 Google DeepMind 연구원과 협력하여 기술 스택의 모든 계층을 공동 설계하고 최적화합니다. Google TPU 및 Arm 기반 Google Axion 프로세서와 같은 커스텀 실리콘 칩부터 Google Kubernetes Engine(GKE) 및 Gemini 모델에 이르기까지 Google 시스템은 뛰어난 성능과 예측 가능한 비용을 제공합니다.

하드웨어와 소프트웨어를 공동 설계하면 운영 효율성이 크게 향상되지만, 그렇다고 해서 폐쇄적인 생태계를 만드는 것은 아닙니다. Google Cloud는 분산 추론을 위한 llm-d와 같은 프레임워크, GKE Prism을 사용한 개방형 모델 벤치마킹, TPU 및 GPU 전반에서 PyTorch 호환성을 위한 TorchTPU를 통한 하드웨어 종속 제거 등 스택의 모든 계층에서 오픈소스와 개방형 표준을 위해 최선을 다하고 있습니다. 모델, 프레임워크, 실리콘 칩 전반에서 완전한 유연성을 유지하면서 수직적으로 공동 설계된 스택의 모든 기능을 활용할 수 있습니다. 긴밀하게 통합된 이러한 모든 구성요소를 결합하면 탁월한 확장성, 성능, 효율성을 갖춘 AI 하이퍼컴퓨터를 빌드할 수 있습니다. 이는 전 세계 상위 10개 AI 연구소 중 9곳이 선택한 것과 동일한 인프라 기반입니다.

2. 동적 인프라를 통해 신속하고 경제적으로 확장

오늘날 AI 리소스에 대한 수요는 급증하고 있습니다. Google 내부적으로는 현재 데이터 센터에서 매월 3,200조 개의 토큰을 처리하고 있으며, 이는 작년 대비 약 7배 증가한 수치입니다1. 이러한 변화에 대처하는 기업 리더에게 AI 시스템 확장은 설계가 까다롭기로 유명하고 리소스 집약적이며, 버스트 현상이 빈번하여, 확장 병목 현상과 대규모 유휴 컴퓨팅 리소스가 발생할 수 있습니다.

조직에는 용량 관리를 자동화하고, 자체 속도에 맞춰 비즈니스 애플리케이션을 현대화하며, 데이터, 앱, 에이전트를 안전하게 연결하여 최적화된 글로벌 경험을 제공할 수 있는 동적 인프라가 필요합니다.

에이전트 규모에서 성공하려면 단일 시스템으로 작동할 수 있는 인프라가 필요합니다. Google Cloud를 사용하면 다음과 같은 작업을 수행할 수 있습니다.

Gemini 기반 도구를 사용해 핵심 앱을 지능적으로 매핑하고 현대화하여 정적인 기존 시스템을 AI와 에이전트를 위한 동적인 기반으로 전환함으로써 AI 전환을 시작 하세요.
워크로드에 최적화된 다양한 컴퓨팅 유형과 구성 중에서 선택할 수 있습니다. 사전 정의된 커스텀 CPU 형태, NVIDIA GPU, Google 커스텀 실리콘 칩(TPU 및 Axion CPU)을 결합할 수 있습니다. 이들은 AI 및 엔터프라이즈 워크로드에 대해 뛰어난 비용 대비 성능을 제공하도록 설계되었습니다.
Google Kubernetes Engine을 통해 유연한 단일 컨트롤 플레인에서 기업과 AI 인프라를 연결하세요. 여기에는 계획된 이벤트에 대한 용량을 미리 예약하는 동적 워크로드 스케줄러와 같은 용량 관리 기능과 리소스 소비 방식을 지시하는 고급 규칙을 정의하는 동적 리소스 할당이 포함되어 사용률을 극대화하고 비용을 절감하는 데 도움이 됩니다.
Gemini Cloud Assist를 사용하여 새로운 에이전트 기반 워크플로의 운영 문제를 선제적으로 식별, 해결, 조치함으로써 2일 차 운영을 간소화합니다.
마지막으로, Cross-Cloud Interconnect를 통해 하이브리드 및 멀티 클라우드 환경에서 워크로드를 실행할 수 있습니다. 이 서비스는 Google의 1,000만 킬로미터가 넘는 비공개 파이버 백본을 활용하여 공개 인터넷 라우팅보다 최대 40% 더 높은 성능을 제공하고 몇 분 만에 자동화된 전송을 지원합니다2.

동적 인프라, 적응형 애플리케이션, 반응형 시스템의 통합 기반을 채택함으로써 조직은 이 새로운 기술 분야를 선도하는 데 필요한 복원력과 고성능 인프라를 구축할 수 있습니다.

3. 더 많은 선택권과 보안으로 디지털 주권 확보

현대화, 첨단 AI 기능, 규제 제어 중 어느 하나도 포기할 필요가 없습니다. Google의 Sovereign Cloud는 세 가지 유연한 배포 옵션을 통해 주권 플랫폼 전반에서 Gemini 및 개방형 가중치 모델에 대한 액세스를 제공합니다.

데이터 주권 및 제어: Google Cloud 데이터 경계를 통해 데이터의 위치와 암호화 권한을 완벽하게 제어할 수 있습니다. 키 액세스 근거(KAJ)와 함께 외부 키 관리(EKM)를 사용하여 Google 인프라 외부에서 암호화 키를 관리하는 동시에 Google Cloud와 Google Workspace 전반에서 정확한 지리적 처리 및 스토리지 경계를 적용합니다.
현지 규정 준수 및 리전 운영: 유럽 고객을 위해 Google Cloud 전용 환경에서 빌드되고 현지 파트너가 독점적으로 운영하는 물리적 및 논리적으로 분리된 리전 클라우드에서 애플리케이션을 실행하세요. 프랑스에서는 S3NS가 PREMI3NS를 통해 프랑스 국가 정보 시스템 보안국(ANSSI)의 SecNumCloud 3.2 인증을 획득한 독립형 주권 클라우드를 제공합니다. Thales가 운영하는 전용 주권 클라우드 운영도 곧 독일에서 제공될 예정입니다.
온프레미스 및 에어 갭 적용 유연성: Google Distributed Cloud(GDC)를 통해 Google Cloud 기능을 온프레미스 환경에 직접 가져올 수 있습니다. GDC는 두 가지 배포 모드를 제공합니다. 에어 갭 적용 모드는 공공 부문, 방위, 규제 대상 기업 워크로드를 위해 공용 인터넷에 전혀 연결되지 않은 상태로 작동하는 완전 관리형 독립 실행 환경입니다. 연결 모드는 통합 관리를 위해 Google Cloud의 중앙 집중식 컨트롤 플레인을 활용하면서 로컬 하드웨어에서 워크로드를 실행할 수 있도록 지원합니다.

클라우드 여정 가속화

핵심 엔터프라이즈 시스템을 현대화하든, 복잡한 규정 준수 요구사항을 관리하든, 자율 AI 에이전트를 배포하든, Google Cloud는 성공에 필요한 성능, 확장성, 선택의 자유를 제공합니다.

2026년 Gartner Magic Quadrant의 전략적 클라우드 플랫폼 서비스 전문을 읽어보거나 AI 하이퍼컴퓨터 페이지를 살펴보고 자세히 알아보세요.

^{1. Pichai, Sundar. <I/O 2026: 에이전트형 Gemini 시대에 오신 것을 환영합니다> The Keyword, Google, 2026년 5월 19일}

^{2. 테스트에서 크로스 클라우드 네트워크를 통해 전송되는 대상 트래픽의 네트워크 지연 시간은 공개 인터넷을 통해 전송되는 트래픽(동일한 대상 기준)보다 40% 이상 짧았습니다.}

8세대 TPU 내부: 아키텍처 심층 분석

Wed, 02 Sep 2026 20:00:00 +0000

Google의 TPU 설계 철학은 항상 확장성, 안정성, 효율성이라는 세 가지 핵심 요소에 중점을 두고 있습니다. AI 모델이 밀집된 대규모 언어 모델 (LLM)에서 대규모 전문가 망 (MoE) 및 추론 중심 아키텍처로 진화함에 따라 하드웨어는 초당 부동 소수점 연산 (FLOPS)을 추가하는 것 이상의 작업을 수행해야 합니다. 즉, 최신 워크로드의 특정 운영 강도에 맞게 진화해야 합니다.

에이전트 AI의 부상으로 긴 컨텍스트 윈도우와 복잡한 순차적 논리를 처리할 수 있는 인프라가 필요해졌습니다. 동시에 월드 모델은 현재의 다음 데이터 시퀀스 아키텍처에서 필요한 진화로 등장했습니다. 이는 새로운 에이전트가 위험한 시행착오가 아닌 '상상력'을 통해 미래 시나리오를 시뮬레이션하고, 결과를 예측하고, 학습하고 있음을 의미합니다. 8세대 TPU (TPU 8t 및 TPU 8i)는 이러한 과제에 대한 Google Cloud의 해답으로, 학습의 첫 번째 토큰부터 다중 턴 추론 체인의 마지막 단계에 이르기까지 모든 워크로드가 가능한 가장 효율적인 경로로 실행되도록 보장합니다. 이러한 TPU는 Google DeepMind의 Genie 3과 같은 월드 모델을 효율적으로 학습시키고 제공하도록 빌드되어 수백만 개의 에이전트가 다양한 시뮬레이션 환경에서 추론을 연습하고 개선할 수 있습니다.

TPU 8: 특화된 설계

사전 학습, 사후 학습, 실시간 서빙의 인프라 요구사항이 서로 다르다는 점을 인식한 Google Cloud는 8세대 TPU에 TPU 8t와 TPU 8i라는 두 가지 시스템을 도입했습니다. 이러한 새로운 시스템은 하드웨어, 소프트웨어, 네트워킹을 결합하여 전체 AI 수명 주기를 지원하는 통합 슈퍼컴퓨팅 아키텍처인 Google Cloud의 AI 하이퍼컴퓨터의 핵심 구성요소입니다. 두 시스템 모두 Google AI 스택의 핵심 DNA를 공유하고 전체 AI 수명 주기를 지원하지만, 각각은 고유한 병목 현상을 해결하고 개발의 중요한 단계에서 효율성을 최적화하도록 빌드되었습니다. 또한 8세대 TPU 시스템 전반에 Arm 기반 Axion CPU 헤더를 통합하여 데이터 준비 지연 시간으로 인한 호스트 병목 현상을 제거했습니다. Axion은 복잡한 데이터 전처리와 조정 작업을 처리할 수 있는 컴퓨팅 헤드룸을 제공하므로 TPU가 계속 공급되고 멈추지 않습니다.

TPU 8t: 사전 학습의 강자

대규모 사전 학습 및 임베딩 집약적 워크로드에 최적화된 TPU 8t는 단일 슈퍼포드에서 9,600개의 칩이라는 훨씬 더 큰 규모로 입증된 3D 토러스 네트워크 토폴로지를 활용합니다. TPU 8t는 수백 개의 슈퍼포드에서 최대 처리량을 제공하도록 설계되어 학습 실행이 일정대로 진행되도록 보장합니다.

이전 세대 TPU 대비 TPU 8t의 주요 개선사항은 다음과 같습니다.

SparseCore의 장점: TPU 8t의 핵심은 임베딩 조회의 불규칙한 메모리 액세스 패턴을 처리하도록 설계된 특수 가속기인 SparseCore입니다. MXU (행렬 곱셈 단위)가 행렬 연산을 처리하는 동안 SparseCore는 데이터 종속적인 all-gather 연산을 다른 집합 연산과 함께 오프로드하여 범용 칩을 괴롭히는 제로 연산 병목 현상을 방지합니다.
VPU/MXU 중첩 및 균형 잡힌 확장: TPU 8t는 프로비저닝된 FLOPS 사용률을 극대화하도록 설계되었습니다. 더 균형 잡힌 벡터 처리 단위 (VPU) 확장을 구현함으로써 아키텍처는 노출된 벡터 연산 시간을 최소화합니다. 이를 통해 MXU의 행렬 곱셈과 양자화, 소프트맥스, 레이어 정규화가 더 잘 겹치도록 하여 칩이 순차적 벡터 작업을 기다리지 않고 계속 작동할 수 있습니다.
기본 FP4: TPU 8t는 기본 4비트 부동 소수점 (FP4)을 도입하여 메모리 대역폭 병목 현상을 극복하고, 낮은 정밀도 양자화에서도 대규모 모델의 정확성을 유지하면서 MXU 처리량을 두 배로 늘립니다. 파라미터당 비트를 줄임으로써 플랫폼은 에너지 집약적인 데이터 이동을 최소화하고 더 큰 모델 레이어를 로컬 하드웨어 버퍼에 맞게 조정하여 최대 컴퓨팅 사용률을 달성할 수 있습니다.

그림 1: TPU 8t ASIC 블록 다이어그램

Virgo 네트워크 토폴로지 및 최대 4배의 데이터 센터 네트워크 증가: TPU 8t의 대규모 데이터 요구사항을 지원하기 위해 Virgo 네트워크를 도입했습니다. 이 새로운 네트워킹 아키텍처를 통해 DCN을 통한 TPU 8t 학습에서 데이터 센터 네트워크 (DCN) 대역폭이 최대 4배 증가합니다. Virgo Network는 최신 AI 워크로드의 극단적인 요구사항을 충족하도록 설계된 수평 확장 패브릭입니다. 스위치당 더 많은 포트를 허용하여 네트워크 계층을 줄이는 high-radix 스위치를 기반으로 구축되었으며, 평면적인 2계층 비차단 토폴로지를 사용합니다. 기존 데이터 센터 네트워크와 비교했을 때 네트워크 계층을 최소화하여 지연 시간을 크게 줄입니다. TPU 8t 칩을 연결하기 위한 독립적인 제어 도메인이 있는 다중 평면 설계가 특징입니다. TPU 8t 랙은 컴퓨팅 및 스토리지 서비스에 액세스하기 위해 Jupiter 남북 패브릭과도 연결됩니다. 이러한 간소화된 아키텍처는 고가용성으로 세계 최대 규모의 학습 클러스터를 지원하는 데 필요한 대규모 바이섹션 대역폭과 결정적 짧은 지연 시간을 제공합니다.

칩 간 상호 연결 (ICI)의 대역폭이 2배로 늘어나고 이전 세대 대비 최대 4배의 원시 스케일 아웃 DCN 대역폭을 제공하는 TPU 8t는 데이터 병목 현상을 크게 줄여줍니다. 그런 다음 최첨단 모델의 개발을 더욱 가속화하기 위해 단일 클러스터를 넘어 분산 학습을 확장합니다. JAX와 Pathways를 사용하면 이제 단일 학습 클러스터에서 100만 개 이상의 TPU 칩으로 확장할 수 있습니다. Virgo 네트워크는 단일 패브릭에서 최대 47페타비트/초의 차단되지 않는 양방향 대역폭으로 134,000개 이상의 TPU 8t 칩을 연결할 수 있습니다. 이 패브릭은 선형에 가까운 확장 성능으로 1.7K ExaFlops 이상의 성능을 제공합니다.

그림 2: Virgo 패브릭에 대한 TPU 8t 랙 수준 연결

더 빠른 스토리지 액세스: TPU 8t에 TPUDirect RDMA 와 TPU Direct Storage를 도입합니다. TPU Direct RDMA를 사용하면 호스트 CPU와 DRAM을 우회하여 TPU의 메모리 (HBM)와 네트워크 인터페이스 카드 (NIC) 간에 직접 데이터를 전송할 수 있습니다. 이렇게 하면 지연 시간과 호스트 시스템 병목 현상이 줄어들어 TPU 간 통신의 유효 대역폭이 증가합니다. 마찬가지로 TPUDirect Storage는 TPU와 10T Lustre와 같은 고속 관리형 스토리지 간에 직접 메모리 액세스를 지원하여 CPU 호스트 병목 현상을 우회함으로써 대규모 데이터 전송을 위한 대역폭을 효과적으로 두 배로 늘립니다. 이 아키텍처를 사용하면 실리콘이 라인 속도로 학습 데이터를 수집할 수 있으므로 대규모 멀티모달 데이터 세트를 처리할 때도 MXU가 완전히 포화 상태를 유지할 수 있습니다.

Managed Lustre 10T와 TPUDirect Storage를 결합하여 수백 페타바이트의 데이터 세트를 실리콘으로 직접 라우팅하는 TPU 8t는 데이터 수집 병목 현상으로 인한 학습 지연을 방지합니다. 이를 통해 7세대 Ironwood TPU에서 학습하는 것보다 10배 빠른 스토리지 액세스를 제공합니다.

그림 3: 위쪽 다이어그램은 TPUDirect Storage가 없는 데이터 전송 경로를 보여줍니다. 아래 다이어그램은 2개의 TPU 8t 칩 간의 TPUDirect Storage를 사용한 TPU 8t 데이터 전송과 관리형 10T Lustre 스토리지를 사용한 TPUDirect Storage를 보여줍니다.

TPU 8i: 샘플링 및 서빙 전문가

학습 후 및 동시 실행 추론에 최적화된 TPU 8i는 Google의 최고 수준의 온칩 SRAM, 새로운 CAE (Collectives Acceleration Engine), Boardfly라는 새로운 서빙 최적화 네트워크 토폴로지로 설계되었습니다.

대규모 온칩 SRAM: 이전 세대보다 3배 더 많은 온칩 SRAM을 갖춘 TPU 8i는 더 큰 KV 캐시를 완전히 실리콘에 호스팅하여 긴 컨텍스트 디코딩 중에 코어의 유휴 시간을 크게 줄일 수 있습니다.

그림 4: TPU 8i ASIC 블록 다이어그램

집단 가속 엔진 (CAE): 샘플링 병목 현상을 해결하기 위해 TPU 8i는 CAE를 사용합니다. CAE는 코어 전반의 결과를 거의 제로에 가까운 지연 시간으로 집계하여 자기 회귀 디코딩 및 '생각의 사슬' 처리 중에 필요한 축소 및 동기화 단계를 구체적으로 가속화합니다. 각 TPU 8i 칩에는 온코어 다이에 2개의 TensorCore (TC)가 있고 칩렛 다이에 1개의 CAE가 있어 이전 세대 Ironwood TPU의 코어 다이에 있던 4개의 SparseCore (SC)를 대체합니다. TPU 8i는 특수 CAE를 통합하여 수집의 온칩 지연 시간을 5배 더 줄입니다. 집단 연산당 지연 시간이 짧다는 것은 대기 시간이 짧다는 의미이며, 이는 수백만 개의 에이전트를 동시에 실행하는 데 필요한 더 높은 처리량에 직접적으로 기여합니다.
Boardfly ICI 토폴로지: 3D 토러스는 수천 개의 칩을 연결하여 일관성 있게 사용할 수 있도록 하지만, 대규모 메시에는 칩 간에 더 많은 홉이 있고 전체 대기 시간이 더 깁니다. 8i에서는 완전 연결 보드에서 칩이 서로 연결되는 방식을 변경한 다음 그룹으로 집계했습니다. 높은 기수 설계를 활용하여 이러한 칩을 최대 1,152개까지 함께 연결하여 네트워크 지름과 데이터 패킷이 시스템을 가로지르기 위해 거쳐야 하는 홉 수를 줄입니다. Boardfly는 MoE 및 추론 모델의 핵심인 전체 대 전체 통신에 필요한 홉을 줄여 통신 집약적인 워크로드의 지연 시간을 최대 50% 까지 개선합니다.

그림 5: 4개의 완전 연결된 칩으로 구성된 템플릿에서 8개의 보드로 구성된 완전 연결된 그룹으로 빌드업되는 TPU 8i 계층적 Boardfly 토폴로지. 이러한 그룹 36개가 완전 연결되어 TPU 8i 포드를 구성함

Boardfly는 다음과 같은 요소로 구성되며, 토폴로지는 본질적으로 계층적입니다.

빌딩 블록 (BB): 각 트레이는 내부 ICI 링크를 사용하여 4개의 칩으로 구성된 링을 형성하며, 더 넓은 네트워킹을 위해 16개의 외부 연결을 제공합니다.
그룹 (G): 8개의 보드가 구리 케이블을 통해 완전히 연결되어 로컬 그룹을 만들고 그룹 내 통신을 위해 사용 가능한 외부 링크 11개를 활용합니다.
포드 구조: 최종 아키텍처는 광학 회로 스위치 (OCS)를 통해 연결된 36개 그룹 (최대 1,024개의 활성 칩)으로 확장되어 칩 간 통신에 최대 7홉의 지연 시간을 보장합니다.

심층 분석: Boardfly 대 토러스 수학

TPU 8i에 토러스를 사용하지 않는 이유 네트워크 지름에 달려 있습니다.

3D 토러스에서는 각 차원이 링처럼 감싸는 그리드에 노드가 배열됩니다. 8 x 8 x 16 (1024칩) 구성에서 가장 멀리 있는 칩에 도달하려면 패킷이 각 링의 절반 거리를 통과해야 합니다.

3D 토러스 = 8/2(X) + 8/2(Y) + 16/2(Z) = 16홉

토러스는 밀집된 학습에 일반적인 인접 노드 간 통신에 매우 효율적이지만, 전체 통신 패턴에 지연 시간 세금을 부과합니다. 추론 모델과 MoE의 시대에는 토큰을 라우팅하기 위해 모든 칩이 다른 칩과 통신해야 할 수 있으므로 홉 수가 중요합니다.

Boardfly의 고기수 토폴로지는 Dragonfly 토폴로지 원칙에서 영감을 받았습니다. 보드 그룹 간의 직접 광 장거리 링크 수를 늘려 네트워크를 평면화합니다. 동일한 1024개 칩 포드의 경우 Boardfly는 네트워크 직경을 16홉에서 7홉으로 줄입니다.

네트워크 직경이 56% 감소하면 테일 지연 시간이 직접적으로 단축되므로 TPU 8i CAE가 포드 전체에서 데이터가 도착할 때까지 기다릴 필요가 없습니다.

그림 6: TPU 8i 포드에서 광 회로 스위치를 통해 최대 7홉 ICI 네트워크 직경을 시각적으로 표현한 그림

TPU 8t 및 TPU 8i 한눈에 보기

기능	TPU 8t	TPU 8i
기본 워크로드	대규모 사전 학습	샘플링, 서빙, 추론
네트워크 토폴로지	3D 토러스	Boardfly
특수 칩 기능	SparseCore (임베딩) 및 LLM 디코더 엔진	CAE (Collectives Acceleration Engine)
HBM 용량	216 GB	288 GB
온칩 SRAM (Vmem)	128MB	384MB
최고 FP4 PFLOPS	12.6	10.1
HBM 대역폭	6,528GB/초	8,601GB/초 (TPU 8t의 약 1.3배)
CPU 헤더	Arm Axion	Arm Axion

소프트웨어 지원: 성능 중심의 AI 스택

하드웨어의 성능은 이를 구동하는 소프트웨어에 따라 달라집니다. 8세대 TPU는 7세대 Ironwood TPU에서 개척한 것과 동일한 성능 중심 스택을 기반으로 빌드되었으며, 고급 프레임워크의 추상화를 희생하지 않고도 커스텀 커널 개발에 액세스할 수 있도록 설계되었습니다. 이 스택에는 다음이 포함됩니다.

Pallas 및 Mosaic: Google은 Python으로 하드웨어 인식 커널을 작성할 수 있는 커스텀 커널 언어인 Pallas를 최고 수준으로 지원합니다. 이를 통해 TPU 8i CAE 및 TPU 8t SparseCore에서 성능을 최대한 끌어낼 수 있습니다.
네이티브 PyTorch 환경: TPU에 대한 네이티브 PyTorch 지원이 이제 프리뷰 버전으로 제공됩니다. 현재 PyTorch에서 모델을 빌드하고 서빙하고 있다면 이전보다 훨씬 쉽게 TPU를 사용할 수 있습니다. Eager 모드와 같이 사용 중인 기본 기능을 완벽하게 지원하는 TPU에 기존 모델을 그대로 가져올 수 있습니다.
이식성: Ironwood에서 실행되는 동일한 JAX, PyTorch 또는 Keras 코드가 이 세대로 확장됩니다. Accelerated Linear Algebra (XLA)는 백그라운드에서 Boardfly 토폴로지와 CAE 동기화의 복잡한 변환을 처리하므로 상호 연결이 아닌 모델에 집중할 수 있습니다.

세대별 성능 향상

하드웨어와 소프트웨어를 공동 설계하려는 Google의 노력은 계속해서 결실을 맺고 있습니다. 8세대 TPU는 7세대 Ironwood TPU와 비교했을 때 다음과 같은 엄청난 이점을 제공합니다.

학습 가격 대비 성능: TPU 8t는 대규모 학습을 위해 Ironwood TPU 대비 달러당 최대 2.7배 더 높은 성능을 제공합니다.
추론 가격 성능: TPU 8i는 특히 대규모 MoE 모델의 짧은 지연 시간 목표에서 Ironwood TPU 대비 달러당 성능이 최대 80% 향상되었습니다.
에너지 효율성: 두 칩 모두 와트당 성능이 최대 2배 향상되어 차세대 AI를 지속 가능한 방식으로 확장하는 데 중요한 역할을 합니다.

향후 계획

차세대 혁신을 선도하는 Google Cloud 고객을 지원하기 위해 Google Cloud는 TPU 8t와 TPU 8i를 AI 수명 주기의 다각적인 미래 수요에 맞게 조정된 두 가지의 고유한 전문 시스템으로 설계했습니다. TPU 8t 및 8i는 모두 가장 까다로운 서빙 및 학습 워크로드 전용으로 빌드되었으며 JAX, PyTorch, vLLM, XLA, Pathways와 같은 AI 하이퍼컴퓨터 소프트웨어 스택과 완전히 통합됩니다. 이러한 전문화와 처음부터 다시 설계한 디자인은 Google DeepMind와의 긴밀한 협업을 통해 탁월한 가격 대비 성능과 전력 효율성을 제공합니다.

8세대 아키텍처의 모듈성은 미래를 위한 명확하고 고유한 로드맵을 제공합니다. 컴퓨팅 환경의 모든 주요 변화에는 인프라 혁신이 필요했으며, 에이전트 시대도 마찬가지입니다. 연속적인 피드백 루프 내에서 계획, 실행, 학습하는 추론 에이전트는 원래 기존 학습 또는 트랜잭션 추론에 최적화된 하드웨어에서 최고의 효율성으로 작동할 수 없습니다. 운영 강도가 근본적으로 다르기 때문입니다. Google Cloud의 8세대 TPU 인프라는 이러한 구체적인 요구사항을 정면으로 충족하기 위해 진화했습니다.

8세대 TPU 제품군에 대해 자세히 알아보려면 다음을 참고하세요.

검증 가능하고 안전한 기밀 AI: 구글 클라우드, 기밀 컴퓨팅(Confidential Computing)의 지평을 넓히다

Tue, 23 Jun 2026 16:00:00 +0000

해당 블로그의 원문은 2026년 6월 24일 Google Cloud 블로그(영문)에 게재되었습니다.

AI와 함께 사용되는 민감한 데이터를 보호하는 것은 선진적이고 안전한 클라우드 인프라를 제공하겠다는 구글 클라우드의 약속에서 중요한 부분입니다. 기밀 컴퓨팅(Confidential Computing)은 하드웨어 기반의 신뢰 실행 환경(TEE) 내에서 검증 가능한 데이터 무결성을 바탕으로 사용 중인 데이터를 암호학적으로 보호합니다.

우리는 클라우드 AI 배포에서 검증 가능한 프라이버시를 더욱 강화하는 데 기여할 하드웨어 생태계 전반의 최신 기밀 컴퓨팅(Confidential Computing) 혁신 기술들을 공유하게 되어 매우 기쁩니다.

글로벌 규모의 기밀 AI

기밀 AI 역량을 글로벌 규모로 확장함으로써, 우리는 AI 추론 및 파인튜닝(미세 조정) 워크로드가 강제력 있는 프라이버시 보장 하에 실행될 수 있도록 지원합니다.

기밀 AI의 대중화: 프리뷰 단계의 NVIDIA RTX PRO 6000 Blackwell GPU 탑재 기밀 G4 VM

우리는 글로벌 규모에서 접근 가능한 기밀 AI의 기념비적인 순간을 발표하게 되어 기쁘게 생각합니다. 바로 NVIDIA RTX NVIDIA RTX PRO 6000 Blackwell Server Edition GPUs를 특징으로 하는 가속기 최적화 G4 머신 시리즈 기반의 기밀 VM(Confidential VMs) 및 기밀 GKE(Confidential GKE) 노드입니다.

이를 게임 체인저로 만드는 것은 바로 글로벌 규모와 유연성입니다. 기밀 G4는 표준 G4가 제공되는 모든 구글 클라우드 리전에서 사용할 수 있으며, 온디맨드(On Demand), 예약(Reservations), DWS 플렉스 스타트(DWS Flex Start), 스팟/선점형(Spot/Preemptible)을 포함한 다수의 사용 모델 전반에서 가용합니다.

"조직이 여러 인프라 환경에 걸쳐 AI를 확장함에 따라, 데이터 및 실행에 대한 프라이버시와 통제권을 유지하는 것은 점점 더 어려워지고 있습니다. NVIDIA RTX PRO 6000 Blackwell GPU로 구동되는 구글 클라우드 기밀 G4 VM은 확장되는 기밀 AI 인프라 생태계에 매우 의미 있는 추가 모델입니다. AI 워크플로우가 이제 에이전트, 데이터 소스 및 인프라 경계를 넘나들고 있는 만큼, Super Protocol은 구글 클라우드 기밀 VM, 타사 클라우드 및 온프레미스 환경 전반에 걸쳐 일관된 기밀 AI 운영 모델을 제공합니다. 이는 기밀 컴퓨팅의 복잡성을 추상화하여 개발 팀이 오직 AI 성과에만 집중할 수 있도록 돕습니다." - 율리아 곤타르(Yulia Gontar), Super Protocol COO.

AMD SEV를 레버리징하는 5세대 AMD EPYC Turin CPU로 구동되는, NVIDIA RTX PRO 6000 Blackwell GPU 탑재 G4 머신 시리즈는 강력한 하드웨어 기반 보안을 활성화합니다. 이 아키텍처는 TEE 내부에서 처리되는 동안 민감한 데이터를 안전하게 보호하는 동시에, CPU와 GPU 사이를 이동하는 데이터까지 철저히 암호화합니다.

"구글 클라우드 플랫폼(GCP)의 기밀 G4 VM은 Vertebrae의 비즈니스를 위한 당연한 선택이었습니다. 우리 고객들에게 프라이버시와 보안은 결코 타협할 수 없는 절대 조건이기 때문입니다. 우리의 제품은 민감한 업무상 대화를 처리하므로, CPU와 GPU 모두가 신뢰 실행 환경(TEE) 내에서 구동되고 있음을 보여주는 하드웨어 서명 증명(hardware-signed attestation)을 지원해야 합니다. 구글 클라우드의 기밀 컴퓨팅을 도입함으로써, 우리는 클라우드 환경 내 AI 프라이버시의 최전선을 실현할 수 있게 되었습니다." - 앤디 친(Andy Qin), Vertebrae CEO.

기밀 G4를 통해, 여러분은 성능 저하를 최소화하면서 극도의 고강도 제한 데이터, 민감한 모델, 혹은 프라이빗 프롬프트가 개입된 AI 추론, 파인튜닝, HPC(고성능 컴퓨팅) 및 다양한 사용 사례들의 잠재력을 마음껏 실현할 수 있습니다. 지금 바로 Confidential G4 VMs 및 Confidential G4 GKE Nodes를 시작해 보세요.

엔드투엔드 프라이빗 추론의 구현: 오픈소스 프롬프트 암호화 SDK

기밀 AI의 접근성을 높여가는 와중에도, 우리는 AI 워크로드 내 민감한 데이터를 보호하는 것이 단순히 모델 실행 환경의 안전을 확보하는 차원을 넘어선다는 점을 잘 이해하고 있습니다. 프롬프트와 이에 대한 답변 그 자체만으로도 극도의 기밀 정보가 포함될 수 있기 때문입니다. 전체 추론 라이프사이클에 대한 암호학적 보호를 제공하기 위해, 우리는 이제 GitHub에서 사용 가능한 프롬프트 암호화 SDK(Prompt Encryption SDKs)의 오픈소스 출시를 발표하게 되어 매우 기쁩니다.

이 툴킷은 여러분이 AI 추론 워크로드를 위한 엔드투엔드 보안 채널을 확립할 수 있도록 돕습니다. 프롬프트가 클라이언트를 떠나는 순간부터 TEE 내부에서 처리될 때까지 암호학적으로 완벽히 보호되며, 모델의 답변 또한 클라이언트로 되돌아오는 전체 경로 동안 이와 동일하게 안전하게 보호됩니다.

프롬프트 암호화 SDK를 활용한 프롬프트 및 답변 암호화

Client SDK는 클라이언트 애플리케이션에 통합되며, TEE(신뢰 실행 환경)에서 실행되는 추론 서버에 통합된 Server SDK와 협력하여 작동합니다. SDK를 사용하여 인증된(attested) TLS 세션이 수립되면, 클라이언트는 서버가 검증된 기밀 컴퓨팅(Confidential Computing) 환경 내에서 승인된 워크로드를 실행하고 있음을 확신할 수 있습니다.

이후 클라이언트 앱은 이 서버만이 TEE 내부에서 프롬프트를 복호화하고 처리할 수 있음을 인지한 상태에서 암호화된 프롬프트를 추론 서버로 전송할 수 있습니다. 서버에 답변이 준비되면, 동일한 암호화 채널을 통해 클라이언트 앱으로 답변을 다시 전송합니다.

지금 바로 GitHub 저장소 및 Codelab을 통해 시작하실 수 있습니다.

구글 클라우드 기반의 애플 비공개 클라우드 컴퓨팅(PCC) 구현

프라이버시 보호에 대한 구글의 약속은 구글 클라우드 상에서 비공개 클라우드 컴퓨팅(PCC)을 확장하기 위한 애플과의 협업을 통해 깊이 있게 입증되고 있습니다.

구글은 애플의 프라이버시 및 보안 약속을 구글 클라우드 기반 PCC로 확장하기 위해 애플과 협력하게 된 것을 자랑스럽게 생각합니다. 구글 플랫폼은 구글 클라우드 인프라 상에 구축된 다층적 보안 접근 방식을 통해 애플 PCC의 프라이버시 약속을 지원합니다. 여기에는 Intel TDX가 포함된 구글 클라우드 기밀 컴퓨팅, NVIDIA Blackwell GPU가 적용된 NVIDIA 기밀 컴퓨팅(NVIDIA Confidential Computing), Titan 칩이 탑재된 구글의 타이타늄(Titanium) 보안 아키텍처 활용, 그리고 검증 가능한 투명성을 보장하기 위해 공동 엔지니어링된 오픈소스 호스트 스택이 포함됩니다.

이러한 기술들이 유기적으로 결합되어 구글 클라우드 상의 애플 PCC가 데이터 보호 및 사용자 프라이버시에 대한 엄격한 요구 사항을 충족하도록 돕습니다. 이번 협업에 대해 자세히 알아보려면 구글의 블로그 포스트인 기밀 AI의 차세대 시대를 열다(Powering the next era of Confidential AI)를 읽어보시기 바랍니다.

기밀 인프라의 고도화

구글 클라우드는 기밀 컴퓨팅(Confidential Computing) 기능을 전사 인프라에 걸쳐 폭넓게 지원하기 위해 최선을 다하고 있습니다. 구글의 목표는 하드웨어 기반 보안 기능을 핵심 컴퓨팅 오퍼링에 긴밀하게 통합하여, 고객이 성능 저하나 운영 유연성 타협 없이 데이터 보호 수준을 한층 강화할 수 있도록 돕는 것입니다.

C4 머신 시리즈에 인텔 신뢰 도메인 확장(Intel TDX) 기술 도입

C4 머신 시리즈 기반의 인텔 TDX 적용 기밀 VM(Confidential VMs)이 곧 프리뷰 단계로 출시될 예정입니다.

최신 6세대 인텔 제온(Intel Xeon) 프로세서로 구동되는 이번 통합 모델은 데이터 집약적인 워크로드를 위해 컴퓨팅 집적도 및 성능 면에서 비약적인 도약을 이뤄냈습니다. 인텔 TDX를 활용함으로써, C4 인스턴스는 기반 호스트 및 하이퍼바이저로부터 민감한 애플리케이션과 데이터를 안전하게 격리 및 보호하는 하드웨어 격리형 신뢰 도메(Trust Domains, TDs)를 생성합니다.

이 아키텍처는 기밀성과 프라이버시를 보장하는 동시에 원격 증명(remote attestation) 기능을 활성화하므로, 민감한 데이터를 처리하기 전에 해당 하드웨어 환경을 암호학적으로 검증할 수 있습니다. 무엇보다도 코드 수정 없이 단 몇 번의 클릭만으로 기밀 컴퓨팅 기능을 손쉽게 활성화할 수 있습니다.

라이브 마이그레이션(Live Migration) 기능 확장

비즈니스에 치명적인 미션 크리티컬 프로덕션 환경을 가동하기 위해서는 클라우드의 정기 유지 보수 기간 중에도 고가용성(High Availability)과 상시 무중단 구동(Continuous Uptime)이 필수적으로 요구됩니다.

C3D 기반 기밀 VM의 라이브 마이그레이션(Live Migration) 기능이 정식 버전(GA)으로 출시되었습니다. 이 기능을 통해 구글 클라우드는 실행 중인 워크로드를 중단하거나 암호화된 게스트 메모리를 외부로 노출하지 않은 채 예정된 하드웨어 유지 보수 작업을 안전하게 수행할 수 있으며, 장시간 가동되는 소버린 애플리케이션의 원활한 무중단 운영을 보장합니다.

신뢰와 협업의 강화: 기밀 공간(Confidential Space)의 혁신

기밀 공간(Confidential Space)은 안전한 다자간 컴퓨팅(multi-party computation) 및 데이터 공유를 지원하기 위해 정교하게 설계된 기밀 컴퓨팅 환경입니다. 이를 통해 여러 기업 및 기관은 서로 데이터를 직접 노출하거나 구글 클라우드에 데이터를 투명하게 노출하지 않고도, 공동 머신러닝 모델 학습이나 정밀 데이터 분석 등 민감한 데이터 중심의 긴밀한 협업을 안전하게 수행할 수 있습니다.

"구글 클라우드 기밀 공간(Confidential Space) 덕분에 우리는 금융 기관 고객에게 기존 온프레미스 서비스와 유사하거나 그보다 뛰어난 철저한 보안 보증을 약속할 수 있게 되었습니다." - 올리비에 리쇼(Olivier Richaud), Symphony 플랫폼 및 사이트 신뢰성 엔지니어링(SRE) 부사장. "이처럼 보안 및 프라이버시에 극도로 민감한 고객을 클라우드 기반 SaaS 서비스로 전환하는 것은 기밀 컴퓨팅의 혁신이 없었다면 결코 불가능했을 일입니다."

기밀 공간의 핵심 설계 사상은 워크로드 운영자(시스템 관리자)를 신뢰 경계(trust boundary)에서 완전히 분리 배제하여, 오직 정식으로 권한이 부여되고 무결성이 검증된(attested) 워크로드만이 해당 데이터에 접근할 수 있도록 하는 강력한 암호학적 보증을 수여하는 데 있습니다.

"금융 서비스 분야에서 AI 시스템이 소비자를 대행하여 의사를 결정하는 사례가 늘어남에 따라, 데이터가 처리되는 환경 전반에 대한 신뢰 확보는 무엇보다 중요한 화두입니다. Sahamati는 구글 클라우드 기밀 공간을 인도의 오픈 파이낸스 생태계 내에서 프라이버시를 완벽히 보호하는 차세대 AI를 구현하는 중대한 기반 기술로 보고 있으며, 이를 통해 강력한 보안 및 책임 규제 준수를 보장하는 혁신적인 신뢰 관계를 형성하고 있습니다." - 키란 고피나스(Kiran Gopinath), Sahamati Labs 최고혁신책임자(CIO) 겸 총괄.

기밀 공간을 위해 도입된 구글의 새로운 기술 진보는 더욱 강화된 유연성과 강력한 보안 보증을 약속합니다. 주요 업데이트 내용은 다음과 같습니다:

독립적인 제3기관 검증: 인텔 트러스트 어쏘리티(Intel Trust Authority)와의 통합

인텔 트러스트 어쏘리티(Intel Trust Authority)(ITA)가 기밀 공간(Confidential Space)을 위한 독립적인 인증 검증(attestation verifier) 서비스로 정식 출시(GA)되었음을 기쁘게 발표합니다.

이번 서비스 통합을 통해 여러 기관 및 기업들은 기밀 워크로드에 암호화 키를 공개하기 전에 인텔의 하드웨어 신뢰 기준점(Root of trust) 기반 인증을 활용하여 기밀 공간 환경의 무결성을 독립적으로 사전 검사 및 검증할 수 있게 되었습니다. 클라우드 서비스 제공사로부터 기밀성 증명 분석 과정을 물리적으로 분리 독립시킴으로써, 고객은 한층 극대화된 투명성, 확실한 보안 보증, 그리고 더욱 강력해진 제3자 신뢰 모델의 혜택을 톡톡히 누릴 수 있습니다.

"기밀 컴퓨팅이 구글 핵심 인프라와 결합됨에 따라 구글 클라우드와 인텔은 하드웨어 신뢰 기준점 보안 및 독립적인 증명 과정을 현대 클라우드 컴퓨팅 환경의 기본 필수 아키텍처로 정비해 가고 있습니다. 프로덕션 워크로드가 실행되는 인텔 TDX 기반 C4 기밀 VM에서부터 이제 정식 출시되어 강력한 다자간 데이터 협업을 촉진하는 인텔 트러스트 어쏘리티 기반 기밀 공간에 이르기까지, 고객들은 규제 기준이 가장 혹독하고 까다로운 환경 속에서도 애플리케이션 코드를 수정하거나 가동 성능 저하 없이 가장 민감한 고성능 AI 및 데이터 워크플로우를 암호화, 검증 및 자율 확장할 수 있습니다." - 아난드 파슈파시(Anand Pashupathy), 인텔 코포레이션 인텔 제품 보증 및 보안(IPAS) 총괄 매니저 겸 부사장.

안전한 협업 가속화: H100 GPU를 지원하는 기밀 공간

안전한 다자간 AI 및 머신러닝 개발을 지원하기 위해, NVIDIA Hopper GPU를 지원하는 기밀 공간의 구동 환경이 정식 출시되었습니다. 이를 통해 여러 파트너들은 강력한 Hopper GPU의 가속 성능을 가동하는 기밀 공간 환경 내에서 안심하고 자사 데이터를 취합해 AI 모델 훈련 및 추론 워크로드를 수행하는 동시에, 개별 원시 데이터가 타사 파트너나 구글 클라우드에 투명하게 유출되는 것을 차단할 수 있습니다.

기밀 공간은 데이터 센터를 임의로 통합하거나 데이터를 중앙 집중식으로 모으지 않고도, 민감한 데이터 세트 전반에 걸친 연합 학습(Federated Learning) 및 다자간 공동 모델 구축과 같은 혁신적인 사용 사례를 안전하게 실현합니다.

"구글 클라우드 기밀 공간의 기밀 GPU 지원 기능은 안전한 AI 도입을 가로막던 가장 큰 장애물, 즉 민감한 워크로드 보호와 프로덕션 수준의 고성능 확보 간의 제약적인 타협점을 완벽히 소멸시켰습니다." - 아디 히르슈타인(Adi Hirschtein), Duality 제품 부문 부사장. "이를 통해 헬스케어, 금융 서비스, 정부 공공 기관에 종사하는 Duality 고객들은 대규모 민감 데이터 위에서 작동하는 연합 학습, 기밀 AI, 그리고 암호화된 RAG(검색 증강 생성) 워크플로우를 완벽한 데이터·모델 격리 가드레일 속에서 끊김 없이 마음껏 구동할 수 있습니다."

앞으로 나아갈 길

기밀 컴퓨팅은 다가올 AI 시대의 클라우드 컴퓨팅에서 결코 배제할 수 없는 가장 핵심적인 필수 인프라 레이어로 부상하고 있습니다. 구글이 야심 차게 진화시키고 있는 다양한 기밀 VM 포트폴리오, 혁신 가속 하드웨어 채널, 그리고 검증된 오픈소스 툴킷을 지금 바로 탐색해 보시고, 귀사 내부 조직에서 안전한 다자간 데이터 협업과 한층 프라이빗한 AI 기술 혁신 청사진을 완성해 보시기 바랍니다.

기술에 대해 보다 자세히 알아보고 싶으시다면, 2026년 6월 23일과 24일에 개최된 기밀 컴퓨팅 서밋(Confidential Computing Summit)을 통해 구글 클라우드가 제안하는 기밀 AI의 미래를 직접 확인해 보세요!

Google Distributed Cloud의 새로운 혁신

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘 Google Cloud Next에서 우리는 Google Distributed Cloud (GDC)의 새로운 기능들을 발표합니다. 이를 통해 여러분의 데이터가 있는 곳 어디에서나 Gemini와 고급 AI 스택을 활용할 수 있게 되어, AI 혁신과 데이터 주권(sovereignty) 사이에서 더 이상 타협할 필요가 없습니다. 이는 소버린 네오클라우드(sovereign neocloud) 아키텍처의 촉매제 역할을 할 것입니다.

GDC는 고객의 데이터 센터나 에지(edge) 등 필요한 곳 어디로든 Google Cloud를 확장해 줍니다. GDC는 고객의 특정한 보안 및 하드웨어 요구 사항을 충족하기 위해 두 가지 모델로 제공됩니다: GDC 에어갭(air-gapped)은 최고 수준의 보안과 컴플라이언스를 위해 설계된 Google 공급 전용 하드웨어에서 실행되는 완전 격리형 배포 모델입니다; GDC 커넥티드(connected)는 고객의 자체 하드웨어에서 Google이 관리하는 통합 소프트웨어 라이프사이클의 이점을 누릴 수 있는 모델입니다.

전통적으로 엄격한 데이터 규제와 주권 요구 사항이 있는 기업 및 정부 기관은 최신 AI 기능을 활용하는 데 제약이 있었습니다. 이들의 유일한 선택지는 자체 시스템을 구축하는 것이었으나, 이는 느리고 복잡하며 막대한 비용이 들었습니다. GDC는 이러한 어려움을 해결해 줍니다. 이제 번거로운 과정 없이 온프레미스 환경에서 세계 최고 수준의 AI 혁신을 경험할 수 있습니다.

GDC는 완벽한 온프레미스 AI 솔루션을 제공합니다. AI 워크로드에 최적화된 관리형 인프라, 유연성을 위한 Gemini 또는 오픈 모델 선택권, 그리고 비용 효율적인 인퍼런스(Inference) 서비스가 포함됩니다. 이러한 토대를 바탕으로 데이터에 대한 완전한 통제권을 유지하면서 보안이 강화된 AI 에이전트와 애플리케이션을 구축하고 실행할 수 있습니다.

GDC의 새로운 혁신 기술들이 여러분의 소버린 AI 워크로드를 어떻게 지원하는지 자세히 살펴보겠습니다.

관리형 AI 인프라

온프레미스에서 소버린 AI 요구 사항을 충족하려면 컴퓨팅, 스토리지, 네트워킹 전반에서 막대한 성능 요구치를 감당할 수 있는 관리형 인프라가 필요합니다. 온프레미스 AI 워크로드는 동적이며 예측하기 어렵기 때문에, 다양한 요구 사항 전반에서 최고의 성능을 제공하는 새로운 인프라 혁신을 도입합니다.

NVIDIA Blackwell GPU: NVIDIA Blackwell (NVIDIA HGX B200) 및 NVIDIA Blackwell Ultra platforms (NVIDIA HGX B300) GPU를 통해 AI 성능을 가속화합니다. 5세대 NVIDIA NVLink를 활용하여 데이터 센터급 대역폭을 여러분의 환경에 직접 제공합니다.
Google Cloud 머신 패밀리: GDC는 이미 범용 워크로드를 위한 N2 및 N3 머신 패밀리를 지원하고 있으며, 이제 까다로운 인퍼런스(Inference) 작업을 처리하기 위해 최대 컴퓨팅 성능이 2.25배 향상된 새로운 A4 머신 패밀리를 지원합니다. 또한 메모리 대 vCPU 비율이 높아야 하는 ERP 및 데이터 분석과 같은 워크로드를 위해 메모리 최적화형인 M2 및 M3 머신 패밀리를 GDC에 도입합니다.
강화된 스토리지 규모 및 성능: GDC는 이제 존(zone)당 6PB의 오브젝트 스토리지를 지원하며(기존 1PB 대비), 이는 이전보다 6배 늘어난 용량입니다. 또한 존당 30 IOPS/GB(기존 3 IOPS/GB 대비)를 제공하여 성능을 10배 향상시켰으며 스토리지 병목 현상을 최소화했습니다.

데이터 센터 내 Foundational Model

GDC를 사용하면 Google의 플래그십 모델인 Gemini의 성능을 여러분의 환경에 직접 가져올 수 있습니다. 최신 세대 NVIDIA Blackwell GPU를 기반으로 자체 경계 내에서 네이티브 배포를 지원함으로써, 세계 수준의 생성형 AI와 엄격한 데이터 주권 사이의 간극을 메워줍니다.

오늘 저희는 최신 Gemini Flash 모델이 GDC connected 고객을 위해 NVIDIA Blackwell 및 Blackwell Ultra 플랫폼에서 프리뷰로 제공된다는 기쁜 소식을 전해드립니다. 이로써 기존에 지원되던 GDC air-gapped 고객에 이어, 더 많은 고객이 최신 AI 성능을 직접 경험하실 수 있게 되었습니다.

“Samsung SDS는 Google Distributed Cloud에 Gemini를 도입하여 글로벌 제조 현장을 획기적으로 개선했습니다. 최첨단 AI를 로컬에서 직접 구동함으로써 클라우드 지연 시간 없이 IoT 데이터를 분석하고, 실시간 예방 정비와 품질 관리를 수행할 수 있게 되었습니다. 이를 통해 핵심 지식재산권(IP)에 대한 엄격한 데이터 주권을 유지하면서도 클라우드와 같은 민첩성을 확보했습니다.” – 삼성SDS 대표이사 이준희

AI 인퍼런스 서비스: Google Distributed Cloud AI gateway 발표

성능을 최적화하고 인프라의 복잡성을 추상화하기 위해, 소버린 환경을 위한 AI gateway를 소개합니다. 이 지능형 미들웨어는 모델을 위한 컨트롤 플레인 역할을 하며 다음과 같은 기능을 제공합니다.

동적 요청 라우팅(Dynamic request routing): 하드 코딩된 로직이 아닌 비용, 지연 시간, 정확도를 바탕으로 인퍼런스 요청을 적절한 AI 모델로 자동 라우팅합니다.
지능형 로드 밸런싱(Intelligent load balancing): GPU 사용률을 기반으로 최적의 장치를 선택하여 인퍼런스 효율성을 극대화하도록 요청을 배분합니다.
할당량 관리(Quota management): 요청의 우선순위를 정해 핵심 애플리케이션이 필요한 처리량을 확보하고, 할당량 관리 목표를 달성할 수 있도록 보장합니다.
관측성(Observability): 모든 인퍼런스 호출에 대해 트레이싱 및 로깅 기능을 내장하여, 규제가 엄격한 환경에서도 감사 가능성(auditability)을 확보할 수 있도록 돕습니다.

에이전틱 AI 애플리케이션 및 에이전트

조직이 edge 환경에서 AI를 진정으로 실무에 적용하려면 단순히 파운다셔널 모델을 갖추는 것 이상의 대안이 필요합니다. 스스로 행동할 수 있는 에이전틱 AI 아키텍처를 기반으로 구축된, 자율적이고 안전한 에이전트가 필요합니다. 저희는 오늘 Google Distributed Cloud를 위한 새로운 소버린 에이전틱 AI 아키텍처(sovereign agentic AI architecture)를 발표하게 되어 매우 기쁩니다. Kubernetes 상에서 서드파티 제공업체들과 함께 구축된 이 아키텍처는 여러분의 에이전틱 워크플로가 보안이 철저한 고객 조직 경계(Customer Organization boundary) 내에서 완전히 실행되도록 보장합니다

이 에이전틱 아키텍처를 활용하면 개발, 코딩 또는 데이터 분석과 같은 에이전틱 태스크(agentic tasks)를 수행하는 강력한 AI 에이전트를 보안 경계 내에서 안전하게 구축하고 배포할 수 있습니다.

Google Distributed Cloud로 어디서나 구현하는 AI

우리는 GDC가 온프레미스, 커넥티드(connected), 에어갭(air-gapped) 환경 전반에서 Google 모델과 타사 모델을 제공할 수 있는 최고의 플랫폼이라고 믿습니다. 이를 통해 모든 고객은 데이터 주권을 타협하지 않고도 AI와 에이전틱 솔루션을 활용할 수 있습니다. 제품에 대해 더 자세히 알아보시려면 웹사이트를 방문해 주세요. 오늘 소개해 드린 혁신 기술들은 소버린 AI 시대에 꼭 필요한 유연성과 보안을 제공합니다. 실제 작동 모습을 확인하시려면 Next ’26의 GDC 브레이크아웃 세션이나 쇼케이스에 참여해 보시기 바랍니다.

Google AI 인프라의 미래: 에이전틱 시대를 위한 확장

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

AI는 질문에 답하는 수준을 넘어 추론하고 행동하는 단계로 진화하고 있습니다. 오늘날의 에이전틱 시대(agentic era)를 선도하고자 하는 기업에는 이러한 새로운 요구사항에 맞춰 설계되고 최적화된 컴퓨팅 인프라가 필요합니다. 오늘 Google Cloud Next에서 우리는 여러분이 더 빠르게 혁신하고, 매력적인 사용자 및 고객 경험을 제공하며, 비용과 에너지 효율을 최적화할 수 있도록 돕는 새로운 AI 인프라 기능들을 대규모로 선보입니다.

에이전틱 인텔리전스로의 전환

에이전틱 시대에는 단 하나의 의도가 연쇄 반응을 일으킵니다. 단순한 채팅과 달리, 메인 AI 에이전트는 목표를 세부 작업으로 분해하여 이를 수행할 전문 에이전트 그룹에 할당합니다. 이 에이전트들은 서로 협력하고, 상태를 유지하며, 강화 학습을 활용해 실시간으로 결과물을 만들어냅니다.

이 과정은 상호작용당 지능의 밀도를 높여주지만, 동시에 기존 아키텍처로는 비용 급증이나 성능 병목 현상 없이 감당하기 어려운 복잡성을 초래합니다. 효율적이고 효과적으로 확장하기 위해서는 파편화된 부품과 기술을 수동으로 통합하는 방식에서 벗어나야 합니다. 똑똑하고 빠르며, 확장 가능하고 비용 효율적인 에이전틱 경험을 제공하기 위해서는 전용 하드웨어, 오픈 소프트웨어, 유연한 소비 모델을 아우르는 통합 인프라 스택이 필요합니다.

Google의 AI Hypercomputer는 에이전틱 시대를 위해 구축되고 최적화된 AI 전용 인프라로, 이러한 새로운 요구사항을 충족하도록 설계되었습니다. 이는 Google의 플래그십 모델인 Gemini, 소비자용 AI 서비스, 그리고 기업용 AI 솔루션을 뒷받침하는 것과 동일한 토대입니다. 오늘 우리는 다음과 같은 AI 인프라 포트폴리오의 대대적인 확장을 발표합니다.

TPU 8t 및 TPU 8i: Google의 8세대 TPU
A5X 베어메탈 인스턴스: NVIDIA Vera Rubin NVL72 기반
Axion N4A VM: Google 커스텀 Axion Arm 기반 CPU 탑재
Google Compute Engine 4세대 VM: Intel 및 AMD x86 기반 CPU 탑재
Virgo Network: AI 워크로드를 위한 혁신적인 데이터 센터 패브릭
Google Cloud Managed Lustre: 고성능 병렬 파일 시스템
Z4M VM: 오픈 병렬 파일 시스템을 위한 대용량 로컬 SSD 스토리지 및 RDMA 지원
전용 KV 캐시(KV Cache) 확장형 스토리지 서브시스템
TPU용 네이티브 PyTorch 지원
에이전트 네이티브 워크로드 오케스트레이션을 위한 새로운 GKE 기능

이러한 기능들이 결합되어 모델 및 복잡한 에이전틱 워크플로의 개발 속도를 높여줄 것입니다. 이를 통해 혁신을 가속화하고, 고객에게 유용하고 응답성이 뛰어난 서비스를 제공하는 동시에, 대규모 환경에서도 비용을 절감하고 에너지를 책임감 있게 사용할 수 있습니다.

조금 더 자세히 살펴보겠습니다.

에이전틱 AI를 위해 맞춤 설계된 8세대 TPU 시스템 발표

오늘 우리는 8세대 텐서 프로세싱 유닛(TPU)을 발표하게 되어 기쁘게 생각합니다. 이번 세대에는 처음으로 두 개의 서로 다른 칩과 전문화된 시스템이 포함되었으며, 에이전틱 시대를 위해 특별히 설계되었습니다.

TPU 8t: 고처리량(high-throughput) AI 워크로드에 최적화된 학습용 강력한 엔진입니다. 이전 세대보다 약 3배 높은 컴퓨팅 성능을 제공하여 거대 모델의 학습 기간을 획기적으로 단축함으로써 AI 개발의 규모를 재정의합니다. 단일 슈퍼포드(superpod)에 9,600개의 칩을 탑재하여 121 엑사플롭스(exaflops)의 연산 능력과 고속 상호 연결(ICI)로 연결된 2페타바이트의 공유 메모리를 제공합니다. 이 방대한 컴퓨팅 자원과 통합 메모리, 그리고 두 배로 늘어난 ICI 대역폭은 가장 복잡한 모델조차 선형에 가까운 확장성과 최대의 시스템 활용률을 달성하도록 돕습니다. 이제 Pathways와 JAX로 조율되는 단일 클러스터 내 100만 개 이상의 TPU 칩을 통해 수개월이 걸리던 학습을 수주 만에 끝낼 수 있습니다.
TPU 8i: 인퍼런스 및 강화 학습(RL)을 위한 혁신적인 추론 시스템입니다. 에이전틱 워크플로와 전문가 혼합(MoE) 모델에 필요한 초저지연성을 제공하도록 설계되었습니다. 온칩 SRAM을 384MB로 3배 늘리고 고대역폭 메모리(HBM)를 288GB로 증설하여 메모리 벽(memory wall)을 허물었으며, 방대한 KV 캐시를 온전히 실리콘 위에 호스팅할 수 있습니다. 또한 ICI 대역폭을 19.2Tb/s로 두 배 늘리고 ICI 네트워크 직경을 50% 이상 줄였으며, 전용 집합 통신 가속 엔진(CAE)을 도입하여 온칩 지연 시간을 최대 5배까지 단축함으로써 고동시성 요청 시의 렉을 최소화했습니다. 이러한 설계를 통해 TPU 8i는 이전 세대보다 인퍼런스당 비용 효율성을 80% 향상시켜, 빠르고 인터랙티브한 사용자 경험을 경제적으로 구현합니다.

TPU 8t와 TPU 8i는 곧 클라우드 고객들에게 제공될 예정입니다. 아키텍처에 대한 자세한 내용은 심층 분석 자료를 통해 확인해 보시기 바랍니다.

NVIDIA Vera Rubin 플랫폼 기반의 A5X

우리는 모든 상황에 맞는 단 하나의 정답은 없다는 점을 잘 알고 있습니다. 고객마다 워크로드와 요구사항, 사용 사례가 다르기 때문입니다. 이에 Google은 NVIDIA와 긴밀히 협력하여 최신 GPU 플랫폼을 Google Cloud에서 매우 안정적이고 확장 가능한 서비스로 제공하고 있습니다. 우리는 올해 말 출시 예정인 차세대 Vera Rubin 플랫폼 기반의 인스턴스를 가장 먼저 제공하는 파트너 중 하나가 될 것입니다.

또한 Open Compute Project를 통해 NVIDIA와 함께 오픈 소스 Falcon 네트워킹 프로토콜을 공동 설계하며 신뢰할 수 있는 전송 프로토콜의 지평을 넓히고 있습니다. A5X는 Falcon의 다양한 혁신적 개념을 구현할 예정입니다.

예를 들어, Thinking Machine Labs는 Google의 NVIDIA 기반 인프라를 활용하여 전문 사례를 위한 강화 학습 및 미세 조정(fine-tuning)용 오픈 플랫폼인 Tinker를 구동하고 있으며, Google AI Hypercomputer를 통해 2배 이상 빠른 학습 및 서비스 속도를 달성했습니다.

Axion, Intel, AMD를 통한 에이전틱 로직 및 강화 학습 가속

GPU와 TPU가 AI 모델의 학습과 서비스에 탁월하다면, 핵심 AI 모델을 둘러싼 복잡한 로직, 도구 호출(tool-calls), 피드백 루프를 처리하기 위해서는 고성능 CPU 기반 서비스가 이를 뒷받침해야 합니다. Google의 새로운 Axion 기반 N4A CPU 인스턴스는 이러한 에이전트 런타임에 대해 탁월한 가성비를 제공합니다. 실제로 Google Axion N4A 기반의 GKE Agent Sandbox는 타 하이퍼스케일러의 에이전트 워크로드 대비 최대 30% 더 나은 가성비를 실현합니다. 이러한 효율성은 Intel 및 AMD의 최신 x86 인스턴스를 탑재한 4세대 Compute Engine VM 제품군을 포함한 전체 포트폴리오로 확장됩니다. 이들은 RL 보상 계산, 에이전트 오케스트레이션, 중첩 시각화와 같은 광범위한 강화 학습(RL) 태스크에 최적화되어 모든 AI 워크로드에 최적의 역량을 제공합니다.

데이터 센터급 스케일아웃 패브릭을 위한 Virgo Network

AI Hypercomputer의 일부인 Virgo Network는 현대적인 대규모 AI 워크로드의 까다로운 요구사항을 충족하도록 설계되었습니다. 이전 세대보다 대역폭이 4배 향상된 통합 패브릭(collapsed fabric) 아키텍처는 '확장 비용(scaling tax)'을 제거하여 경이로운 수준의 피크 컴퓨팅 파워를 제공합니다. 이러한 용량 덕분에 가장 야심 찬 AI 워크로드도 선형에 가까운 효율로 확장할 수 있습니다.

초대형 클러스터링: Virgo Network와 TPU 8t를 통해 단일 데이터 센터 내의 단일 패브릭에 134,000개의 TPU를 연결할 수 있으며, 여러 데이터 센터 사이트에 걸쳐 100만 개 이상의 TPU를 하나의 학습 클러스터로 묶을 수 있습니다. 이는 전 세계에 분산된 인프라를 하나의 매끄러운 슈퍼컴퓨터로 전환하는 것과 같습니다.
GPU 지원 확장: Virgo Network는 A5X(NVIDIA Vera Rubin NVL72 기반)에도 적용되어 단일 데이터 센터 내 최대 80,000개의 GPU, 여러 사이트에 걸쳐 최대 960,000개의 GPU 연결을 지원합니다.

스토리지: 데이터 병목 현상의 최소화

거대한 컴퓨팅 클러스터의 효율은 데이터를 공급하는 스토리지 시스템의 성능에 좌우됩니다. 컴퓨팅 속도가 빨라지는 동안 스토리지가 병목 지점이 되지 않도록, 우리는 다음과 같은 네 가지 핵심 스토리지 혁신을 제공합니다.

학습 및 인퍼런스 가속: Google Cloud Managed Lustre는 이제 작년보다 10배, 타 하이퍼스케일러보다 최대 20배 빠른 10TB/s의 대역폭을 제공합니다. 용량 또한 80페타바이트로 늘어났으며, 이는 새로운 C4NX 인스턴스와 Hyperdisk Exapools 덕분에 가능해졌습니다.
지연 시간 최소화: Managed Lustre는 새로운 TPUDirect 및 RDMA를 활용하여 데이터가 호스트를 거치지 않고 가속기로 직접 이동하게 합니다. 이러한 처리 오버헤드 제거를 통해 AI 에이전트는 사용자가 원하는 즉각적인 속도로 응답할 수 있습니다.
최대 학습 가동률 유지: Google Cloud Storage의 Rapid Buckets는 1밀리초 미만의 지연 시간과 초당 2,000만 건의 연산 처리를 통해 객체 스토리지를 혁신합니다. 이를 통해 대규모 학습 체크포인트 생성 및 복구가 거의 즉각적으로 이루어지며, 가속기의 가동률을 95% 이상으로 유지하여 학습 주기를 앞당기고 귀중한 TPU/GPU 자원을 효율적으로 사용하게 합니다.
커스텀 솔루션 구축: Vast Data나 Sycomp와 같은 신뢰할 수 있는 병렬 파일 시스템을 통합하고자 하는 ISV 및 조직을 위해 Z4M 인스턴스를 출시합니다. 각 Z4M 인스턴스는 최대 168TiB의 로컬 SSD 용량까지 확장 가능하며, 수천 대 규모의 RDMA 클러스터에 배포될 수 있습니다.

이러한 새로운 스토리지 옵션은 종합적인 스토리지 포트폴리오를 제공하며, 각 사용 사례에 최적화된 스토리지 서비스를 통해 AI Hypercomputer 스택의 강력한 성능을 온전히 활용할 수 있도록 지원합니다.

GKE: 에이전트 네이티브 워크로드를 위한 오케스트레이션

에이전틱 시대에 지능의 효율성은 곧 확장 속도에 달려 있습니다. 이에 우리는 GKE를 에이전트 네이티브 워크로드를 위한 최고의 오케스트레이션 엔진으로 탈바꿈시켰습니다.

전체 스택에 걸친 지연 시간 단축

기민한 에이전트 응답을 지원하기 위해 초기 구동 및 확장 프로세스의 모든 밀리초를 최적화했습니다. GKE는 수요 급증에 인프라가 대응하는 방식을 효율화하여 사용자가 시스템에 접속하는 즉시 에이전트가 준비되도록 보장합니다.

노드 및 포드(Pod) 시작 가속: GKE 노드 시작 속도가 최대 4배 빨라졌으며, 포드 시작 시간은 최대 80% 단축되었습니다.
신속한 모델 로딩: run:AI Model Streamer와 Google Cloud Storage의 Rapid Cache를 활용하여 모델 로딩 속도를 5배 높임으로써 기존의 스토리지 병목을 제거했습니다.

AI 기반 인퍼런스 게이트웨이를 통한 지능형 라우팅

작년에 도입된 GKE Inference Gateway를 기반으로, 대규모 서비스의 복잡성을 해결하기 위해 'AI를 위한 AI' 기술을 적용하고 있습니다.

Inference Gateway의 새로운 예측형 지연 시간 부스트(predictive latency boost)는 단순한 휴리스틱 추측 대신 머신러닝 기반의 실시간 용량 인지 라우팅으로 대체됩니다. 이러한 지능형 오케스트레이션은 수동 튜닝 없이도 첫 번째 토큰 생성 시간(TTFT) 지연을 70% 이상 단축합니다. 이는 비즈니스 측면에서 더 자연스러운 음성 대화와 매끄러운 실시간 상호작용으로 직결됩니다.

또한 Inference Gateway는 최근 Cloud Native Computing Foundation(CNCF)샌드박스 프로젝트로 채택된 쿠버네티스 네이티브 고성능 분산 LLM 인퍼런스 프레임워크인 llm-d와 함께 배포될 수 있습니다. Google Cloud는 Red Hat, IBM Research, CoreWeave, NVIDIA와 함께 llm-d의 창립 기여자로서 '어떤 모델, 어떤 가속기, 어떤 클라우드든 상관없는' 업계의 명확한 비전을 수립하는 데 동참하고 있습니다.

전체 AI 라이프사이클을 위한 개방형 소프트웨어 생태계

하드웨어는 함께 설계된 소프트웨어를 통해 그 잠재력을 온전히 발휘합니다. AI Hypercomputer는 JAX, PyTorch, vLLM과 같이 업계에서 가장 널리 쓰이는 프레임워크에 대해 최적화된 네이티브 지원을 제공함으로써 엔지니어들이 더 빠르게 업무를 진행할 수 있도록 돕습니다. 이러한 개방형 소프트웨어 레이어는 개발과 배포 사이의 마찰을 줄여주며, 이는 곧 시장 출시 시간 단축과 더 나은 자원 효율성으로 이어집니다.

현재 우리는 일부 고객을 대상으로 TPU용 네이티브 PyTorch 지원 기능인 TorchTPU의 프리뷰를 진행하고 있습니다. TorchTPU를 사용하면 Eager Mode와 같은 네이티브 PyTorch 기능을 완벽하게 지원받으며 모델을 TPU에서 있는 그대로 실행할 수 있습니다. 여기에 TPU 기반의 강력한 vLLM 지원까지 더해진 우리의 메시지는 명확합니다. Google은 언제나 개방성과 고객의 선택권을 최우선으로 하여 시스템을 구축한다는 것입니다.

에이전틱 성장을 위한 토대

에이전틱 시대에 빠르고 비용 효율적으로 혁신하기 위해서는 성능이나 선택권을 타협하지 않는 통합 시스템이 필요합니다. 그것이 바로 AI Hypercomputer가 제공하는 가치입니다. 실리콘부터 소프트웨어까지 모든 레이어를 함께 설계함으로써 통합의 부담을 제거하고, 여러분의 팀이 비즈니스를 발전시키는 데만 집중할 수 있도록 했습니다.

또한 AI Hypercomputer는 Google의 모든 상위 레벨 서비스 생태계를 뒷받침하는 강력한 토대 역할을 합니다. 이 통합 스택은 Gemini Enterprise부터 Gemini Enterprise Agent Platform까지 모든 서비스를 구동하며, 이러한 인프라의 혁신이 비즈니스 가치로 직접 연결되도록 보장합니다. 서버리스 학습 서비스나 새로운 Managed RL API와 같은 완전 관리형 서비스를 활용하여, AI Hypercomputer의 압도적인 성능 향상을 바탕으로 여러분의 비즈니스 로직에 맞게 Gemini를 커스터마이징하고 정교한 에이전트 기반 솔루션을 제공할 수 있습니다.

업데이트되고 확장된 이 AI 플랫폼을 통해 여러분이 만들어갈 다음 혁신을 기대하겠습니다.

컴퓨팅의 새로운 변화: 코어 및 에이전틱 워크로드의 확장

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Next '26에서 우리는 더 높은 성능과 더 낮은 비용으로 핵심 범용 업무 및 AI 워크로드를 에이전틱 세상에 맞게 구현할 수 있는 다양한 컴퓨팅 기능을 발표합니다.

이것이 중요한 이유: IT 리더와 개발자들은 에이전틱 AI와 일상적인 고객 경험을 이끄는 웹 서버, 데이터베이스, 엔터프라이즈 애플리케이션 등 범용 사용 사례 사이에서 컴퓨팅 투자와 리소스의 균형을 맞춰야 하는 과제에 직면해 있습니다.

한쪽에서는 에이전트들이 컴퓨팅 인프라에 예측 불가능한 수요를 발생시키며, 종종 기하급수적으로 확장되기도 합니다. 단 한 번의 사용자 상호작용이 수백 개의 동시적이고 높은 처리량과 낮은 지연 시간을 요구하는 작업들을 즉각적으로 촉발할 수 있습니다. 반면, 범용 워크로드는 에이전틱 세상을 구동하는 데 필요한 데이터를 생성하고 보유합니다. 이들을 실행하기 위해 정적이고 파편화된 인프라에 의존하는 것은 성능 병목 현상과 비용 폭증의 위험을 초래하며, 결국 조직이 급격한 수요 증가에 대응할 수 없게 만듭니다.

단순한 휴가 검색이 재고 확인, 동적 가격 책정 모델, AI 기반 맞춤형 일정 생성이라는 방대한 에이전트 오케스트레이션을 즉각적으로 일으키는 글로벌 여행 애플리케이션을 생각해 보십시오. 현대적인 아키텍처가 없다면, 이러한 갑작스러운 수요 급증은 핵심 예약 데이터베이스를 마비시키고 비즈니스를 중단시킬 수 있습니다.

우리는 범용 및 에이전틱 워크플로에 맞춰 적응하는 Google Cloud 인프라인 유동적 컴퓨팅(Fluid Compute)을 통해 이 문제를 해결합니다. 유동적 컴퓨팅은 성능, 용량, 규모를 실시간으로 유연하게 조정함으로써 두 워크로드 모두 성공적으로 작동하도록 지원합니다. 이러한 동적 유연성은 Google Kubernetes Engine(GKE)의 자동화된 오케스트레이션과 새로운 Agent Sandbox를 기반으로 하며, 기계적인 속도로 안전하고 격리된 실행 환경을 즉시 프로비저닝합니다.

Next ‘26에서 발표된 새로운 컴퓨팅 기능들을 더 자세히 살펴보겠습니다.

AI와 범용 워크로드의 통합 실행

에이전틱 플래닝과 강화 학습은 자율적인 태스크의 예측 불가능한 폭증을 처리하기 위해 매우 유동적인 컴퓨팅에 의존합니다. 에이전트가 생성한 코드를 격리하기 위해 정적인 인프라에 의존하면 심각한 프로비저닝 지연이 발생하고 클라우드 예산이 크게 늘어날 수 있습니다. 적응형 클라우드 토대를 채택하면 이러한 병목 현상을 제거할 수 있습니다. GKE Agent Sandbox를 활용하면 팀이 수천 개의 실행 환경을 안전하게 시작할 수 있습니다. 이러한 확장 가능한 샌드박스를 효율적인 Google Axion 프로세서와 결합하면 인공지능 혁신을 가속화하는 동시에 총소유비용(TCO)을 최적화할 수 있습니다.

Google Cloud 컴퓨팅 출시 및 발표의 새로운 소식은 다음과 같습니다.

Google Axion N4A 정식 출시(GA): Google의 커스텀 Arm 기반 Axion CPU의 민첩성을 활용해 보세요. Java 애플리케이션, 스케일아웃 웹 서버, 스타트업 및 엔터프라이즈의 SaaS 등 비용에 민감한 워크로드에서 동급 최신 x86 기반 VM보다 최대 2배 더 나은 가성비를 달성할 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
GKE Agent Sandbox(Axion N4A 기반 가성비 모델) 정식 출시(GA): 하이퍼스케일러 중 업계 유일의 네이티브 샌드박스 서비스인 GKE Agent Sandbox는 성능 저하 없이 에이전트가 신뢰할 수 없는 코드와 도구 호출을 안전하게 실행할 수 있도록 설계된 확장 가능한 저지연 인프라를 제공합니다. Google Axion을 사용하면 비용이나 선택권의 타협 없이 선도적인 인프라에서 에이전트를 구축할 수 있습니다. Google Axion N4A 인스턴스에서 구동되는 GKE Agent Sandbox는 타사 대비 최대 30% 더 나은 가성비를 제공합니다. [여기]에서 GKE Agent Sandbox를 사용해 보세요.
첫 번째 Axion 베어메탈 인스턴스, Google Axion C4A.metal 프리뷰: C4A.metal 인스턴스는 중첩 가상화의 성능 오버헤드나 복잡성 없이 Android 개발, 자동차 시뮬레이션, CI/CD 파이프라인, 보안 워크로드 및 커스텀 하이퍼바이저를 구동합니다. C4A.metal은 이번 여름 정식 출시 예정입니다. 자세한 내용은 [여기]를 참조하세요.
모든 쉐이프에서 Intel Xeon 6(Granite Rapids) 지원을 확대한 C4 인스턴스: 네이티브 FP16을 지원하는 Intel AMX를 사용해 LLM 인퍼런스 및 벡터 검색과 같은 AI 워크로드에서 고성능을 구현하세요. 처리량은 높이고 지연 시간은 줄여 타사 대비 13% 더 나은 가성비를 제공합니다. C4 VM은 모든 쉐이프에서 Intel Xeon 6 프로세서를 사용할 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
유연한 약정 사용 할인(Flexible CUDs) 지원 확대 정식 출시(GA): 총소유비용(TCO)을 최적화하면서 리전 및 VM 제품군 간에 지출을 유연하게 전환하세요. 이제 메모리 최적화(M1-M4), HPC 최적화(H3, H4D) VM 제품군은 물론 Cloud Run까지 더 넓은 범위의 VM 및 서비스를 지원합니다. 자세한 내용은 [여기]를 참조하세요.

고객 사례:

Unity: Unity Vector를 통해 실시간 AI의 경제성을 재정의하고 있습니다. 온디맨드 기능 프로세서 워크로드를 Google Axion N4A 인스턴스로 마이그레이션하여 지연 시간의 증가 없이 비용 효율성을 20% 향상시켰습니다.
Deutsche Börse: 독일의 선도적인 시장 인프라 제공업체인 Deutsche Börse는 수십 개의 핵심 금융 애플리케이션을 최신 C4 및 C4D 인스턴스로 현대화했습니다. 이를 통해 매일 수백만 건의 금융 거래를 처리하는 데 필요한 일관된 성능을 확보했으며, 시장 출시 속도를 58% 앞당기고 TCO를 33% 절감했습니다.
WP Engine: 1밀리초가 중요한 수백만 개의 디지털 경험을 제공합니다. C4D 및 N4D 인스턴스에서 GKE 클러스터를 실행하여 모바일 최적화 REST API의 지연 시간을 최대 60% 줄였으며, 데이터 집약적인 애플리케이션 요청 처리 속도를 최대 51% 높였습니다.
eDreams ODIGEO: 대규모 AI 기반 여행 플랫폼을 운영하는 이 회사는 Java 기반 이커머스 모듈을 Axion VM으로 마이그레이션했습니다. 이를 통해 수주가 걸리던 수동 코드 최적화 작업을 즉시 제거했으며, 코드 변경 없이 P95 지연 시간을 75%나 대폭 개선했습니다.
Chainguard: 소프트웨어 빌드 시스템의 완전한 격리를 위해 Axion C4A 베어메탈 인스턴스를 도입했습니다. 이를 통해 빌드 성능을 유지하면서도 아키텍처적 일관성을 갖춘 보안 개발 파이프라인을 구축하고 강력한 하이퍼바이저 보안 경계를 설정할 수 있었습니다.

I/O 및 지연 시간에 민감한 워크로드의 통합 실행

AI와 핵심 워크로드 모두 데이터를 저장, 읽기, 이동하는 과정을 하나의 고성능 작업으로 처리하는 능력에 의존합니다. 전통적으로 이러한 단계는 vCPU 수에 묶인 네트워크 및 스토리지 제한으로 인해 속도가 느려졌으며, 이는 AI 모델이 작동하는 데 필요한 데이터를 충분히 공급받지 못하는 상황을 초래하곤 했습니다.

이제 가속화된 하이퍼디스크(Hyperdisk) 성능을 통한 신속한 데이터 액세스와 고성능 네트워킹을 활용하여 이러한 제약을 제거할 수 있습니다. 데이터 파이프라인이 컴퓨팅과 독립적으로 확장되도록 함으로써, AI 학습 및 I/O 민감 워크로드는 수요가 최고조에 달하는 시점에도 안정성을 유지하는 데 필요한 전용 대역폭을 확보할 수 있습니다.

C4N 프리뷰: 동시 모바일 앱 요청이나 실시간 재고 업데이트와 같은 대규모 네트워크 애플리케이션은 트래픽 피크 시 병목 현상이 발생할 위험이 있습니다. 복잡한 패킷 처리를 오프로드하는 Titanium 어댑터가 탑재된 C4N을 통해 처리량을 극대화하세요. C4N은 초당 9,500만 개의 패킷을 처리하며, 이는 다른 주요 하이퍼스케일러 대비 40% 우수한 성능입니다. 대규모 데이터 세트의 신속한 전송을 위해 설계된 C4N은 약 400Gbps의 VM 간 대역폭을 제공하며, 이는 vCPU당 대역폭이 4배 개선된 수치입니다. 또한 C4 VM 대비 인터넷 게이트웨이를 통한 이그레스(Egress) 네트워크 대역폭이 8배 증가했습니다. 하이퍼디스크 익스트림(Hyperdisk Extreme)과 결합된 C4N은 현대적인 데이터베이스와 기업용 AI 애플리케이션이 필요로 하는 저지연, 고속 데이터 액세스를 지원하며, 25GiB/s의 블록 스토리지 처리량과 약 100만 IOPS를 제공합니다. [여기]에서 C4N 프리뷰 액세스를 신청하세요.
M4N 프리뷰: 메모리 집약적인 데이터베이스를 운영할 때, 메모리 속도를 맞추기 위해 컴퓨팅 코어(vCPU)를 과도하게 프로비저닝하여 소프트웨어 라이선스 비용이 상승하는 경우가 많습니다. 새로운 M4N 시리즈는 바로 이 문제를 해결하기 위해 도입되었습니다. M4N에서 하이퍼디스크 익스트림을 사용해 Oracle 워크로드를 실행하면 TCO를 20% 이상 절감할 수 있습니다. vCPU당 26.57GiB의 RAM을 제공하여 훨씬 적은 코어로도 Oracle을 효율적으로 실행할 수 있기 때문입니다. M4N과 하이퍼디스크 익스트림의 조합은 주요 하이퍼스케일러의 고메모리 인스턴스 중 코어당 가장 높은 IOPS와 처리량을 제공합니다. [여기]에서 프리뷰를 신청하세요.
Z4D 발표: 새로운 Z4D 인스턴스로 I/O 집약적 워크로드를 최적화하고 네트워크 기반 스토리지 병목 현상을 제거하세요. 노드에 직접 연결된 최대 84TiB의 고성능 로컬 SSD를 확보함으로써 SQL, NoSQL 및 벡터 데이터베이스를 위한 방대한 데이터 세트를 처리할 수 있습니다. Z4D는 C4N 및 M4N과 동일하게 최대 400Gbps의 VM 간 대역폭을 제공합니다. Z4D 가상 머신 및 베어메탈 인스턴스는 곧 프리뷰로 제공될 예정입니다.

고객 사례:

Ericsson: 5G 코어 워크로드는 본질적으로 네트워크 집약적이며, 일반적인 퍼블릭 클라우드 인스턴스가 대규모로 유지하기 힘든 고처리량 패킷 처리와 결정론적 지연 시간을 요구합니다. Ericsson은 C4N을 활용하여 'Ericsson On-Demand'를 구동하는 최적의 네트워크 성능을 확보했습니다. 네트워크 최적화 컴퓨팅에 집중한 C4N의 아키텍처 덕분에 자사의 5G Core-as-a-Service는 최근 1Tbps 달성이라는 전례 없는 처리량 수준에 도달하는 동시에 고객이 기대하는 통신사급 신뢰성을 유지할 수 있었습니다.
Teradata: Teradata의 'Autonomous Knowledge Cloud'는 세계 최대 규모의 기업들이 엔터프라이즈 인텔리전스를 활성화하고 데이터를 비즈니스 성과로 전환할 수 있도록 지원합니다. 고객들은 성능과 효율성이 가치를 결정하는 미션 크리티컬한 고I/O 분석을 대규모로 실행하기 위해 Teradata에 의존합니다. C4N 인스턴스는 이러한 까다로운 워크로드에 매우 적합하며, 강력한 가성비를 제공하고 최적화된 배포를 지원합니다. Teradata는 C4N을 통해 고객이 통찰력을 가속화하고 확신을 가지고 확장하며 데이터 및 AI 투자로부터 더 큰 임팩트를 창출하도록 돕고 있습니다.

까다로운 스토리지 요구사항 해결

웹 서버, 애플리케이션, 데이터베이스와 같은 기초 워크로드는 에이전틱 세상을 구동하는 데 필요한 데이터를 보유하고 있습니다. 이 중요한 정보를 경직된 하드웨어에 가두는 것은 기업 현대화를 완전히 중단시킬 수 있는 병목 현상을 야기합니다. 예를 들어, 글로벌 소매 브랜드가 연말 프로모션을 진행할 때 레거시 하드웨어가 에이전트들의 갑작스러운 쿼리 홍수를 처리하지 못해 재고 데이터베이스가 타임아웃되고 고객 요청을 누락하는 상황을 상상해 보십시오.

조직은 데이터 전달의 차단을 방지하기 위해 vCPU당 높은 IOPS와 처리량이 뒷받침되는 최고 성능의 데이터베이스 호스트가 필요합니다. 이러한 애플리케이션을 최신 클라우드 인프라로 마이그레이션하면 총소유비용(TCO)과 운영 처리량이 크게 향상됩니다. 전략적 클라우드 마이그레이션을 통해 고객은 현대화를 가로막는 아키텍처적 장벽을 제거하고 AI를 위한 데이터를 개방할 수 있습니다. 처리량 및 용량에 민감한 워크로드를 위한 유동적 컴퓨팅(Fluid Compute)의 새로운 소식은 다음과 같습니다.

Hyperdisk Balanced 성능 개선: Hyperdisk Balanced는 애플리케이션 및 관계형 데이터베이스를 포함한 범용 워크로드를 위해 빠르고 효율적인 블록 스토리지를 제공합니다. 이제 볼륨당 최대 2.4 GiB/s의 처리량과 160K IOPS를 지원하며, 이는 타 하이퍼스케일러의 범용 블록 스토리지 제품보다 높은 성능인 동시에 평균 지연 시간은 더 낮습니다. 특히 Hyperdisk Balanced High Availability(고가용성) 기능을 통해 전체 디스크 성능을 활성 VM으로 동적 라우팅함으로써, SQL Server나 PostgreSQL과 같은 고가용성 DB의 성능을 4배 향상시키고 스토리지 과다 프로비저닝의 필요성을 없앴습니다. 또한 가동 중단 없는 암호화 키 교체와 즉각적인 스냅샷을 위한 컨시스턴시 그룹(Consistency Groups)을 활용해 보안성을 한층 강화할 수 있습니다. 이러한 기능들을 통해 범용 워크로드의 TCO(총소유비용)를 낮추고 성능과 탄력성을 높일 수 있습니다. 자세한 내용은 [여기]에서 확인하세요.
Hyperdisk ML 성능 개선 및 Hyperdisk Exapools 정식 출시(GA): 통합 처리량이 2 TiB/s(기존 1.2 TiB/s에서 상향)로 늘어난 Hyperdisk ML은 AI 스토리지 병목 현상을 제거합니다. 타사 대비 디스크당 200배 이상 높은 처리량을 제공하여 귀중한 가속기 클러스터가 유휴 상태로 방치되지 않도록 지원하며, 이를 통해 차세대 인텔리전트 에이전트를 구동하면서 AI 컴퓨팅 ROI를 극대화할 수 있습니다. 또한 대규모 학습 요구사항에 맞춰 AI 클러스터당 업계 최고의 통합 블록 스토리지 성능과 용량을 제공하는 Hyperdisk Exapools도 정식 출시되었습니다. Hyperdisk ML 및 Exapools에 대한 자세한 내용은 [여기]와 [여기]를 참조하세요.
Z4M 발표: 최대 168 TiB의 로컬 SSD, 400 Gbps의 네트워크 대역폭, RDMA 지원 및 베어메탈 형태를 제공하여 분산 병렬 파일 시스템과 대규모 AI/ML 워크로드를 지원합니다. Z4M은 클러스터 디렉터(Cluster Director)와 통합되며, 데이터에 대한 초고속 저지연 액세스를 위해 가속기와 병치(colocation)될 수 있는 옵션이 제공됩니다. Z4M VM 및 베어메탈 인스턴스는 2026년 3분기에 프리뷰로 제공될 예정입니다.

고객 사례:

Shopify: 블랙 프라이데이 주말 세일 기간 동안 Shopify는 성능이나 신뢰성을 타협하지 않고 8,100만 명의 구매자를 대상으로 146억 달러 이상의 거래를 처리하고 1억 3,600만 개의 패키지를 추적했습니다. 이는 Compute Engine의 Z-시리즈 기반 스토리지를 토대로 구축된 Shop App 덕분에 가능했습니다.
HubX: 모델 로딩 속도가 사용자 경험을 결정짓는 대규모 AI 기반 모바일 애플리케이션 포트폴리오를 운영하는 HubX는 심각한 I/O 병목 현상을 해결하기 위해 GKE에 Hyperdisk ML을 도입했습니다. 이 특화된 스토리지 레이어를 통해 수백 명의 동시 판독기를 지원하고, 피크 타임의 포드(pod) 초기화 시간을 30배 단축했습니다. 이를 통해 유휴 가속기 비용을 획기적으로 줄이고 복잡한 인퍼런스 워크로드를 안정적으로 확장할 수 있었습니다.

에이전틱 시대를 위한 유동적 인프라

이제 기초 워크로드와 AI 에이전트가 더 이상 용량이나 성능을 두고 경쟁할 필요가 없습니다. Google Cloud의 유동적 컴퓨팅(Fluid Compute)을 통해 병목 현상을 방지하고, 기존 업무와 AI 워크로드가 서로 협력하며 번창할 수 있는 적응형 클라우드 인프라를 경험해 보세요.

지금 시작하시겠습니까?

Google Cloud 콘솔로 이동하여 다음 프로젝트를 위한 VM을 즉시 생성해 보세요.
마이그레이션을 계획 중이라면 Migration Center의 AI 기반 도구 세트를 확인하여 비용 추산, 비즈니스 사례 작성 및 현대화 옵션 평가를 시작해 보시기 바랍니다.

클릭에서 클러스터로: Intel TDX를 통해 확장되는 Confidential Computing

Fri, 29 Aug 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 8월 30일 Google Cloud 블로그(영문)에 게재되었습니다.

프라이버시를 보호하는 기밀 컴퓨팅(Confidential Computing)은 저희가 5년 전에 Confidential 가상 머신(VM)을 처음 선보인 이래로 많은 발전을 이루었습니다. 사용 중인 데이터를 보호할 수 있는 이 기술은 데이터가 저장 및 전송 중일 때의 암호화를 넘어선 보안 격차를 강화합니다.

그 이후로 고객들은 Confidential Computing을 사용하여 환자 의료 데이터를 보호하고, GDPR 및 Schrems II의 개인정보 보호 지침을 준수하여 미국-유럽 데이터 전송을 수행하며, HPC(고성능 컴퓨팅) 워크로드를 안전하게 실행해 왔습니다.

하드웨어 기반의 TEE(신뢰 실행 환경)에서 워크로드를 격리함으로써, Confidential Computing은 고객들이 가장 민감한 정보를 퍼블릭 클라우드에서 안심하고 처리할 수 있게 해줍니다.

Confidential Computing의 발전의 일환으로, 작년에 Intel TDX(Trust Domain Extensions)를 활용한 기밀 VM을 도입하여 더욱 강력한 보안 기능을 추가했습니다. Intel TDX는 VM 내에 격리된 신뢰 도메인(TD)을 생성하고, 하드웨어 확장 기능을 사용하여 메모리를 관리 및 암호화하여 클라우드 워크로드를 보호하며, 검증을 위한 하드웨어 기반 원격 증명(remote attestation)을 제공합니다.

구글 클라우드는 크게 확장되고 정식 출시된 Intel TDX 기반 서비스들을 소개합니다. 여기에는 Confidential GKE 노드, 기밀 공간(Confidential Space), Confidential GPU, 그리고 고객들이 Confidential Computing을 사용할 수 있는 더 많은 리전 및 영역이 포함됩니다.

클릭 한 번으로 Confidential VM 생성

이제 Google Cloud Console은 Google Compute Engine(GCE) 고객에게 Intel TDX를 위한 새로운 인터페이스를 제공하며, 코드 변경이 필요 없습니다. 시작하려면 다음 단계를 따르세요.

GCE의 인스턴스 생성 페이지에서 시작합니다.
‘보안’ 탭으로 이동하여 Confidential VM 서비스 아래의 사용 설정(Enable)을 클릭합니다.
드롭다운 메뉴에서 Intel TDX를 선택하고 확인(Confirm)을 클릭합니다.

이렇게 간단한 방법으로 Confidential VM을 만들 수 있습니다.

Google Cloud 콘솔에서 Intel TDX를 사용하여 새로운 기밀 VM을 생성

더 많은 리전 및 영역에서 기밀 컴퓨팅 활용

Intel TDX를 활용한 기밀 VM은 처음에는 3개 리전(9개 영역)에서 지원되었습니다. 늘어나는 수요에 맞춰, C3 머신 시리즈에 대한 Intel TDX 지원을 10개 리전(21개 영역)으로 확장했으며, 앞으로 더 많은 리전 및 영역을 추가할 계획입니다. 전체 목록은 여기에서 확인할 수 있습니다. 리전 가용성 및 확장성은 매우 중요하므로, 고객 계정팀이 고객의 용량 수요를 충족할 수 있도록 조기 계획 수립을 도와드립니다.

Intel TDX를 활용한 Confidential GKE Node 정식 출시

Confidential GKE Nodes는 Confidential VM을 기반으로 구축되었으며, Google Kubernetes Engine(GKE) 클러스터 및 노드 풀에 하드웨어 기반 보호 기능을 제공하여 컨테이너화된 워크로드가 메모리 내에서 암호화되도록 보장합니다. 오늘부터 Confidential GKE Nodes는 GKE Standard 및 GKE Autopilot에서 Intel TDX를 활용하여 정식으로 제공됩니다.

C3 머신 시리즈의 Intel TDX를 활용한 기밀 GKE 노드는 CLI, API, UI, Terraform을 통해 GKE Standard에서 생성할 수 있습니다. 기밀 설정은 코드 변경 없이 클러스터 수준 또는 노드 풀 수준에서 설정할 수 있습니다. 자세한 내용은 여기에서 확인할 수 있습니다.

C3 머신 시리즈의 Intel TDX를 활용한 Confidential GKE Nodes는 GKE Autopilot에서도 생성할 수 있습니다. 이는 맞춤형 컴퓨팅 클래스를 사용하여 활성화할 수 있습니다. GKE에서 컴퓨팅 클래스는 자동 확장 이벤트 중에 워크로드를 실행할 노드를 프로비저닝하는 데 GKE가 사용하는 일련의 노드 속성으로 구성된 프로필입니다. 시작하려면 문서를 확인하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7fda0db9d010>), ('btn_text', ''), ('href', ''), ('image', None)])]>

Intel TDX를 활용한 기밀 공간(Confidential Space) 정식 출시

마찬가지로 Confidential VM을 기반으로 구축된 당사의 Confidential Space 서비스는 내부자 위협 해결, 공동 머신러닝 학습 및 비공개 생성형 AI 추론 지원, 민감한 데이터에 대한 다자간 협업 촉진 등 여러 일반적인 문제에 대한 강력한 솔루션입니다. 다음은 고객들이 Confidential Space을 활용하여 구축한 몇 가지 예시입니다.

기밀 매칭: 고객들은 Google Ads 측정 및 잠재고객 솔루션을 위해 자체 퍼스트 파티 데이터를 안전하게 연결할 수 있었습니다.
Symphony: 기밀 클라우드를 통해 SaaS 기업이 고도의 규제가 적용되는 금융 산업에서 권한 있는 내부 관계자로부터 고객 데이터를 격리하는 것을 보장할 수 있음을 보여주었습니다
Duality: 의료, 금융 서비스 및 공공 부문에서 광범위한 사용 사례에 대한 개인정보를 보호하는 학습 솔루션을 제공했습니다
Flare: 블록체인에서 검증 가능한 AI 혁신을 주도했습니다

이전에는 기밀 공간이 AMD 기반 기술 및 하드웨어(N2D, C2D, C3D, C4D 머신 시리즈)에서만 사용 가능했지만, 이제 Intel 기반 기술 및 하드웨어에서도 사용할 수 있습니다. 이는 하드웨어 신뢰점(root of trust)을 통한 증명 보장을 원하는 고객과 Intel의 C3 머신 시리즈에 중점을 둔 고객에게 이상적입니다.

또한, Intel TDX를 활용한 기밀 공간은 RTMR(runtime measurement registers)에 측정값이 기록되며, 이 측정값은 Google Cloud Attestation에 의해 검증됩니다. 참고로, Intel TDX를 활용한 기밀 VM에서도 이제 RTMR이 채워집니다. 기밀 공간의 이점은 NCC Group의 최신 독립 보안 평가에서 강조되었습니다.

NVIDIA H100 GPU를 활용한 기밀 VM 및 기밀 GKE 노드 정식 출시

사용 중인 데이터를 보호하면서 성능과 보안을 모두 원한다면, 가속기 최적화 A3 머신 시리즈에서 NVIDIA H100 GPU를 활용한 Confidential VM 및 Confidential GKE Node가 이제 정식으로 제공됩니다. 이 서비스들은 Google Cloud 최초의 기밀 GPU를 제공하며, 보안 컴퓨팅에 대한 수요를 충족하기 위해 사용 편의성에 중점을 둡니다. 또한, CPU에 Intel TDX를, GPU에 NVIDIA Confidential Computing을 활성화하여 데이터 집약적인 AI 및 ML 워크로드로 보안을 확장합니다. 이제 모델 전반에 걸쳐 추론 및 학습 과정에서 데이터를 성능 저하 없이 안전하게 보호할 수 있습니다.

NVIDIA H100 GPU를 활용한 Confidential VM은 a3-highgpu-1g 머신 유형으로 europe-west4-c, us-central1-a, and us-east5-a 세 가지 영역에서 사용할 수 있습니다. 대부분의 AI 및 ML 워크로드에 대해 코드 변경이 필요 없습니다. 가격에 대한 자세한 내용은 여기를 참조하십시오. NVIDIA H100 GPU를 활용한 Confidential GKE Node는 GKE Standard와 GKE Autopilot(맞춤형 컴퓨팅 클래스를 통해) 모두에서 정식으로 제공됩니다. 시작하려면 여기를 클릭하세요.

또한, NVIDIA H100 GPU를 활용한 Confidential Space도 미리 보기로 제공됩니다.

Intel, 독립 증명을 위한 무료 등급 제공

Intel의 증명 검증 서비스인 Intel Tiber Trust Authority가 이제 무료 등급을 제공합니다. Google Cloud 기밀 VM 및 기밀 공간은 모두 Intel Tiber Trust Authority와 타사 증명 서비스로 통합되어 있었지만, 이제 Intel Tiber Trust Authority는 무료 등급(유료 지원 선택 가능)을 제공하여 모든 사용자가 보안 증명에 더 쉽게 접근할 수 있도록 하고 있습니다.

Confidential VM 및 Confidential Space 고객은 Intel Tiber Trust Authority를 사용하여 더 강력한 권한 분리 보안 보장을 얻을 수 있습니다. 자세히 알아보려면 여기를 클릭하세요.

고객 후기

"Super Protocol, Google Cloud, 그리고 NVIDIA의 공동 노력 덕분에 이제 클라우드 경계 없이 기밀 AI를 구현하는 새로운 가능성의 장이 열렸습니다. NVIDIA H100 GPU 기반의 A3 기밀 VM이 Super의 분산 인프라 및 마켓플레이스에 통합되면서, 기업들은 어떤 환경에서든 민감한 AI 및 데이터를 안전하게 실행하고, 수익화하며, 협업할 수 있습니다. 이를 통해 Google Cloud 고객들은 신뢰를 공유하거나, 수동으로 협의하거나, 타협할 필요 없이 다른 클라우드의 파트너들과 원활하게 협업할 수 있습니다. 더 넓은 시장에서는 A3 인스턴스 규모가 전 세계적인 접근을 가속화하며, Super는 기밀 컴퓨팅에 대한 전문 지식 없이도 완전 자동화된 방식으로 기밀성, 검증 가능성, 그리고 자율성을 보장합니다. 우리는 고객과 파트너가 어디에 있든 작동하도록 구축된 기밀 AI의 다음 장을 열게 되어 매우 기쁩니다." - Super Protocol 창립자 겸 CEO, Nukri Basharuli

"Google Cloud와 협력하여 기밀 컴퓨팅이 활성화된 GPU 솔루션을 검증하게 되어 자랑스럽습니다. 이는 성능이나 확장성 저하 없이 AI 및 머신러닝 워크로드의 민감한 데이터를 보호하는 데 큰 진전입니다. 기밀 컴퓨팅을 통해 조직은 클라우드 제공업체와 조직 내부자 및 내부 위협으로부터 민감한 데이터와 모델을 보호하면서 클라우드에서 민감한 워크로드를 처리할 수 있습니다. 그러나 생성형 AI 및 에이전트형 AI 사용 사례의 경우, CPU만 보호하는 것으로는 충분하지 않습니다. CPU와 GPU 모두 상호 신뢰를 바탕으로 기밀 모드로 실행되어야 합니다. Google Cloud의 새로운 서비스를 통해 Anjuna는 이제 Intel TDX와 NVIDIA H100 GPU를 기밀 모드로 활용하는 기밀 컨테이너를 출시할 수 있습니다. 이는 데이터, 구성, 비밀 및 코드가 모든 신뢰할 수 없는 엔티티로부터 종단간 보호되도록 보장하여 민감한 데이터에 대한 최첨단 보안을 제공합니다." - Anjuna Security CTO, Steve Van Lare

"전 세계적으로 데이터 처리가 그 어느 때보다 세 배나 빠르게 성장하고 6개월마다 두 배로 증가함에 따라, 클라우드 컴퓨팅의 미래는 신뢰를 기반으로 구축되어야 합니다. Google과의 협력을 통해 Modelyo는 NVIDIA H100 GPU가 탑재된 A3 머신 시리즈의 기밀 VM을 활용하여 기밀 컴퓨팅을 원활하고 직관적이며 완전히 통합된 클라우드 경험으로 전환합니다. 이를 통해 우리는 상호 연결된 환경 전반에 걸쳐 종단간 관리형 솔루션을 제공하며, 조직이 모든 단계에서 데이터가 손쉽게 보호된다는 것을 알고 자신 있게 혁신할 수 있도록 지원합니다." - Modelyo CEO, Benny Meir

기밀 컴퓨팅 시작하기

민감한 워크로드에 추가적인 보호 및 개인정보 보호 계층을 더하려면, 지금 Confidential VM 및 Confidential GKE Node 문서를 확인하세요

Ironwood TPU 및 AI 하이퍼컴퓨터의 새로운 혁신 기술 소개

Thu, 01 May 2025 18:22:00 +0000

* 본 아티클의 원문은 2025년 4월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날의 혁신은 실험실이나 설계도에서 탄생하는 것이 아니라 AI 인프라를 기반으로 이루어집니다. AI 워크로드에는 새롭고 고유한 요구사항이 있습니다. 이러한 요구사항을 충족하려면 성능과 효율성을 대규모로 달성할 수 있도록 하드웨어와 소프트웨어를 정교하게 조합해야 하며, 필요에 따라 이러한 인프라에 액세스할 수 있는 사용 편의성과 유연성을 확보해야 합니다. Google Cloud는 이를 위해 AI 하이퍼컴퓨터를 활용합니다.

AI 하이퍼컴퓨터는 Google이 10년 이상 쌓아온 AI 전문성을 바탕으로 개발한 통합형 슈퍼컴퓨팅 시스템으로 Google Cloud에서 실행되는 거의 모든 AI 워크로드를 뒷받침합니다. Vertex AI를 사용할 때 내부에서 실행되며, AI 하이퍼컴퓨터의 성능 최적화 하드웨어, 개방형 소프트웨어, 유연한 소비 모델에 직접 액세스해 인프라를 세밀하게 제어할 수 있습니다. 이러한 모든 기능은 AI 워크로드의 학습 및 서빙을 위한 더 많은 인텔리전스를 일관되게 저렴한 가격으로 제공하도록 설계되었습니다. 이러한 통합 시스템 접근 방식은 시장에서 차별화되는 요소이며, Gemini Flash 2.0이 GPT-4o에 비해 달러당 24배, DeepSeek-R1에 비해 5배 높은 인텔리전스를 달성할 수 있는 이유 중 하나입니다¹.

오늘 Google Cloud는 AI 워크로드에 대해 비용 대비 최고의 인텔리전스를 제공하도록 종합적으로 설계된 AI 하이퍼컴퓨터 스택 전반의 새로운 혁신을 소개합니다.

성능 최적화 하드웨어의 발전

Google Cloud는 다양한 컴퓨팅, 네트워킹, 스토리지 옵션을 제공하기 위해 성능 최적화 하드웨어 포트폴리오를 지속적으로 확장하고 있습니다.

7세대 TPU인 Ironwood: 추론을 위해 설계된 Ironwood는 이전 세대인 Trillium에 비해 5배 더 큰 최대 컴퓨팅 용량과 6배 더 큰 고대역폭 메모리(HBM) 용량을 제공합니다. Ironwood는 256개 칩 또는 9,216개 칩의 두 가지 구성으로 제공되며, 각각 단일 수직 확장 포드로 사용할 수 있습니다. 더 큰 포드는 42.5엑사플롭의 놀라운 컴퓨팅 성능을 제공합니다. Ironwood는 Trillium에 비해 전력 효율이 2배 더 높아 와트당 가치가 훨씬 더 높습니다. 개발자는 PyTorch와 JAX 전반에 걸쳐 최적화된 스택을 통해 Ironwood에 액세스할 수 있습니다. 이 획기적인 TPU에 대한 자세한 내용은 여기에서 확인하세요.

A4 및 A4X VM: Google Cloud는 A4 및 A4X VM과 함께 NVIDIA B200 및 GB200 NVL72 GPU를 모두 제공하는 최초의 하이퍼스케일러입니다. 지난달 Google Cloud는 NVIDIA GTC에서 A4 VM(NVIDIA B200)의 정식 버전을 발표했으며, A4X VM(NVIDIA GB200)은 현재 프리뷰 버전으로 제공되고 있습니다. A4 및 A4X에 대한 자세한 내용은 여기에서 확인하세요.

네트워킹 강화: AI 워크로드에 필요한 지연 시간이 매우 짧은 환경을 지원하기 위해 Google Cloud의 새로운 400G Cloud Interconnect 및 Cross-Cloud Interconnect는 기존 100G Cloud Interconnect 및 Cross-Cloud Interconnect보다 최대 4배 더 많은 대역폭을 제공해 온프레미스 또는 기타 클라우드 환경에서 Google Cloud에 대한 연결을 제공합니다. 자세한 내용은 여기를 클릭해 오늘 게시된 네트워킹 블로그 내용을 확인하세요.

Hyperdisk Exapools: 하이퍼스케일러 가운데 AI 클러스터당 가장 높은 성능과 용량을 갖춘 블록 스토리지로, 얇게 프로비저닝된 단일 풀에서 최대 엑사바이트 수준의 블록 스토리지 용량과 초당 수 테라바이트의 처리량을 프로비저닝할 수 있습니다.

Rapid Storage: 최적의 활용을 위해 기본 스토리지를 TPU 또는 GPU와 함께 코로케이션할 수 있는 새로운 Cloud Storage 영역 버킷입니다. Cloud Storage 리전별 버킷보다 최대 20배 빠른 임의 읽기 데이터 로드를 제공합니다.

Cloud Storage Anywhere Cache: 기존 리전별 버킷과 함께 작동해 선택한 영역 내에서 데이터를 캐싱하는 강력한 일관성을 갖춘 새로운 읽기 캐시입니다. Anywhere Cache는 데이터를 가속기에 가깝게 유지해 지연 시간을 70% 단축함으로써 실시간 반응형 추론 상호작용을 지원합니다. 자세한 내용은 여기를 클릭해 스토리지 혁신 블로그를 참고하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 인프라를 체험할 수 있는 $300 무료 크레딧 제공'), ('body', <wagtail.rich_text.RichText object at 0x7fda0d29a5d0>), ('btn_text', '무료 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/compute'), ('image', None)])]>

학습 및 추론을 위한 개방형 소프트웨어 기능

하드웨어의 진정한 가치는 공동 설계된 소프트웨어를 통해 실현됩니다. AI 하이퍼컴퓨터의 소프트웨어 레이어는 AI 실무자와 엔지니어가 PyTorch, JAX, vLLM, Keras와 같은 개방형의 인기 ML 프레임워크와 라이브러리를 통해 더 빠르게 작업할 수 있도록 지원합니다. 인프라팀은 배포 시간을 단축하고 비용 효율적으로 리소스를 활용할 수 있게 됩니다. Google Cloud는 AI 학습과 추론을 위한 소프트웨어에서 상당한 진전을 이루었습니다.

Pathways on Cloud: Google DeepMind에서 개발한 Pathways는 Google의 내부 대규모 학습 및 추론 인프라를 지원하는 분산 런타임으로, 이제 Google Cloud에서 처음으로 제공됩니다. 추론을 지원하기 위해 분할 서빙과 같은 기능이 포함됩니다. 분할 서빙은 별도의 컴퓨팅 단위에서 추론 워크로드의 사전 입력 및 디코딩 단계를 동적으로 확장할 수 있도록 하며, 각 단계가 독립적으로 확장되어 지연 시간이 매우 짧고 처리량이 높습니다. 이 기능은 처리량이 높고 지연 시간이 짧은 추론 라이브러리인 JetStream을 통해 고객에게 제공됩니다. 또한 Pathways는 탄력적 학습을 지원해 학습 워크로드가 장애 발생 시 자동으로 축소되고 복구 시 수직 확장되며, 동시에 연속성을 유지합니다. Pathways 아키텍처의 추가 사용 사례를 비롯해 Pathways on Cloud에 대해 자세히 알아보려면 이 문서를 확인하세요.

높은 성능과 안정성으로 모델 학습

학습 워크로드는 수천 개의 노드에서 실행되는 고도로 동기화된 작업입니다. 단일 노드의 성능 저하만으로도 전체 작업이 중단될 수 있으며, 이는 출시 지연과 비용 증가로 이어질 수 있습니다. 클러스터를 빠르게 프로비저닝하려면 근접한 특정 모델 아키텍처에 맞게 조정된 VM이 필요합니다. 또한 노드 장애를 예측하고 신속하게 문제를 해결하며, 장애 발생 시 워크로드 연속성을 보장할 수 있는 기능도 필요합니다.

GKE용 Cluster Director 및 Slurm용 Cluster Director. Cluster Director(기존 Hypercompute Cluster)를 사용하면 물리적으로 함께 배치된 VM, 타겟팅된 워크로드 배치, 고급 클러스터 유지보수 제어, 토폴로지 인식 예약을 통해 가속기 그룹을 단일 단위로 배포하고 관리할 수 있습니다. 오늘 Google Cloud는 올해 말에 출시될 Cluster Director의 새로운 업데이트를 발표합니다.

Slurm용 Cluster Director는 Slurm 클러스터를 프로비저닝하고 운영하기 위한 간소화된 UI와 API를 갖춘 완전 관리형 Slurm 제품입니다. 여기에는 안정적이고 반복 가능한 배포를 위해 사전 구성된 소프트웨어를 사용한 일반적인 워크로드의 청사진이 포함됩니다.
360° 관측 가능성 기능에는 클러스터 사용률, 상태, 성능을 모니터링하는 대시보드와 AI 상태 예측, 낙오 항목 감지와 같은 고급 기능이 포함되며, 개별 노드 수준에서 장애를 선제적으로 감지하고 해결합니다.
자동화된 전체 상태 점검 등 작업 연속성 기능을 통해 Fleet를 지속적으로 모니터링하고 비정상 노드를 선제적으로 교체합니다. 결과적으로 다단계 체크포인팅을 통해 더 빠른 저장 및 검색이 가능해져 성능이 저하된 클러스터에서도 중단 없는 학습이 가능합니다.

GKE용 Cluster Director가 출시되면 새로운 Cluster Director 기능이 기본적으로 지원됩니다. Slurm용 Cluster Director는 GPU와 TPU를 모두 지원하며 몇 달 내로 출시될 예정입니다. 등록하여 사전 체험판을 이용하세요.

규모와 상관없이 효율적으로 추론 워크로드 실행

지난해 AI 추론은 급격히 발전했습니다. 더 길고 가변성이 높은 컨텍스트 윈도우로 인해 상호작용이 더욱 정교해지고 있으며, 추론 및 다단계 추론으로 인해 컴퓨팅 수요가 점차 학습에서 추론 시간으로(테스트 시간 확장) 이동하고 그에 따라 비용도 증가하고 있습니다. 최종 사용자를 위한 유용한 AI 애플리케이션을 지원하려면 현재와 미래의 상호작용을 효율적으로 지원할 수 있는 소프트웨어가 필요합니다.

GKE의 AI 추론 기능 발표: Inference Gateway 및 Inference Quickstart

GKE Inference Gateway는 지능형 확장 및 부하 분산 기능을 제공하여 생성형 AI 모델 인식 확장 및 부하 분산 기법으로 요청 예약 및 라우팅을 처리할 수 있도록 지원합니다.
GKE Inference Quickstart를 사용하면 AI 모델과 원하는 성능을 선택할 수 있으며 GKE가 이에 맞게 적절한 인프라, 가속기, Kubernetes 리소스를 구성해 줍니다.

두 기능 모두 현재 프리뷰 버전으로 제공되며, 두 기능을 함께 사용하면 다른 관리형 및 오픈소스 Kubernetes 제품에 비해 서빙 비용을 30% 이상 줄이고 지연 시간을 60% 줄이며 처리량을 최대 40%까지 높일 수 있습니다.

TPU용 vLLM 지원: vLLM은 빠르고 효율적인 추론 라이브러리로 잘 알려져 있습니다. 이제 vLLM을 사용해 TPU에서 손쉽게 추론을 실행하고, 소프트웨어 스택을 변경하지 않고도 몇 가지 구성만 변경하여 TPU의 가격 대비 성능 이점을 누릴 수 있습니다. vLLM은 Compute Engine, GKE, Vertex AI, Dataflow에서 지원됩니다. 또한 GKE 커스텀 컴퓨팅 클래스를 사용하면 동일한 vLLM 배포 내에서 TPU와 GPU를 함께 사용할 수 있습니다.

더욱 유연한 소비

동적 워크로드 스케줄러(DWS)는 가속기에 저렴한 비용으로 쉽게 액세스할 수 있도록 지원하는 리소스 관리 및 작업 예약 플랫폼입니다. 오늘 Google Cloud는 DWS 가속기 지원 확대를 발표합니다. TPU v5e, Trillium, A3 Ultra(NVIDIA H200), A4(NVIDIA B200) VM을 flex-start 모드를 통해 프리뷰 버전으로 지원하며, 이달 말에는 TPU에 대한 캘린더 모드 지원이 제공될 예정입니다. 또한 flex-start 모드에서는 리소스를 즉시 프로비저닝하고 동적으로 확장할 수 있는 새로운 프로비저닝 방법을 지원하므로 장기 실행 추론 워크로드와 더 다양한 범위의 학습 워크로드에 적합합니다. 이는 모든 노드를 동시에 프로비저닝해야 하는 flex-start 모드의 큐 프로비저닝 방법과는 별도로 제공됩니다.

Next '25에서 AI 하이퍼컴퓨터에 대해 알아보기

최신 소식을 놓치지 마세요. 이벤트 웹사이트에서 모든 발표와 심층 분석을 만나보세요. 컴퓨팅 및 AI 인프라의 다음 단계를 시작으로 다음 세션을 확인해 보세요.

_{1. arXiv (LMArena), Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, Wei-Lin Chiang, Lianmin Zheng, Ying Sheng, Anastasios 1 Nikolas Angelopoulos, Tianle Li, Dacheng Li, Hao Zhang, Banghua Zhu, Michael Jordan, Joseph E. Gonzalez, Ion Stoica, 2024. 2025년 3월 19일 기준 정보입니다. 이 벤치마크는 모델 출력 품질(인간 검토자가 판단)을 출력 생성에 필요한 가격/100만 토큰과 비교하여 효율성을 비교합니다. 여기서 '인텔리전스'란 모델 출력 품질에 대한 인간의 인식을 의미합니다.}

인스턴트 스냅샷: Compute Engine 워크로드의 오류와 손상 방지

Mon, 17 Mar 2025 10:57:00 +0000

* 본 아티클의 원문은 2024년 8월 31일 Google Cloud 블로그(영문)에 게재되었습니다.

여러분이 애플리케이션 관리자이고 1시간의 유지보수 동안 애플리케이션 업그레이드를 수행해야 하는데 갑자기 업그레이드에 실패했다고 생각해 보세요. 이런 상황에서는 롤백 절차를 시작하게 됩니다. 일반적인 롤백 과정에서는 정기적인 스냅샷을 바탕으로 몇 분간 복구를 진행하게 되는데, 작업 완료에 필요한 시간은 복원할 데이터양에 따라 달라집니다. 애플리케이션의 사전 업그레이드 복제본을 바탕으로 복원하는 방법도 있지만 이는 유지 비용이 많이 든다는 단점이 있습니다.

유지보수 기간을 더 여유롭게 확보하고 롤백 시간도 예측할 수 있으며 비용 효율적이면서도 디스크 크기에 구애받지 않는 아주 빠른 복구 솔루션이 있다면 어떨까요?

오늘 소개해 드릴 Compute Engine의 인스턴트 스냅샷은 필요에 따라 신속하게 복원 가능하도록 거의 즉각적인 고빈도 특정 시점 디스크 체크포인트를 제공합니다.

인스턴트 스냅샷은 몇 초 단위의 목표 복구 시간(RPO)과 수십 초 단위의 복구 시간 목표(RTO)를 제공합니다. Google Cloud는 단 몇 초면 복구가 가능한 고성능 체크포인트를 제공하는 유일한 하이퍼스케일러입니다. 타사 하이퍼스케일러를 사용할 경우 워크로드가 최대 성능으로 복구되기까지 수십 분 또는 몇 시간이 걸릴 수 있지만 인스턴트 스냅샷으로 복구를 진행하면 Compute Engine 워크로드가 최대 디스크 성능으로 즉시 실행됩니다.

Compute Engine의 인스턴트 스냅샷을 사용해 복구를 진행하려면 핵심 인프라에 아무 문제가 없어야 하며 데이터를 이전 상태로 롤백해야 합니다. 일반적인 사용 사례는 다음과 같습니다.

사용자 오류, 애플리케이션 소프트웨어 장애, 파일 시스템 손상을 신속하게 복구합니다.
데이터베이스 워크로드 등을 위한 백업 인증 워크플로에서 주기적인 스냅샷을 생성한 뒤 즉시 복원하여 데이터 일관성 검사를 실행합니다.
예정된 유지보수에 실패한 경우 신속한 롤백이 가능하도록 애플리케이션 업그레이드 전에 복원 지점을 설정합니다.

위 사용 사례 외에도 인스턴트 스냅샷을 사용하면 다음과 같은 이점이 있습니다.

개발자 생산성 개선: 빠른 개발 주기에서 빌드 시간이 길거나 코드가 복잡한 경우 실수로 인한 오류가 발생하거나 빌드에 실패하면 작업을 완료하는 데 걸리는 시간이 늘어납니다. 인스턴트 스냅샷을 사용하면 외부 백업에 의존하지 않아도 빠른 복원이 가능합니다.
백업 전 상태 확인: 수행한 백업이 사용 가능하고 원하는 상태인지 확인할 수 있습니다. 장기 백업을 시작하기 전에 인스턴트 스냅샷을 사용해 디스크를 검사하고 클론하여 예비 머신에서 확인할 수 있습니다.
백업 빈도 증가: 인스턴트 스냅샷을 사용하면 긴 백업 시간을 기다릴 여유가 없는 대용량의 비즈니스 크리티컬 데이터베이스를 더 자주 백업할 수 있습니다.

인스턴트 스냅샷의 주요 특징

Compute Engine 인스턴트 스냅샷은 기존 스냅샷에 비해 더 많은 이점을 가지고 있습니다.

인플레이스 백업: 인스턴트 스냅샷은 영역 디스크 또는 리전 디스크에 생성되며 소스 디스크 및 미디어 유형과 동일한 위치에 저장됩니다. 다시 말해 SDD 또는 HDD 유형의 디스크에서 생성된 인스턴트 스냅샷은 동일한 디스크에 저장됩니다. 인스턴트 스냅샷은 생성 시 고정 요금이 부과되며 사용하는 스토리지가 늘어남에 따라 추가 요금이 책정됩니다.
신속성 및 증분성: 인스턴트 스냅샷은 몇 초면 생성되며 각 인스턴트 스냅샷에는 이전 인스턴트 스냅샷이 생성된 이후 변경된 증분 데이터 블록만 저장됩니다. 스냅샷 생성 빈도가 훨씬 높기 때문에 백업 스냅샷보다 더 자주 스냅샷을 생성할 수 있습니다.
빠른 디스크 복원: 단 몇 초면 각 인스턴트 스냅샷을 새 디스크에 복원할 수 있습니다. 이러한 새 디스크는 스냅샷과 동일한 영역에 위치하며 해당 디스크 유형을 상속합니다.
백업 또는 보관 파일로 변환 가능: 장기 지리적 중복 스토리지를 위한 보조 접속 지점으로 인스턴트 스냅샷을 옮길 수 있습니다.

인스턴트 스냅샷의 실행 방식

인스턴트 스냅샷은 초기 체크포인트와 비교하여 변경된 데이터만 저장하기 때문에 몇 초면 생성이 가능합니다.

따라서 위 예시에서도 인스턴트 스냅샷 생성 시 체크포인트가 만들어지지만 이 디스크의 세 번째 블록에 새 데이터를 덮어쓸 때만 데이터가 저장됩니다. 여기에서 블록 6 및 7에 데이터를 쓴 것처럼 데이터를 추가한 경우에도 체크포인트에 추가 스토리지가 필요하지 않습니다.

스토리지를 아주 효율적으로 사용할 수 있을 뿐 아니라 성능 효율성 또한 탁월한 셈입니다. 인스턴트 스냅샷 생성 시 기본 디스크의 성능에 아무 영향을 미치지 않으며, 앞서 언급했듯이 단 몇 초면 인스턴트 스냅샷을 만들고 복원할 수 있습니다.

표준 변경 관리 및 유지보수 과정에서 이와 같은 스토리지와 성능, 비용 효율성을 갖춘 인스턴트 스냅샷을 사용하면 워크로드를 더욱 쉽고 효율적으로 보호할 수 있습니다.

스냅샷 유형 비교

다음과 같은 인스턴트 스냅샷의 여러 가지 성능 특성 개요에서 표준 백업 스냅샷과의 차이점을 살펴보세요.

사용 사례

애플리케이션 관리자인 Maya는 영구 디스크 볼륨에 호스팅된 소프트웨어를 업그레이드해야 합니다. 이 작업에 주어진 유지보수 기간은 단 1시간입니다. 유지보수 기간이 끝난 후 볼륨에 새 소프트웨어가 포함되어 있으면 업그레이드에 성공한 것이며, 업그레이드에 실패할 경우 유지보수 기간이 시작되기 직전과 정확히 동일한 상태, 즉 롤백 상태가 됩니다.

정기적인 스냅샷과 인스턴트 스냅샷 사용 시 Maya의 워크플로가 어떻게 달라지는지 비교해 보세요.

지금 바로 사용하기

인스턴트 스냅샷은 거의 즉각적인 온디바이스 특정 시점 백업을 제공하여 신속한 복원과 고빈도 백업을 지원합니다. 또한 애플리케이션 업그레이드 기간을 최적화하고 외부 백업에 드는 시간을 절약하는 데 도움이 되며 업그레이드 실패 또는 사용자 오류 발생 시 빠른 복원을 가능하게 합니다.

Persistent Disk 인스턴트 스냅샷을 활용하는 방법은 인스턴트 스냅샷 문서 페이지를 참조하세요.

블록 스토리지 성능을 훨씬 간단하게 계획하고 관리하는 방법

Mon, 17 Mar 2025 05:20:00 +0000

* 본 아티클의 원문은 2024년 9월 4일 Google Cloud 블로그(영문)에 게재되었습니다.

2024년 초 Google Cloud는 블록 스토리지 용량을 간편하게 관리하고 총소유비용(TCO)을 절감하는 데 도움이 되는 Hyperdisk Storage Pool의 고급 용량 정식 버전을 발표했습니다. 이제, 이와 동일한 수준의 혁신을 블록 스토리지 성능에 제공할 Hyperdisk Storage Pool의 고급 성능 유형을 소개합니다. 이제 애플리케이션이 데이터를 읽고 씀에 따라 Hyperdisk Storage Pool이 동적으로 할당하는 IOPS와 처리량을 종합적으로 프로비저닝하여 리소스 사용률을 높이고 성능 계획 및 관리를 대폭 간소화할 수 있습니다.

Google Cloud 콘솔에서 지금 바로 고급 성능 스토리지 풀을 시작할 수 있습니다. 고급 성능 스토리지 풀은 Google Cloud에서 제공하는 Hyperdisk 블록 스토리지 제품군의 일부로, 여기에서 자세히 알아보실 수 있습니다.

난제: 적절한 양의 성능 리소스 프로비저닝하기

많은 고객이 모든 블록 스토리지 성능 리소스를 활용하는 일과 워크로드를 성공적으로 처리하기 위해 필요한 리소스를 확보하는 일 사이에서 균형을 이루는 데 어려움을 느끼고 있습니다. 이러한 상황의 근본 원인은 '피크의 합'이라고도 하는 문제에서 찾을 수 있습니다. 고객은 워크로드의 성능이 저하되지 않게 하기 위해 그동안의 관찰을 바탕으로 블록 스토리지를 최대 성능으로 프로비저닝하는 경우가 많지만, 대부분의 경우 디스크가 소비하는 성능은 이보다 훨씬 적습니다. 이는 디스크의 성능 사용률이 만성적으로 낮다는 의미입니다. 이러한 현상은 아래와 같이 시각화할 수 있습니다.

고급 성능 스토리지 풀을 통해 40~50% 더 낮은 TCO 달성하기

Google Cloud는 이 문제를 해결하기 위해 Hyperdisk Storage Pool의 고급 성능 유형을 마련했습니다. 고급 성능 스토리지 풀을 사용하면 워크로드의 성공적인 처리와 높은 성능 사용률 사이에서 고민할 필요가 없습니다. Hyperdisk Storage Pool의 고급 성능 유형에서는 사용자가 성능을 종합적으로 프로비저닝하고, 스토리지 풀이 필요에 따라 풀 내 디스크 전반에 리소스를 지능적으로 배포합니다. 이때 디스크의 작동 방식을 변경하지 않아도 되므로 애플리케이션이 정상적으로 실행됩니다. 애플리케이션의 성공적인 실행이나 리소스 효율성을 타협하는 일 없이 간편하게 성능 니즈를 계획하고 TCO를 절감할 수 있습니다.

몇 가지 워크로드 예시를 통해 Hyperdisk Storage Pool의 고급 성능 유형으로 어떻게 TCO를 낮출 수 있는지 알아보겠습니다. 최대 25,000IOPS(예: 모든 사용자가 동시에 로그인할 경우)가 필요하지만 안정적인 상태에서는 10,000IOPS가 필요한 엔터프라이즈 애플리케이션 제품군과 최대 75,000IOPS(예: 분기 보고서 제출 마감일인 경우)가 필요하지만 안정적인 상태에서는 35,000IOPS가 필요한 데이터베이스 워크로드가 있다고 가정해 보겠습니다. 풀 외부에서 이러한 워크로드의 성능 사용률은 40~45%일 겁니다. 안정적인 상태에서의 성능은 프로비저닝된 성능의 절반 수준이기 때문입니다. 하지만 Hyperdisk Storage Pool 고급 성능 유형의 동적 리소스 할당을 사용하면 이러한 워크로드를 약 80%의 사용률로 실행할 수 있으며, 고객은 워크로드를 변경할 필요 없이 프로비저닝해야 하는 성능 리소스를 대폭 줄이고 TCO를 40~55% 절감할 수 있습니다.

블록 스토리지 성능 간소화 및 계획

고급 성능 스토리지 풀은 성능 리소스를 프로비저닝하는 방법을 근본적으로 혁신합니다. 지금까지 인프라 관리자는 낮은 사용률을 감수하고 성능을 최적화하는 방안과 애플리케이션 오류의 리스크를 감수하고 효율성을 최적화하는 방안 중 하나를 선택해야 했습니다. 즉, 각 볼륨의 성능을 적극적으로 관리하고 반복적인 관리 업무를 감당해야 했습니다.

Hyperdisk 고급 성능 스토리지 풀은 블록 스토리지 성능 관리를 간단하게 만들어 줍니다. 고급 성능 스토리지 풀의 디스크 IOPS와 처리량은 '씬 프로비저닝'됩니다. 다시 말해, 디스크 수준에서 성능을 프로비저닝할 때 리소스를 소비하지 않으며 풀에 풀 내 디스크의 최대 5배에 달하는 IOPS 및 처리량을 프로비저닝할 수 있습니다. 그러면 더 이상 각 디스크의 성능 니즈를 정확하게 예측할 필요가 없으므로 배포를 계획하기가 쉬워지며, 각 디스크에 할당된 IOPS와 처리량을 적극적으로 관리하지 않아도 되기 때문에 높은 효율성을 달성하게 됩니다. 필요한 만큼 높은 성능을 갖춘 디스크를 간단히 만들고, 필요할 때 고급 성능 스토리지 풀이 리소스를 할당하도록 할 수 있습니다.

고급 성능 스토리지 풀을 초기에 이용한 REWE 같은 고객은 그 가치를 직접 경험했습니다.

"REWE에서는 배포를 계획할 때 애플리케이션의 성능 급증을 예측해야 한다는 고충이 있었습니다. 스토리지 리소스의 성능 사용률을 적극적으로 관리하는 일은 더 어려웠죠. 고급 성능 스토리지 풀 덕분에 이 두 문제를 모두 해결할 수 있었습니다. 인프라에 고급 성능 풀을 도입하여 TCO와 반복 업무를 줄일 수 있게 되어 정말 후련합니다." – Jan Rundshagen, REWE 인프라 관리자

시작하기

Hyperdisk Storage Pool을 만드는 것과 동일한 워크플로를 통해 Hyperdisk 고급 성능 스토리지 풀을 시작할 수 있습니다. Google Cloud 콘솔에 로그인하고 Compute Engine으로 이동해 스토리지를 찾으세요. 그런 다음 스토리지 풀을 만들고 볼륨 유형(균형 또는 처리량)과 고급 성능을 선택하고 풀에 필요한 전체 용량과 성능을 설정합니다. 풀에 새 Hyperdisk 볼륨을 만드는 데에서 시작하면 기존 스토리지 풀처럼 풀의 용량을 공유하는 것은 물론 리소스 전반에 동적으로 성능을 공유할 수 있다는 또 다른 이점이 있습니다.

고급 성능 스토리지 풀을 통해 애플리케이션의 성능 효율성을 달성하고 관리하는 방식을 근본적으로 개선할 수 있기를 바랍니다. Hyperdisk 고급 성능 스토리지 풀은 현재 여러 리전과 영역에 출시되고 있습니다. 지금 바로 Google Cloud 콘솔에서 고급 성능 스토리지 풀 사용을 시작하거나 관련 문서에서 고급 성능 스토리지 풀을 만들고, 사용하고, 관리하는 방법을 자세히 알아보세요.

Google Cloud 6세대 TPU, Trillium 정식 버전 출시 발표

Thu, 16 Jan 2025 05:33:00 +0000

* 본 아티클의 원문은 2024년 12월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

텍스트, 이미지와 같은 다양한 형식을 처리할 수 있는 대규모 AI 모델이 등장하면서 인프라 측면에서 고유한 과제도 생겨났습니다. 이러한 모델은 학습, 파인 튜닝, 추론을 효율적으로 처리하기 위해 막대한 컴퓨팅 성능과 특수한 하드웨어가 필요합니다. Google은 10여 년 전에 증가하는 AI 워크로드 수요에 대응하기 위해 커스텀 AI 가속기인 Tensor Processing Unit(TPU)을 개발하기 시작하면서 멀티모달 AI를 위한 기반을 마련했습니다.

Google Cloud는 올해 6세대이자 현존하는 가장 강력한 TPU인 Trillium을 발표했습니다. 이제 Trillium이 Google Cloud 고객에게 정식 버전으로 출시됩니다.

Google Cloud는 Trillium TPU를 사용하여 역대 가장 강력한 Google AI 모델인 새로운 Gemini 2.0을 학습시켰습니다. 이제 기업과 스타트업 모두 이와 동일한 인프라의 강력한 성능, 효율성, 지속 가능성을 활용할 수 있습니다.

Trillium TPU는 성능에 최적화된 하드웨어, 개방형 소프트웨어, 선도적인 ML 프레임워크, 유연한 소비 모델로 구성된 통합 시스템을 활용하는 획기적인 슈퍼컴퓨터 아키텍처인 Google Cloud AI Hypercomputer의 핵심 구성요소입니다. Google은 Trillium TPU의 정식 버전 출시에 따라 AI Hypercomputer의 개방형 소프트웨어 레이어에도 중요한 개선 사항을 적용하고 있습니다. 이러한 개선 사항에는 AI 학습, 튜닝, 서빙 전반에서 대규모로 최고의 가성비를 달성하기 위한 JAX, PyTorch, TensorFlow 등 인기 있는 프레임워크와 XLA 컴파일러의 최적화 등이 포함됩니다. 또한 대용량 호스트 DRAM을 사용하는 호스트 오프로딩과 같은 기능(고대역폭 메모리, 즉 HBM 보완)은 효율성의 수준을 한 차원 높입니다. AI Hypercomputer를 사용하면 초당 13페타비트의 바이섹션 대역폭을 갖추고 Jupiter 네트워크 패브릭당 100,000여 개의 전례 없는 Trillium 칩 배포로 최대한의 가치를 끌어낼 수 있으며, 이를 통해 단일 분산 학습 작업을 수십만 개의 가속기로 확장할 수 있습니다.

이미 AI21 Labs와 같은 고객사는 Trillium을 사용하여 고객에게 효과적인 AI 솔루션을 더 빠르게 제공하고 있습니다.

“AI21은 Mamba 및 Jamba 언어 모델의 성능과 효율성을 개선하기 위해 지속적으로 노력하고 있습니다. v4부터 오랜 기간 TPU를 사용해 온 입장에서 볼 때 Google Cloud Trillium의 기능은 매우 놀라운 수준입니다. 규모, 속도, 비용 효율성에서 큰 발전을 이루었습니다. 앞으로 Trillium은 정교한 차세대 언어 모델 개발을 앞당기는 데 핵심이 되어 AI21이 더욱 강력하고 접근성 높은 AI 솔루션을 고객에게 제공하도록 지원할 것입니다." - Barak Lenz, AI21 Labs CTO

이전 세대 대비 Trillium의 주요 개선 사항은 다음과 같습니다.

학습 성능 4배 이상 개선
추론 처리량 최대 3배 증가
에너지 효율성 67% 향상
칩당 최대 컴퓨팅 성능의 유의미한 4.7배 증대
고대역폭 메모리(HBM) 용량 두 배 증가
칩 간 상호 연결(ICI) 대역폭 두 배 증가
단일 Jupiter 네트워크 패브릭에 10만 개의 Trillium 칩
달러당 학습 성능 최대 2.5배 개선, 달러당 추론 성능 최대 1.4배 개선

이러한 개선을 통해 Trillium은 다음을 포함한 광범위한 AI 워크로드에서 뛰어난 성능을 발휘합니다.

AI 학습 워크로드 확장
밀집형 및 전문가 망(MoE) 모델을 포함한 LLM 학습
추론 성능 및 컬렉션 예약
임베딩을 많이 사용하는 모델
우수한 학습 및 추론 가성비 제공

이러한 각 워크로드에서 Trillium의 성능을 살펴보겠습니다.

AI 학습 워크로드 확장

Gemini 2.0과 같은 대용량 모델을 학습시키기 위해서는 방대한 데이터와 계산이 필요합니다. Trillium의 선형에 가까운 확장 기능을 통해 이러한 모델을 훨씬 더 빠르게 학습시킬 수 있습니다. 256칩 포드 내 고속 칩 간 상호 연결과 Google Cloud의 첨단 Jupiter 데이터 센터 네트워킹을 통해 연결된 다수의 Trillium 호스트 전반에 워크로드가 효과적이고 효율적으로 분산됩니다. 이를 위해 TPU 멀티슬라이스 및 대규모 학습을 위한 풀 스택 기술이 사용되며, Trillium의 확장 기능은 호스트 어댑터에서 네트워크 패브릭에 이르는 동적 데이터 센터 전체 오프로드 시스템인 Titanium을 통해 더욱 최적화됩니다.

Trillium은 3,072개의 칩이 있는 12개의 포드 배포로 확장 효율성 99%를 달성하며, 데이터 센터 네트워크 전반에서 작동하면서 gpt3-175b를 선행 학습시키는 경우에도 6,144개의 칩이 있는 24개의 포드에서 94%의 확장 효율성을 보여줍니다.

그림 1. 소스 데이터: Google 벤치마크 및 MLPerf™ 4.1. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다.

위 그래프에서는 4슬라이스 Trillium-256 칩 포드를 기준으로 사용하지만 1슬라이스 Trillium-256 칩 포드를 기준으로 사용하더라도 24개의 포드로 확장 시 90%가 넘는 확장 효율성을 얻을 수 있습니다.

Google Cloud의 테스트 결과, Llama-2-70B 모델 학습에서 Trillium은 99%의 확장 효율성을 보이며 4슬라이스 Trillium-256 칩 포드에서 36슬라이스 Trillium-256 칩 포드로 선형에 가깝게 확장한다는 점이 입증되었습니다.

그림 2. 소스 데이터: 4k 시퀀스 길이에서 MaxText 참조 구현을 사용한 Google 벤치마크. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다.

Trillium TPU는 이전 세대에 비해 훨씬 더 높은 확장 효율성을 보입니다. 아래 그래프는 Google Cloud의 테스트 결과, 동일한 규모(총 피크 FLOPS)의 Cloud TPU v5p 클러스터와 비교 시 12포드 규모에서 Trillium의 확장 효율성이 99%임을 보여줍니다.

그림 3. 소스 데이터: Trillium(프리뷰)과 v5p에서 gpt3-175b 학습 작업을 진행한 MLPerf™ 4.1의 학습 종료 결과. 2024년 11월 기준: Trillium과 Cloud TPU v5p의 약한 확장 비교. v5p-4096 및 4xTrillium-256은 배율 측정의 기준으로 간주됩니다. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다. v5p-n은 단일 ICI 도메인에서 n/2개의 v5p 칩에 해당합니다.

밀집형 및 전문가 망(MoE) 모델을 포함한 LLM 학습

Gemini와 같은 LLM은 본질적으로 강력하고 복잡하며 수십억 개의 파라미터가 있습니다. 이러한 밀집형 LLM을 학습시키려면 막대한 컴퓨팅 성능과 공동 설계된 소프트웨어 최적화가 필요합니다. Trillium은 이전 세대 Cloud TPU v5e와 비교해 Llama-2-70b 및 gpt3-175b와 같은 밀집형 LLM의 학습 속도를 최대 4배 앞당깁니다.

그림 4. 소스 데이터: v5e 및 Trillium에서 단계 시간 실행에 대한 Google 벤치마크

밀집형 LLM 외에, 전문가 망(MoE) 아키텍처를 사용하는 LLM 학습이 갈수록 인기를 끌고 있습니다. 이 방식에서는 각각 다른 AI 작업 측면에 특화된 여러 '전문가' 신경망이 사용됩니다. 학습 중 이러한 전문가를 관리하고 조율하는 작업은 단일 모놀리식 모델 학습보다 더 복잡합니다. Trillium은 이전 세대 Cloud TPU v5e와 비교해 MoE 모델의 학습 속도를 최대 3.8배 앞당깁니다.

그림 5. 소스 데이터: v5e 및 Trillium에서 단계 시간 실행에 대한 Google 벤치마크

또한 Trillium TPU는 Cloud TPU v5e에 비해 호스트 동적 랜덤 액세스 메모리(DRAM)가 3배 더 많습니다. 이를 통해 일부 계산을 호스트로 오프로드하여 성능 및 굿풋을 대규모로 극대화할 수 있습니다. Trillium의 호스트 오프로딩 기능은 모델 FLOPS 사용률(MFU)로 측정 시 Llama-3.1-405B 모델 학습에서 50% 넘게 성능을 개선합니다.

추론 성능 및 컬렉션 예약

추론 시점에서 다단계 추론의 중요성이 커지면서 늘어난 컴퓨팅 수요를 효율적으로 처리할 수 있는 가속기가 필요해졌습니다. Trillium은 추론 워크로드를 크게 개선하여 더 빠르고 효율적인 AI 모델 배포를 지원합니다. 실제로 Trillium은 이미지 확산 및 밀집형 LLM을 위한 Google Cloud 최고의 TPU 추론 성능을 자랑합니다. Google Cloud의 테스트 결과, Cloud TPU v5e와 비교할 때 Stable Diffusion XL의 상대 추론 처리량(초당 이미지 수)은 3배 넘게, Llama2-70B의 상대 추론 처리량(초당 토큰 수)은 2배 가까이 높은 것으로 나타났습니다.

Trillium은 오프라인과 서버 추론, 두 가지 사용 사례 모두에서 가장 성능이 우수한 TPU입니다. 아래 그래프는 Cloud TPU v5e에 비해 오프라인 추론에서 상대 처리량(초당 이미지 수)은 3.1배, Stable Diffusion XL 서버 추론에서 상대 처리량은 2.9배 더 높은 것을 보여줍니다.

그림 6. 소스 데이터: MaxDiffusion 참조 구현을 사용한 오프라인 및 온라인 SDXL 사용 사례의 초당 이미지 수에 대한 Google 벤치마크

더 나은 성능 외에 Trillium은 새로운 컬렉션 예약 기능도 제공합니다. 이 기능은 컬렉션에 여러 개의 복제본이 있는 경우 Google의 예약 시스템에서 지능적으로 작업 예약에 관한 의사 결정을 내려 추론 워크로드의 전체적인 가용성과 효율성을 높입니다. 이는 Google Kubernetes Engine(GKE)을 통한 방법을 포함하여 단일 호스트 또는 다중 호스트 추론 워크로드를 실행하는 여러 TPU 슬라이스를 관리하기 위한 방법을 제공합니다. 이러한 슬라이스를 하나의 컬렉션으로 그룹화하면 수요에 맞추어 복제본의 수를 간단히 조정할 수 있습니다.

임베딩을 많이 사용하는 모델

3세대 SparseCore가 추가된 Trillium은 임베딩을 많이 사용하는 모델의 성능을 2배, DLRM DCNv2의 성능을 5배 높여줍니다.

SparseCore는 임베딩 사용량이 많은 워크로드를 위해 적응력이 더 높은 아키텍처 기반을 제공하는 Dataflow 프로세서입니다. Trillium의 3세대 SparseCore는 분산 수집, 희소 구간 합, 파티셔닝과 같은 동적이고 데이터 종속적인 작업의 속도를 높이는 데 효과적입니다.

우수한 학습 및 추론 가성비 제공

Trillium은 세계 최대의 AI 워크로드를 학습시키는 데 필요한 절대적인 성능과 규모 외에, 달러당 성능도 최적화하도록 설계되었습니다. 현재 Trillium은 Llama2-70b, Llama3.1-405b와 같은 밀집형 LLM 학습에서 Cloud TPU v5e에 비해 달러당 최대 2.1배, Cloud TPU v5p에 비해 달러당 최대 2.5배 더 높은 성능을 보입니다.

Trillium은 비용 효율적인 방식으로 대규모 모델의 병렬 처리를 지원하는 데 효과적입니다. 연구원과 개발자가 전보다 훨씬 더 낮은 비용으로 견고하고 효율적인 이미지 모델을 제공할 수 있도록 설계되었습니다. Trillium에서 이미지 1,000개를 생성하는 데 드는 비용은 오프라인 추론에서 Cloud TPU v5e에 비해 27% 낮고, SDXL의 서버 추론에서 Cloud TPU v5e보다 22% 낮습니다.

그림 7. 소스 데이터: MaxDiffusion 참조 구현을 사용한 오프라인 및 온라인 SDXL 사용 사례의 초당 이미지 수에 대한 Google 벤치마크

한 차원 더 높은 AI 혁신

Trillium은 Google Cloud의 AI 인프라에서 있어 큰 도약이며, 다양한 AI 워크로드에서 놀라운 성능과 확장성, 효율성을 제공합니다. 세계 최고 수준의 공동 설계 소프트웨어를 기반으로 수십만 개의 칩으로 확장 가능한 Trillium을 사용하면 더 빠르게 혁신을 달성하고 더 우수한 AI 솔루션을 제공할 수 있습니다. 또한 Trillium은 탁월한 가성비를 통해 AI 투자에서 얻는 가치를 극대화하고자 하는 조직에 비용 효율적인 선택지입니다. AI 환경이 계속 발전함에 따라, Trillium은 기업에서 AI의 잠재력을 최대한 끌어내는 데 기반이 되는 첨단 인프라를 제공하기 위한 Google Cloud의 노력을 방증합니다.

앞으로 AI 혁신의 경계를 넓혀 나가는 데 Trillium과 AI Hypercomputer가 어떻게 활용될지 기대됩니다. 다음 발표 동영상에서 Trillium 시스템이 가장 까다로운 AI 워크로드의 속도를 어떻게 높이는지 확인해 보세요.

Trillium TPU에 대해 자세히 알아보려면 g.co/tpu 페이지로 이동하거나 영업팀에 문의하세요.

머신러닝으로 더 빨라지는 5세대 분산 컴퓨팅 시대의 도래

Thu, 14 Mar 2024 01:00:00 +0000

*본 아티클의 원문은 2024년 2월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

Editor’s note: 오늘은 ML, 시스템, Cloud AI 부문 부사장 겸 총괄 책임자인 Google 펠로우 Amin Vahdat의 의견을 들어보겠습니다. Amin은 2023년 워싱턴 대학교 Allen School의 특강 시리즈를 위한 기조 연설로 처음 이 내용을 발표했습니다. 이 게시물에서는 분산 컴퓨팅의 역사와 현재 상황, 그리고 차세대 컴퓨팅 서비스에 대해 기대할 수 있는 부분에 대한 Amin의 생각을 살펴봅니다.

지난 50년에 걸쳐 컴퓨팅과 통신은 용량과 효율성, 기능 측면에서 기하급수적인 성장을 이어가며 사회의 혁신을 이끌었습니다. 이 기간 동안 기술 커뮤니티는 CPU당 트랜지스터의 수를 5,000만 배 늘렸고 인터넷 규모는 4노드에서 53억 9,000만 노드로 성장시켰습니다.

그 자체로도 놀라운 발전이지만, 이러한 발전의 결과로 얻게 된 인간의 능력은 더욱 경이로운 수준에 이르렀으며 그중에는 이전까지 공상과학 소설에나 나왔을 법한 능력도 있습니다. 계속 진화하는 인간의 지식에 이제 거의 즉각적으로 액세스할 수 있습니다. 우리가 이해할 수 있는지가 관건일 뿐 그 외에는 한계가 없습니다. 실시간 언어 번역을 통해 인간 의사소통의 근본적인 장벽을 허물고 있습니다. 감지 기술과 네트워크 속도가 이에 상응하는 수준으로 발전하면서 원거리에서도 의미 있는 상호작용을 지원하는 홀로그래픽 프로젝션 기술을 실시간으로 구현할 수 있게 되었습니다. 컴퓨팅 역량의 이 같은 폭발적인 발전은 당대의 가장 어려운 과학 및 엔지니어링 과제를 해결하고 있는 차세대 AI 시스템을 움직이는 근간이 되고 있기도 합니다. 이러한 시스템은 예를 들어 단백질의 3D 구조를 거의 즉각적으로, 원자 단위의 정확도로 예측하거나 첨단 텍스트 이미지 변환 (text-to-image diffusion)기술을 구현하여 사용자의 프롬프트에 맞는 실사 수준의 고품질 출력을 제공할 수 있습니다.

기반이 되는 기술 발전의 속도를 유지하는 일은 쉽지 않습니다. 우리는 10~15년마다 근본적인 과제에 직면하는데, 인프라 효율성과 규모의 기하급수적인 성장을 유지하고 이를 통해 완전히 새로운 범주의 서비스를 가동하기 위해서는 근원적인 발명과 혁신으로 이 과제를 해결해야 합니다. 마치 1,000개의 요소가 모두 갈수록 더 어려운, 극복해야 할 새로운 근본적인 한계를 드러내면서 혁신의 기회를 창출하는 것과 같습니다. 컴퓨팅에 대한 근본적인 수요가 끝없이 높아지고 있는 지금이 바로 그러한 분수령의 순간, 즉 한 세대에 한 번 있을까 말까 한 과제에 직면하는 순간이자 놀라운 발전 속도를 유지하고 가속할 수 있는 기회의 순간입니다.

컴퓨팅의 역사를 간단히 돌아보면 각각 컴퓨팅의 '세대'를 나름대로 정의할 수 있는 중대한 전환의 시기가 지금까지 4번 있었습니다. 이제 5세대 컴퓨팅을 정의하고 이끌어야 할 분명한 필요성을 지적하는 역사적 분류 체계가 있습니다. 5세대 컴퓨팅은 데이터 중심의, 선언적이고 결과 지향적인 소프트웨어 정의 컴퓨팅으로 사람들에게 선제적으로 인사이트를 제공하는 데 중점을 둡니다. 과거의 각 세대가 그 이전까지 상상할 수 없었던 일상을 만들었다면, 이번 5세대는 지식과 기회에 대한 접근을 범용화하는 가장 큰 변화를 가져올 것입니다. 그러나 이를 위해서는 여러 스택에 걸쳐 컴퓨팅에서 본질적으로 가장 어려운 몇 가지 과제를 극복해야 합니다.

먼저 0세대부터 돌아보겠습니다. 순수주의자들은 그보다 수천 년 더 과거까지 거슬러 올라가야 한다고 주장할 수 있고 그 말도 일리가 있지만, 이 글에서는 1947년부터 1969년 사이에 일어나 현대적인 컴퓨팅과 통신의 토대를 마련한 컴퓨터 과학의 획기적이고 근본적인 발전부터 시작해 보겠습니다.

1947년: 바딘, 브래튼, 쇼클리가 최초의 작동하는 트랜지스터를 발명함
1948년: 섀넌이 모든 네트워크 통신의 기반인 정보 이론을 발표함
1949년: 컴퓨터에 저장된 프로그램이 작동 가능해짐
1956년: 수준 높은 프로그래밍 언어가 발명됨
1964년: 다양한 하드웨어 세대에 걸쳐 공통된 명령 집합 아키텍처가 등장함
1965년: 무어의 법칙(집적 회로당 트랜지스터 수가 18~24개월마다 두 배로 증가한다는 법칙)이 발표됨
1967년: 멀티 사용자 운영체제에서 보호되는 리소스 공유 기능을 제공함
1969년: 현대 인터넷의 기반인 ARPANET이 등장함

0세대의 끝에서 이러한 혁신은 현대적 컴퓨팅의 기반을 마련했습니다. 즉, 안정적인 명령 집합 아키텍처를 실행하는 집적 회로 기반의 컴퓨터 4대, 그리고 패킷 교환식 인터넷에 연결된 멀티 사용자 시간 공유 운영체제입니다. 얼핏 대단치 않아 보이는 이 기준이 이후 이어지는 세대에서의 기하급수적인 발전을 위한 토대가 되었습니다.

1세대에서 컴퓨터 네트워크는 주로 비동기식으로 사용되었습니다. 네트워크를 통해(예를 들어 FTP를 통해) 데이터를 전송하고, 이 데이터로 작업을 수행한 다음, 결과를 돌려보내는 식이었습니다.

주요 발전 사항: SQL, FTP, 이메일, 텔넷(telnet)
컴퓨터 간 상호작용 시간: 100밀리초
특징:
• 대역폭은 낮고, 지연 시간은 높은 네트워크
• 고가의 컴퓨터 간에 쌍방 상호작용은 거의 없음
• 사람과의 문자 키 입력 상호작용
• 오픈소스 소프트웨어의 등장
혁신: 개인용 컴퓨터

2세대에 이르러서는 네트워크 속도의 향상, 개인용 컴퓨터/워크스테이션의 보편화, 광범위하고 상호 운용 가능한 프로토콜(IP, TCP, NFS, HTTP) 덕분에 동기식의 투명한 컴퓨팅과 통신이 널리 확산되었습니다.

주요 발전 사항: 리모트 프로시저 호출, 클라이언트/서버 컴퓨팅, LAN, 리더 선출 및 합의
컴퓨터 간 상호작용 시간: 10밀리초
특징:
• 10Mbps 네트워크
• TCP/IP 덕분에 인터넷 아키텍처가 전역적으로 확장
• 완전한 32비트 CPU가 단일 칩에 탑재
• 여러 컴퓨터 간의 공유 리소스
혁신: 월드 와이드 웹(WWW)

3세대에서는 HTTP와 WWW의 진정한 혁신이 네트워크 컴퓨팅의 대중화를 이끌면서 개인 컴퓨팅의 한계를 돌파했습니다. 인터넷의 지속적이고 기하급수적인 발전과 전 세계 사용자의 니즈에 발맞춰 나가는 과정에서 현대 컴퓨팅의 많은 설계 패턴이 이 시기에 확립되었습니다.

3세대를 이끈 동력 중 하나는 단일 CPU 코어의 최대 클록 주파수를 본질적으로 제한했던 데나드 스케일링의 종말이었습니다. 이러한 한계로 인해 업계에서는 멀티코어 아키텍처를 도입하게 되었고 비동기식, 멀티 스레드, 동시 실행 개발 환경으로 전환해야 했습니다.

주요 발전 사항: HTTP, 3계층 서비스, 대규모 클러스터, 웹 검색
컴퓨터 간 상호작용 시간: 1밀리초
특징:
• 100Mbps~1Gbs 네트워크
• 자율 시스템/BGP
• 복잡한 앱이 더 이상 단일 서버에 맞지 않아 다수의 서버로 확장
• 웹 색인 생성 및 검색, 인구 규모의 이메일
혁신: 클러스터 기반 인터넷 서비스, 모바일 우선 설계, 멀티스레딩, 명령어 수준 병렬 처리

4세대는 보편적인 이동통신 기기를 통해 수십억 명의 사람들이 사용할 수 있는 전 세계적 규모의 서비스를 구현했습니다. 이와 함께 머신러닝의 르네상스는 더 많은 실시간 제어와 인사이트를 이끌어냈습니다. 이 모든 것의 근간은 방대한 데이터 세트를 실시간으로 처리하는, 고속 네트워크로 상호 연결된 대규모 상용 컴퓨터 클러스터였습니다.

주요 발전 사항: 전역적인 모바일 데이터 범위, 전 세계적인 규모의 서비스, 동영상의 보편화
컴퓨터 간 상호작용 시간: 100마이크로초
특징:
• 10~100Gbps 네트워크, 플래시
• CPU 소켓당 여러 개의 코어
• 여러 LAN에 걸쳐 확장되는 인프라(예: GFS, MapReduce, Hadoop)
• 모바일 앱, 전역적인 모바일 데이터 범위
혁신: 주류 머신러닝, 특수한 컴퓨팅 하드웨어를 손쉽게 사용 가능, 클라우드 컴퓨팅

이제 5번째 세대로 전환했으며, 이 세대는 두 가지 상반된 추세의 중첩을 특징으로 합니다. 우선, ASIC당 트랜지스터 수는 계속해서 기하급수적인 속도로 증가하는 반면 클록 속도는 정체되어 있으며 각 트랜지스터의 비용도 거의 일정하게 유지되고 있습니다. 이 두 가지 모두 더 작은 피처 크기를 달성하기 위해 필요한 복잡성과 투자 비용의 증가로 인해 제약을 받고 있습니다. 이는 모든 컴퓨팅, DRAM, 스토리지, 네트워크 인프라의 비용 개선 또는 성능 효율로 정규화된 성능이 일정 수준에 머무르고 있음을 의미합니다. 이와 동시에 보편적인 네트워크 범위, 광범위하게 배포된 센서, 막대한 데이터가 필요한 머신러닝 애플리케이션으로 인해 원시 컴퓨팅 인프라에 대한 수요가 기하급수적으로 증가하고 있습니다.

주요 발전 사항: 머신러닝, 생성형 AI, 개인 정보 보호, 지속 가능성, 사회적 인프라
컴퓨터 간 상호작용 시간: 10마이크로초
특징:
• 200Gbps~1+Tb/s 네트워크• 전력 효율적인 고속 무선 네트워크를 어디서나 사용 가능
• 갈수록 전문화되는 가속기: TPU, GPU, 스마트 NIC
• 소켓 수준의 패브릭, 광학 기술, 연합형 아키텍처
• 연결된 공간, 차량, 어플라이언스, 웨어러블 등
혁신: 수많은 혁신이 예상됨

컴퓨팅 설계 및 조직에 대한 근본적인 혁신이 없다면 컴퓨팅 인프라에 대한 사회적 수요를 충족하는 기술 커뮤니티의 능력은 흔들리게 될 것입니다. 이러한 한계를 극복하기 위한 새로운 아키텍처와 함께 새로운 하드웨어, 그리고 갈수록 비중이 커지는 소프트웨어 아키텍처가 컴퓨팅의 5번째 세대를 정의하게 될 것입니다.

이 5번째 컴퓨팅 세대에 어떤 혁신이 이루어질지 예측할 수는 없지만 이전의 각 세대에 걸쳐 보안과 안정성을 개선하면서 규모와 효율성, 가격 대비 성능이 100배 이상 향상되었다는 점은 분명합니다. 규모와 용량에 대한 수요가 계속해서 증가하고 있기 때문에 무어의 법칙과 데나드 스케일링이라는 순풍이 없다면 이러한 성과를 달성하기는 어려울 것입니다. 다만 다음과 같은 폭넓은 움직임이 나타날 것으로 예상됩니다.

선언적 프로그래밍 모델: 전용 프로세서에서 순차적으로 코드를 실행하는 폰 노이만 모델은 수십년 동안 개발자들에게 매우 유용했습니다. 그러나 분산 및 멀티 스레드 컴퓨팅의 부상으로 추상화가 깨지면서 현대의 명령형 코드 대부분은 비동기성, 이기종성, 꼬리 지연 시간, 낙관적 동시 실행, 장애를 관리하기 위해 방어적이고 종종 비효율적인 구조에 집중하게 되었습니다. 앞으로도 복잡성은 계속 증가할 것이므로 의도, 사용자, 비즈니스 로직에 집중하는 새로운 선언적 프로그래밍 모델이 필요합니다. 이와 동시에, 실행 흐름을 관리하고 변화하는 배포 조건에 대응하는 작업은 갈수록 정교해지는 컴파일러와 ML 기반 런타임에 위임해야 합니다.
하드웨어 세분화: 이전 세대에서는 CPU, 메모리, 스토리지, 네트워킹이 균형을 이룬 시스템을 사용한 범용 서버 아키텍처가 데이터 센터 전반의 워크로드 니즈를 효율적으로 충족할 수 있었습니다. 그러나 전문적인 컴퓨팅 니즈와 ML 학습, 추론, 동영상 처리에 맞게 설계하는 경우 스토리지, 메모리 용량, 지연 시간, 대역폭, 통신을 위한 요구사항이 상충하게 되고 이로 인해 이기종 설계가 급격히 확산됩니다. 범용 컴퓨팅 성능이 매년 1.5배씩 개선되었을 때는 워크로드의 10%에 대해 5배의 개선을 추구한다는 것은 복잡성을 감안할 때 타당하지 않았습니다. 그러나 지금은 이러한 개선을 더 이상 무시할 수 없습니다. 이 간극을 해소하기 위해서는 구성 가능한 하드웨어 ASIC 및 메모리 유닛을 몇 년이 아닌 몇 개월 내에 설계, 확인, 검증, 배포하기 위한 새로운 접근 방법이 필요합니다.
소프트웨어 정의 인프라: 기반 인프라가 더 복잡해지고 더 분산되면서 메모리부터 CPU에 이르기까지 여러 가상화 계층이 개별 애플리케이션에 대해 단일 서버 추상화를 유지해 왔습니다. 인프라가 계속해서 수평 확장되고 더욱 이기종화됨에 따라 이러한 추세는 향후 세대에도 계속될 것입니다. 하드웨어 세분화, 선언적 프로그래밍 모델, 수천 개의 서버로 구성된 분산 컴퓨팅 환경의 필연적인 결과로 가상화는 개별 서버의 한계를 넘어 단일 서버, 여러 서버, 스토리지/메모리 배열, 클러스터에서 분산 컴퓨팅을 포함하도록 확장되며, 때에 따라서는 최종 결과를 효율적으로 제공하기 위해 캠퍼스 전체의 리소스를 한데 모으게 될 것입니다.
검증 가능한 보안 컴퓨팅: 지난 세대에서는 컴퓨팅을 효율적으로 유지해야 할 필요성으로 인해 의도하지 않게 보안과 안정성을 희생시켰습니다. 그러나 사람들의 일상이 갈수록 온라인으로 옮겨가면서 개인과 기업, 정부를 불문하고 개인 정보 보호와 기밀 유지에 대한 필요성도 급격히 증가하고 있습니다. 정부 정책을 준수하기 위해서뿐만 아니라 갈수록 증가하는 ML 생성 콘텐츠의 계보를 투명하게 공개하기 위해서도 데이터 주권, 즉 데이터(파생된 데이터까지)의 물리적인 위치를 제한해야 할 필요성이 점점 더 높아질 것입니다. 기본 성능에 얼마간의 희생이 따르더라도 이를 가장 중요한 요구사항이자 제약조건으로 여겨야 합니다.
지속 가능성: 컴퓨팅의 처음 3개 세대에서는 고정 전력 대비 기하급수적인 성능 개선이 이루어졌습니다. 4세대에 이르러 데나드 스케일링이 끝나면서 컴퓨팅과 관련된 전 세계 전력 소비량이 빠르게 증가했고, 이러한 증가분의 일부는 이전의 온프레미스 설계에 비해 전력 효율성이 2~3배 더 높은 클라우드 호스팅 인프라로의 전환을 통해 상쇄되었습니다. 또한 클라우드 제공업체들은 탄소 중립을 먼저 달성한 다음 무탄소 전원으로 전환하기 위한 광범위한 작업에 착수했습니다. 그러나 5세대에서는 데이터와 컴퓨팅에 대한 수요가 계속 증가할 것이며, 그 속도도 더 빨라질 가능성이 높습니다. 따라서 전력 효율성과 탄소 배출이 가장 중요한 시스템 평가 측정항목이 될 것입니다. 특히 인프라 구축과 제공의 수명 주기 전체에 걸친 내재 탄소에 대해 더 나은 가시성과 최적화가 필요하게 됩니다.
알고리즘 혁신: 기하급수적인 성능 향상이라는 순풍으로 인해 이제까지 소프트웨어의 효율성 개선이 무시되는 경우가 많았습니다. 기반 하드웨어 구성요소의 개선 속도가 느려지면서 앞으로는 소프트웨어와 알고리즘 기회로 초점이 옮겨갈 것입니다. 연구에 따르면 시스템 코드에는 소프트웨어 최적화를 2~10배 개선할 기회가 많다고 합니다. 이와 같은 소프트웨어 최적화 기회를 효율적으로 파악하고, 그에 따른 혜택을 프로덕션 시스템에 대규모로 원활하게 안정적으로 전달하기 위한 기법을 개발하는 일이 중요한 기회가 될 것입니다. 최근 코딩 LLM의 혁신을 활용하여 이 작업을 부분적으로 자동화하면 5세대의 큰 촉진제가 될 것입니다.

결국 5세대에서 가장 중요한 것은 MIPS당 비용, DRAM GB당 비용, Gb/s당 비용 등 낮은 수준의 구성요소별 측정값보다는 전체적인 사용자-시스템 효율성(초당 유용한 응답 수)이 될 것입니다. 또한 효율성 단위도 단순히 단위 비용당 성능으로 측정되는 것이 아니라 전력 소비와 탄소 배출을 명시적으로 반영하고 보안과 개인 정보 보호를 주 측정항목으로 사용하면서 사회의 의존도가 갈수록 높아지는 인프라에 대한 신뢰성 요구사항을 반영하게 될 것입니다. 종합적으로 보면 차세대 인프라를 제공하기 위한 아직 활용되지 않은 기회가 많이 있습니다.

하드웨어와 소프트웨어 전반에 분산 인프라의 수평 확장 효율성을 10배 이상 높일 수 있는 기회
소프트웨어 정의 인프라를 통해 애플리케이션 균형점, 즉 컴퓨팅, 가속기, 메모리, 스토리지, 네트워크와 같은 다양한 시스템 리소스 간의 비율을 맞추는 데 있어 또 다른 10배의 기회
기존의 획일적인 범용 컴퓨팅 아키텍처 대비 차세대 가속기 및 세그먼트별 하드웨어 구성요소에서 10배 이상의 기회
마지막으로, 정량화하기 어렵지만 개발자 생산성을 향상시키는 동시에 대폭 개선된 안정성과 보안을 제공하기 위한 절대적으로 중요한 기회

이러한 추세를 종합해 보면 지금은 차세대 인프라 서비스를 정의하고 차세대 컴퓨팅 서비스를 실현할 또 다른 극적인 1,000배의 효율성 향상을 목전에 둔 시점입니다. 그리고 이것은 아마도 멀티모달 모델과 생성형 AI의 혁신을 중심으로 이루어질 가능성이 높습니다. 차세대 컴퓨팅의 의미를 정의, 설계, 배포할 기회는 자주 오지 않습니다. 이 5번째 세대의 구조적 변화는 아마도 역사상 가장 큰 기술적 변화와 과제를 수반할 것입니다. 이에 대응하기 위해서는 컴퓨팅의 초창기 시절부터 지금까지는 볼 수 없었던 수준의 책임감과 협업, 비전이 필요할 것입니다.

Google Cloud로 데이터 디스크를 제대로 그리고 쉽게 마이그레이션하는 방법

Mon, 18 Dec 2023 01:00:00 +0000

*본 아티클의 원문은 2023년 11월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터 디스크 마이그레이션은 한 스토리지 기기에서 다른 스토리지 기기로 데이터를 전송하는 프로세스입니다. 실제 기기나 가상 머신 간에 데이터를 이동하거나 온프레미스 솔루션에서 클라우드 기반 플랫폼으로 전환하는 작업도 여기에 포함될 수 있습니다. 데이터 디스크 마이그레이션의 궁극적인 목표는 데이터 무결성, 보안 또는 접근성의 저하 없이 원활하게 전환하는 것입니다. 이 블로그 게시물에서는 Google Cloud 마이그레이션 센터에 내장된 Migrate to Virtual Machines를 사용해 쉽고 빠르게 데이터 디스크를 Google Cloud로 마이그레이션하는 방법을 설명합니다.

데이터 디스크 마이그레이션이 중요한 이유

최신 OS로 업그레이드: 지원되지 않는 운영체제는 공식 업데이트, 보안 패치, 기술 지원이 더이상 제공되지 않기 때문에 심각한 위협이 됩니다. 이로 인해 시스템이 사이버 위협, 호환성 문제, 규정 미준수에 취약해지며, 혁신이 저해되고 기능이 저하됩니다.
디스크 마이그레이션에는 지원되지 않는 오래된 운영체제에서 지원되는 최신 운영체제로 데이터를 전송하는 작업이 포함됩니다.
현대화: 기술이 발전하면서 오래된 스토리지 기기에서 병목 현상이 발생해 성능과 용량이 제한될 수 있습니다. 데이터 디스크 마이그레이션으로 보다 효율적인 최신 하드웨어를 활용할 수 있습니다.
데이터 보호: 오래된 스토리지 기기는 장애 및 데이터 손실에 더 취약합니다. 데이터를 최신 플랫폼으로 마이그레이션하면 이러한 위험을 완화하고 안전을 보장하는 데 도움이 됩니다.
성능 향상: 최신 스토리지 기술은 대체로 개선된 읽기 및 쓰기 속도를 제공하므로 시스템 성능이 향상되고 애플리케이션 액세스 시간이 단축됩니다.
확장성: 데이터 디스크 마이그레이션을 통해 스토리지 인프라를 용이하게 확장할 수 있습니다. 따라서 효율성 저하 없이 데이터 수요 증가에 대응할 수 있습니다.

Google Cloud 디스크 마이그레이션

Google Cloud에서는 마이그레이션 센터에 직접 Migrate to Virtual Machines를 통합하여 디스크 마이그레이션의 부담을 줄여 드립니다. 디스크 마이그레이션을 위한 이 강력하고도 효과적인 솔루션은 클라우드 마이그레이션 기술을 활용하여 클라우드 환경과의 호환성에 관계없이 OS 디스크 또는 데이터 디스크를 원활하게 마이그레이션해 줍니다. 운영체제 업데이트나 하드웨어 업그레이드와 같은 과제에 직면했을 때 적용할 수 있는 최상의 솔루션입니다.

유연성과 개방성을 위한 Google Cloud의 지속적인 노력이 반영된 Migrate to Virtual Machines는 VMware 및 기타 클라우드 서비스 제공업체들을 포함한 늘어나는 마이그레이션 소스들과 연결합니다. 예를 들어 기존 Linux 배포판이나 이전 Windows 버전(W2003, W2008, W2012)에서 실행되는 광범위한 가상 머신을 관리한다고 생각해 보세요. 바로 이런 경우에 Migrate to Virtual Machines의 디스크 마이그레이션 기능이 지닌 강점이 발휘됩니다. 소스 워크로드 디스크를 선택적으로 마이그레이션한 후 지원되는 운영체제에 연결하여 워크로드 인프라를 효과적으로 현대화할 수 있습니다.

작동 방식

디스크 마이그레이션 프로세스의 단계는 다음과 같습니다.

먼저 디스크를 마이그레이션할 VM을 온보딩해야 합니다.

다음 예시는 로컬 VMware 데이터 센터에서 호스팅되는 VM입니다. 이 VM을 선택해 GCP 마이그레이션 서비스에 온보딩합니다.

그런 다음 복제를 시작할 수 있습니다.

VM이 마이그레이션 서비스에 온보딩되는 즉시 소스 VM의 디스크에서 Google Cloud에 있는 Persistent Disk 볼륨으로 데이터 복제를 시작할 수 있습니다. 데이터 복제는 최종 컷오버(cutover)를 수행하거나 마이그레이션을 삭제할 때까지 백그라운드에서 계속 진행되는 프로세스입니다.

Monitoring도 활용할 수 있습니다.

VM을 클릭해 디스크 복제 상태, 예상 완료 시간, 기타 디스크 마이그레이션 관련 세부정보를 확인할 수 있는 상세 뷰를 열어 자세한 내용을 살펴보세요.

복제가 진행되는 동안 미리 디스크의 대상(target) 세부정보를 설정할 수 있습니다. 호스팅 프로젝트(리전 및 영역), 디스크 유형 등 마이그레이션된 디스크의 설정을 구성하세요.

그러면 시간을 절약할 수 있고 컷오버 날짜가 다가올 때 서두르지 않아도 됩니다.

복제 주기를 조정하여 점진적 변경사항의 누적 데이터 피크와 동기화되도록 할 수도 있습니다.

요약

Migrate to Virtual Machines 디스크 마이그레이션 기능은 모든 소스 VM에서 Google Cloud 디스크 스토리지로 컴퓨팅 디스크를 원활하게 마이그레이션할 수 있는 새로운 기능입니다. 이 기능은 Migrate to Virtual Machines의 원활한 에이전트리스 마이그레이션 기능을 활용하므로 소스 워크로드가 중단되지 않으며 정기적인 복제 주기 및 빠른 컷오버 시간과 같은 이점을 제공합니다.

이 기능은 개별 디스크 수준으로 마이그레이션 정밀도를 높이므로 워크로드를 다른 운영체제로 손쉽게 전환하거나 전체 데이터 스토어를 새 플랫폼으로 전송하는 등 혁신적으로 사용할 수 있습니다.

시작할 준비가 되셨나요? 마이그레이션 센터에서 Migrate to Virtual Machines가 포함된 마이그레이션 및 현대화를 위한 Google Cloud의 중앙 집중식 엔드 투 엔드 허브를 살펴보세요. 아직 확신이 생기지 않는다면 마이그레이션 센터에 대한 이 3분 길이의 동영상을 시청하거나 Google Cloud의 무료 IT 탐색 및 평가를 신청하여 귀사의 IT 환경을 정확히 파악하고 성공적인 마이그레이션 방법을 알아보세요.

멀티슬라이스를 사용하여 AI 학습을 최대 수만 개의 Cloud TPU 칩으로 확장하는 방법

Fri, 10 Nov 2023 06:00:00 +0000

가장 큰 규모의 생성형 AI 모델은 수천억 개 이상의 파라미터와 수조 개의 토큰을 사용하여 학습합니다. 이러한 모델의 경우 학습 을 몇 주 이내로 완료하기 위해서는 수십 EFLOPS(10^18FLOPS)의 AI 슈퍼컴퓨팅이 필요합니다. 이 성능을 달성하기 위해서는 수만 개의 가속기가 병렬적으로 작동해야 합니다. 그러나 대부분의 대규모 분산학습 솔루션에는 정교한 코딩과 튜닝 등의 수작업이 요구되어, 범용적이지 못하며 학습 성능을 선형적으로 향상시키기 어렵게 만듭니다.

Google Cloud는 이 문제를 해결하기 위해 이번 주 Google Cloud Next에서 멀티슬라이스 기술을 발표했습니다. 멀티슬라이스는 최대 수만 개의 Cloud 텐서 처리 장치(TPU) 칩에 걸쳐 모델 학습을 쉽고 비용 효율적으로 확장할 수 있게 해주는 풀 스택 대규모 학습 기술입니다. 지금까지는 모델 학습시 칩 간 상호 연결(ICI)을 통해 연결되는 TPU 칩들의 묶음인 슬라이스를 최대 하나만 사용할 수 있었습니다. 이는 한 개의 슬라이스 내에 연결가능한 최대 TPU v4 칩은 3,072개 이므로 Cloud TPU를 이용한 분산 학습시 한번에 활용가능한 최대 칩 수는 3,072개 였음을 의미합니다. 그러나멀티슬라이스를 활용하면 Cloud TPU를 이용한 분산 학습 시 한 번에 두 개 이상의 슬라이스를 병렬적으로 연결할 수 있습니다. 이 때 서로 다른 포드에 위치하는 슬라이스 간에는 데이터 센터 네크워킹(DCN)을 통해 통신합니다.

한 포드의 슬라이스가 멀티슬라이스 구성을 통해 다른 포드의 슬라이스와 통신합니다.

요약하면, 멀티슬라이스는 다음과 같은 이점을 제공할 수 있습니다.

단일 슬라이스에서 최대 수만 개의 칩이 포함된 다중 슬라이스까지 선형에 가까운 성능 확장 으로 대규모 모델 학습 용이
코드를 거의 수정하지 않고 간단한 설정으로 개발자 생산성 향상
자동 컴파일러 최적화를 활용하여 시간 절약
TPU v4에 비해 LLM 학습에 최대 2배 더 높은 가격 대비 성능을 제공하는 TPU v5e를 통해 비용 효율성 극대화
TPU v5e 및 TPU v4를 각각 사용하는 8칩 ICI 도메인 시스템에 비해 최대 2~24배 더 높은 피크 FLOPS 예산에 액세스

“멀티슬라이스 Cloud TPU v5e를 포함한 Google Cloud의 차세대 AI 인프라는 가격 대비 성능 측면에서 자사 워크로드에 놀라운 이점을 제공할 것입니다. 향후 Google Cloud에서 차세대 AI를 구축하게 되기를 기대합니다.”—Tom Brown, Co-Founder, Anthropic

멀티슬라이스의 작동 방식

멀티슬라이스 구성으로 배포되는 경우 각 슬라이스 내의 TPU 칩은 고속 ICI를 통해 통신합니다. 또한 서로 다른 슬라이스 내의 TPU 칩들은 Google Cloud의 Jupiter 데이터 센터 네트워크를 통해 통신합니다. 예를 들어 Data Parallelism 학습 시 Activation 값들은 단일 슬라이스 내에서의 통신인 ICI를 통해 계속 전달되지만 경사하강은 DCN을 통해 일어납니다.

멀티슬라이스를 사용한 Data Parallelism

멀티슬라이스 기술은 단일 포드 내 슬라이스간 연결과 서로 다른 포드 내 슬라이스간의 연결을 모두 지원하여 다양한 병렬화 기법에 적용할 수 있습니다. Dense Decoder와 Diffusion Model을 포함한 대부분의 모델 학습에는 Data Parallelism(DP)만으로 충분하지만, 그 이상의 거대 모델이나 대규모 데이터를 위해 멀티슬라이스에서는 Fully Sharded Data Parallelism(FSDP), Model Parallelism(MP), Pipeline Parallelism(PP)까지 모두 도 지원합니다. 고급 최적화 및 샤딩 전략에 대한 더 자세한 내용은 멀티슬라이스 사용자 가이드를 참조하세요.

개발자는 슬라이스 간 DCN 통신을 위해 추가적인 코드를 작성할 필요가 없습니다. XLA 컴파일러가 최대 성능을 위한 코드 변환 및 최적화를 자동으로 수행해줍니다.

2배 이상 더 높은 시스템 규모 달성

소프트웨어의 확장은 하드웨어에 의해 제한됩니다. 가속기에서 구동되는 소프트웨어 시스템은 FLOPS 예산까지만 확장이 가능합니다. 그 이상의 확장은 통신 병목 현상으로 인해 성능이 제한됩니다. 즉, 효과적인 확장을 위해서는 하드웨어 시스템 자체가 확장을 지원해야 합니다. Cloud TPU 시스템의 대규모 ICI 도메인은 통신 병목 현상 없이 8칩 ICI 도메인을 사용하는 기존 시스템보다 최대 24배 더 높은 최대 FLOPS를 달성하는 데 도움이 됩니다.

이것을 더 잘 이해하려면 ICI 도메인의 개념을 이해해야합니다. 하드웨어 가속기에서 고속 ICI로 연결할 수 있는 최대 칩 수를ICI 도메인이라고 합니다. TPU v4 포드의 ICI 도메인은 3,072칩이고, TPU v5e 포드의 경우에는 256칩 입니다.

P를 확장할 수 있는 최대 FLOPS로 정의해 보겠습니다. DP 및 FSDP를 사용하는 Dense LLM의 ICI 도메인 당 최소 배치 크기는 DCN의 Arithmetic Intensity와 같습니다. 이러한 모델의 경우 DCN의 Arithmetic Intensity는 칩당 DCN 대역폭에 대한 칩당 FLOPS의 비율로 근사할 수 있습니다. 그러면 P는 다음과 같습니다.

이는 총 피크 FLOPS 관점에서 시스템의 최대 규모는 칩당 사용 가능한 DCN 대역폭, ICI 도메인의 크기 및 글로벌 배치 크기에 의해 결정된다는 것을 보여줍니다.

통신 병목 현상이 없는 상황에서 ICI 도메인 크기가 시스템의 최대 규모에 미치는 영향을 알아보기 위해 모델을 32M 크기의 전역배치로 학습하는 시스템들의 예시를 살펴보겠습니다.

기본적으로 8칩 ICI 도메인이 있는 시스템이 기존의 고속 DCN 기술을 사용하여 400Gbps/칩의 속도로 DCN을 통해 통신한다고 가정해 보겠습니다.

여기서 이 시스템이 성능 저하 없이 실현할 수 있는 가장 높은 총 피크 FLOPS는 P₈ = 12.8 EFLOPS 입니다.

TPU 포드는 더 높은 ICI 도메인 값을 가지므로 DCN을 통해 전송되는 바이트당 Arithmetic Intensity를 증가시킬 수 있습니다. ICI 도메인당 256칩과 칩당 25Gbps의 DCN 대역폭을 갖춘 TPU v5e 포드의 경우 P₂₅₆ = 25.6 EFLOPS 입니다.

ICI 도메인당 3,027칩과 칩당 25Gbps의 DCN 대역폭을 갖춘 TPU v4 포드의 경우 P₃₀₇₂ = 307.2 EFLOPS 입니다.

따라서, TPU v5e 시스템과 TPU v4 시스템은 8칩 ICI 도메인 및 칩당 400Gbps의 DCN 대역폭을 갖춘 시스템에 비해 각각 최대 2배, 24배 더 큰 규모를 달성할 수 있게 해줍니다.

“Google DeepMind 및 Research는 멀티슬라이스 구성을 활용하여—TPU v4와 비슷한 탁월한 확장 효율성으로—수천 개의 TPU v5e 칩 위에서 LLM 사용 사례를 위한 모델을 포함한 여러번의 모델 학습을 성공적으로 수행했습니다. ”—Jeff Dean, Chief Scientist, Google

TPU v5e의 경우 최대 수만 개의 칩까지 선형에 가깝게 확장

멀티슬라이스 성능을 단일 슬라이스 성능과 비교하기 위해, 피크 FLOPS에서 작동하는 시스템의 이론상 최대 처리량 대비 관측된 처리량(초당 토큰 수)의 비율로 정의되는 지표인 Model FLOPS Utilization (MFU)을 사용할 수 있습니다.

멀티슬라이스 구성으로 다중 슬라이스를 사용하는 TPU 학습 시에도 컴파일러 최적화를 통해 단일 슬라이스를 사용하는 학습 시와 동일한 MFU Rate을 달성할 수 있습니다. 다음은 몇 가지 예입니다.

역전파와 중첩되는 FSDP의 경사 감소
통신 토폴로지를 기반으로 기존 집합체를 해체하는 특수 계층 구조 집합체

또한 다른 가속기와 달리 TPU 칩은 스로틀링 없이 피크 FLOPS를 유지할 수 있으므로 더 높은 FLOPS와 MFU Rate을 달성할 수 있습니다.

멀티슬라이스 구성을 통해 수천억 개의 파라미터로 구성된 생성형 AI 모델을 학습시킬 수 있으며, TPU v4에서 수십억 개의 파라미터를 갖는 모델 학습 시 최대 58.9% MFU를 보여줍니다.

사용되는 포드 수가 증가함에 따라 배치 크기가 증가하는 현상을 의미하는 약한 확장(Weak Scaling) 으로 TPU v5e¹에서 GPT-3 175B의 학습 성능을 측정한 결과, 선형에 가까운 성능 확장 추세를 보입니다.

멀티슬라이스 구성을 통한 v5e의 선형에 가까운 확장

사용하기 쉬운 Cloud TPU의 멀티슬라이스

분산학습을 위한 통신 레이어를 직접 관리하는 일은 복잡하므로 개발자 생산성을 저하시킬 수 있습니다. 멀티슬라이스는 최적화된 소프트웨어 스택을 이용해 분산학습을 위한 확장 과정을 단순화합니다. 따라서 사용자는 복잡한 인프라 관리보다 AI 모델 학습 자체에 집중할 수 있으며, 이로 인해 대규모 학습 시에도 우수한 개발자 경험을 제공합니다. 멀티슬라이스 구성시에도 단일 슬라이스를 활용한 학습시와 동일한 프로파일링 및 오케스트레이션 도구를 사용하여 설정에 걸리는 시간을 단축할 수 있습니다.

Cloud TPU 멀티슬라이스는 네트워크, 런타임, 스케줄러, 프레임워크 및 오케스트레이션 기능을 풀스택으로 제공합니다

GSPMD를 사용하면 샤딩 축을 조작하여 Tensor Parallelism, Data Parallelism, FSDP Parallelism 간의 전환을 통해 2개의 슬라이스에서 2,000개의 슬라이스까지 확장할 수 있습니다. 멀티슬라이스 워크로드를 위해 개량된 런타임과 인프라를 통해 JAX 및 PyTorch 모델의 DCN을 통한 모델 샤딩을 가능케 했습니다.

멀티슬라이스로 DCN에 대한 새로운 샤딩 차원 도입

GSPMD 용어인 mesh는 모델의 행렬 연산을 분산처리할 수 있는 디바이스들의 논리적인 묶음을 의미합니다:

code_block: <ListValue: [StructValue([('code', 'dcn_parallelism = [config.dcn_data_parallelism, config.dcn_fsdp_parallelism, config.dcn_tensor_parallelism]\r\nici_parallelism = [config.ici_data_parallelism, config.ici_fsdp_parallelism, config.ici_tensor_parallelism]\r\n\r\nif multi_slice_env:\r\n mesh = mesh_utils.create_hybrid_device_mesh(ici_parallelism, dcn_parallelism)\r\nelse:\r\n mesh = mesh_utils.create_device_mesh(ici_parallelism)'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7fda0ce49c50>)])]>

아래의 테이블은 DCN을 분산의 축으로 두개의 슬라이스에서 Data Parallelism을 설정하는 예시입니다.

이러한 유형의 분산학습을 위한 설정시 필요한 값을 찾는 과정은 매우 간단합니다. dcn_parallelism 변수와 icn_parallelism 변수의 곱이 전체 칩 수와 동일하게 설정해주면 됩니다.

또한 XLA 컴파일러는 기반이 되는 하이브리드 DCN/ICI 네트워크 토폴로지를 이해하여 자동으로 적절한 계층 구조 집합체를 삽입하고, 나아가 단일 슬라이스 작업을 멀티슬라이스 계층 구조 집합체로 변환하여 컴퓨팅 통신 중첩을 개선할 수도 있습니다.

AllReduce 작업을 예를 들어 보겠습니다. XLA 컴파일러는 자동으로 이를 3단계 계층 구조 집합체로 분해합니다.

XLA 컴파일러는 AllReduce를 계층 구조 집합체로 자동으로 분해합니다.

“멀티슬라이스 학습은 획기적입니다. 멀티슬라이스 덕분에 데이터 센터 네트워킹(DCN)을 통해ML 워크로드를 여러 슬라이스에 걸쳐 손쉽게 확장할 수 있었습니다. JAX XLA는 이를 쉽게 설정할 수 있게 해주었으며 높은 성능을 제공했습니다.”—Myle Ott, Co-founder, Character AI

멀티슬라이스는 JAX 및 PyTorch 프레임워크를 지원합니다. JAX 및 PyTorch 모델을 위한 컴파일러 외에도 멀티슬라이스를 위한 높은 성능의 LLM인 MaxText와 프레임워크인 PAX가 같이 제공됩니다. 이를 통해 Python 및 JAX로 작성된 다수의 검증된 예제 코드로부터 시작할 수 있습니다. PAX는 거대 모델의 학습을 위한 프레임워크로, 완전히 커스터마이즈 된 학습 및 실험이 가능하며, 업계 최고의 입증된 MFU Rate을 제공합니다. MaxText는 fork 및 적은 수준의 커스터마이즈를 위한 미니멀한 프레임워크입니다. 멀티슬라이스 구동을 위해서는 단일 슬라이스에서 구동되는 코드에 DCN을 통한 샤딩만 추가로 설정해주면 됩니다.

고성능 네트워킹

멀티슬라이스는 Google의 Jupiter 데이터 센터 네트워크를 통해 AllReduce, Broadcast, Reduce, AllGather 및 ReduceScatter 집단 통신 작업을 지원합니다. 2022년 8월에 보고된 바와 같이 Jupiter는 이전 세대의 Google 데이터 센터 네트워크에 비해 흐름 완료를 10% 줄이고, 처리량을 30% 개선하고, 전력 사용량을 40% 줄이고, capex를 30% 절감하며, 다운타임은 50배나 줄였습니다.³

손쉬운 관리

멀티슬라이스 작업을 관리하기 위한 옵션은 두 가지입니다. Compute Engine Queued Resource CLI 및 API를 사용하는 옵션, 그리고 Google Kubernetes Engine(GKE)을 통한 옵션입니다.

슬라이스 컬렉션을 한번에삭제하거나 생성할 수 있게 해주는 특수 옵션도 있습니다. 또한 빠른 복구를 통해 개별 슬라이스가 중단되더라도 작업을 신속하게 다시 시작할 수 있습니다.

안정성과 내결함성

개발 슬라이스에 장애가 발생한다 해도 모델 학습 작업은 이전 체크포인트에서 자동으로 다시 시작됩니다. 멀티슬라이스를 GKE와 함께 사용하면 장애 복구 환경이 더욱 개선됩니다. yaml 파일의 필드 하나만 변경하면 오류 발생 시 자동 재시도가 구현되도록 할 수 있습니다.

“Google Cloud의 TPU 멀티슬라이스를 통해 곧바로 상당한 생산성 및 효율성 개선 효과를 볼 수 있었고, 덕분에 언어 모델 학습을 안정적으로 확장할 수 있었습니다. 대규모 생성형 언어 AI 모델을 구축한다면 멀티슬라이스를 권장합니다."—Emad Mostaque, CEO, Stability AI

시작하기

멀티슬라이스는 효율적인 대규모 AI 모델 학습을 지원하도록 만들어졌습니다. AI 워크로드를 확장하려면 하드웨어와 소프트웨어가 상호 조화롭게 작동해야 합니다. Google Cloud는 평소 AI 개발 생산성을 가장 중시해 왔습니다. 이번에 Cloud TPU v4와 새로 발표된 Cloud TPU v5e에서 미리보기로 멀티슬라이스를 사용할 수 있다는 소식을 전하게 되어 기쁩니다.

더 자세히 알아보고 Cloud TPU를 멀티슬라이스와 함께 사용해 보려면 Google Cloud 계정 담당자에게 문의하세요(PAX 및 MaxText 사용).

^{1. Google internal data as of August, 2023
2. Google internal data as of August, 2023
3. Google internal data as of August, 2023}