<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>AI 인프라</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/</link><description>AI 인프라</description><atom:link href="https://cloudblog.withgoogle.com/blog/ko/topics/ai-infrastructure/rss/" rel="self"></atom:link><language>ko</language><lastBuildDate>Tue, 17 Nov 2026 04:27:14 +0000</lastBuildDate><image><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/static/blog/images/google.a51985becaa6.png</url><title>AI 인프라</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/</link></image><item><title>TPU Sync 소개: TPU에서 추론 및 RL을 위한 빠른 KV 캐시 및 가중치 전송</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-tpu-sync-fast-kv-cache-and-weight-transfer-on-tpu/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/introducing-tpu-sync-fast-kv-cache-and-weight-transfer-on-tpu?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;차세대 AI가 스테이트리스(Stateless) 단일 턴 프롬프트에서 백만 토큰 에이전트, 분산 서빙, 지속적 강화 학습(RL)으로 진화함에 따라 AI 인프라의 주요 병목 현상은 원시 컴퓨팅에서 라이브 모델 상태를 조정하는 문제로 옮겨갔습니다. 여기에는 추론 중에 대규모 키-값(KV) 캐시에 보관되는 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;컨텍스트 상태&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;와 RL 과정에서 트레이너가 롤아웃 샘플러로 업데이트되고 브로드캐스트되는 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;파라미터 상태&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;가 모두 포함됩니다. 이 상태가 단일 칩의 메모리 내에 갇히거나 네트워크 전송에서 지연될 때마다 AI 가속기는 유휴 상태가 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 가속기 고대역폭 메모리(HBM), 호스트 DRAM, 공유 스토리지, 데이터 센터 네트워크(DCN)가 공동 설계된 단일 메모리 계층 구조로 작동해야 한다는 아키텍처 인사이트를 바탕으로, TPU 클러스터 전반에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;모델 상태 레이어&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 역할을 하도록 &lt;/span&gt;&lt;a href="https://github.com/google/tpu-sync" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU Sync&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 근본 원리부터 설계했습니다. 오픈소스 네이티브 C++ 라이브러리인 TPU Sync는 데이터 이동과 활성 계산을 중첩하는 비동기 DMA 전송을 통해 TPU 타일 텐서를 이 계층 구조 전반에서 직접 이동합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;추론의 경우 네트워크 백프레셔에서 TPU 컴퓨팅을 분리하고 호스트 DRAM, 로컬 SSD, Google Cloud Managed Lustre를 자동화된 다중 계층 KV 캐시로 전환합니다. RL의 경우 상위 수준 RL 프레임워크가 트레이너에서 샘플러로 업데이트된 가중치를 스트리밍할 수 있도록 하위 수준 DMA 및 DCN 기본 요소를 노출합니다. TPU Sync는 기기 버퍼를 복사하거나 잠그는 대신 그대로 액세스합니다. TPU Sync 없이 실행할 때 대비 프리픽스 캐싱 및 분산 서빙 워크로드에서 대규모 개방형 가중치 MoE 모델(235B~480B 파라미터)의 KV 전송 지연 시간이 90% 이상 일관되게 단축되고 첫 번째 토큰까지의 시간(TTFT)은 평균 90% 줄어듭니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 공유 모델 상태 레이어 전반에서 TPU Sync는 &lt;/span&gt;&lt;a href="https://github.com/google-pytorch/torch_tpu" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 통한 PyTorch와 JAX에서 기존 인프라 스택에 직접 통합되어, vLLM, SGLang, llm-d 분할 서빙을 위한 TPU KV 캐시 커넥터 역할을 하는 동시에 Pathways 및 멀티 컨트롤러 JAX(McJAX) RL 파이프라인을 위한 하위 수준 전송 기본 요소를 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;주방 구조로 이해하는 TPU Sync&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync가 미치는 영향을 이해하기 위해 고급 레스토랑 주방을 상상해 보겠습니다. TPU를 작은 조리대(칩의 HBM)에서 매우 빠른 속도로 작업하는 수석 요리사라고 생각해 보세요. 대규모 연회를 준비할 때 요리사는 많은 재료(KV 캐시)가 필요하며, 이로 인해 조리대가 금방 어지러워집니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;표준 주방(TPU Sync 없음):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작은 조리대가 가득 차면 요리사는 미리 준비한 재료를 버리고 다음 주문이 들어올 때 재료를 처음부터 다시 손질해야 합니다. 이로 인해 반복적인 준비 작업(프리필 재계산)이 발생해 주방 운영이 정체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;업그레이드된 주방(TPU Sync 사용):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; TPU Sync는 넓은 보조 식료품 저장실(고정된 호스트 RAM), 주방의 모든 스테이션에서 접근할 수 있는 공유 워크인 냉장 보관실(공유 클러스터 스토리지), 조율된 러너 팀을 추가합니다. 러너는 준비된 트레이를 다시 포장하지 않고 카운터, 식료품 저장실, 동료 스테이션 사이로 직접 밀어 넣습니다(네이티브 TPU 레이아웃의 직접 DMA).&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;중요한 점은 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;셰프가 계속 요리하는 동안&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 러너가 트레이를 교체한다는 것입니다(비동기식, 비차단 전송).&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU Sync의 주요 사용 사례&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync는 심층 컨텍스트, 높은 동시 실행, 멀티턴 추론, RL 롤아웃이 필요한 워크로드에서 시스템 처리량과 지연 시간을 개선합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;긴 컨텍스트 AI 에이전트 및 멀티턴 채팅&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 25만 6,000~100만 개 이상의 토큰 세션에서 AI 에이전트와 상호작용하거나 방대한 문서를 분석할 때 모델이 지속적으로 증가하는 KV 캐시를 생성합니다. TPU Sync는 이 상태가 HBM 용량을 소진하도록 허용하는 대신 오래된 KV 블록을 TPU HBM에서 호스트 RAM의 대규모 풀로 자동으로 계층화합니다(공유 보조 스토리지에 실험용 계층화 적용).&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;시스템 프롬프트가 많은 엔터프라이즈 애플리케이션(프리픽스 캐싱): &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 서빙 플랫폼은 공통된 요청 사항이나 문서를 공유하는 수천 개의 쿼리를 수신합니다. TPU Sync는 모델이 이미 처리한 프리픽스를 다시 계산하는 대신 프리픽스 캐시를 분산 호스트 메모리로 확장하여 동시 세션이 미리 계산된 KV 블록을 재사용하고 중복된 사전 입력 계산을 우회할 수 있도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분산 서빙 아키텍처(사전 입력/디코딩):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 최신 엔터프라이즈 배포에서는 워크로드가 격리됩니다. 컴퓨팅 집약적 노드는 초기 대규모 프롬프트를 처리하고(사전 입력), 메모리 집약적 노드는 응답을 토큰별로 작성합니다(디코딩). TPU Sync는 고대역폭 호스트 간(H2H) 스트리밍 파이프라인 역할을 하여 이러한 하드웨어 격차를 해소합니다. 처리된 컨텍스트를 사전 입력 노드에서 디코딩 노드로 직접 라우팅하여 데이터 전송 오버헤드를 일관되게 90% 이상 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;강화 학습 파이프라인(실험용):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 내부 RL 워크로드에서 검증되고 실험용 모듈로 저장소에 포함된 TPU Sync는 상위 수준 RL 프레임워크가 트레이너와 추론 샘플러 간에 모델 가중치를 동기화하는 데 사용할 수 있는 하위 수준 DMA 및 DCN 전송 기본 요소를 제공합니다. 여기에는 다양한 트레이너 및 샘플러 동시 로드 레이아웃 간의 자동 재샤딩이 포함되어 출시 작업자가 가중치 업데이트를 기다리는 시간을 줄여줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU Sync로 메모리 벽 허물기&lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync는 기본적으로 TPU HBM과 호스트 RAM 사이, 그리고 DCN을 통해 TPU 호스트에 걸쳐 고성능 데이터 전송 경로를 구축합니다. 이는 다음과 같은 네 가지 주요 아키텍처 이점을 통해 구현됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;레이아웃을 유지하는 직접 DMA 및 인플레이스 버퍼 별칭 설정&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: TPU Sync는 기본 JAX PJRT 버퍼 또는 PyTorch 텐서에 직접 액세스하고 단일 하드웨어 DMA에서 TPU HBM과 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;DmaMap&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;에 등록된 페이지 잠금 호스트 메모리 간에 슬라이스를 직접 이동합니다. HBM, 호스트 DRAM, 스토리지, 네트워크 전반에서 텐서를 TPU 고유의 물리적 타일 레이아웃으로 유지함으로써, Python 직렬화나 레이아웃 변환, 사용자 공간 바운스 버퍼 없이도 데이터가 행렬 곱셈 단위(MXU)에서 즉시 실행될 수 있는 상태로 전달됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컴퓨팅 중첩 전송&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: TPU Sync는 정적 KV 캐시 및 가중치 버퍼의 독점 잠금을 사용하거나 기기 내 복사본을 만드는 대신 PJRT 사용 잠금을 유지하지 않고 원시 PJRT 버퍼 별칭(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;PJRT_RawBuffer&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)을 생성하므로 블록 수준 전송이 활성 인플레이스 컴퓨팅과 동시에 실행될 수 있으며, 대규모 전송이 커널 실행을 지연시키지 않도록 DMA 페이싱 기능이 기본 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;데이터 경로에 XLA 컴파일 불필요&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: TPU Sync는 XLA 그래프 외부의 네이티브 C++에서 전송 및 타일 인식 스트라이드 재샤딩을 실행하므로, KV 블록을 이동하거나 서로 다른 트레이너 및 샘플러 토폴로지에서 가중치를 재샤딩해도 런타임 컴파일이 트리거되지 않아 데이터 경로를 빠르게 유지할 수 있고 프레임워크 제약을 받지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고대역폭 PCIe DMA 및 DCN 스트리밍&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: TPU Sync는 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;raw_transfer&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 라이브러리의 직접 PJRT 원시 버퍼 DMA 파이프라인을 사용하여 256GB/s PCIe Gen5 하드웨어 한도 중 Ironwood(TPU v7x) 호스트당 최대 223GB/s의 집계 D2H 및 H2D 처리량에 도달하고, 단일 200Gbps NIC에서 최대 약 192Gbps(또는 NUMA 인식 멀티 NIC 스트라이핑을 사용하는 듀얼 200Gbps NIC에서 약 350Gbps)로 DCN을 통해 스트리밍합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync는 하위 수준 데이터 전송 API를 노출하여 개발자가 고속 TPU 데이터 전송을 상위 수준 프레임워크에 더 쉽게 통합할 수 있도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;상위 수준 아키텍처&lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;핵심 전송 및 재샤딩 기본 요소를 기반으로 빌드된 TPU Sync는 분산 캐시 관리를 위한 모듈식 조정 스택을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;전역 KV 스토어:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 프롬프트 프리픽스 해시를 물리적 캐시 블록에 매핑하고, 동적 조회를 처리하며, LRU 제거 및 등급 강등을 조정하는 전역 레지스트리입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU Sync 컨트롤러:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 전송 계획을 생성하고, 노드 간 데이터 이동을 조정하며, 임대 기간 관리 및 복구를 처리하는 조정 레이어입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KV 캐시 관리자:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 블록 상태를 추적하고, HBM, 호스트 DRAM(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;/dev/shm&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 웜 부팅 지속성 포함)을 실험용 POSIX 스토리지 백엔드와 함께 관리하며, 비동기 DMA 전송을 실행하는 로컬 실행 엔진입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1-architecture_6N0ck5s.max-1000x1000.png"
        
          alt="1-architecture"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="jpwmj"&gt;그림 1. TPU Sync는 TPU에서 모델 상태 레이어로 작동하며 TPU HBM(Tier 1), 고정된 호스트 DRAM(Tier 2), 공유 스토리지(Tier 3), 멀티 호스트 DCN을 레이아웃이 유지되는 단일 DMA 데이터 플레인으로 통합합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;분할 서빙 및 프리픽스 캐싱 해결&lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync가 이전 섹션에서 나열한 사용 사례에 어떻게 도움이 되는지 자세히 살펴보겠습니다. TPU Sync는 호스트 고정 메모리를 실질적인 고속 등급 2 캐시로 취급하여 표준 HBM 설정의 단편화와 메모리 한도를 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;사전 입력/디코딩(P/D) 분할 서빙&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;현존 최고 수준의 서빙 토폴로지에서는 사전 입력(컴퓨팅 제약) 단계와 디코딩(메모리 제약) 단계가 별도의 노드 풀로 격리됩니다. TPU Sync는 지연 시간 버블을 방지하기 위해 고도로 최적화된 3단계 파이프라인으로 이 격차를 해소합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;직접 DMA 오프로딩: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;사전 입력 노드가 초기 프롬프트를 처리하면 TPU Sync는 비동기 D2H DMA 경로를 통해 결과 KV 블록을 고정된 호스트 RAM으로 즉시 옮깁니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 간 스트리밍&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 그런 다음 TPU Sync 컨트롤러가 고대역폭 호스트 간(H2H) 전송을 조정하여 컨텍스트를 할당된 디코딩 노드로 직접 스트리밍합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;중복 수집&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 블록이 디코딩 노드의 호스트 RAM에 도착하면 TPU Sync가 TPU HBM으로 직접 비동기 H2D 전송을 트리거합니다. 이 작업은 활성 디코딩 계산과 동시에 수행되므로 TTFT가 크게 최소화됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 기반 프리픽스 캐싱&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 시스템 프롬프트를 공유하거나 멀티턴 에이전트 루프를 실행하는 동시 실행 수준이 높은 시스템의 경우, TPU HBM 용량만으로는 여러 활성 캐시 블록을 모두 감당하기에 역부족입니다. TPU Sync는 프리픽스 캐시를 HBM(등급 1)에서 실질적인 분산형 호스트 RAM 풀(등급 2)로 확장합니다. TPU Sync 전송은 비동기식이기 때문에 호스트 RAM에서 다음에 필요한 프리픽스의 PCIe DMA 로딩과 현재 요청의 컴퓨팅을 중첩해 요청 간 TPU 유휴 시간이 최소화됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;호스트 DRAM 용량을 초과하는 워크로드의 경우, TPU Sync에는 이전 KV 블록을 로컬 SSD 또는 공유 Google Cloud Managed Lustre 스토리지에 비동기식으로 분산하는 실험용 POSIX 스토리지 백엔드(등급 3+)도 포함되어 있습니다. 이는 GKE의 llm-d 프리픽스 어피니티 라우팅과 결합되어 복제본이 프롬프트를 다시 계산하지 않고도 등급 간에 캐시된 프리픽스를 호출할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;샘플 성능 결과&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;P/D 분산 추론 결과 하이라이트: &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KV 전송 오버헤드 90% 이상 감소&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Qwen3 235B와 같은 대규모 모델의 경우 KV 전송 지연 시간 중앙값이 몇 초에서 약 230ms로 감소했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;TTFT 대폭 감소&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 제어된 낮은 동시 실행 테스트 벤치마크에서 대규모 모델(Qwen3 235B)의 TTFT가 평균 60% 감소했으며, 낮은 동시 실행에서 480B의 경우 평균 90% 감소했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;탁월한 고트래픽 확장성&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 트래픽 급증이 지속되는 상황에서 TPU Sync는 트래픽 분포에 따라 235B 모델의 토큰 출력 처리량을 평균 30%에서 70%까지 향상시킵니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2-pd_performance.max-1000x1000.png"
        
          alt="2-pd performance"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;프리픽스 캐싱 결과 하이라이트: &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;HBM 한계를 넘어서는 KV 캐시 용량 확장&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 대규모 MoE 모델 가중치가 기기 HBM의 대부분을 소비할 경우, 온칩 메모리에는 긴 컨텍스트 프리픽스를 몇 개밖에 담을 수 없습니다. 고정된 호스트 DRAM으로 오프로드하면 유효 캐시 용량이 크게 확장됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;동시 실행 시 높은 캐시 적중률 유지&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 분산된 호스트 RAM을 풀링하면 HBM 스래싱을 유발하지 않고도 수천 개의 동시 세션에서 공유 시스템 프롬프트와 멀티턴 에이전트 컨텍스트를 웜 상태로 유지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;사전 입력 재계산 대폭 감소&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 반복되는 요청 사항 블록과 시스템 프롬프트에 대해 과도한 컴퓨팅 레이어를 직접 우회하여 64K 컨텍스트 워크로드에서 평균 TTFT를 최대 90% 줄이는 동시에 처리량을 50% 이상 높이고 P99 토큰 간 지연 시간(ITL)을 30% 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/3-prefix_performance.max-1000x1000.jpg"
        
          alt="3-prefix performance"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;테스트 구성에 관한 아래 참고사항&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1&lt;/span&gt;&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;을 확인하세요. &lt;/span&gt;&lt;/p&gt;
&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;생태계 채택 및 파트너십&lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU Sync는 PyTorch-on-TPU 및 Kubernetes 서빙 생태계 전반에서 개방적이고 구성 가능한 메모리 기반 인프라 역할을 하며, 주요 오픈소스 유지관리자 및 인프라 파트너와의 긴밀한 협력을 통해 개발되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Inferact(vLLM-TorchTPU)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: &lt;/span&gt;&lt;a href="https://github.com/vllm-project/vllm-torchtpu" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;vLLM-TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 유지관리자인 Inferact와 공동으로 개발한 TPU Sync는 vLLM의 네이티브 KVConnector 인터페이스를 통해 직접 통합됩니다. 프런티어 오픈소스 모델 전반에서 Direct-DMA 기반 호스트 DRAM 오프로딩과 다중 호스트 P/D 분리 기능을 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;RadixArk(SGLang-TorchTPU)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: &lt;/span&gt;&lt;a href="https://github.com/sgl-project/sglang-torchtpu" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SGLang-TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 유지관리자인 RadixArk와의 파트너십을 통해 TPU Sync는 SGLang의 계층적 캐시를 위한 고속 P/D 분리형 전송 백엔드와 네이티브 I/O 백엔드 역할을 모두 수행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;llm-d 1.0 통합&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;:&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 1.0은 GKE에서 TPU Sync와 페어링되어 전역 프리픽스 캐시 어피니티 라우팅, 순위별 디코딩 세션 고정, Google Cloud Managed Lustre에 대한 실험적 2단계 용량 스필을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프런티어 AI 연구소 및 기업을 통해 검증&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Meta를 비롯하여 Wayfair와 같은 주요 기업, 멀티 실리콘 파트너 등 유수의 프런티어 AI 조직들이 이미 PyTorch-on-TPU 서빙 스택을 채택하고 있으며, 프로덕션 배포를 위해 TPU Sync 다중 계층 아키텍처를 검토하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기 &lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;a href="https://github.com/google/tpu-sync" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU Sync&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 현재 PyTorch(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;tpu-sync-torch&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;) 및 JAX(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;tpu-sync-jax&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)용 Python 휠과 함께 오픈소스로 제공되며, GKE에서&lt;/span&gt;&lt;a href="https://github.com/vllm-project/vllm-torchtpu" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;vLLM-TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/sgl-project/sglang-torchtpu" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; SGLang-TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 통합되어 있습니다. &lt;/span&gt;&lt;a href="https://github.com/google/tpu-sync" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GitHub 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 방문하여 아키텍처 문서, C++ 및 Python API, 배포 가이드를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 오픈소스 커뮤니티와 협력하여 TPU의 모델 상태 레이어를 발전시키고, 새로운 프런티어 아키텍처, 확장된 스토리지 계층화, 장기적인 에이전트형 및 RL 워크로드를 지원하기 위해 최선을 다하고 있습니다. 자세한 최신 성능 결과는 공개 벤치마크(&lt;/span&gt;&lt;a href="https://inferencex.semianalysis.com/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;InferenceX&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;) 업데이트를 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;sup&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1. 성능 결과는 2026년 7월에 TPU v7x(2x2x1 토폴로지)에서 수행된 내부 테스트를 기반으로 합니다. 이 테스트는 TPU 칩당 PCIe Gen5(x16)와 호스트당 1개 또는 2개의 200Gbps NIC가 사용 설정된 상태에서 tpu-inference v0.24.0(JAX 0.10.2 및 libtpu 0.0.42.1 사용)을 실행하여 구성되었습니다. 제시된 측정항목은 통제된 실험실 환경에서 측정된 평균 및 중앙값 성능 개선 결과를 나타냅니다. 실제 성능, 캐시 적중률, 지연 시간 감소는 시스템 구성, 네트워크 대역폭, 동시 트래픽, 특정 사용자 워크로드 패턴에 따라 달라집니다.&lt;/span&gt;&lt;/span&gt;&lt;/sup&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Mon, 16 Nov 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-tpu-sync-fast-kv-cache-and-weight-transfer-on-tpu/</guid><category>Compute</category><category>TPUs</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>TPU Sync 소개: TPU에서 추론 및 RL을 위한 빠른 KV 캐시 및 가중치 전송</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-tpu-sync-fast-kv-cache-and-weight-transfer-on-tpu/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Fenghui Zhang</name><title>Distinguished Engineer</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Weiren Yu</name><title>Senior Product Manager</title><department></department><company></company></author></item><item><title>대규모 가속기 Fleet을 위한 분산형 ML 런타임, Cloud Pathways 정식 출시</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/cloud-pathways-a-distributed-ml-runtime-is-ga/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/cloud-pathways-a-distributed-ml-runtime-is-ga?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;의 핵심 런타임 요소인 Google Kubernetes Engine(GKE) 기반 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/pathways-intro"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Pathways&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Pathways on Cloud&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;)의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;정식 버전(GA)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 출시 소식을 발표하게 되어 기쁩니다.&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/pathways-intro"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Pathways는 원래 Google DeepMind가 Gemini를 비롯한 Google의 프런티어 모델을 학습시키고 서빙하기 위해 개발한 기술로, 대규모 이기종 가속기 Fleet을 위해 설계된 분산형 머신러닝 런타임입니다. 실제로 지난 90일 동안 선도적인 AI 기업과 글로벌 엔터프라이즈는 GKE 기반 Pathways를 사용하여 다양한 세대의 TPU에 걸쳐 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;1억 3천만 Cloud TPU 칩 시간 이상&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;의 워크로드를 처리했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Pathways를 사용하는 모든 Google Cloud 고객은 Google의 최대 규모 AI 워크로드를 지원하는 단일 컨트롤러 런타임, 코로케이션된 Python 사이드카, 탄력적인 내결함성을 활용할 수 있는 셈입니다. 아울러 Cloud Pathways를 Slurm 클러스터로 확장하여 통합된 멀티 슬라이스 JAX 실행, 탄력적 학습, 대화형 노트북을 지원하는 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/create-cluster-director-cluster"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cluster Director와의 통합 기능 프리뷰&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 출시 소식도 전해드립니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/cloud_pathways_light_1.gif"
        
          alt="image2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Pathways란?&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;멀티 슬라이스 사전 학습부터 분리형 추론, 다중 프로그램 강화 학습(RL) 루프에 이르기까지 AI 워크로드가 수천 개의 가속기 규모로 확장됨에 따라 기존의 다중 컨트롤러 환경은 프로그래밍과 관리가 점점 더 어려워지고 있습니다. 기본 다중 컨트롤러 JAX 환경에서는 모든 TPU 호스트가 연결된 기기에 대한 제한적인 정보만 가진 별도의 Python 인터프리터를 실행하고 동일한 SPMD 프로그램을 동기화된 방식으로 실행하기 때문에 이기종 MPMD 워크플로와 슬라이스 간 리소스 관리가 복잡해지고 오류에 취약해집니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Pathways&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 오픈소스&lt;/span&gt;&lt;a href="https://github.com/openxla/xla/blob/main/xla/python/ifrt/README.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Interim Framework Runtime(IFRT)&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 기반으로 하는 통합 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;단일 컨트롤러 아키텍처&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 다중 컨트롤러 관리 방식을 대체합니다. &lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/pathways-utils" rel="noopener" target="_blank"&gt;&lt;code style="text-decoration: underline; vertical-align: baseline;"&gt;pathwaysutils&lt;/code&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 포함해 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;JAX_PLATFORMS=proxy&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 설정하면 단일 JAX 클라이언트 프로세스에서 수천 개의 TPU 칩에 걸친 여러 개의 대규모 TPU 슬라이스를 모두 로컬에 연결된 것처럼 확인하고 조정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Pathways에 관한 자세한 내용은 최신 심층 분석 블로그(&lt;/strong&gt;&lt;a href="https://developers.googleblog.com/what-is-pathways-single-controller-training-for-large-models/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;)에서 확인하세요.&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;핵심 아키텍처 혁신&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Pathways는 다음과 같은 기능을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;단일 컨트롤러 조정: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Pathways에서는 단일 컨트롤러가 TPU 슬라이스 전반의 그래프 평가, 영구 Cloud Storage 컴파일 캐싱, 비동기 XLA HLO 디스패치를 관리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;코로케이션된 Python 사이드카:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 공유 메모리를 지원하는 클라이언트 측 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Python 사이드카 컨테이너를 코로케이션&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하여 분산 데이터 로딩 및 체크포인트 저장과 같이 컴퓨팅 집약적인 Python 로직을 TPU 호스트에서 직접 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;복원력과 탄력성을 갖춘 학습:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Cloud Pathways는 호스트-메모리 스냅샷을 사용하는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;탄력적 학습 기능&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;pathwaysutils&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)을 통해 개별 슬라이스 중단이 전체 작업의 지속 여부에 영향을 미치지 않도록 합니다. 하드웨어 장애가 발생하면 클라이언트가 비정상 종료되지 않은 상태에서 학습 작업을 N-1개의 슬라이스로 동적으로 재샤딩할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대화형 모드 및 Shared Pathways Service:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/pathways-interactive-mode"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;대화형 모드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하면 노트북이나 터미널에서 JAX 워크로드를 대화형으로 실행, 검사, 디버깅할 수 있습니다. 또한 &lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/pathways-utils/tree/main/pathwaysutils/experimental/shared_pathways_service" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Shared Pathways Service&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 통해 장시간 실행되는 Cloud TPU 슬라이스 풀을 여러 사용자와 작업 간의 필요에 따라 공유할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2-architecture_HOw9YCr.max-1000x1000.jpg"
        
          alt="2-architecture"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;입증된 엔터프라이즈 성과와 고객 도입 확대&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;최첨단 AI 연구소, 양적 조사 기업, 글로벌 소비자 플랫폼에서 다음과 같이 Cloud Pathways를 도입하여 GKE에서 미션 크리티컬한 프로덕션 워크로드를 실행하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;하이퍼스케일 멀티 호스트 추론:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 세계 최대 규모의 소비자 기술 기업 중 한 곳은 수만 개의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU v5p&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Trillium(v6e)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Ironwood(TPU7x)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 칩에 걸쳐 Cloud Pathways에서 프로덕션 배치 추론과 강화 학습(RL) 추론을 실행하고 있습니다. 이 기업은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;분기당 1억 시간이 넘는 칩 사용 시간을 소모&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하고 있으며, 사전 학습으로 영역을 확장하기 위해 Google과 함께 탄력성 관련 기본 기능을 공동 설계했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;과학 파운데이션 모델을 위한 탄력적인 사전 학습 및 멀티 호스트 RL:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud 고객인 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;ZenteiQ&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 Cluster Toolkit(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;gcluster&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;), 코로케이션된 Python 사이드카, 호스트 스냅샷과 함께 GKE 기반 Cloud Pathways를 사용하고 있으며, 이를 통해 과학 파운데이션 모델을 위한 멀티 슬라이스 Trillium(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;v6e&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;) 클러스터 전반에서 탄력적인 사전 학습(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;MaxText&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)과 단일 컨트롤러 강화 학습(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;MaxText&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; + &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;Tunix&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)을 확장하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p style="padding-left: 80px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"고비용 가속기에서 며칠씩 이어지는 사전 학습 및 사후 학습 작업을 수행할 때는 예기치 않은 하드웨어 장애나 예정된 유지보수 기간에도 작업을 중단 없이 안정적으로 이어나가는 것이 무엇보다 중요합니다. ZenteiQ는 Google Cloud AI 하이퍼컴퓨터 스택 기반의 Cloud Pathways로 Cloud TPU와 MaxText를 실행한 덕분에 검증된 컨트롤러를 활용하고 있습니다. 이 컨트롤러는 TPU 토폴로지를 모니터링하다가 칩이나 슬라이스가 오프라인 상태가 되면 워크로드의 메시 구성을 동적으로 재구성하고 크기를 조정합니다. 프로덕션 환경에서 Pathways와 호스트 스냅샷 기능을 함께 활용하자 장애 발생 시 복구 시간이 최소화되었고 작업 중단 시간을 매우 짧게 유지하면서 사용 가능한 TPU 용량을 최대한 활용할 수 있었습니다. 이제 ZenteiQ의 ML 엔지니어들은 작업 상태를 모니터링하거나 수동 재시작을 관리하는 데 시간을 쏟지 않고 연구 워크로드에 집중할 수 있습니다." - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Sashikumaar Ganesan 교수, ZenteiQ 설립자&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Pathways 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Pathways는 현재 GKE에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud TPU v5e&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU v5p&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Trillium(TPU v6e)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Ironwood(TPU 7x)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 지원하는 모든 Google Cloud 리전에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;정식 버전으로 제공&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;됩니다. 버전이 지정된 컨테이너 이미지(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)는 JAX &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;0.10.1+&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 이상을 지원합니다. 또한&lt;/span&gt;&lt;a href="https://cloud.google.com/cluster-director/docs/tpu-machines"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cluster Director의 Slurm TPU 클러스터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서도 Cloud Pathways를 프리뷰 버전으로 사용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Pathways를 사용하여 개발을 시작하려면 다음 단계를 따르세요.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개요 읽기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; AI 하이퍼컴퓨터 문서에서&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/pathways-intro"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud의 Pathways 소개&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;클러스터 배포하기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;ol&gt;
&lt;li aria-level="2" style="list-style-type: lower-alpha; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;GKE: 단계별 안내에 따라 Cluster Toolkit(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;gcluster&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;) 또는 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;gcloud&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; CLI를 사용하여&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/create-gke-cluster"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Pathways가 구성된 GKE 클러스터를 만듭니다&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="2" style="list-style-type: lower-alpha; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Slurm: &lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/create-cluster-director-cluster"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;단계별 안내&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 따라 Cluster Director를 통해 Pathways를 배포합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;워크로드 실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하기:&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/batch-workload"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; 일괄 워크로드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/pathways-interactive-mode"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;대화형 노트북 모드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/resilient-training"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;복원력과 탄력성을 갖춘 학습&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/multihost-inference"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티호스트 추론&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/porting-jax-workloads"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;JAX 워크로드 포팅&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/pathways-on-cloud/troubleshooting-pathways"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;문제 해결&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 대한 프로덕션 가이드를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;</description><pubDate>Sun, 15 Nov 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/cloud-pathways-a-distributed-ml-runtime-is-ga/</guid><category>TPUs</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/1-header.max-600x600.jpg" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>대규모 가속기 Fleet을 위한 분산형 ML 런타임, Cloud Pathways 정식 출시</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/1-header.max-600x600.jpg</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/cloud-pathways-a-distributed-ml-runtime-is-ga/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Shaurya Gupta</name><title>Software Engineer</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Monica Song</name><title>Product Manager</title><department></department><company></company></author></item><item><title>자율 에이전트를 위한 개방형 인프라 지원</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI가 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;인간 규모에서 에이전트 규모로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;기록 시스템에서 작업 시스템으로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;단순한 요청에서 복잡한 에이전트형 워크플로로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 발전함에 따라 플랫폼의 기반이 되는 워크로드가 완전히 변화하고 있습니다. 에이전트는 지속적인 스테이트풀(Stateful) 루프에서 작동합니다. 즉, 작업을 제안하고, 하위 에이전트를 가동하고, 샌드박스 내에서 코드 또는 도구 호출을 실행하고, 결과를 모델에 다시 입력하여 다음 턴을 진행합니다. 이 루프를 대규모로 실행하려면 2010년대에 Kubernetes와 Cloud Native Computing Foundation(CNCF)이 컨테이너에 도입한 것과 동일한 개방형 기반과 중립적인 거버넌스가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud는 Google에서 시작된 세 가지 오픈소스 프로젝트인&lt;/span&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 CNCF에 기증할 것임을 발표합니다. 이 프로젝트들은 지난달 CNCF 샌드박스에 채택된 바 있습니다. 이 개방형 스택을 관리형 프로덕션에 도입하고 TPU와 GPU 전반에서 그 활용을 가속화하기 위해, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Agent Substrate가 1.0 마일스톤에 도달했으며 이제 &lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;로 정식 버전이 제공된다는 소식도 함께 전해드립니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 프로젝트는 현재 커뮤니티 관리자 및 독립적인 빌드 인프라와 함께 CNCF 샌드박스 온보딩을 진행 중이며, gVisor는 인큐베이션 단계로 나아가고 있습니다. 이번 출시를 통해 모든 Kubernetes 클러스터, 모든 클라우드, 그리고 CPU, GPU, TPU에서 실행되는 개방형 스택을 제공할 수 있게 되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;유휴 컴퓨팅 오버헤드 없이 격리된 에이전트 환경을 확장하는&lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;(현재 1.0 버전이며 GKE에서 정식 버전으로 제공):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 몇 초간 코드나 테스트를 실행한 다음 모델 턴, 외부 API 또는 사람의 입력을 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;기다립니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 이와 같은 일시중지 중에 전용 컨테이너를 활성 상태로 유지하면 메모리와 컴퓨팅이 묶이게 됩니다. Agent Substrate는 스테이트풀(Stateful) 에이전트 세션과 ID를 활성 컴퓨팅에서 분리하고, 유휴 에이전트를 스토리지에 스냅샷으로 저장하고, 500밀리초 이내에 복원하여 컨테이너 밀도의 10배에 달하는 수백만 개의 샌드박스를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스 내에서 신뢰할 수 없는 코드를 격리하기 위해 &lt;/strong&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; 사용:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 검토되지 않은 코드와 외부 패키지를 정기적으로 생성하고 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하므로 호스트 Linux 커널을 공유하는 표준 컨테이너는 보안 위험이 됩니다. gVisor는 모든 Linux 노드에서 컨테이너 패킹 밀도로 경량 사용자 공간 애플리케이션 커널 내부에서 생성된 코드를 격리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;효율적인 사후 학습 및 서빙 배포를 위한 &lt;/strong&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 강화 학습(RL)을 통해 에이전트를 학습시키면 빌더는 수백만 개의 병렬 샌드박스 출시를 통해 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;학습&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;할 수 있는 개방형 루프를 얻게 됩니다. OpenRL은 Kubernetes 환경에서 일반 Python으로 자체 호스팅되는 RL 사후 학습 루프를 조정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Substrate를 통해 완전히 격리된 에이전트 환경 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트에는 격리된 컴퓨팅 리소스와 엄격한 액세스 경계가 필요하지만, 대부분의 시간을 대기하는 데 사용합니다. 몇 초간 코드를 실행한 다음 모델이 추론하거나 사람이 응답하는 동안 일시중지되기 때문입니다. 에이전트가 민감한 키를 보유할 필요 없이 승인된 도구와 서비스에만 액세스할 수 있도록 하려면 별도의 ID와 중앙 적용 지점이 필요합니다. 표준 Kubernetes에서 활성 에이전트마다 별도의 포드를 제공하면 에이전트가 유휴 상태일 때도 메모리와 CPU가 묶여 있게 됩니다. 이로 인해 컨트롤 플레인은 그렇게 설계되지 않았음에도 수백만 개의 영구 객체를 추적해야 하며, ID가 포드에 직접 연결됩니다. 동시에 ID는 본질적으로 Kubernetes 포드와 연결되어 있기 때문에, 액세스 및 보안 비밀을 제어하는 일이 기하급수적으로 복잡해집니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Agent Substrate는 스테이트풀(Stateful) 에이전트를 기본 컴퓨팅에서 분리하는 방식으로 이 문제를 해결합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;행위자(Actor)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 각 에이전트의 메모리, 파일, 개별 ID를 보유합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;작업자(Worker)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 웜 Kubernetes 풀에서 가져온 재사용 가능한 실행 샌드박스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;게이트웨이&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 인바운드 및 아웃바운드 액세스 제어를 시행하고 행위자 ID를 기반으로 보안 비밀을 삽입하여 민감한 키를 에이전트 환경 외부에 보관합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 모델 턴 또는 도구 호출을 기다리기 위해 일시중지되면 Agent Substrate는 에이전트의 메모리와 파일을 스토리지에 스냅샷으로 저장하고 즉시 작업자를 웜 풀로 반환합니다. 다음 요청이 도착하면 Agent Substrate는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;500밀리초 이내&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 사용 가능한 작업자 중 하나에 행위자를 복원하고 중단한 지점부터 작업을 재개합니다. 집이 아니라 호텔 방이라고 생각하면 됩니다. 도시를 떠날 때는 방을 잡아두지 않지만, 돌아오면 새 방이 준비되는 것과 같습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_s5MbWZe.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="26rg5"&gt;Agent Substrate는 스테이트풀(Stateful) 행위자와 정책 게이트웨이를 Kubernetes 작업자의 웜 풀에서 분리하여 500밀리초 이내에 유휴 세션을 복원합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2026년 5월 공개 개발이 시작된 이래로 Agent Substrate 프로젝트는 100명 이상의 기여자가 참여하는 규모로 성장했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=0&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Nous Research&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 초기 설계 파트너는 이를 기반으로 Hermes Enterprise를 빌드하고 있으며, 이미&lt;/span&gt;&lt;a href="https://kagent.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;kagent&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 다른 CNCF 프로젝트를 지원하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;1.0 마일스톤&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 도달했다는 것은 Agent Substrate가 수백만 개의 샌드박스에서 프로덕션 워크로드를 수용할 수 있음을 의미합니다. 표준 컨테이너 런타임의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;10배에 달하는 밀도&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 구현하며, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 500회 이상의 일시중지 및 재개 활성화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 수행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이를 바탕으로, 에이전트 수명 주기 관리 방식은 그대로 유지하면서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Hypervisor microVM&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 격리 경계로 선택할 수 있습니다. Agent Substrate는 표준 OCI 컨테이너를 실행하므로 에이전트 개발 키트(ADK) 에이전트, 스테이트풀(Stateful) 코딩 환경, 생산성 에이전트와 즉시 호환됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE에서 Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;가 정식 버전으로 출시됨&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 따라, 이 런타임을 Google Cloud에서 관리형 기능으로 실행하거나 모든 Kubernetes 클러스터에 오픈소스 코드를 배포할 수 있습니다. 클러스터를 관리할 필요 없이 API를 통한 전용 microVM 컴퓨팅 서비스를 원하는 팀을 위해, Agent Substrate는 평가 및 RL 파이프라인을 위한 빠른 최대 절전 모드와 병렬 환경 포크 기능을 제공하는 Titanium microVM 서비스인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 보완했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://spiritt.ai/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SPIRITT&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 GKE 기반의 Agent Substrate를 바탕으로 SPIRITT Workspace를 구축하고 있습니다. 실제 작업은 에이전트가 자율적으로 실행하고, 인간은 협업을 통해 방향성을 제시할 수 있는 플랫폼입니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;"SPIRITT에서는 모든 고객에게 자율적인 AI 작업공간이 제공되며, 이 작업공간에서 에이전트 또는 에이전트 그룹이 코드 및 개발 주기부터 마케팅 및 운영에 이르기까지 조직 전반에서 실제 작업을 빌드, 실행, 배포합니다. GKE 기반 Agent Substrate는 에이전트가 코드를 안전하게 실행할 수 있도록 보안 격리를 제공하고, 자체 런타임을 플러그인할 수 있는 확장성을 제공하며, 모든 고객의 에이전트를 경제적으로, 그리고 대규모로 실행할 수 있는 밀도를 제공합니다." - Tamir Magen, SPIRITT CEO&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;gVisor로 신뢰할 수 없는 에이전트 코드 격리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 기록 시스템에서 작업 시스템으로 전환되면, 생성된 셸 명령어와 검토되지 않은 패키지를 실행하게 됩니다. 표준 컨테이너는 노드의 다른 모든 워크로드와 호스트 Linux 커널을 공유하므로 신뢰할 수 없는 코드를 다룰 때는 위험할 수 있습니다. 하드웨어 microVM은 강력한 경계를 제공하며, Agent Substrate는 이를 기본적으로 지원합니다. 많은 팀에서는 베어메탈이나 중첩 가상화를 사용할 수 없는 경우에도 표준 Linux 인스턴스에서 컨테이너 밀도로 실행되는 강력한 격리를 필요로 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Go로 작성된 경량 애플리케이션 커널을 통해 이러한 격리를 제공합니다. 컨테이너와 호스트 OS 사이에 위치한 gVisor는 사용자 공간에서 애플리케이션 시스템 호출을 가로채어 처리하므로 신뢰할 수 없는 코드가 호스트 커널과 직접 통신하는 일이 없습니다. 2018년 Google에서 오픈소스로 공개한 gVisor는 매일 GKE Sandbox와 Cloud Run에서 수백만 개의 샌드박스를 실행합니다. Google 외에도&lt;/span&gt;&lt;a href="https://www.anthropic.com/engineering/how-we-contain-claude" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Anthropic&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://openai.com/index/securing-research-infrastructure-for-advanced-ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenAI&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 gVisor를 사용하여 코드 실행을 격리하고,&lt;/span&gt;&lt;a href="https://modal.com/docs/guide/security" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Modal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://www.snowflake.com/en/blog/engineering/rebuild-snowpark-execution-sandbox-with-gvisor/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Snowflake&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 gVisor를 기반으로 실행 샌드박스를 운영하며,&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2021/12/02/running-gvisor-in-production-at-scale-in-ant/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ant Group&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/04/23/scaling-agentic-rl-sandboxes-to-the-millions-with-gvisor-at-tencent/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Tencent&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 대규모 프로덕션 환경에서 gVisor를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor는 세 가지 기능 덕분에 에이전트 Fleet에 적합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨테이너 밀도 및 유연한 메모리:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 고정된 크기의 RAM 블록을 미리 할당하는 VM과 달리, gVisor는 워크로드에 따라 메모리가 확장 및 축소되는 컨테이너 프로세스 모델을 유지하므로 각 노드에 더 많은 에이전트를 배치하여 에이전트당 비용을 절감할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기본 GPU, TPU, 스냅샷 지원:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; gVisor는&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/gpu/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/tpu/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/checkpoint_restore/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;체크포인트/복원&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 기본적으로 지원하므로 에이전트가 샌드박스 내에서 가속기에 액세스하고 유휴 상태일 때 일시중지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Linux가 실행되는 모든 곳에서 실행:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 중첩 가상화가 필요하지 않으므로 gVisor는 모든 클라우드 또는 로컬 Linux 노드에 동일하게 배포됩니다.&lt;/span&gt;&lt;a href="https://northflank.com/blog/gpu-sandboxes" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;예를 들어 &lt;/span&gt;&lt;a href="https://northflank.com/blog/gpu-sandboxes" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Northflank&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 중첩된 가상화를 사용할 수 없을 때 gVisor를 사용하여 GPU 워크로드를 샌드박스 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor를 CNCF에 기증함으로써 커뮤니티의 오랜 성능 장벽을 해소할 수 있게 되었습니다. Google을 비롯한 샌드박스 인프라 제공업체들은 모두 gVisor의 I/O 성능을 네이티브 Linux에 가깝게 만드는 호스트 커널 패치를 적용하고 있습니다. 하지만 이 프로젝트가 개별 공급업체 소유였던 당시에는 업스트림 Linux 관리자들이 패치 병합을 거부했습니다. 중립적인 CNCF 거버넌스로 전환하면 이러한 커널 최적화를 업스트림할 수 있는 길이 열리므로 모든 빌더가 기본적으로 네이티브에 가까운 성능을 즉시 얻을 수 있습니다. 이러한 흐름에 따라&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/10/02/gvisor-cncf/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ant Group, Modal, Tines가 gVisor의 관리자로 합류&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하기로 했으며, OpenAI, Tencent, NVIDIA도 기여를 이어나가고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;OpenRL을 사용하여 Kubernetes에서 RL 사후 학습 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;프로덕션에서 에이전트를 실행하는 샌드박스는 강화 학습으로 에이전트를 학습시키는 데 필요한 환경과 정확히 동일합니다. 오늘날 대부분의 첨단 기술 발전은 RL 사후 학습에서 비롯됩니다. 즉, 실제 도구 내에서 수백만 번의 멀티턴 롤아웃을 실행하고, 결과를 평가하고, 모델 가중치를 업데이트하는 방식입니다. 이 루프를 직접 빌드하려면 일반적으로 모놀리식 RL 프레임워크를 포크하고, 학습 알고리즘을 건드리기 전에 분산 가중치 전송을 디버깅해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 깔끔한 자체 호스팅 Python 사후 학습 루프를 Kubernetes 클러스터에 바로 제공하며, 다음과 같은 기능을 갖추고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;간단한 Python 프리미티브:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Tinker 호환 API를 통해 네 가지 깔끔한 프리미티브(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;sample&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;forward_backward&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;optim_step&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;save_state&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)를 사용하여 학습 루프를 작성하는 동시에 가중치와 데이터를 자체 클러스터에 유지합니다. 기존 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;tinker-cookbook&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 레시피는 변경 없이 실행되며 LoRA 어댑터와 전체 파라미터 미세 조정을 모두 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;플러그형 엔진 및 Kubernetes 예약:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; OpenRL은 Kubernetes 동적 리소스 할당(DRA)을 사용하여 가속기 풀을 파티셔닝하고 공유 풀에서 RL 작업을 조정합니다. 플러그형 아키텍처는 학습을 위한 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;PyTorch&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;/&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;AutoModel&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, 샘플링을 위한 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;vLLM&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;을 포함한 표준 엔진을 사용합니다. Gemma와 Qwen은 즉시 사용 가능하도록 검증되었으며, TPU 지원이 로드맵에 포함되어 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;OpenRL은 Red Hat, Google Cloud, IBM Research, CoreWeave, NVIDIA가 출범한 CNCF 분산 추론 및 RL 프로젝트인&lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와도 연동됩니다. 이 프로젝트는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;최근 1.0 버전에 도달&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;했으며, RL의 두 단계 모두에서 가속기를 계속 사용하도록 유지합니다. 여기서 llm-d는 다음을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프리픽스 인식 롤아웃 라우팅:&lt;/strong&gt;&lt;a href="https://llm-d.ai/docs/dev/architecture/router" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 라우터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 일치하는 KV 캐시 프리픽스를 이미 보유한 샘플러로 멀티턴 롤아웃을 라우팅하여 중복되는 프리필 컴퓨팅을 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;학습과 샘플링 간의 GPU 타임 슬라이싱:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; RL 학습에서는 샘플러와 트레이너가 번갈아 가며 작동하므로 한 세트의 칩이 유휴 상태일 때 다른 세트가 작동합니다. OpenRL은&lt;/span&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 타임 슬라이싱&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 샘플링과 학습 간에 동일한 물리적 GPU를 공유하고, Agent Substrate가 유휴 CPU 및 RAM을 회수하는 것과 동일한 방식으로 유휴 가속기 주기를 회수합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_oAroVYF.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="58c28"&gt;OpenRL은 Kubernetes에서 일반 Python RL 루프를 구동하여 Agent Substrate 샌드박스 내에서 에피소드를 실행하고, llm-d는 롤아웃을 라우팅하고 가속기를 타임 슬라이스합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;OpenRL은 이 스택에서 가장 최근에 추가된 레이어입니다. 2월에 연구 프리뷰로 시작되었으며, CNCF에 조기 도입할 예정입니다. 궁극적인 목표는 모든 가속기에서 모든 모델에 적용할 수 있는 하나의 레시피를 만드는 것이며, 어느 한 기업이 단독으로 이를 달성할 수는 없습니다. 이 목표를 달성하기 위해서는 가속기(NVIDIA, AMD, Intel, TPU), 추론 엔진(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;llm-d&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;vLLM&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;SGLang&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;), 학습 프레임워크, 그리고 Gemma 및 Qwen을 비롯한 개방형 가중치 모델을 빌드하는 사람들이 필요합니다. 설계가 확정되기 전에 중립적인 CNCF 거버넌스를 설정해 두면 모두가 함께 이를 구축할 수 있는 여지가 생깁니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 CNCF가 필요한 이유&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 에이전트의 보안과 효율성을 개선하려면 런타임, 스케줄러, 컴파일러, 실리콘 전반에 걸친 공동 설계가 필요합니다. 지난 한 해 동안은 비용 부담이 적고 격리된 샌드박스 환경과 개방형 사후 학습 인프라의 필요성이 매우 분명하게 드러났습니다. Agent Substrate, gVisor, OpenRL을 CNCF에 기증하는 과정에서 개방형 협업과 공동 투자에 대한 Google의 의지는 더욱 확고해졌습니다. 특정 공급업체에 종속되지 않는 소유권 덕분에 클라우드 제공업체, 하드웨어 공급업체, 독립 소프트웨어 회사들이 에이전트형 워크로드의 향후 성장 과정에 동등하게 참여할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 이번 기증이 Kubernetes의 사례에서 보았던 것과 마찬가지로 여러 프로젝트를 통해 에이전트형 워크로드의 개발과 채택 속도를 더욱 가속화할 것이라고 믿습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;KubeCon에서 Google Cloud를 만나보세요&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;솔트레이크시티에서 열리는&lt;/span&gt;&lt;a href="https://events.linuxfoundation.org/kubecon-cloudnativecon-north-america/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;KubeCon + CloudNativeCon North America&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(11월 9~12일)에서 여러 세션을 둘러보고 Google Cloud 부스에서 Agent Substrate, OpenRL, gVisor에 대해 자세히 알아보세요. Modal, Anyscale, Tecton을 비롯한 커뮤니티 파트너로부터 이 개방형 스택이 에이전트형 워크로드에 어떤 의미가 있는지도 곧 들어보실 수 있습니다. 그동안 다음을 확인해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;CNCF 샌드박스 신청 현황 지켜보기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; gVisor&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/521" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#521&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, Agent Substrate&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/523" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#523&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, OpenRL&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/518" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#518&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 동기 프로젝트인 KubeRay&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/525" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#525&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;직접 확인해 보기:&lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ate.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gvisor.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;openrl.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 바로 GKE에서 에이전트 실행해 보기:&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/sandbox-pods"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Sandbox&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;심층 분석 읽어보기:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/10/02/gvisor-cncf/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor의 CNCF 합류&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://opensource.googleblog.com/2026/06/introducing-openrl-a-self-hosted-post-training-api-for-fine-tuning-llms.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL 소개&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt; &lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Thu, 12 Nov 2026 21:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</guid><category>GKE</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>자율 에이전트를 위한 개방형 인프라 지원</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Drew Bradstock</name><title>VP Product Management, Orchestration &amp; Kubernetes</title><department></department><company></company></author></item><item><title>10월 AI 인프라 및 조정 기능에 관한 새로운 소식</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud AI 인프라팀은 10월에도 새로운 제품 출시와 업데이트를 통해 오늘날의 AI 및 에이전트형 워크로드를 확장 가능하고 효율적으로 지원하며 바쁜 한 달을 보냈습니다. 또한 NVIDIA GTC, PyTorch Conference, AGNTCon + MCPCon 등 주요 업계 이벤트에서 고객, 파트너, 더 넓은 커뮤니티와 Google Cloud의 성과를 공유할 수 있어 영광이었습니다. 그럼 시작하겠습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 컴퓨팅 서비스:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 자율 AI 에이전트의 보안과 확장성을 강화하기 위해 특별히 설계된 컴퓨팅 서비스로, Agent Gateway 및 Agent Registry와 같은 확장된 에이전트 거버넌스 기능과 함께 고성능의 하드웨어 격리 microVM 샌드박스를 제공합니다. 주요 이점으로는 1초 미만의 빠른 활성화, 쓰기 시 복사 방식의 메모리 공유를 통한 초고밀도 워크로드 실행, 엔터프라이즈급 보안 및 ID 관리, 크로스 클라우드 관측 가능성 등이 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA GTC Berlin 2026&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 NVIDIA Vera Rubin NVL72 플랫폼 기반의 A5X 인스턴스, Virgo Network 수평 확장 패브릭, Managed Lustre 스토리지를 포함한 에이전트형 인프라의 업데이트를 발표했습니다. 공동 개발한 이러한 기술은 기업에 더 빠른 성능과 향상된 소버린 AI 제어 기능을 제공하며, 고급 컨피덴셜 컴퓨팅 기능을 통해 복잡한 다단계 모델을 안전하고 효율적으로 학습시키고 배포할 수 있도록 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE용 CPU 시작 부스트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 프리뷰 버전은 Kubernetes 인플레이스 포드 크기 조절을 사용하여 초기 설정 중에 컨테이너의 CPU 리소스를 동적으로 늘리고, 컨테이너를 다시 시작할 필요 없이 안정 상태 수준으로 다시 줄입니다. 이 기능은 시작 시 발생하는 성능 제한을 해소하고 리소스 요구량이 많은 워크로드의 콜드 스타트 속도를 최대 2배까지 높여 클라우드 인프라 비용을 절감하는 데 도움이 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 제품 업데이트: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE)용 Wiz 런타임 센서 부가기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 프리뷰 버전은 Standard 및 Autopilot GKE 클러스터 모두에서 Wiz의 eBPF 런타임 위협 감지 기능을 사용할 수 있으며, 간단한 배포, 자동화된 수명 주기 관리, 엔터프라이즈 사용자 인증 정보 보안, Fleet 전체 거버넌스 등의 이점을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;현대화 도구:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 마침내 하나로 통합되었습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/infrastructure-modernization/google-cloud-modernize-accelerate-transformation-with-ai?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Modernize&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Migration Center, Google Cloud VMware Engine,&lt;/span&gt;&lt;a href="https://cloud.google.com/solutions/mainframe-modernization?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud 메인프레임 현대화&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 새로운 EKS-to-GKE Migration Agent를 비롯한 Google Cloud의 마이그레이션 및 현대화 도구를 단일 포트폴리오로 통합합니다. 이제 엔터프라이즈팀은 인프라 평가, 플랫폼 현대화, 애플리케이션 현대화 전반에서 목적에 맞게 빌드된 에이전트 기능을 사용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run의 Temporal 서버리스 작업자&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는&lt;/span&gt;&lt;a href="https://temporal.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 태스크 큐 수요에 따라 작업자 풀을 자동으로 확장하고 유휴 상태일 때는 0으로 축소합니다. 이 통합은 클러스터 관리의 필요성을 없애고 비용을 절감하며, Temporal Worker Versioning을 사용하여 스테이트풀(Stateful) 장기 실행 워크플로와 AI 에이전트 워크로드를 안전하게 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 제품:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 1.0&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 모델 서버 클러스터를 조정된 서빙 풀로 전환하여 Google Cloud TPU와 GPU가 혼합된 Fleet 전반에서 분산 LLM 추론을 통합하는 오픈소스 Kubernetes 네이티브 서빙 스택입니다. Google과 파트너가 공동으로 개발한 이 프로젝트는 캐시 인식 라우팅, 계층형 KV 캐시 오프로딩, 우선순위 기반 흐름 제어와 같은 프로덕션 환경에서 즉시 사용할 수 있는 이점을 제공하여 컨텍스트 재사용을 획기적으로 개선하고, 첫 토큰 생성 시간 지연을 줄이며, 멀티 테넌트 에이전트 워크로드를 효율적으로 확장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud는 Meta와 협력하여 Google TPU를 GPU 및 CPU와 함께 PyTorch 생태계에 직접 통합하는 네이티브 PyTorch 스택인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 오픈소스로 공개했습니다. 이제 개발자는 Hugging Face, vLLM, TorchTitan과 같은 익숙한 프레임워크를 사용하여 TPU에서 모델을 네이티브로 학습, 서빙, 배포할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Distributed Cloud 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 엄격한 주권 규정에 따라 운영되는 조직은 데이터 처리에 AI를 활용하고 싶어도 데이터를 클라우드로 전송할 수 없습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/hybrid-cloud/new-innovations-in-google-distributed-cloud?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;최신 버전의 Google Distributed Cloud(GDC) 에어 갭&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 이러한 격리된 환경에서도 프런티어 AI 모델과&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/hybrid-cloud/managed-rag-search-inside-the-sovereign-perimeter-gemini-on-gdc-enterprise-search?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini를 활용한 멀티모달 엔터프라이즈 검색 기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용할 수 있도록 지원합니다. 또한 GDC 에어 갭 적용 환경은 NVIDIA Blackwell Ultra 아키텍처 기반의 NVIDIA HGX B300 시스템을 지원하며, 향상된 네트워킹 및 보안 기능을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에지 추론 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google은 OpenGL ES, OpenCL, Metal, WebGPU 전반의 하드웨어 복잡성을 추상화하는 LiteRT용 크로스 플랫폼 온디바이스 GPU 컴퓨팅 엔진인&lt;/span&gt;&lt;a href="https://developers.googleblog.com/ml-drift-next-gen-gpu-aiml-inference-at-the-edge/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ML Drift&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 오픈소스로 공개했습니다. 이 프레임워크는 에지에서 기존 머신러닝 워크로드와 고급 생성형 AI 모델 모두에 최고의 성능, 향상된 5D 텐서 지원, 높은 메모리 효율성을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개방형 가중치 모델 지원:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Reflection의 Beam은 Apache 2.0 라이선스에 따라 출시된 501개 파라미터의 개방형 가중치 모델로, 첨단 소프트웨어 엔지니어링과 장기 에이전트 작업을 위해 특별히 설계되었습니다.Google Cloud는 AI 하이퍼컴퓨터 및 NVIDIA AI 인프라에서 Beam을 서빙할 수 있도록 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;당일부터 지원하고 즉시 실행 가능한 배포 레시피를 발표&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 네트워크 참조 아키텍처:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/developers-practitioners/networking-for-ai-inference-model-serving-gke-only-and-for-all-other-backends?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 추론 모델 서빙을 위한 네트워킹 - GKE 전용 및 기타 모든 백엔드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Private Service Connect, Apigee API 관리, Model Armor를 사용하여 중앙 집중식 거버넌스와 비공개 IP 라우팅을 제공하는 AI 추론 모델 서빙을 위한 참조 아키텍처에 대해 알아볼 수 있습니다. 이러한 아키텍처는 GKE, Cloud Run, 하이브리드 클라우드 전반에서 멀티 모델 확장과 프롬프트 보안을 간소화합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-2-dynamic-slicing-enhancements/406815" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 TPU 관측 가능성 이야기: 2부 - 동적 슬라이싱 개선 사항&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 AI 플랫폼 수석 엔지니어인 Alex가 흥미로운 스토리 형식의 관측 가능성 가이드를 통해 차세대 v7 TPU를 위한 GKE의 새로운 동적 슬라이싱 관측 가능성 도구와 측정항목을 자세히 설명합니다. 실제 사례와 유용한 명령줄 스니펫을 통해 단계별 진단 워크플로를 살펴보세요.&lt;/span&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-1/397955" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기에서 1부를 확인하세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer?_gl=1*161z6lh*_ga*NTIxMzA0MjUwLjE3OTA5Njg2MDE.*_ga_4LYFWVHBEB*czE3OTA5NzAxNzYkbzgkZzEkdDE3OTA5NzAzNTAkajE4JGwwJGgw&amp;amp;e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 프런티어 연구소인 AI21은 Jamba 제품군을 학습시킬 새로운 스택이 필요했고, A3 및 A3 Ultra 인스턴스에서 GKE로 구성된 AI 하이퍼컴퓨터를 선택했습니다. AI21은 이를 통해 우선순위가 높은 작업의 대기 시간을 72시간에서 12시간으로 단축하고, 수동 스케줄링 개입 횟수를 주당 20회에서 0회로 줄였다고 밝혔습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/media-entertainment/how-visko-streams-real-time-world-models-on-google-cloud-tpus?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Visko, Google Cloud TPU에서 실시간 세계 모델 스트리밍&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 대화형 세계 모델을 개발하는 AI 스타트업 Visko는 동영상 생성, 초해상도 업스케일링, 오디오 동기화 기능을 결합한 엔드 투 엔드 실시간 추론 파이프라인을 단일&lt;/span&gt;&lt;a href="https://cloud.google.com/tpu?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud TPU 슬라이스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 배포했습니다. 이 블로그에서는 이 팀이 파이프라인을 설계한 과정, 아키텍처 최적화 기법, 그리고 초저지연 생성형 AI를 구축하려는 다른 스타트업에 도움이 될 만한 실전 팁을 소개합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ZenteiQ, GKE 및 llm-d를 통해 물리적 AI 추론을 4배 확장&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 인도 AI 스타트업인 ZenteiQ는 물리 법칙, 지배 방정식, 수치 솔버를 이해하는 모델을 사전 학습시키기 위해 여러 모델 제품군에서 실행되며 검증된 데이터 세트를 학습 실행에 제공하는 대규모 배치 합성 데이터 생성 파이프라인을 설계하고 빌드했습니다. GKE와 GKE Inference Gateway를 통해 ZenteiQ는 파이프라인 내에 추론 라우팅 레이어를 제공하여 집계 추론 처리량을 4.07배 확장하고 가속기 1,000개당 일일 토큰 생성량을 14억 7천만 개에서 59억 7천만 개로 늘릴 수 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/customers/paloaltonetworks?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Palo Alto Networks, 클라우드 기반 보안 서비스 현대화&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: Palo Alto는 2018년부터 Google Cloud와 협력하여 Prisma Access 보안 서비스를 제공해 왔으며, 이제 업데이트가 필요한 시점이 되었습니다. Palo Alto는 기존의 보안 수준을 유지하기 위해 플랫폼을 독립적으로 확장 가능한 두 개의 레이어로 분리했습니다. 하나는 Axion C4A 인스턴스를 사용하여 GKE에서 실행되며 트래픽 라우팅 및 전달을 처리하는 인그레스 레이어이고, 다른 하나는 내부 부하 분산기를 전면에 배치한 전용 단일 테넌트 VM에서 실행되며 위협 검사를 처리하는 보안 레이어입니다. 이제 각 레이어를 독립적으로 확장, 업데이트, 운영할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://www.googlecloudpresscorner.com/2026-10-27-Oracle-Brings-Google-TPUs-to-Oracle-Cloud-Infrastructure" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Oracle: Google Cloud 외부에서 TPU를 제공하는 최초의 하이퍼스케일러&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: Oracle은 Google TPU를 배포함으로써 Oracle Cloud Infrastructure(OCI)에서 제공하는 AI 칩의 범위를 넓히고 고객에게 AI 워크로드를 실행할 수 있는 더 많은 옵션을 제공하고 있습니다. OCI의 Google TPU는 2027년부터 제공될 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 리소스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기업이 개별적인 AI 실험에서 프로덕션 규모의 시스템으로 전환함에 따라 엔지니어링, 재무, 경영진에 이르기까지 다양한 부서에서 서로 다른 기술 용어를 사용하는 경우가 많습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/resources/report/content/an-it-leaders-encyclopedia-for-ai-infrastructure?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 인프라 백과사전&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 복잡한 인프라 전문 용어를 알기 쉽게 설명하여 이러한 커뮤니케이션 격차를 해소합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분석가 보고서: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/ai-machine-learning/google-named-leader-in-2026-idc-marketscape-for-agentic-ai-platforms?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google이 제1회 2026년 IDC MarketScape의 에이전트 AI 플랫폼 부문에서 리더로 선정&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;되었다는 기쁜 소식을 전해드립니다.&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;심층 분석: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine의 아키텍처&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 Google의 Gemini팀이 모든 Gemini 사용자에게 개인 에이전트를 제공하기 위해 VM의 격리 기능과 컨테이너의 속도 및 밀도를 모두 필요로 했던 이유를 설명하는 기술 가이드입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 9월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Kubernetes Engine 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE팀은 플랫폼의 확장성을 개선하는 데 주력하고 있으며, 9월에는 다양한 형태와 규모의 개선사항이 적용되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트 워크로드에 더 높은 밀도의 실행 런타임이 필요하신가요? Google Cloud는 표준 컨테이너 런타임보다 10배 더 높은 밀도로 수백만 개의 샌드박스를 실행할 수 있도록 새로운 오픈소스&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 설계했습니다. 또한 Agent Substrate는 네이티브 제로 트러스트 커널 및 네트워크 격리 기능을 바탕으로 초당 500회 이상의 일시중지/재개 활성화 요청 처리 시에도 500ms 미만의 재개 성능을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이제 GKE에&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Scale-to-zero&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능이 기본 제공됩니다. 자동 확장 측정항목이 포함된 HPA와 KEP-2021 지원 덕분에 워크로드를 축소하는 데 복잡한 구성요소를 구성할 필요가 없습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그를 읽고&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;또한 GKE HPA(위에서 언급한 자동 확장 측정항목 사용)를 사용하면 이제 표준 측정항목 외에도 커스텀 PromQL 측정항목을 기반으로 확장 및 축소할 수 있으므로 비즈니스에 의미 있고 고유한 조건에 따라 워크로드를 트리거할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/native-support-for-prometheus-metrics-in-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/native-support-for-prometheus-metrics-in-gke?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;또 다른 확장성 기능은&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/pod-snapshots"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 포드 스냅샷&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;으로, 이를 통해 CPU 및 GPU 메모리를 포함한 워크로드의 실행 상태를 저장하고 필요에 따라 복원할 수 있습니다. 내부 테스트에 따르면 GKE 포드 스냅샷 사용 시 AI 추론 시작 시간을 최대 89% 단축할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-pod-snapshots?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-pod-snapshots"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 마이그레이션 도구: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;마지막으로, AWS EKS에서 GKE로 컨테이너 워크로드를 마이그레이션하고 싶었지만 까다롭고 번거로운 엔지니어링 작업이 두려웠다면, Google Cloud가 최근 출시한&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-agentic-migration?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용해 보세요. 이 도구는 불안정하고 임시적인 프롬프팅을 결정론적 가드레일로 보호되는 AI 지원 마이그레이션 파이프라인으로 대체하는 전용 에이전트 플러그인입니다. 에이전트 스킬과 로컬 모델 컨텍스트 프로토콜(MCP) 서버의 컴파일로 설계된 이 도구는 AI를 사용하여 복잡한 AWS EKS IaC 및 Kubernetes 매니페스트를 GKE 시작 영역으로 직접 변환합니다. &lt;/span&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration/blob/main/docs/onboarding-guide.md" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;온보딩 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를&lt;/span&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration/blob/main/docs/onboarding-guide.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;참고하여 시작하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기능 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;강화 학습(RL) 및 평가 워크로드는 매우 까다롭습니다. 표준 에이전트형 RL 루프에서 LLM 정책은 GPU에서 코드 스니펫과 같은 작업을 생성하고 이를 격리된 CPU 샌드박스 내에서 실행하여 보상 신호를 관찰합니다. 그러나 수만 개의 동시 배포를 지원하도록 이 루프를 확장하면 유휴 상태의 가속기, 이미지 카디널리티, 포화 상태의 컨트롤 플레인과 같은 인프라 병목 현상이 발생합니다. 이를 위해 RL에 최적화된 GKE Agent Sandbox와 Agent Sandbox RL 조정 SDK, 인기 있는 RL Gym 및 하네스를 위한 기본 통합을 개발했습니다. 모두 정식 버전으로 제공되고 있으며 자세한 내용은&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;스토리지 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI는 많은 데이터를 학습하고 생성하며, 이러한 데이터는 블록 스토리지 시스템, 파일 시스템, 객체 스토어, 데이터베이스 등 어딘가에 저장되어야 합니다. Google Cloud는 이 중요한 레이어가 에이전트형 워크로드의 요구사항을 충족할 수 있도록 스토리지 포트폴리오의 개선사항을 발표했습니다.  &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/storage-data-transfer/filestore-agent-volumes?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore 에이전트 볼륨&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 에이전트형 워크로드를 위한 고성능의 탄력적인 영구 파일 스토리지를 제공합니다. GKE Agent Substrate 및 GKE 에이전트 샌드박스와의 긴밀한 통합 덕분에 Filestore 에이전트 볼륨은 전용 격리 파일 작업공간을 GKE 에이전트 샌드박스에 밀리초 단위로 자동 할당하고 연결합니다. &lt;/span&gt;&lt;a href="http://forms.gle/vYPkcFiZVoTjf7Ah7" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="http://forms.gle/vYPkcFiZVoTjf7Ah7" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;프리뷰 액세스를 요청하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 생성형 AI 및 RAG 데이터 레이어(예: Milvus, Pinecone, Qdrant, Vespa, Redis, 인메모리 컨텍스트 캐싱)를 실행하는 경우, 주요 하이퍼스케일러 중 코어당 가장 높은 IOPS와 처리량을 제공하는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/compute-engine-m4n-vms?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;M4N VM 제품군&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(현재 정식 버전 출시됨)을 살펴보세요. Google Cloud의 커스텀&lt;/span&gt;&lt;a href="https://cloud.google.com/titanium"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 오프로드 아키텍처 및&lt;/span&gt;&lt;a href="https://cloud.google.com/compute/docs/disks/hyperdisks"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Hyperdisk Extreme&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 결합된 M4N 인스턴스는 최대 25,000MiB/s(25GiB/s)의 집계 호스트 스토리지 성능과 최대 100만 IOPS를 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또 다른 새로운 Compute Engine 제품인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Z4D가 정식 버전으로 출시&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;되었으며, 이는 AI/ML 학습 및 추론 워크로드를 위한 강력한 스토리지 솔루션입니다. 베어메탈 인스턴스로 구성된 Z4D는 에이전트형 마이크로 VM에 필요한 높은 로컬 SSD(LSSD) 용량과 짧은 지연 시간을 모두 제공하므로 호스트당 수천 개의 격리된 샌드박스를 기본 성능과 효율성으로 실행할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;Z4D 머신에 대해 자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;오늘날의 AI 학습 및 추론 파이프라인은 대부분의 스토리지 관리 시스템이 대응할 수 있는 속도보다 더 빠르게 데이터를 생성하므로 스토리지 자산을 파악하려는 팀에 어려움을 초래합니다. 새로운 버전의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/storage/docs/storage-intelligence/advisor-overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Storage Intelligence 어드바이저&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하면 '버킷에 무엇이 들어 있는지'에 대한 질문에 더 쉽게 답하고 예상치 못한 변경사항을 빠르게 식별할 수 있습니다. 또한 향상된&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/storage/docs/batch-operations/overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;일괄 작업&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 버킷 전반에서 대량 변경사항을 자동화할 수 있습니다. 예를 들어 스토리지 클래스를 이동하거나, 오래되었거나 임시 데이터를 일괄 삭제하거나, 메타데이터, 태그 지정, 보관, 암호화 변경사항을 적용할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/storage-data-transfer/storage-intelligence-advisor-and-batch-operations-updates/?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Storage Intelligence 어드바이저의 최신 소식을&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/storage-intelligence-advisor-and-batch-operations-updates/"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 마지막으로, 새로운 버전의&lt;/span&gt;&lt;a href="https://cloud.google.com/products/alloydb"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;PostgreSQL용 AlloyDB&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 선구적인 Google 인프라인 Colossus 분산 파일 시스템과 Jupiter 네트워크를 결합하여&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/databases/alloydbs-agentic-database-architecture?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 시대를 위한 타협 없는 새로운 데이터베이스 아키텍처&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;방법:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 전 세계에 흩어져 있는 GPU와 TPU를 단일 진입점 뒤에서 단일 풀로 작동하게 하고 싶으신가요?&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 그 방법을 알려드립니다. 에지에서는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 전역, 멀티 리전 트래픽 분산 및 고가용성에 중점을 둡니다. 그 아래에서는&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d-router" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;LLM-d 라우터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 사용률을 높게 유지하는 복잡한 메모리 인식 예약 알고리즘을 처리합니다. 이 아키텍처는 의도적으로 런타임, 모델, 가속기와 무관하게 설계되었으며, 테스트에서는 멀티 클러스터 GKE Inference Gateway를 통해 트래픽을 라우팅할 때 추가된 오버헤드가 1% 미만이었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 모델 학습 또는 추론을 위해 TPU에서 GKE를 사용 중이거나 사용할 계획이신가요? 대규모 언어 모델(LLM)을 학습시키거나 높은 처리량의 추론 서빙을 실행하려면 Cloud TPU 및 GPU와 같은 특화된 AI 하드웨어에 상당한 투자가 필요합니다. 지출 비용을 최대한 활용하려면&lt;/span&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-1/397955" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 워크로드 수명 주기 측정항목을 이해&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;해야 합니다. 이 상세 가이드에서는 불투명한 클러스터 동작을 활용 가능한 원격 분석으로 전환하는 방법을 설명합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 고객:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 게임 스타트업 SeaVerse가&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/seaverse-chooses-gke-agent-sandbox?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 테넌트 워크로드에 GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하는 이유와 이 플랫폼을 통해 인프라 비용을 60% 절감한 방법을 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;혹시 놓치셨을까 봐 알려드리자면, Google은 Gartner와 Forrester의 주요 분석 보고서 3개에서 제품 또는 전략 부문 최고 점수를 획득하는 등 리더로 선정되었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/forrester-wave-public-cloud-platforms-q3-2026-report?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 부문 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 모든 클라우드 제공업체 중 가장 높은 종합 점수 획득&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/google-named-a-leader-in-2026-gartner-magic-quadrant-for-scps?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, 2026년 Gartner® Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문에서 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 평가 대상 공급업체 중 '비전의 완전성' 부문에서 가장 선도적인 업체로 선정되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 평가 대상 공급업체 중 '실행 능력' 면에서 가장 높은 순위를 차지했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 전 세계 GPU 제공업체의 안정성, 성능, 지원, 가격, 보안을 평가하는 최신 SemiAnalysis ClusterMax 3.0 보고서에서 골드 등급을 받았습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://newsletter.semianalysis.com/p/clustermax-30-the-industry-standard" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;보고서 전문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 8월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud의 퍼스트 파티 보안 확장형 NFS 파일 서비스인 &lt;/span&gt;&lt;a href="https://cloud.google.com/filestore"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 AI 및 에이전트 워크플로를 위한 인기 스토리지 플랫폼으로 부상했으며, 이제 Google의 기본 분산 스토리지 시스템인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/how-colossus-optimizes-data-placement-for-performance?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Colossus&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 기반으로 직접 빌드된 새로운 백엔드 스토리지 계층을 통해 이 작업에 더욱 최적화된 성능을 제공합니다. 이 새로운 백엔드를 사용하면 스토리지 용량과 독립적으로 IOPS를 프로비저닝할 수 있으며 GKE와 긴밀하게 통합됩니다. AI 환경에서는 공통 데이터 세트를 읽고 써야 하는 대규모 에이전트 그룹인 이른바 에이전트형 스웜을 성능 저하 없이 서비스하는 데 도움이 될 수 있습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/filestore-file-service-runs-on-colossus?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그 게시물&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gvisor-sandboxes-for-ray-clusters-on-gke?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이제 GKE의 분산 Ray 클러스터에서 gVisor 샌드박스를 사용할 수 있습니다&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. Google은 Anyscale과의 파트너십을 통해 Google의 오픈소스 애플리케이션 커널인 gVisor를 분산 Ray 클러스터에 직접 통합할 수 있는 Ray용 실험용 라이브러리를 선보였습니다. gVisor는 일반 컨테이너보다 강력한 격리 기능을 제공하면서도, 가벼운 환경 덕분에 빠른 시작 시간과 낮은 메모리 오버헤드라는 장점까지 모두 갖추고 있습니다. GKE에서 이러한 샌드박싱 기능을 사용해 보려면 &lt;/span&gt;&lt;a href="https://docs.ray.io/en/master/cluster/kubernetes/examples/ray-sandboxing.html" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ray 샌드박싱 사용자 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;개인용 AI 에이전트를 실행할 고성능의 사용하기 쉬운 인프라를 찾고 계신가요? 하지만 비용 부담은 줄이고 싶으시다면 주목해 주세요. 새로운 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/serverless/introducing-cloud-run-instances"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run 인스턴스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Cloud Run의 전용 싱글톤 컴퓨팅 런타임으로, 에이전트가 유휴 상태일 때도 종료되지 않습니다. 더욱 놀라운 점은 1개의 vCPU와 1GiB 메모리 사양의 Cloud Run 인스턴스를 30일 내내 중단 없이 실행해도 비용이 단돈 $5.70에 불과하다는 것입니다.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드, 문서, 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 모델 컨텍스트 프로토콜(MCP) 분야의 중요한 소식입니다. 2026년 7월 28일 사양을 기준으로 프로토콜 코어는 '완전히 스테이트리스(Stateless)입니다. 핸드셰이크는 이제 필요 없습니다. 초기화 / 초기화 완료 핸드셰이크(SEP-2575)와 논리적 Mcp-Session-Id 헤더(SEP-2567)가 완전히 사라졌습니다. 대신 이제 모든 요청이 자체 설명적이고 독립적으로 이루어집니다.' 정말 놀랍지 않은가요? &lt;/span&gt;&lt;a href="https://developers.googleblog.com/scaling-ai-agent-infrastructure-with-the-mcp-stateless-updates/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Developers 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 최신 MCP 사양의 변경사항과 구현 방법을 자세히 알아보세요.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;실시간 AI 시스템은 기존 네트워크 부하 분산 기법을 무력화합니다. '백엔드는 고립된 요청을 처리하는 대신 지속적으로 실시간 양방향 스트림을 관리해야 합니다. 오디오 청크, 스크립트, 모델 출력, 합성 음성이 동시에 끊임없이 오가기 때문입니다.' 사용자가 개입하면 상황은 더 복잡해집니다. &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;'서버는 현재 진행 중인 음성 생성을 즉시 중단하고, 컨텍스트를 업데이트하도록 전환하고, 새로운 도구를 트리거하고, 다른 대답을 작성하기 시작해야 합니다. 이 모든 작업은 연결을 끊지 않고 수행되어야 합니다.'&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; AI 시대에 부하를 관리하는 새로운 접근 방식에 대해 알아보려면 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/scaling-real-time-ai-agents-with-session-aware-load-balancing/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;세션 인식 부하 분산으로 실시간 AI 에이전트 확장하기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;방법:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 다양한 GPU 가속기를 혼합하여 사용하더라도 GKE에서 탄력적이고 확장 가능한 LLM 추론 플랫폼을 빌드하는 방법을 알아봅니다. 제안된 아키텍처는 Capacity Advisor와 Compute Advisor 외에도 RunAI:model streamer나 병렬 다운로드를 지원하는 GCPFuse와 같은 고성능 스토리지를 결합합니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/how-to-build-an-elastic-scalable-llm-inference-platform-on-gke-using-fluid-compute/388108" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;문서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;GPU 또는 TPU가 있는 호스트의 경우 라이브 마이그레이션을 사용하여 업데이트할 수 없으므로 유지보수 문제가 발생합니다. 이 새로운 문서 페이지에서 학습 및 추론 워크로드의 다운타임 허용 범위에 따라 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/perform-host-maintenance-accelerators"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;가속기가 장착된 호스트를 업데이트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하는 방법을 알아보세요.   &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;문서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Advanced Compute Images(ACI)는 AI/ML 및 HPC 인프라를 위한 표준화된 이미지 스택이므로 커스텀 이미지를 수동으로 빌드할 필요가 없습니다. 이 새로운 문서 페이지에서 Google Cloud CLI, 콘솔 또는 SchedMD의 Slurm 워크로드 관리자를 사용하여 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/compute/docs/instances/use-aci-images"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ACI 이미지를 만드는&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 방법을 알아보세요&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;. &lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 워크로드는 설계하기가 어렵고, 리소스 집약적이며, 버스트가 발생하기 쉬운 것으로 알려져 있습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용되는 컴퓨팅 리소스가 대량으로 발생할 수 있습니다. 새로운 블로그에서는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/best-practices-for-dynamic-capacity-management?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud에서 동적 용량 관리를 달성하는 세 가지 주요 방법&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 간략하게 설명합니다. 1) 계획된 다운타임에 대한 용량 예약, 2) 계획되지 않은 다운타임에 대한 자동화된 대체 용량 유지, 3) GKE의 핵심 조정 기능을 활용한 리소스 할당 자동화입니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;비즈니스 조정 소프트웨어 제공업체인 &lt;/span&gt;&lt;a href="https://www.uipath.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;UiPath&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 급증하는 워크로드를 처리하고 있었으며, 비용을 더 예측 가능하게 만들고 싶었습니다. 이를 위해 인프라를 재설계하여 고립된 클러스터에서 공유 Google Cloud GPU Fleet으로 전환했습니다. 여기에는 학습을 위한 A3 VM 인스턴스(NVIDIA H100 GPU)와 추론을 위한 G4 VM 인스턴스(NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU)가 모두 포함되었습니다. 아키텍처에 대한 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/customers/how-uipath-built-its-high-performance-gpu-platform"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;AI 개발 가속화에 주력하는 첨단 AI 연구소인 &lt;/span&gt;&lt;a href="https://mirendil.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Mirendil&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 모델 사전 학습 및 사후 학습 애플리케이션을 지원하기 위해 TPU와 NVIDIA GPU를 모두 갖춘 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/startups/mirendil-selects-ai-hypercomputer?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 하이퍼컴퓨터를 사용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하고 있다고 발표했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;소매 CRM 제공업체인 &lt;/span&gt;&lt;a href="https://replen.it/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Replenit&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 BigQuery, Gemini Enterprise Agent Platform, Cloud TPU에서 실행되는 오픈소스 Gemma 모델을 사용하여 Google Cloud에서 AI 의사 결정 엔진을 빌드했습니다. Replenit의 발표에 따르면, 이 조합을 통해 이전 클라우드 제공업체 대비 파이프라인 비용을 90%나 절감할 수 있었습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/customers/replenit?e=48754805&amp;amp;hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;우수사례 전문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 읽어보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://www.malachyte.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Malachyte&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Bigtable, Managed Service for Apache Kafka, Pub/Sub, Compute Engine, GKE를 기반으로 AI 기반 이커머스 추천 플랫폼을 설계했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/data-analytics/solving-retails-cold-start-problem-malachytes-recommendation-reinvention?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 이 모든 것이 어떻게 결합되는지 확인해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 7월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/products/managed-lustre"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Managed Lustre&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 정식 버전(GA)으로 출시되었습니다. 이제 용량 TiB당 125MB/s부터 250MB/s, 500MB/s, 최대 1,000MB/s까지 네 가지 성능 등급의 처리량을 선택할 수 있으며, 스토리지 용량을 최대 8PB까지 확장할 수 있습니다. Managed Lustre 솔루션은 DDN의 EXAScaler를 기반으로 하며, 고성능 스토리지 분야에서 수십 년간 쌓아온 DDN의 리더십과 Google Cloud의 클라우드 인프라 전문성이 결합된 결과물입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/c4n-network-and-storage-optimized-vms?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;C4N 네트워크 및 스토리지 최적화 VM 정식 버전 출시&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. C4N은 데이터 전송 병목 현상을 제거하기 위해 빌드된 Google Cloud 최초의 네트워크 및 블록 스토리지 최적화 VM 시리즈입니다. 5세대 Intel Xeon 확장 가능 프로세서로 구동되고 Google의 &lt;/span&gt;&lt;a href="https://cloud.google.com/titanium?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 오프로딩 하드웨어를 기반으로 빌드된 이 제품은 Hyperdisk Extreme과 함께 사용할 때 400Gbps의 네트워크 대역폭, 초당 9,500만 패킷(MPPS), 최대 25GiB/s의 블록 스토리지 처리량을 구현합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/planning-large-clusters#clusters-5k-nodes"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;네트워크 정책이 적용된 최대 15,000개 노드 규모의 GKE Dataplane V2(GA)&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 이 기능을 사용하면 표준 GKE 클러스터를 최대 15,000개 노드까지 확장하면서도 전체 활성 네트워크 정책 적용을 유지할 수 있어 대기업 및 AI/ML 고객의 대규모 인프라 요구사항을 지원할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/introducing-co-operative-time-slicing-for-rl-in-llm-d?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d의 협력적 타임 슬라이싱&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 강화 학습(RL) 워크로드를 실행하는 경우, 이제 독립적인 RL 작업을 공유 물리적 하드웨어에 인터리브 처리할 수 있어 모델 수렴이나 정확도에 영향을 주지 않으면서 가속기의 총 가동 주기를 기준치인 약 40%에서 최대 70%까지 늘릴 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 AI 보안 도구:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/identity-security/introducing-k8s-aibom-on-gke-for-automated-ai-bills-of-materials?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE에서 AI 공급망을 보호&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하고, AI 워크로드를 안전하게 배포하고, 섀도 AI를 줄이고 싶으신가요? Google은 컨테이너 클러스터를 지속적으로 모니터링하여 실행 중인 AI 런타임(예: vLLM 및 Triton)을 자동으로 감지하고 표준 CycloneDX 머신러닝 자재 명세서(ML-BOM)를 생성하는 가볍고 권한이 없는 Kubernetes 컨트롤러인 k8s-aibom을 오픈소스로 공개했습니다. &lt;/span&gt;&lt;a href="https://github.com/GoogleCloudPlatform/k8s-aibom" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;k8s-aibom 프로젝트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 확인하고 참여해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;7월 27일, Google은 2.8조 파라미터를 가진 개방형 가중치 모델인 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/announcing-day-0-support-for-kimi-k3-on-google-cloud/385392" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Moonshot AI의 Kimi K3&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 대해 가중치가 공개된 당일부터 즉각적인 지원을 시작한다고 발표했습니다. Model Garden, 커스텀 조정, llm-d 레시피가 포함된 GKE 등 선호하는 배포 경로에 관계없이 이 가이드에서는 Google Cloud에서 Kimi K3를 평가하고 파일럿하는 데 도움이 되는 자세한 단계별 안내를 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/autopilot-clusters-with-gke-managed-dranet-gpus-and-tpus"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE) 관리형 DRANET은 GPU와 TPU를 모두 지원합니다&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 이 구현을 활용하는 방법은 여러 가지가 있습니다. 사용자가 모든 권한을 갖는 표준 클러스터 방식과 Google이 복잡한 설정을 대신 처리해 주는 Autopilot 클러스터 방식 중에서 선택할 수 있습니다. 실무형 실습인 &lt;/span&gt;&lt;a href="https://codelabs.developers.google.com/codelabs/gke-autopilot-tpus-dranet-gemma#0" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU, GKE 관리형 DRANET, Gemma 4를 사용하는 GKE Autopilot 클러스터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GPU가 아닌 TPU에서 Ray를 실행하는 방법을 알아봅니다. 이 2부작 시리즈의 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/run-ray-on-tpu-part-1-the-foundations/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;1부&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 TPU 슬라이스에 대해 설명하고(힌트: Ray는 이를 일정 예약이 가능한 또 다른 가속기로 간주함), Ray의 다양한 AI 라이브러리를 살펴봅니다 (&lt;/span&gt;&lt;a href="https://developers.googleblog.com/run-ray-on-tpu-part-2-ray-ai-libraries/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2부&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;).&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;기기가 이론적인 성능 사양을 달성하는지 정확하게 평가하고 특정 성능 격차 또는 아키텍처별 병목 현상을 식별하는 데 도움이 되는 새로운 마이크로벤치마크 제품군을 사용하여 샘플 워크로드에 대한 TPU를 평가합니다. &lt;/span&gt;&lt;a href="https://developers.googleblog.com/how-to-use-google-microbenchmarks-for-evaluating-tpu-performance/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 예산에 부담을 주지 않고 에이전트를 확장하세요. GKE 에이전트 샌드박스와 포드 스냅샷을 통해 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/reduce-your-agents-costs-with-gke-agent-sandbox?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 조정을 사용하여 고정된 컴퓨팅 공간에 더 많은 에이전트를 안전하게 패킹하는 방법을 알아보세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 성능 최적화와 비용 최적화 중 무엇을 목표로 하든, 에이전트 효율성을 극대화하기 위해 어떤 설정을 어떻게 조정해야 하는지 알려드립니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기술적 청사진: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Ironwood 기반 Mistral 3 Large 추론 최적화 자세히 알아보기. 이 블로그에서는 Google의 한 팀이 Google Ironwood(TPU v7x)에서 Mistral 3 대규모 MoE 모델의 추론을 최적화하여, 1.5배의 성능 향상을 이끌어낸 과정을 개략적으로 소개합니다. 이 팀은 하이브리드 샤딩을 적용하고, 선형 VPU 합산을 트리 축소 방식으로 대체했으며, GMM/MLA 커널 최적화와 비동기 스케줄링 도입을 통해 이를 실현했습니다. 그 결과, 벤치마크 정확도에는 영향을 주지 않으면서도 처리량을 최대 48%까지 끌어올리는 성과를 거두었습니다. 블로그 전체 내용은 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/inside-the-optimization-of-mistral-3-large-inference-on-ironwood/385847" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 최초로 발표된 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/google-is-a-leader-in-gartner-magic-quadrant-for-ai-infra?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gartner&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Ⓡ&lt;/span&gt;&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Magic Quadrant™ AI 인프라 부문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 리더로 선정되었으며, '실행 능력'에서 가장 높은 평가를 받고 '비전의 완전성'에서 가장 앞선 위치를 차지했습니다. Gartner는 Google의 독점적인 확장형 컴퓨팅, 통합 AI 하이퍼컴퓨터 아키텍처, AI 컴퓨팅 용량의 규모를 주요 강점으로 꼽았습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/resources/content/2026-gartner-mq-ai-infrastructure?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 사본을 다운로드하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 &lt;/span&gt;&lt;a href="https://cloud.google.com/resources/content/state-of-infrastructure-in-the-agentic-ai-era?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 인프라 현황 보고서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83%는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/state-of-ai-infrastructure-report-overview?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;함께 제공되는 블로그를 읽고&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 어떤 도움이 되는지 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 6월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; AI에 사용되는 민감한 정보를 보호하는 것은 안전한 고급 클라우드 인프라의 핵심입니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/security/products/confidential-computing?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 컴퓨팅&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE) 내에서 사용 중인 데이터를 암호화하여 보호하고 검증 가능한 데이터 무결성을 제공합니다. 이 기능은 이제 &lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000-family/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 탑재된 가속기 최적화 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines#g4-series"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;G4 머신 시리즈&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/identity-security/verifiable-trust-in-the-ai-era-whats-new-in-confidential-computing?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이용 가능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-vm/docs/create-a-confidential-vm-instance-with-gpu"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 G4 VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/gpus-confidential-nodes"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 G4 GKE 노드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 지금 바로 이용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개발자 리소스: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;새로운 &lt;/span&gt;&lt;a href="https://cloud.google.com/products/tpu/tpu-developer?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU 개발자 허브&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 모델 빌더, 최적화 전문가, 개발자가 Google Cloud TPU의 성능을 최대한 활용하는 방법을 배울 수 있는 공간입니다. 자세한 내용은 이 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/unlocking-the-power-of-the-tpu-stack-introducing-our-new-developer-hub/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;새로운 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/stop-training-blind-scaling-ai-with-the-new-opentelemetry-based-tpu-ai-telemetry-collector-agent/375210" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenTelemetry 기반 TPU AI 원격 분석 수집기 에이전트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 AI 워크로드를 확장하세요. 이제 사상 처음으로 정밀한 TPU 하드웨어 원격 분석 데이터를 Google Cloud Monitoring, Google Managed Prometheus 또는 자체 호스팅 Grafana 스택으로 바로 전송할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; TPU, Cloud Storage FUSE, 동적 리소스 할당(DRA)을 사용하여 GKE Inference Gateway에서 실행되는 AI 추론 워크로드에 고가용성을 빌드하는 방법을 알아봅니다. 이 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/experimenting-with-tpus-gke-managed-dranet-and-multi-cluster-inference-gateway?_gl=1*jj3plw*_ga*OTAxNzc0MzU1LjE3ODIyMjAxNDk.*_ga_4LYFWVHBEB*czE3ODI3NTc3NzAkbzkkZzEkdDE3ODI3NTg2MDEkajYwJGwwJGgw&amp;amp;e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 전반적인 내용을 살펴보거나, &lt;/span&gt;&lt;a href="https://codelabs.developers.google.com/codelabs/gke-inference-gateway-multi-cluster-tpus-dranet#0" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;실습 Codelab&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 모든 기술적 세부정보를 직접 익혀볼 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 모델 컨텍스트 프로토콜(MCP)을 통해 AI 에이전트를 &lt;/span&gt;&lt;a href="https://cloud.google.com/storage"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Storage&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 비정형 데이터에 연결할 수 있다는 사실을 알고 계셨나요? &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/build-ai-agents-faster-with-gcs-google-cloud-storage-mcp-server"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 세 가지 고객 사례를 통해 왜 이러한 연결이 필요한지 살펴보고, 완전 관리형 서비스나 제어 및 맞춤설정의 폭이 넓은 자체 관리형 로컬 서버 중 나에게 맞는 방식을 선택해 구현하는 방법을 알아봅니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;독립적인 벤치마크 보고서에 따르면, &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 업계 선두의 다른 관리형 Kubernetes 서비스와 비교해 처리량은 15.7% 더 높고, 대기 시간은 92.8% 더 짧으며, 토큰 간 지연 시간은 62.6% 더 낮은 압도적인 성능을 기록했습니다. 이러한 압도적인 성능은 프리픽스 캐싱 기술 덕분입니다. 이 기술은 길고 반복되는 프롬프트 프리픽스의 KV 캐시(활성화 상태)를 저장함으로써 LLM 성능을 획기적으로 최적화합니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-inference-gateway-prefix-caching-accelerates-ai-inference?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;a href="https://discuss.google.dev/t/accelerate-tpu-model-loading-while-saving-ram-on-gke/374835" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU 및 GKE의 콜드 스타트 문제&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 자세히 살펴보고 Run:ai Model Streamer가 어떻게 상황을 바꿀 수 있는지 알아봅니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://www.youtube.com/watch?v=x36QJ-QKRGg" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Pager Health는 GKE, BigQuery, Cloud SQL, Gemini Enterprise Agent Platform을 활용하여 운영 단편화를 제거하고 간소화된 맞춤형 미국 의료 경험을 제공&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하여 삶을 변화시키고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 고객 리뷰 플랫폼인 Trustpilot은 Dataflow와 Gemini Enterprise Agent Platform을 통해 파인 튜닝된 Gemma 모델을 사용하여 대용량 스트리밍 파이프라인을 구축했습니다. 이 파이프라인은 비용 최적화된 A2 VM에서 A100 GPU를 사용해 실행되며, Gemini Enterprise Agent Platform에서 유지관리하는 최적화된 버전의 vLLM도 활용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 5월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이제 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Agent Sandbox&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 정식 버전으로 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 프로젝트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://github.com/agent-substrate/substrate" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 에이전트 인프라 밀도의 한계를 뛰어넘기 위해 새롭게 공개된 오픈소스 프로젝트입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 온디바이스 머신러닝(ML)을 대규모로 테스트하고 벤치마킹할 수 있는 솔루션인 &lt;/span&gt;&lt;a href="https://ai.google.dev/edge/ai-edge-portal" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google AI Edge Portal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;이 이제 온디바이스 LLM의 벤치마킹과 디버깅을 지원합니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/ai-machine-learning/benchmark-llms-on-device-with-ai-edge-portal?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 워크로드를 위한 새로운 고성능 스토리지 제품군인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/cloud-storage-rapid-turbocharges-object-storage-for-ai-analytics?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Storage Rapid를 심층적으로&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 살펴보았습니다. 출시 시점에는 고성능 영역 객체 스토리지 제품인 Rapid Bucket(이전 명칭: Rapid Storage)과 주문형 읽기를 가속화하고 기존 버킷의 워크로드를 위해 컴퓨팅과 데이터를 함께 배치하는 Rapid Cache(이전 명칭: Anywhere Cache)가 제공됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google 글로벌 인프라 부문 부사장 비카시 콜리와 엔지니어링 연구원 아르준 싱이 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/networking/data-center-and-global-networks-built-for-ai-era"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 워크로드가 네트워크 인프라에 미치는 영향&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 개괄적으로 설명하고, 이를 더 효과적으로 지원하기 위해 데이터 센터 패브릭, WAN, 글로벌 네트워크에 적용한 심층적인 개선사항을 논의합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;인스턴스 수준의 안정성 방식에서 벗어나, TPU 기반 프런티어 AI 모델 개발을 위한 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/cluster-reliability-for-trillion-parameter-models-on-tpus?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;새로운 클러스터 수준 안정성 모델&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 공개했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 시각 미디어 제공업체인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/infrastructure/how-imgix-processes-8-billion-images-daily-with-g4-vms-powered-by-nvidia-blackwell?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Imgix는 NVIDIA RTX PRO 6000 Blackwell GPU 기반 G4 VM이 탑재된 AI 하이퍼컴퓨터에서 80억 개 이상의 이미지와 동영상을 제공&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Wed, 11 Nov 2026 10:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</guid><category>AI &amp; Machine Learning</category><category>Containers &amp; Kubernetes</category><category>Compute</category><category>Networking</category><category>Storage &amp; Data Transfer</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/Whats_new_in_AI_infrastructure.max-600x600.jpg" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>10월 AI 인프라 및 조정 기능에 관한 새로운 소식</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/Whats_new_in_AI_infrastructure.max-600x600.jpg</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Alex Barrett</name><title>Editor, Google Cloud blog</title><department></department><company></company></author></item><item><title>GKE 네트워킹을 확장하여 동시 실행 AI 에이전트의 고밀도 워크로드를 지원하는 방법</title><link>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;고밀도 동시 실행 AI 에이전트를 조정하려면 무엇이 필요할까요? 정적 요청에서 자율적인 에이전트형 워크플로로 전환함에 따라 안전한 고밀도 샌드박스에 대한 필요성이 커지면서 기존 인프라는 아키텍처의 한계를 훨씬 뛰어넘는 요구사항에 직면하고 있습니다. 이러한 전환으로 인해 최고 수준의 연구소에서는 전례 없는 규모의 인프라를 요구하고 있으며, 최대 100만 개의 동시 코드 실행 샌드박스가 필요한 경우도 많습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 규모에서는 Kubernetes 네트워킹 인프라의 효율성이 에이전트 이니셔티브의 경제적 실행 가능성에 직접적인 영향을 미칩니다. 강화 학습(RL)과 같은 고급 워크플로에서는 극단적인 포드 제거로 인해 매분 수천 개의 격리된 샌드박스가 생성되고 삭제될 수 있습니다. 고가의 GPU와 TPU가 샌드박스 초기화를 기다리는 대신 모델을 실행하는 데 시간을 할애하도록 하려면 1초 미만의 프로비저닝과 매우 높은 컴퓨팅 밀도가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Sandbox&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 안전하고 가벼운 격리 기능을 제공하므로 이처럼 고도로 동적인 실행 환경을 지원하는 데 특히 적합합니다. 또한 수백만 개의 동시 유휴 세션이 존재하는 차세대 워크로드의 경우 GKE의 Agent Substrate는 이러한 기본 기능을 바탕으로 더 높은 밀도와 1초 미만의 상태 리하이드레이션 기능을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 게시물에서는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dataplane-v2"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Dataplane V2&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 네트워크 ID 관리를 최적화하고, ID 확장 한도 문제를 해결하며, 1초 미만의 프로비저닝을 지원하여 대규모 고밀도 AI 에이전트 워크로드를 처리하는 방법을 알아봅니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;일반적인 확장 과제: 네트워크 ID 관리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 동시 실행 환경을 운영하다 보면 새로운 엔지니어링 과제가 발생하는데, 특히 네트워크 ID를 관리하는 방식에서 이러한 문제가 두드러집니다. 일반적으로 커스텀 컨트롤러와 워크로드 조정자는 각 포드에 고유한 동적 라벨(예: agent-id, 타임스탬프, claim-uid)을 할당하는 경우가 많습니다.&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dataplane-v2"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Dataplane V2&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는&lt;/span&gt;&lt;a href="https://ebpf.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;eBPF&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기술을 기반으로 하며, 포드 라벨을 숫자 ID에 매핑하여 강력한 네트워크 보안 정책을 적용할 수 있도록 지원합니다. 에이전트형 워크플로에서는 포드마다 고유한 라벨이 생성되므로 시스템은 각 샌드박스에 고유한 ID를 선제적으로 프로비저닝합니다. 빠르게 변화하는 환경에서 이러한 순차적 할당 프로세스는 시스템이 eBPF 맵을 안전하게 업데이트하는 동안 포드 생성을 일시적으로 중단시킬 수 있으며, 이로 인해 초기화 시간이 예상보다 길어질 수도 있습니다. 또한 정교한 워크로드에서는 네트워크 ID가 빠르게 생성되거나 워크로드 자체의 규모가 커지면서 클러스터 전체에 적용되는 65,536개의 한도에 도달할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 시대를 위한 GKE 네트워크 데이터 영역의 혁신&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;안정적이고 보안 수준이 높은 플랫폼을 제공하는 것은 Google Cloud가 수행하는 모든 일의 기본 원칙입니다. 따라서 Google Cloud는 더 높은 확장성과 성능을 제공하면서도 기존의 ID 및 보안 제어 기능을 유지할 수 있는 방법을 찾아야 했습니다. 바로 이 부분에서 GKE Dataplane V2의 아키텍처 혁신이 중요한 역할을 합니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;한 고객은 GKE에서 Agent Substrate를 사용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하여 클러스터 전반에서 수십만 개의 안전한 환경을 조정하고, 단일 클러스터에서 샌드박스가 30,000개 이상으로 급증하는 상황도 성공적으로 처리했다고 밝혔습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이를 위해 GKE는 다음과 같은 두 가지 네트워킹 접근 방식을 사용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;카디널리티가 높은 데이터 마이그레이션&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 GKE Dataplane V2는 '식별' 데이터를 '기능' 메타데이터와 분리합니다. &lt;/span&gt;&lt;a href="https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;서비스 선택기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 일치 또는 핵심 리소스 그룹화에 적극적으로 참여하지 않는 필드는 포드의 라벨 집합에서 주석 집합으로 마이그레이션되어야 합니다. GKE Dataplane V2는 주석이 아닌 라벨을 기반으로 네트워크 ID를 지능적으로 계산하므로, 이러한 카디널리티가 높은 메타데이터를 라벨에서 다른 곳으로 이전하면 포드마다 별도의 ID를 생성할 필요가 없습니다. 이러한 세련된 방식의 전환을 통해 가시성을 희생하지 않고도 ID 확장 한도 문제를 근본적으로 해결할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;고급 Cilium 라벨 필터링&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 !agents.x-k8s.io/sandbox-name-hash 또는 !timestamp와 같은 규칙을 구성하여 정확한 라벨 제외 필터를 적용하면(예: kube-system의 cilium-config-emergency-override ConfigMap 사용) GKE Dataplane V2가 보안 ID 계산 중에 이러한&lt;/span&gt;&lt;a href="https://docs.cilium.io/en/stable/operations/performance/scalability/identity-relevant-labels/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;동적 라벨&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 무시하도록 명시적으로 지정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;즉, 개발자 프레임워크에서 의도치 않게 카디널리티가 높은 라벨을 도입하더라도 적절한 제외 필터를 구성하면 Google의 네트워크 데이터 영역에서 해당 라벨을 자동으로 제외할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과 동일한 유형의 에이전트가 하나의 Cilium 포드 ID를 계속 공유하므로 동적 AI 워크로드에 필수적인 초저지연 시작 시간을 유지할 수 있습니다. GKE는 ID가 선형적으로 증가하는 것을 방지하고 Cilium의 65,536개 ID 한도에 도달하지 않도록 하여 완전히 격리된 에이전트를 위해 1초 미만의 지연 시간으로 초당 300개의 샌드박스를 프로비저닝하는 뛰어난 속도와 효율성을 제공합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_qePrOOs.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;향후 계획&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;매우 높은 수준의 성능, 확장성, 밀도가 필요한 워크로드의 경우&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 이러한 GKE Dataplane V2 권장사항을 기본적으로 통합하는 동시에 Kubernetes 예약 한도를 우회하여 GKE의 성능과 확장성을 더욱 향상합니다. 200,000개의 에이전트를 실행하는 벤치마크 검증에서 Agent Substrate는 500ms 미만의 일시중지 및 재개 지연 시간으로 초당 500회의 활성화를 유지했습니다. 지금 바로 기존 GKE 클러스터에 배포하여 가장 까다로운 AI 워크플로에서도 유휴 컴퓨팅 비용을 최소화할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE Dataplane V2는 네트워크 ID 계산을 최적화하고 카디널리티가 높은 메타데이터를 필터링하여 대규모 AI 워크로드에서 발생하는 주요 인프라 병목 현상을 해결합니다. 이러한 아키텍처 개선을 통해 샌드박스 프로비저닝 지연 시간을 1초 미만으로 줄이고, 고가의 GPU 유휴 시간을 최소화하며, 높은 컴퓨팅 밀도를 유지할 수 있습니다. 궁극적으로 이러한 효율성 덕분에 운영 비용을 관리하면서 에이전트 AI 운영 규모를 안정적으로 확장할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;자세한 내용은 GKE의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Sandbox&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/install-overview-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 03 Nov 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</guid><category>Containers &amp; Kubernetes</category><category>GKE</category><category>AI infrastructure</category><category>Networking</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>GKE 네트워킹을 확장하여 동시 실행 AI 에이전트의 고밀도 워크로드를 지원하는 방법</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Srini Jasti</name><title>Group Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Venkat Krishnan</name><title>Software Engineer</title><department></department><company></company></author></item><item><title>Agent Compute Engine 내부: 에이전트 시대를 위한 컴퓨팅 기반 빌드</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;10년 주기로 발생하는 소프트웨어의 패러다임 변화로 인해 컴퓨터 아키텍처를 기본 원칙부터 다시 고민하게 됩니다. 웹 규모의 트래픽이 처음으로 폭발하던 시기, Google은 Borg를 통해 웨어하우스 규모의 컴퓨팅과 Linux 컨테이너라는 개념을 세상에 처음으로 선보였습니다. 이는 내부 워크로드를 실행하는 방식을 재편했고, 궁극적으로 Kubernetes를 통해 현대적인 클라우드 네이티브 생태계가 탄생하는 기폭제가 되었습니다. 10년 후, 딥 러닝 모델이 기존의 컴퓨팅 및 전력 성능으로 감당할 수 없을 만큼 성장하자, Google은 다시 원점으로 돌아가 고민한 끝에 Tensor Processing Unit(TPU)을 개발했습니다. 또한 클라우드 보안에서 하드웨어에 기반한 더 강력한 보안 보장이 요구됨에 따라, Google은 호스트 CPU에서 I/O 가상화, 스토리지, 암호화 신뢰 기능을 오프로드하는 커스텀 실리콘 및 인프라 처리 장치(IPU) 아키텍처인 &lt;/span&gt;&lt;a href="https://cloud.google.com/titanium?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 구축했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘날 우리는 또 다른 근본적인 변화를 마주하고 있습니다. 바로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;단순히 질문에 답하는 수준을 넘어 직접 행동에 나서는 에이전트 AI로의 전환&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google 전반에서 AI 에이전트는 코드를 작성 및 실행하고, 도구를 실행하고, 브라우저를 구동하고, 엔터프라이즈 워크플로를 조정하고, 소프트웨어 저장소를 반복적으로 개선하고 있습니다. 에이전트형 워크로드는 놀라울 정도로 짧은 시간 내에 Google Cloud Fleet 전반에서 컴퓨팅 및 스토리지 리소스를 가장 빠르게 소비하는 분야 중 하나로 급성장했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존의 컴퓨팅 프리미티브는 수억 개의 에이전트를 전 세계 규모로 필요한 비용과 지연 시간 내에 실행하도록 설계되지 않았습니다. 새로운 폼 팩터가 필요해짐에 따라 Google Cloud는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 빌드했습니다. 이 새로운 Google Cloud 서비스는 모든 AI 에이전트에 컨테이너 수준의 속도를 보장하면서도, 샌드박스 내에 사용자 인증 정보를 보관하지 않는 하드웨어 격리 microVM을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 블로그에서는 기존 패러다임을 사용하여 에이전트형 워크로드를 대규모로 실행하려고 할 때 직면한 문제와 스택의 모든 레이어에서 이러한 기본적인 시스템 문제를 해결한 방법을 설명합니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;기존 컴퓨팅 환경에서의 에이전트 실행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini팀은 간단해 보이는 목표를 세웠습니다. 모든 Gemini 사용자는 클라우드에서 실행되고, 사용자의 업무를 기억하며, 사용자가 자리를 비운 동안 사용자를 대신해 작업을 수행하는 개인 에이전트를 갖게 됩니다. 이를 위해 각 에이전트에는 파일 시스템, 언어 런타임, 브라우저, 네트워크 액세스 권한이 있는 자체 컴퓨터가 필요했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;비슷한 시기에 비즈니스를 위한 Gemini팀은 기업이 직원을 위한 에이전트를 빌드할 수 있도록 지원하기 시작했습니다. 이러한 에이전트는 Workspace 문서를 읽고, 내부 데이터베이스를 쿼리하고, 회사 비공개 네트워크 내에서 서비스를 호출해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;두 팀 모두 각 에이전트를 두 부분으로 분리했습니다. '두뇌' 역할을 하는 하네스는 모델을 호출하고 다음 동작을 결정합니다. '손' 역할을 하는 샌드박스는 모델이 요청하는 코드, 셸 명령어, 브라우저를 실제로 실행합니다. 각 팀은 자체 하네스를 작성하고 신뢰합니다. 모델에 디지털 세계와 상호작용할 수 있는 '손'을 제공한다는 것은, 모든 에이전트에게 파일 시스템, 언어 런타임, 네트워크 도구, 브라우저를 갖춘 실제 환경인 자체 컴퓨터를 부여한다는 것을 의미합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 VM은 하이퍼바이저로 적용되는 격리 경계를 통해 운영체제, 네트워킹, 스토리지를 완전히 제어할 수 있으며 웹 애플리케이션부터 게임 서버, 데이터베이스에 이르기까지 거의 모든 것을 실행할 수 있습니다. 하지만 이러한 유연성에는 그만큼의 대가가 따릅니다. 각 VM은 전체 머신을 부팅하고 구성해야 하므로, 이를 시작하고 일시중지했다가 재개하는 데 몇 초에서 몇 분까지 소요됩니다. 에이전트는 시작, 일시중지, 재개를 반복하므로 오버헤드가 누적됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google이 개척한 컨테이너 환경은 컨테이너가 호스트 운영체제 커널을 공유하기 때문에 놀라울 정도로 빠르고 가볍습니다. 이러한 뛰어난 민첩성은 에이전트형 워크로드에 완벽하게 작동합니다. 하지만 코딩 에이전트와 개발자 어시스턴트와 같이 에이전트 환경의 커널 및 루트 수준 제어뿐만 아니라 완전한 격리가 필요한 여러 사례가 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;더 중요한 것은 에이전트가 수행하려는 작업을 파악하는 것이 부하를 효율적으로 처리하는 데 핵심적이라는 점입니다. 에이전트가 모델 단계 사이에 유휴 상태인 경우에도 새 단계가 활성화되면 빠르게 작동할 수 있어야 합니다. 또한 중요한 작업 상태를 유지할 수도 있습니다. 매번 턴이 바뀔 때마다 환경을 해체하면 에이전트의 작업 상태가 소멸되어, 다음 메시지가 올 때마다 다시 빌드하느라 속도가 느려질 수밖에 없습니다. 대기 중인 모든 에이전트에 블랙박스 형태의 전용 상시 가동 VM을 프로비저닝하는 방식은 엄청난 양의 리소스가 낭비할 뿐만 아니라 가능한 작업 범위를 제한합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;VM의 격리 기능과 컨테이너의 속도 및 밀도가 모두 필요했습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또한 에이전트가 언제 작업 중이고 언제 대기 중인지 파악할 수 있는 시스템이 필요했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Google의 전 세계 규모 에이전트형 워크로드 처리 방식&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 Google을 위한 통합 에이전트 컴퓨팅 플랫폼으로서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 처음부터 새로 빌드했습니다. 이 플랫폼은 제품팀에 원시 인프라 프리미티브를 제공하는 대신 간단한 microVM 추상화를 제공하여 하드웨어 격리된 영구 컴퓨터를 빠르게 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 아키텍처는 Google 전반에서 네 가지 주요 워크로드 유형을 지원하도록 빌드되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대화형 소비자 및 엔터프라이즈 에이전트 인터페이스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 즉석에서 코드를 작성하고 실행하는 대화형 채팅, 대화형 셸 환경, 웹을 탐색하고 사용자를 대신하여 작업을 수행하는 헤드리스 브라우저 샌드박스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자율 소프트웨어 엔지니어링 작업공간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 루트 액세스 권한, 컴파일러, 언어 서버를 갖춘 완전한 기능의 영구 Linux 컴퓨터로, 며칠 또는 몇 주에 걸친 다단계 리팩터링 과정 내내 개발자나 코딩 에이전트의 곁을 지킵니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 평가 및 강화 학습(RL):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 수천 개의 병렬 환경 궤적을 빠른 속도로 가동, 분기, 평가하는 프런티어 모델 학습 및 벤치마킹 파이프라인입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google 서비스를 위한 경량 샌드박스 백엔드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 내부 Google 애플리케이션이 맞춤형 샌드박스 스택을 빌드하지 않고도 동적 로직과 사용자 기반 작업을 안전하게 실행할 수 있는 공통 실행 환경입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;"Gemini 에이전트를 전 세계 규모로 확장하려면 빠르게 가동되고 극도로 효율적으로 작동하는 컴퓨팅이 필요합니다. Agent Compute Engine microVM은 전 세계 사용자에게 대화형 에이전트 샌드박스를 제공하는 데 필요한 응답성, 하드웨어 격리, 워크로드 밀도를 갖추고 있습니다." - &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gautham Thambidorai, Gemini 부사장 겸 Google 펠로우&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;단일 플랫폼에서 이러한 모든 워크로드를 빌드하려면 몇 가지 기본적인 시스템 문제를 해결해야 했습니다. Agent Compute Engine을 설계한 방식을 자세히 살펴보겠습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;안전한 보안 실현&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 에이전트는 처음부터 풀 스택 애플리케이션을 빌드하는 것부터 사용자를 대신해 이메일과 캘린더를 자율적으로 관리하는 것까지 거의 모든 작업을 수행할 수 있도록 빠르게 진화하고 있습니다. 그러나 에이전트가 더 복잡한 작업을 수행함에 따라 신뢰할 수 없거나 적대적인 코드 실행이 샌드박스 내에서 발생할 위험은 항상 존재합니다. 자율 워크로드를 대규모로 안전하게 실행하기 위해 Agent Compute Engine은 다음과 같은 보안 핵심 요소를 기반으로 하는 심층 방어 아키텍처를 기반으로 빌드되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Titan 및 Titanium IPU를 통한 하드웨어 기반 신뢰:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google의 커스텀 Titan 실리콘 및 Titanium 인프라 처리 장치로 노드의 보안 상황을 강화합니다. 노드 및 워크로드 증명에 사용되는 암호화 비공개 키는 IPU, 호스트 또는 원격으로 게스트 환경 외부에서만 보관되며, 블록 스토리지 연결은 인스턴스 바인딩 암호화 권한을 사용하여 IPU에 의해 하드웨어 매개로 이루어지므로 손상된 샌드박스나 손상된 호스트 OS가 노드 또는 테넌트 경계를 넘어 볼륨을 마운트, 읽기 또는 덮어쓰기할 수 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 무결성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기본 물리적 호스트는 dm-verity를 통해 적용되는 읽기 전용 루트 파일 시스템을 실행하며, 영구적인 로컬 상태가 전혀 없는 스테이트리스(stateless) 불변 어플라이언스로 작동합니다. Titan은 하드웨어와 펌웨어의 무결성을 검증하여 워크로드가 예약되기 전에 암호화 방식으로 검증된 자체 검사 부팅 무결성을 보장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 세션 격리&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 각 에이전트 세션은 전용 단일 테넌트 및 메모리 안전 microVM 내에서 실행됩니다. CPU 부채널 취약점을 완화하기 위해 CPU 부채널 완화 조치가 적용됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제로 보안 비밀 아키텍처:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 게스트 환경은 메모리나 디스크에 영구 보안 비밀, OAuth 갱신 토큰 또는 클라우드 서비스 계정 키를 보유하지 않으며 클라우드 인스턴스의 메타데이터 서버에 액세스할 수 없습니다. 대신 각 microVM은 VM별로 격리된 전용 로컬 리스너를 통해 임시 세션 범위 공개 SPIFFE 인증서와 수명이 짧은 ID 토큰만 수신하며, 장기 수명 사용자 인증 정보는 호스트 외부에 완전히 유지되고 세션의 mTLS ID와 이그레스 정책을 검증한 후에만 Gemini 플랫폼 Agent Gateway에 의해 즉시 동적으로 교체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제한된 네트워킹:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM에는 표준 가상 네트워크 인터페이스, 기본 IP 게이트웨이 또는 VPC 직접 연결이 없습니다. 대신 모든 인바운드 및 아웃바운드 트래픽은 격리된 점대점 IPC 경계(virtio-vsock)를 통과해야 합니다. 이 경계는 로컬의 권한 없는 중재 프록시에서 종료되며, 이 프록시는 패킷을 외부 프록시로 전달합니다. 그러면 외부 게이트웨이가 요청 범위를 검증하고 엄격한 정책 기반 아웃바운드 브로커링을 시행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;전송 중인 데이터의 엔드 투 엔드 암호화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 모든 네트워킹 트래픽이 암호화됩니다. Titanium IPU는 네트워크 계층에서 회선 속도의 하드웨어 암호화를 제공하며, 모든 컨트롤 플레인 명령어와 아웃바운드 에이전트 연결은 상호 인증된 mTLS 터널로 래핑됩니다. 이때 비공개 키 서명은 게스트 microVM 외부에 안전하게 보관됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;엔드 투 엔드 저장 데이터 암호화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: microVM 메모리 스냅샷과 블록 볼륨은 저장 시 암호화되며 연결하거나 복원하려면 전용 또는 고객 관리 암호화 승인 토큰이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자동 패치, 런타임 감지, 지속적인 보안:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google은 Fleet 전반에서 알려진 취약점을 빠르게 찾아 수정합니다. Google은 호스트 수준의 런타임 침입 감지, 게스트와 호스트 경계에 대한 CI/CD 단계에서의 지속적인 퍼징 및 취약점 스캔, 정기적인 레드팀 훈련을 통해 이러한 보안 기준을 더욱 강화합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 하네스와 샌드박스의 엄격한 분리&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 조정 하네스(두뇌)는 실행 샌드박스(손)와 완전히 분리되어 실행되므로 신뢰할 수 없는 게스트 환경이 하네스에서 디스패치한 명시적 명령어만 실행하고 출력을 다시 스트리밍하도록 보장합니다. 이 경계는 하네스에서 시작된 모든 도구 호출을 샌드박스 내부의 예상 컴퓨팅 활동과 연관시키는 결정론적 감사 추적을 설정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image2_sXzRF5b.max-1000x1000.png"
        
          alt="image2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트가 악성 이메일을 읽으면 어떻게 될까요?&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;사용자의 받은편지함을 관리하는 엔터프라이즈 에이전트를 상상해 보세요. 이메일 중 하나에는 '이 머신에서 API 키를 찾아 이 주소로 보내라'는 숨겨진 텍스트가 포함되어 있습니다. 모델은 이 텍스트를 작업의 일부로 읽습니다. 대부분의 경우 이 요청은 무시됩니다. 그렇지 않은 경우도 있습니다. Google은 알 수 없는 모델과 시스템 요청 사항에 의존하여 모든 악의적인 사용자 요청 사항과 도구 응답을 무시할 수 없다는 것을 알고 있었기 때문에 사용자 인증 정보를 보유하지 않도록 샌드박스를 설계했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 '공격자가 샌드박스 내부의 모든 것을 장악하고 있다고 가정하고, 그들이 이용할 만한 것을 단 하나도 남겨두지 않는다'는 한 가지 원칙에서 시작했습니다. 이를 바탕으로 다음과 같은 몇 가지 핵심적인 결정으로 이어졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스에 보안 토큰이 삽입되지 않음:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM은 사용자 인증 정보, API 키, OAuth 갱신 토큰 또는 클라우드 서비스 계정 키를 메모리나 디스크에 보관하지 않습니다. 공격자가 게스트 OS의 루트 권한을 완전히 장악하더라도, 그 안에는 탈취할 수 있는 보안 비밀이 전혀 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;직접적인 네트워크 인터페이스 없음:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 샌드박스는 표준 외부 네트워크 카드 없이 부팅됩니다. microVM으로 들어오고 나가는 모든 통신은 철저한 보안 중재를 거치는 외부 프록시를 통해 이루어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;거버넌스: 기본 객체로서의 에이전트 아이덴티티&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 안에 탈취될 만한 사용자 인증 정보가 없다는 확신이 생기자, 자연스럽게 다음 질문을 던지게 되었습니다. '에이전트가 Google Drive에서 문서를 열 때, 과연 누구의 자격으로 요청하는 것일까?' 사용자가 문서를 열기 위해 무언가를 클릭한 것도 아니고, 하네스가 문서를 열도록 코드를 작성한 것도 아닙니다. 샌드박스는 이를 단순히 실행했을 뿐입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;보안 다음으로 에이전트 컴퓨팅에서 가장 큰 우려는 거버넌스입니다. Google Cloud는 Gemini 플랫폼의 에이전트 거버넌스 기능 제품군을 기반으로 빌드하며, 여기에는 다음이 포함됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/agent-registry/overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Registry&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 플러그인, 스킬, MCP 서버, A2A 에이전트를 한곳에 모아 관리자가 제어할 수 있는 중앙 집중식 통합 카탈로그입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/iam/docs/agent-identity-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 아이덴티티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 각기 고유한 ID로 구성된 에이전트들을 위해 Vault 및 브로커 역할을 하는 인증 관리자입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 정책 및 ID의 런타임 적용 지점이자 모든 네트워크 트래픽의 제어 지점입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존의 Google Cloud ID 시스템은 호출자를 사람과 서비스라는 두 가지 유형으로만 구분해 왔습니다. 에이전트는 그 어느 쪽에도 해당하지 않습니다. 에이전트는 자율적으로 작동하는 동적 소프트웨어 항목으로, 주로 인간 사용자를 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;대신하여(OBO)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작동합니다. 에이전트는 작업에 필요한 리소스에 대해서만 범위가 지정된 액세스 권한을 가져야 하며, 해당 리소스에 대한 권한 집합도 최소한으로 제한되어야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;따라서 에이전트가 문서를 열 때, 4개의 개별 ID를 생성하여 '누가 요청하는가'라는 질문에 대한 답을 제시하는 한편, 비유하자면 실제 문을 여는 주체인 ID를 샌드박스가 직접 보유하지 않도록 설계했습니다. 네 가지 Agent Compute Engine ID는 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image3_9MRNJaa.max-1000x1000.png"
        
          alt="image3"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;사용자 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 요청을 시작했거나 에이전트 워크플로를 소유한 사용자의 인증된 ID입니다. 이는 전체 작업에 대한 요청을 인증하는 데만 사용되며 에이전트형 작업에는 사용되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;위임된 에이전트 대리 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 사용자가 에이전트 하네스에 자신을 대신하여 특정 작업을 수행할 수 있는 권한을 부여했음을 증명하는 암호화 범위의 권한 부여입니다. 이러한 장기 권한 부여는 컴퓨팅 노드가 아닌 중앙 승인 서비스에만 존재하며, 그 외의 곳에는 저장되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 워크로드 아이덴티티:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM이 가동되면 플랫폼은 개방형 SPIFFE 표준을 기반으로 암호화 방식으로 증명된 단기 에이전트형 아이덴티티를 할당합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스 트래픽에는 이 ID만 사용됩니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 ID가 머신 외부로 유출되더라도, 이를 사용하여 백엔드 API를 직접 호출할 수는 없습니다. 이 ID의 유일한 목적은 아웃바운드 패킷이 어느 특정 샌드박스에서 생성되었는지 암호화 방식으로 식별하는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 직원 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 고유한 ID와 계정, 리소스를 보유하고 사용자의 어시스턴트 역할을 할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 호스트에서 에이전트 워크로드 아이덴티티(ID-3)만 사용하며, 호스트, 사용자, 샌드박스, 세션, 관련 정책을 확인한 후 노드 외부에서 다른 ID로 변환합니다. 이를 통해 모든 요청을 완벽하게 제어할 수 있으며, 요청을 시작한 에이전트까지 추적하여 감사할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 내부의 코드가 아웃바운드 요청을 보내면, 노드의 로컬 프록시가 이를 가로채 노드 정보와 Titanium 기반 증명을 바인딩한 후 노드 외부에 있는 Agent Gateway로 전달합니다. 게이트웨이는 사용자 위임, 에이전트 아이덴티티, 노드 ID라는 전체 3요소를 검증한 후 세분화된 이그레스 및 데이터 손실 방지 정책을 평가합니다. 그런 다음 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;인플라이트 토큰 스왑&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 수행하여 요청이 게이트웨이를 떠날 때 &lt;code&gt;required backend&lt;/code&gt; &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;사용자 인증 정보를 전송 중에 삽입합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;다운스트림 백엔드는 특정 사용자를 대신해 에이전트가 수행한 작업임을 보여주는, 완전한 감사 가능성을 갖춘 투명하고 표준적이며 암호화 방식으로 검증 가능한 ID를 확인하게 됩니다. 한편 신뢰할 수 없는 샌드박스에는 어떠한 사용자 인증 정보도 노출되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;대부분의 시간을 유휴 상태로 보내는 에이전트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;일반적인 에이전트 세션을 측정해 보니 에이전트는 대부분의 시간을 대기하는 데 소비하는 것으로 나타났습니다. 모델이 다음 단계를 반환할 때까지 기다리고 사용자가 답장할 때까지 기다립니다. 어느 시점에서든 열려 있는 세션 중 일부만 코드를 실행하고 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 수치는 비용에 대한 관점을 바꾸어 놓았습니다. 열려 있는 모든 세션에 CPU와 메모리를 미리 할당해 두었다면 에이전트가 실제로 수행한 작업에 대해 훨씬 더 많은 비용을 지불해야 했을 것입니다. 유휴 상태의 에이전트에는 비용이 거의 발생하지 않으면서도, 사용자가 알아차리기 전에 바로 유휴 상태가 해제되어야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;애플리케이션 인식 유휴 상태 감지&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 VM 서비스에서 하이퍼바이저는 게스트 OS가 유용한 작업을 수행하는지, 아니면 다음 프롬프트를 기다리며 유휴 루프에서 회전하는지 알 수 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 명령어 런타임을 호스트 실행자와 함께 공동 설계했기 때문에 인프라에 기본적으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Application Awareness&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기능이 있습니다. 에이전트가 도구 호출 실행을 완료하고 에이전트 루프의 '사고' 단계에 진입하는 순간, 샌드박스는 실행 중인 활성 명령어 또는 백그라운드 작업이 없다는 신호를 보냅니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;호스트는 빠른 체크포인트 및 복원 모델을 통해 해당 샌드박스를 활성 상태에서 유휴 상태로 즉시 전환합니다. 유휴 상태의 에이전트 상태는 보존되어 다음 도구 호출 시 빠르게 해제할 준비가 되며, 호스트에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;활성 리소스를 전혀 소비하지 않습니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 이를 통해 단일 물리적 노드는 기존 VM보다 훨씬 더 많은 수의 활성 에이전트 microVM을 호스팅할 수 있습니다. 여기에 클론, 스냅샷/포크, 되감기, 롤백과 같은 에이전트에 필수적인 기능을 결합하여 하네스가 리소스 중복 없이 시스템을 효율적으로 사용할 수 있도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;메모리 중복 삭제 기술로 구현한 빠른 스냅샷 이미지&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;유휴 에이전트는 문제의 절반에 불과합니다. 나머지 절반은 활성 상태의 에이전트들이 공통적으로 가진 특성에 관한 것입니다. 단일 호스트에서 수백 개의 에이전트가 동일한 기본 이미지, 동일한 Python 런타임, 동일한 브라우저를 실행합니다. 각 VM은 해당 바이트의 자체 사본을 메모리에 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Agent Compute Engine에서는 파일 시스템 또는 메모리의 모든 정적 페이지가 호스트 전체에서 하나의 사본만 갖도록 하고 워크로드에 필요한 모든 항목이 메모리에 미리 로드되고 완전히 준비되도록 합니다. 이를 위해 완전히 초기화된 바이너리로 사전 준비된 스냅샷 이미지를 빌드합니다. 호스트에서 스냅샷은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;직접 액세스(DAX)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;CoW(Copy-on-Write)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 메모리 클론 기술을 사용하여 물리적 메모리에 직접 매핑됩니다. DAX는 중복된 게스트 페이지 캐시를 우회하므로 호스트의 모든 microVM은 기본 OS, 라이브러리, 바이너리에 대해 정확히 동일한 물리적 RAM 페이지를 공유할 수 있습니다. 물리적 메모리는 각 에이전트가 실제로 수정하는 비공개 페이지의 미세한 변경 사항에만 할당되며, 활성 메모리 회수 및 압축 기능을 통해 해제된 페이지를 호스트 풀로 지속적으로 반환합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"자율 코딩 에이전트에는 루트 권한, 커스텀 컴파일러, 테스트 실행기, 영구 Git 작업공간을 갖춘 실제 컴퓨터가 필요하며, 눈 깜짝할 사이에 병렬 실험으로 분기할 수 있어야 합니다. Agent Compute Engine은 Antigravity에 즉각적인 스냅샷 및 포크 프리미티브와 빠른 재개 속도를 제공하여 장기 소프트웨어 엔지니어링을 손쉽게 수행할 수 있도록 지원합니다." - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Clement Farabet, Google DeepMind 부사장&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지속성: 어제 수행한 작업을 기억해야 하는 에이전트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;월요일에 한 Gemini 사용자가 에이전트에게 스프레드시트를 분석해 달라고 요청합니다. 에이전트는 두 개의 Python 라이브러리를 설치하고, 스크립트를 작성하고, 차트를 저장합니다. 화요일에 사용자가 후속 질문을 합니다. 에이전트가 라이브러리를 다시 설치하고 스크립트를 다시 작성해야 하는 경우 그만큼 사용자는 기다려야 하며 에이전트가 이전과 다른 답변을 내놓을 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;따라서 모든 Gemini 에이전트에는 오래 지속되는 디스크가 필요합니다. Gemini의 규모를 고려할 때 에이전트에 표준 디스크를 제공했다면 스토리지 용량이 빠르게 소진되었을 것입니다. 하지만 실제로는 대부분의 디스크가 유휴 상태였고 거의 비어 있었습니다. 또한 호스트는 CPU가 한계에 도달하기 훨씬 전부터 디스크 연결 슬롯 부족 문제에 직면하게 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 실제로 무엇을 기록하는지 분석해 보았습니다. 에이전트가 기록하는 데이터는 세 가지 유형으로 나뉘며, 각 유형에 따라 서로 다른 스토리지 방식이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;임시 스크래치 데이터:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; OS 수준의 로그, 임시 빌드 아티팩트, 컨테이너 레이어의 잦은 변경사항 등은 빠르고 일회용인 오버레이에 캡처됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;읽기 전용 및 공유 볼륨:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기본 이미지, 언어 도구 모음, 공유 패키지 캐시는 샌드박스 전반에 읽기 전용으로 마운트됩니다. 이렇게 하면 공통 라이브러리를 설치하는 모든 에이전트가 동일한 파일을 다시 다운로드하고 다시 저장할 필요 없이 단일 사본을 공유합니다. 팀과 멀티 에이전트 워크플로는 Google Cloud Storage에서 고속 FUSE를 통해 공유 볼륨을 마운트하여(호스트의 샌드박스 외부에서 관리되는 사용자 인증 정보 사용) 데이터를 복사하지 않고도 대규모 데이터 세트에서 공동작업할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;영구 사용자 작업공간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 사용자의 작업 상태와 저장된 아티팩트만 영구 상태로 유지됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;별도로 지정하지 않는 한, 이러한 각 데이터는 저장 및 전송 시 모두 완벽하게 암호화되는 Hyperdisk를 통해 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Workspace와 Google Cloud의 긴밀한 통합&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대부분의 비즈니스를 위한 Gemini 고객은 데이터가 Google Workspace에 있든, 비공개 가상 프라이빗 클라우드(VPC) 네트워크 내의 데이터베이스에 있든, 내부 모델 컨텍스트 프로토콜(MCP) 서버에 있든 상관없이 데이터를 다른 곳으로 이동하지 않고도 에이전트가 바로 활용할 수 있도록 해달라고 요청했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 고객은 민감한 정보를 다른 공급업체에 복사하거나 에이전트를 위해 방화벽 포트를 열고 싶어 하지 않습니다. 다행히도 이전 섹션에서 설명한 ID 및 게이트웨이 설계가 회사 네트워크에도 적용되므로 두 시나리오를 모두 피할 수 있는 요소가 이미 마련되어 있습니다. 관리자가 에이전트의 접근 범위를 결정하면, Agent Compute Engine은 다음과 같은 방식을 통해 샌드박스 외부에서 해당 결정을 강력하게 시행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;정책 기반 VPC 및 Workspace 연결성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 관리자는 Agent Gateway와 주문형 비공개 네트워크 연결(Private Service Connect 및 VPC 서비스 제어를 기반으로 구축)을 통해 에이전트가 도달할 수 있는 대상을 선언적 정책으로 정의합니다. 특정 내부 VPC 엔드포인트 집합, 승인된 Workspace API 또는 외부 도메인 허용 목록 등이 여기에 해당할 수 있습니다. 모든 애셋은 기본적으로 보호됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;통합 ID 및 감사 가능성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 엔터프라이즈 에이전트가 Workspace 문서나 비공개 Google Cloud 리소스에 액세스할 때, Agent Gateway는 사용자의 OBO 위임 사항과 샌드박스의 인증된 ID를 먼저 확인한 후 엔터프라이즈 범위의 사용자 인증 정보로 교체합니다. 모든 작업은 Cloud IAM 및 VPC 서비스 제어 경계를 준수하며, 엔드 투 엔드 감사 로그를 기록할 뿐만 아니라 단 하나의 엔터프라이즈 사용자 인증 정보도 샌드박스에 노출되지 않도록 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;언제 어디서나, 중단 없는 실행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 머신에 더 많은 에이전트를 패킹할 수 있는 microVM의 기능이 도움이 되었지만, 에이전트 리소스에 대한 수요는 하드웨어 공급보다 빠르게 증가했습니다. 지금까지 에이전트가 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;실행&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;되는 시점을 살펴보았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini와 평가팀의 샌드박스 수요를 그래프로 그려보니, 두 수요 곡선의 정점이 일치하지 않았습니다. Gemini 에이전트는 아침과 저녁에 가장 많이 사용되었습니다. 비즈니스를 위한 Gemini 사용량은 각 시간대의 업무 시간 중에 최고치를 기록했습니다. 평가 및 RL 실행에는 피크가 없었으며, 용량이 여유로울 때마다 실행되었습니다. 또한 일일 요약이나 배경 조사와 같은 Gemini 에이전트 작업의 상당수는 사용자가 요청한 즉시 시작할 필요가 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 사용 패턴 덕분에 Agent Compute Engine에서 동일한 용량의 인프라에서도 더 많은 에이전트를 지원할 수 있습니다. Google은 이 세 가지 워크로드를 하나의 하드웨어 풀에서 통합 운영하며, 처리 시간이 유연한 작업을 활용해 리소스의 빈틈을 메웁니다. 이러한 작동을 가능하게 하는 세 가지 메커니즘은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;1. 정책 기반의 완전한 글로벌 스케줄링&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 글로벌 스케줄링 프런트도어는 전 세계 리전의 용량 여유, 상태, 이미지 준비 상태를 지속적으로 모니터링합니다. 새 세션 요청이 들어오면 스케줄러는 제품의 지리적 경계, 기업의 규정 준수 규칙, 소비자 데이터 위치 요건을 엄격히 준수하는 동시에, 사용 가능한 최적의 용량 풀로 세션을 배정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;2. 지연 및 예약된 워크로드의 시간 유연성&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 에이전트형 Fleet을 운영하면서 얻은 핵심 인사이트는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 컴퓨팅의 상당 부분이 실시간 휴먼인더루프 상호작용이 아니라는 점입니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 반복되는 일일 요약, 심층적인 배경 조사 작업, 비동기 코드 마이그레이션, 야간 테스트 스윕, 대규모 RL 평가 실행을 생각해 보세요. 글로벌 스케줄링을 활용하면 제품에서 요구하는 품질과 우선순위에 따라 워크로드를 조정하거나 스케줄링할 수 있습니다. 이렇게 하면 사용량이 적은 시간대에 워크로드를 예약하여 대화형 주간 피크 시간대 사이의 빈틈을 자연스럽게 채워주며, 비즈니스 운영에 필요한 최대 하드웨어 사용 공간을 획기적으로 줄여줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;3. 통합된 대체 가능한 하드웨어 풀&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 모든 제품팀을 위해 고립되고 정적인 하드웨어 사일로를 분할하는 대신, 이식 가능하고 종속성이 낮은 오버레이에서 통합된 멀티 테넌트 Fleet을 실행합니다. 베어메탈 및 가상화된 하드웨어 노드로 구성된 동일한 기본 풀은 소비자 채팅 트래픽, 각 시간대별 기업 업무 시간, 지속적인 학습과 평가 작업 등 서로 상관관계가 없는 트래픽의 최고점과 최저점을 동적으로 흡수합니다. 대화형 수요가 급증하면 우선순위가 낮은 배치 평가 작업이 물리적 슬롯을 자연스럽게 양보하고, 대화형 트래픽이 줄어들면 RL 및 평가 파이프라인이 남는 자원을 활용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;요약 정리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini, 비즈니스를 위한 Gemini, Google 내부팀을 위한 시스템을 빌드하는 과정에서 세 가지 주요 문제를 해결해야 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;모델은 실수를 하기 마련입니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 따라서 모델이 실수를 하더라도 샌드박스 안에는 공격자가 악용할 수 있는 정보가 아무것도 남아 있지 않아야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트는 대부분의 시간을 기다리는 데 사용합니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 유휴 상태의 에이전트는 비용이 거의 들지 않아야 하며, 사용자가 눈치채기도 전에 즉시 깨어나야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트는 더 많은 것을 기억할수록 그 활용도가 더욱 높아집니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업공간은 대화의 턴이 바뀌어도, 날짜가 바뀌어도, 심지어 운영체제 버전이 업데이트되어도 그대로 유지되어야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;물론 이 모든 과제를 Google만의 방식으로, 전 세계적인 규모에서 해결해야 했습니다. &lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_iio6keS.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="lu6of"&gt;&lt;b&gt;Google Cloud에 곧 출시 예정&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="5k3oa"&gt;Google은 확장성, 보안, 효율성 측면에서 가장 까다로운 과제들을 해결하기 위해 &lt;b&gt;Agent Compute Engine&lt;/b&gt;을 빌드했습니다. 이 엔진은 &lt;b&gt;Gemini&lt;/b&gt;, &lt;b&gt;Gemini 플랫폼&lt;/b&gt;, &lt;b&gt;Antigravity&lt;/b&gt;, Google의 내부 모델 평가 및 강화 학습 파이프라인을 전 세계 규모로 구동하고 있습니다.&lt;/p&gt;&lt;p data-block-key="8ee1f"&gt;에이전트를 빌드하는 모든 팀은 Google이 Gemini 에이전트를 만들며 겪었던 것과 비슷한 문제에 직면하게 될 것입니다. 이 점이 바로 Google Cloud에서 플랫폼을 제공하는 이유입니다. Agent Compute Engine을 사용하면 개발자가 각 환경의 이미지, ID, 네트워크 액세스, 수명 주기를 제어할 수 있으며, Google은 기본 Fleet을 관리하고 별도의 용량 계획 없이도 단인 에이전트에서 전 세계 규모까지 확장할 수 있습니다. 대화형 및 엔터프라이즈 에이전트의 경우, 애플리케이션 인식 체크포인트를 통해 유휴 세션의 활성 컴퓨팅 리소스를 거의 제로에 가깝게 축소할 수 있습니다. 동시에 여러 턴과 일수에 걸쳐 파일과 메모리 상태를 보존하므로, 사용자는 유휴 VM에 대한 비용을 지불하지 않고도 에이전트가 중단된 지점에서 즉시 작업을 재개할 수 있습니다. 코딩, 평가, RL 파이프라인의 경우, 팀에서는 매번 처음부터 다시 빌드할 필요 없이 환경을 한 번 스냅샷으로 찍은 뒤 이를 메모리가 중복 삭제된 수천 개의 복사본으로 병렬 포크하여 사용할 수 있습니다.&lt;/p&gt;&lt;p data-block-key="ehj9b"&gt;Agent Compute Engine은 몇 달 내에 프리뷰 버전으로 제공될 예정입니다. &lt;a href="https://docs.google.com/forms/d/17-u6fXLEUpfmid3cl99cTdO-INuEeQYQqzNjmd4WwRg/" target="_blank"&gt;신청하기&lt;/a&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 03 Nov 2026 15:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</guid><category>Containers &amp; Kubernetes</category><category>Compute</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Agent Compute Engine 내부: 에이전트 시대를 위한 컴퓨팅 기반 빌드</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Ramanathan Venkatapathy</name><title>Distinguished Engineer</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Rohit Jnagal</name><title>Distinguished Engineer</title><department></department><company></company></author></item><item><title>Oracle Cloud Infrastructure에 Google TPU 도입</title><link>https://cloud.google.com/blog/ko/products/infrastructure/bringing-google-tpus-to-oracle-cloud-infrastructure/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/infrastructure/bringing-google-tpus-to-oracle-cloud-infrastructure?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모든 산업에서 AI 워크로드가 확대되면서 기업들은 AI 수명 주기 전반에 걸쳐 처리량, 지연 시간, 단위 경제성을 최적화할 수 있는 컴퓨팅 옵션을 필요로 하고 있습니다. 이러한 수요에 대응하기 위해 Oracle과 Google Cloud가 파트너십을 통해 Oracle Cloud Infrastructure(OCI)에 Google Tensor Processing Unit(TPU)을 제공합니다. 이로써 OCI는 Google 외에 최초로 TPU를 지원하는 하이퍼스케일 클라우드 제공업체가 되며 양사는 2027년부터 OCI에 TPU 용량을 배포할 계획입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;TPU: 반도체부터 소프트웨어까지 아우르는 공동 설계&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 10여 년 전에 맞춤형 반도체를 광 네트워킹, 전력 공급, 액체 냉각, 컴파일러 소프트웨어와 함께 설계하면 개별 구성요소를 따로 최적화하는 것만으로는 달성할 수 없는 와트당 성능과 총소유비용 개선 효과를 얻을 수 있다는 명확한 설계 철학을 바탕으로 최초의 TPU를 개발했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU v1은 당시 프로세서보다 와트당 처리량이 30배 높았습니다. 현재 TPU는 수십억 명의 사용자가 이용하는 Google 제품 전반에서 Gemini 모델의 학습과 서빙을 지원하고 있습니다. 8세대 TPU는 칩당 최대 12.6PFLOPS의 네이티브 FP4 컴퓨팅 성능을 제공하며, 이는 TPU v1의 92TFLOPS보다 100배 이상 높은 수준입니다. 와트당 성능도 이전 세대보다 최대 2배 향상되었습니다. 하지만 학습과 추론 전반에서 고객이 얻는 경제적 이점은 단순히 FLOPS 수치만으로 결정되지 않습니다. 학습에서 중요한 측정항목은 클러스터가 실제로 유효한 연산을 수행하는 시간의 비율인 굿풋입니다. 추론에서는 지연 시간과 토큰당 비용이 핵심 측정항목입니다. TPU는 시스템 수준의 공동 설계를 통해 두 영역 모두에서 효율성을 높입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨트롤 플레인은 온다이(on-die) 칩 간 상호연결(ICI) 라우팅과 광회선 교환(OCS)을 결합하여 하드웨어나 링크의 성능 저하를 감지하고, 작업을 다시 시작하지 않고도 장애 구간을 우회하도록 광 경로를 실시간으로 재구성합니다. 이로써 수천 개의 칩을 사용하는 대규모 학습 실행 중에도 97% 이상의 굿풋을 유지하고 프로덕션 서빙 환경에서도 높은 가용성을 확보할 수 있습니다. 또한 칩 내 SRAM과 HBM 용량을 늘리고, 네트워크 홉 수를 50% 이상 줄이는 새로운 저직경 상호연결 토폴로지를 도입했습니다. 이를 통해 최신 세대 TPU는 지연 시간이 짧은 서빙 워크로드에서 달러당 성능을 최대 80% 높일 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 하드웨어 효율성이 실제 개발 속도 향상으로 이어지려면 개발자가 기술을 쉽게 도입할 수 있어야 합니다. Google은&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;최근 PyTorch Conference에서 발표한 내용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 Google TPU 소프트웨어 생태계를 PyTorch 커뮤니티에 개방적이고 개발자 친화적인 환경으로 만들겠다는 의지를 다시 한번 강조했습니다. 특히 Google TPU용 네이티브 PyTorch 스택인 TorchTPU가 이제 GitHub에서 오픈소스로 제공됩니다. 이제 vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, LiteRT와 같은 기존 도구를 사용하여 TPU에서 모델을 학습, 서빙, 배포할 수 있습니다.  &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 이식성 덕분에 팀은 모델 코드를 다시 작성하지 않고도 워크로드별로 토큰당 비용이 가장 낮거나 학습 시간이 가장 짧은 가속기를 선택할 수 있습니다. 또한 이번 발표를 통해 앞으로는 Google Cloud뿐 아니라 Oracle 인프라의 TPU에서도 워크로드를 실행할 수 있게 됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;OCI를 통한 AI 인프라 생태계 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud에서 TPU 도입이 확대되고 있지만, 전 세계 AI 컴퓨팅 수요는 단일 클라우드 제공업체의 인프라만으로 감당하기 어려운 수준입니다. OCI에서 TPU를 제공하면 고객은 다음과 같은 네 가지 이점을 얻을 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고밀도 AI 워크로드에 최적화된 데이터 센터:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google TPU 시스템은 랙 규모의 직접 액체 냉각을 고려해 설계되었으며, OCI의 차세대 데이터 센터 역시 이러한 요구사항에 맞춰 구축됩니다. Oracle은 고객 수요 변화에 따라 프런티어 모델 학습과 프로덕션 추론 사이에서 유연하게 전환할 수 있는 안정적인 컴퓨팅 용량을 제공합니다. TPU의 높은 효율성과 Oracle의 혁신적인 전력 공급 및 냉각 기술을 결합하면 에너지 효율적인 AI 컴퓨팅 용량을 전 세계에 신속하고 대규모로 제공할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Oracle Acceleron을 통한 안전한 고성능 네트워킹:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; TPU가 ICI와 OCS를 통해 칩 간 트래픽을 처리하는 동안, Oracle Acceleron은 TPU 컴퓨팅 용량을 OCI의 나머지 인프라와 연결하는 네트워킹 기반을 제공합니다. Acceleron의 SmartNIC는 하드웨어 수준의 테넌트 격리를 지원하며, High Performance Fabric과 제로 트러스트 패킷 라우팅을 함께 활용합니다. 이를 통해 호스트 컴퓨팅 리소스에 부담을 주거나 보안 경계를 약화하지 않으면서도 Oracle 데이터베이스, 스토리지, TPU 클러스터 간에 높은 처리량과 짧은 지연 시간으로 데이터를 전송할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;엔터프라이즈 데이터와의 근접성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Oracle 데이터베이스는 기업의 공식 기록을 관리하는 핵심 시스템으로 사용되는 경우가 많습니다. OCI 내에서 TPU를 직접 제공하면 기업은 비용이 많이 드는 크로스 클라우드 데이터 전송 없이 기존 엔터프라이즈 데이터와 가까운 환경에서 모델 미세 조정과 추론을 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;다양한 아키텍처를 선택할 수 있는 유연성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; OCI에서 GPU와 TPU를 함께 제공하는 팀은 비용과 성능을 고려해 AI 워크로드의 각 단계에 가장 적합한 가속기를 유연하게 선택할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud와 Oracle은 Oracle Cloud Infrastructure에 Google TPU를 도입함으로써 10년 넘게 축적해 온 특화 AI 시스템 엔지니어링 기술을 더 많은 개발자가 활용할 수 있도록 지원하고 있습니다. 고객이 여러 클라우드에서 특화된 컴퓨팅 옵션을 더 다양하게 선택할 수 있게 되면 업계 전체의 개발 속도와 운영 효율성이 높아집니다. 여러분이 빌드할 멋진 결과물을 기대하겠습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Mon, 02 Nov 2026 21:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/infrastructure/bringing-google-tpus-to-oracle-cloud-infrastructure/</guid><category>Partners</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/Blog_Headers_-_Cloudstyle_3.0_2.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Oracle Cloud Infrastructure에 Google TPU 도입</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/Blog_Headers_-_Cloudstyle_3.0_2.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/infrastructure/bringing-google-tpus-to-oracle-cloud-infrastructure/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Karan Batta</name><title>Senior Vice President, Oracle Cloud Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Gurmeet Goindi</name><title>Sr. Director, Product Management</title><department></department><company></company></author></item><item><title>Google Cloud와 NVIDIA, 에이전트 시대에 맞춰 인프라를 확장하기 위한 공동 엔지니어링 협력 강화</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기업이 지속적인 다단계 에이전트형 워크플로로 전환함에 따라 기존 인프라는 한계에 직면하고 있습니다. 하지만 성능만으로는 충분하지 않습니다. 에이전트 AI를 본격적으로 확장하려면 기업은 각 작업에 적합한 모델을 유연하게 실행할 수 있어야 합니다. 또한 민감한 지식 재산과 기본 인프라에 대한 검증 가능한 제어를 유지하는 데 필요한 데이터 주권과 운영 주권도 확보해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 NVIDIA GTC Berlin 2026에서 Google Cloud는 이러한 기반을 제공하기 위해 스택 전반에 걸친 새로운 기술 발전을 발표합니다. 여기에는 병목 현상을 최소화하고, 생태계 선택권을 확대하며, 하드웨어 기반 보안을 통해 가장 민감한 워크로드를 보호하는 새로운 소버린 AI 및 컨피덴셜 컴퓨팅 기능을 도입하는 것이 포함됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 시대를 위한 아키텍처 설계&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;고객이 모델을 대규모로 학습, 서빙, 운영할 수 있도록&lt;/span&gt;&lt;a href="https://cloud.google.com/ai-infrastructure"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud의 AI 하이퍼컴퓨터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Google Cloud가 단일 시스템으로 공동 설계한 컴퓨팅, 스토리지, 네트워킹, 소프트웨어를 기반으로 빌드되었습니다. 오늘 Google Cloud는 NVIDIA와 협력하여 이 에이전트 네이티브 인프라의 새로운 업데이트를 발표합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA Vera Rubin 플랫폼 기반 A5X 인스턴스를 통한 가속화된 컴퓨팅&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 이러한 베어메탈 GPU 가속 인스턴스는 최신 NVIDIA Vera Rubin NVL72 플랫폼을 탑재하여 대규모 환경에서도 높은 성능을 제공합니다. 다음 달에 정식 버전이 출시되면 새로운 현지 리전에서도 서비스를 제공하여 EMEA 지역의 데이터 상주 및 주권 요구사항을 지원할 수 있도록 인프라 규모를 확장할 예정입니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Virgo Network를 통한 수평 확장 A5X 네트워킹:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/products/networking/introducing-virgo-megascale-data-center-fabric?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Virgo Network&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 메시 토폴로지를 통해 건물 내부 및 건물 간 비차단 수평 확장 패브릭을 지원합니다. 이 새로운 기능을 통해 엄청난 규모의 수평 확장이 가능해져 단일 사이트에서는 최대 80,000개의 Rubin GPU로, 멀티 사이트 배포에서는 최대 960,000개의 Rubin GPU로 클러스터를 확장할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Managed Lustre 및 NVIDIA GPUDirect Storage를 사용한 스토리지:&lt;/strong&gt;&lt;a href="https://cloud.google.com/products/managed-lustre"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Managed Lustre&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 A5X 인스턴스에서 NVIDIA GPUDirect Storage를 지원할 예정입니다. 이를 통해 학습 및 추론 데이터가 CPU 및 시스템 메모리를 우회하고 병렬 파일 시스템에서 GPU 메모리로 직접 전송되는 RDMA 경로를 사용할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KV 캐싱을 통한 긴 컨텍스트 메모리:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; A5X 인스턴스는 긴 컨텍스트 및 멀티턴 에이전트형 워크로드를 위해 GPU 고대역폭 메모리(HBM)를 넘어 컨텍스트 메모리를 확장하도록 설계된 고급 KV 캐싱 기능도 지원합니다. 이 고속 캐싱 레이어는 스토리지 계층 전반에서 컨텍스트를 오프로드 및 재사용하여 중복 계산을 줄이고, 첫 토큰 생성 시간을 단축하며, 비용 대비 추론 처리량을 개선합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE)의 A5X 인스턴스를 통한 워크로드 조정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE는 분산 AI 워크로드를 위한 다양한 기능을 제공합니다. 예를 들어&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/allocate-network-resources-dra?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 관리형 DRANET&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 네트워크 인터페이스 카드를 일급 네이티브 Kubernetes 리소스로 만들어 RDMA 관리를 간소화하고,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/workloads/schedule-gke-workloads-tas"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Kueue&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 토폴로지 인식 스케줄링 및 리소스 관리를 통해 분산 워크로드의 성능을 향상합니다. 이러한 특성 덕분에 GKE와 A5X 인스턴스는 에이전트형 워크로드 조정을 위한 강력한 조합이 됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-video"&gt;



&lt;div class="article-module article-video "&gt;
  &lt;figure&gt;
    &lt;a class="h-c-video h-c-video--marquee"
      href="https://youtube.com/watch?v=jSsyHFW3uOs"
      data-glue-modal-trigger="uni-modal-jSsyHFW3uOs-"
      data-glue-modal-disabled-on-mobile="true"&gt;

      
        &lt;img src="//img.youtube.com/vi/jSsyHFW3uOs/maxresdefault.jpg"
             alt="Google Cloud A5X instances: Powering next-gen AI with NVIDIA Vera Rubin platform"/&gt;
      
      &lt;svg role="img" class="h-c-video__play h-c-icon h-c-icon--color-white"&gt;
        &lt;use xlink:href="#mi-youtube-icon"&gt;&lt;/use&gt;
      &lt;/svg&gt;
    &lt;/a&gt;

    
  &lt;/figure&gt;
&lt;/div&gt;

&lt;div class="h-c-modal--video"
     data-glue-modal="uni-modal-jSsyHFW3uOs-"
     data-glue-modal-close-label="Close Dialog"&gt;
   &lt;a class="glue-yt-video"
      data-glue-yt-video-autoplay="true"
      data-glue-yt-video-height="99%"
      data-glue-yt-video-vid="jSsyHFW3uOs"
      data-glue-yt-video-width="100%"
      href="https://youtube.com/watch?v=jSsyHFW3uOs"
      ng-cloak&gt;
   &lt;/a&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“에이전트 AI의 진정한 가치는 속도에만 있는 것이 아닙니다. 현대적인 제작 파이프라인의 마찰로부터 인간의 창의성을 해방하는 데 있습니다. NVIDIA Vera Rubin NVL72로 가속화된 Google Cloud의 A5X 인스턴스를 통해 WPP의 크리에이티브 및 프로덕션팀은 프레임 단위로 정확한 품질 검사를 수행하고 브랜드 애셋을 원활하게 조정하는 지능형 에이전트를 지휘할 수 있습니다. Google Cloud는 고객의 가장 야심 찬 창작 요구사항을 충족하는 데 필요한 안정성, 확장성, 주권 보안을 제공합니다.” - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Stephan Pretorius, WPP 최고 기술 책임자&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;개방형 모델 및 생태계 혁신 확대&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트형 워크플로에서 단일 모델에만 의존하는 경우는 드뭅니다. 대신 작업을 가장 효율적으로 수행할 수 있는 모델로 라우팅합니다. 인프라는 로드맵을 제한하는 것이 아니라 선택의 폭을 넓혀 주어야 합니다. Google Cloud를 사용하면 멀티 클라우드, 하이브리드, 규제가 엄격한 환경에서 원하는 소프트웨어와 NVIDIA AI 인프라를 선택하여 인프라를 배포할 수 있습니다. 오늘 Google Cloud는 자유롭게 빌드하고 빠르게 적응할 수 있도록 지원하는 몇 가지 업데이트를 발표했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개방형 모델: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 Gemma, Mistral, NVIDIA Nemotron 등의 모델에 대한 지원을&lt;/span&gt;&lt;a href="https://cloud.google.com/sovereign-cloud"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Sovereign Cloud 포트폴리오&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 추가하고 있습니다. 이를 통해 모델 가중치와 런타임을 완전히 제어하면서 개방형 가중치 모델을 실행하고 관리할 수 있으며, 종속을 방지하면서 고성능 가속을 유지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemini에서 NVIDIA NeMo와 함께 NVIDIA Cosmos 3 및 NVIDIA Nemotron 3.5 SuperVL 제공&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 이제 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;관리형 학습 클러스터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 새로운 NVIDIA Nemotron 3.5 SuperVL 모델을 맞춤설정할 수 있습니다.&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/machine-learning/training/training-clusters/get-started"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;MTC에 최적화된 학습 레시피를 사용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하여 Google Cloud에서 NVIDIA NeMo RL 및 NVIDIA NeMo Gym을 활용한 Nemotron 사후 학습 작업을 빠르게 시작할 수 있습니다. NVIDIA Cosmos 3를 사용하면 로봇과 자율 주행 차량이 실제 환경에 배포되기 전에 시행착오를 거치며 성능을 개선할 수 있는 가상 세계를 생성하여 시뮬레이션에서 현실로 이어지는 워크플로를 지원할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;소버린 AI 및 컨피덴셜 컴퓨팅으로 배포 보안 강화&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 자율적으로 수행하는 미션 크리티컬 작업이 늘어나면서 처리하는 데이터의 민감도도 점점 높아지고 있습니다. 이러한 고급 워크로드를 배포하는 조직에는 혁신을 저해하지 않는 하드웨어 기반 보호와 운영 제어가 필요합니다. 클라우드에서 모델을 학습시키는 동안 지식 재산을 보호하거나 완전히 에어 갭이 적용된 환경에서 미션 크리티컬 워크로드를 실행하는 경우 Google Cloud와 NVIDIA는 검증 가능한 보안과 로컬 관리 기능을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud는 온프레미스 환경을 위한 새로운 소버린 AI 기능과 함께 퍼블릭 클라우드를 위한 컨피덴셜 컴퓨팅의 개선 사항을 발표합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Distributed Cloud를 통한 온프레미스 소버린 AI&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;인터넷에서 완전히 격리된 상태를 유지해야 하는 미션 크리티컬 워크로드의 경우&lt;/span&gt;&lt;a href="https://cloud.google.com/distributed-cloud"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Distributed Cloud&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(GDC)는 관리형 클라우드 스택을 고객의 데이터 센터 또는 에지 시설에 직접 제공합니다. 소버린 AI 이니셔티브를 발전시키기 위해 Google Cloud는 GDC 에어 갭 적용 배포 환경 전반에 걸쳐 새로운 컴퓨팅 가속기, 멀티모달 모델, 턴키 검색 기능을 제공하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GDC의 NVIDIA Blackwell Ultra GPU:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 올해 초 발표된 프리뷰 버전에 이어 최신 NVIDIA HGX B300 시스템이 이제 GDC에서 정식 버전(GA)으로 제공됩니다. 이를 통해 업계 최고 수준의 컴퓨팅 밀도와 에너지 효율을 온프레미스에 제공하여 까다로운 로컬 추론 워크로드에 필요한 높은 처리량의 플랫폼 기반을 마련합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GDC의 Gemini Flash 모델:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; NVIDIA HGX B300으로 가속화된 GDC의 Gemini 3.5 Flash를 통해 주권 모델 카탈로그를 확장하고 있습니다. 이제 조직은 에어 갭 경계 내에서 텍스트, 오디오, 동영상, 이미지를 아우르는 빠르고 처리량이 높은 멀티모달 추론을 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GDC의 엔터프라이즈 검색 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 프리뷰 버전으로 제공되는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/hybrid-cloud/managed-rag-search-inside-the-sovereign-perimeter-gemini-on-gdc-enterprise-search?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GDC 에어 갭 환경의 Gemini 기반 엔터프라이즈 검색 기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 멀티모달 검색 증강 생성(RAG)을 기반으로 하는 즉시 사용 가능한 대화형 인터페이스를 제공합니다. 이러한 기능은 NVIDIA HGX B300을 사용하는 GDC 에어 갭 기반 Gemini를 통해 제공됩니다. 이제 분석가와 지식 노동자는 커스텀 엔지니어링 없이도 독점 문서, 미디어, 비정형 아카이브를 즉시 쿼리, 요약, 교차 검토할 수 있으며, 모든 색인 생성, 임베딩, 상호작용을 주권 보안 경계 내에서 엄격하게 유지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에어 갭 적용 온프레미스 배포 외에도 NVIDIA AI 인프라에서 소버린 AI 워크로드를 실행할 수 있습니다. 이때&lt;/span&gt;&lt;a href="https://cloud.google.com/security/products/assured-workloads"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud 데이터 경계&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 퍼블릭 클라우드에서 리전별 데이터 상주와 같은 제어를 적용하거나&lt;/span&gt;&lt;a href="https://cloud.google.com/products/dedicated"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud 전용 환경&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 프랑스의 S3NS 또는 독일의 Thales와 같은 현지 독립 파트너가 운영하는 격리된 클라우드를 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;퍼블릭 클라우드의 컨피덴셜 컴퓨팅&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 워크로드가 확장됨에 따라 학습이 진행되는 동안 민감도가 매우 높은 지식 재산을 보호하고, 실시간 추론 중에는 사용자 컨텍스트와 모델 IP를 보호하는 것이 안전한 AI 아키텍처를 유지하는 데 매우 중요합니다. 조직은 Google Cloud의 고급 보안 런타임과 NVIDIA 컨피덴셜 컴퓨팅을 결합하여 처리 속도를 저하시키지 않고도 검증되고 신뢰할 수 있는 실행 환경에 고성능 생성형 AI 모델을 배포할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨피덴셜 컴퓨팅을 지원하는 G4 인스턴스 정식 버전 출시: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU를 기반으로 하는 컨피덴셜 G4 인스턴스를 통해 개인 정보 보호 AI에 대한 접근성을 확대하고 있습니다. NVIDIA 컨피덴셜 컴퓨팅을 지원하는 G4 컨피덴셜 GPU는 성능 저하 없이 업그레이드된 보안을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;컨피덴셜 컴퓨팅은 현재 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA HGX B200&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 및 Intel TDX 기반 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;A4&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 인스턴스에서 일부 고객에게 제공되고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 프런티어 모델 AI 서빙을 위한 단일 테넌트 베어메탈 성능과 격리가 중요하다는 점을 고려하여 컨피덴셜 베어메탈을 도입합니다. 이러한 혁신은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA Confidential Bare Metal&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;A4X Max&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 인스턴스(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA GB300 NVL72&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기반)로 이어집니다. 암호화된 DDR 및 NVLink 상호 연결을 통해 하드웨어 기반 보안 부팅 및 증명을 확장함으로써 베어메탈 AI 워크로드는 이러한 신뢰할 수 있는 실행 경계를 활용하여 추론 및 학습 중에 사용자 프롬프트와 모델을 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Cloud의 이점&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 NVIDIA와의 공동 엔지니어링 협업을 통해 NVIDIA의 풀 스택 가속 컴퓨팅 플랫폼을&lt;/span&gt;&lt;a href="https://cloud.google.com/ai-infrastructure"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 하이퍼컴퓨터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 직접 통합합니다. 이를 통해 모델을 대규모로 학습, 서빙, 운영하는 데 필요한 에이전트 네이티브 인프라를 확보할 수 있습니다. 오늘 발표한 새로운 기능은 NVIDIA Vera Rubin 플랫폼과 높은 처리량의 네트워킹을 개방형 모델에 대한 확장된 지원과 결합하여 이러한 통합 기반을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 데이터에 대한 검증 가능한 제어 기능을 제공합니다. NVIDIA 인프라 전반에 걸친 새로운 소버린 AI 배포와 컨피덴셜 컴퓨팅을 통해 하드웨어 기반 보안과 로컬 데이터 레지던시를 사용하여 가장 민감한 워크로드를 보호할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 하드웨어와 소프트웨어를 하나의 시스템으로 함께 설계하므로 고객은 코드를 다시 작성하지 않고도 다양한 아키텍처에서 모델을 실행할 수 있습니다. 따라서 컴퓨팅 주기가 워크로드에 집중되므로 AI 제품을 더 빠르게 출시할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 새로운 기능을 시작하려면 Google Cloud 영업 담당자에게 문의하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Fri, 30 Oct 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026/</guid><category>Compute</category><category>Partners</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/nvidia_hero.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google Cloud와 NVIDIA, 에이전트 시대에 맞춰 인프라를 확장하기 위한 공동 엔지니어링 협력 강화</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/nvidia_hero.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Ankur Mehrotra</name><title>VP/GM, Distributed &amp; Sovereign Cloud, Google Cloud</title><department></department><company></company></author></item><item><title>Agent Compute Engine 및 확장된 에이전트 거버넌스 소개</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="bjhon"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="d1oo5"&gt;&lt;/p&gt;&lt;p data-block-key="f6drt"&gt;&lt;b&gt;블로그 작성자:&lt;/b&gt; 제품 관리 부문 VP Nirav Mehta, VP/GM Michael Bachman, 제품 관리 부문 VP Kevin Hutchins&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="cucc7"&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="chxn6"&gt;Gemini를 전 세계 규모로 확장하는 과정에서, 자율 에이전트를 안전하게 실행하는 것은 근본적으로 인프라와 관련된 과제라는 것을 직접 배울 수 있었습니다. 단일 턴 프롬프팅에서 대화형 에이전트로 전환하려면 실행 및 제어 측면에서 새로운 패러다임이 필요합니다. 대규모 동시 에이전트 세션을 지원하기 위해 Google은 이러한 과제를 해결할 수 있도록 Gemini를 위한 새로운 컴퓨팅 및 거버넌스 솔루션을 설계했습니다.&lt;/p&gt;&lt;p data-block-key="9m1md"&gt;오늘 AGNTCon + MCPCon에서 Google은 업무용 에이전트로서 이미 Gemini에서 활약하고 있는, 특수 설계된 &lt;b&gt;Agent Compute Engine&lt;/b&gt;을 공개하여 고객에게 이러한 역량을 제공하려 합니다. 앞으로 몇 달 내에 프리뷰 버전이 제공될 예정이며, 하드웨어 격리 런타임 샌드박스 보안을 지원합니다. 또한 비즈니스를 위한 Gemini의 에이전트 거버넌스 기능을 확장하여 에이전트가 작동하는 위치에 관계없이 지원하고자 합니다. 이러한 기능이 한데 모여 사용자가 에이전트를 실행, 관리, 확장하는 데 필요한 제어 역량을 제공합니다.&lt;/p&gt;&lt;h3 data-block-key="665jm"&gt;&lt;b&gt;Agent Compute Engine 심층 분석&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="374am"&gt;Agent Compute Engine은 코드를 작성 및 실행하고, 도구를 실행하고, 브라우저를 구동하고, 엔터프라이즈 워크플로를 조정하고, 작업을 대규모로 빠르게 반복해야 하는 Google의 방대한 에이전트형 워크로드를 처리하기 위해 탄생했습니다. 기존의 컴퓨팅 프리미티브는 표준 워크로드에는 적합하지만, AI 에이전트의 고유하고 반복적인 특성에는 최적화되어 있지 않았습니다.&lt;/p&gt;&lt;p data-block-key="b93af"&gt;에이전트를 위해 특별히 설계된 Agent Compute Engine은 모든 Gemini 에이전트에 자체적인 고성능 보안 컴퓨터를 제공하여 Gemini의 동적이고 이탈률이 높은 세션을 지원합니다. Agent Compute Engine은 AI 에이전트의 고유한 수명 주기 패턴에 맞게 최적화되어 있으며, 곧 이 서비스를 사용하여 자체 커스텀 에이전트를 구동할 수 있게 됩니다. 주요 특징은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="falbi"&gt;&lt;b&gt;효율적인 속도:&lt;/b&gt; 에이전트는 시작, 일시중지, 재개를 반복하므로 규모에 맞는 속도를 제공하는 아키텍처가 필요하며, 이 모든 과정에서 높은 효율성이 필요합니다. Agent Compute Engine은 빠르게 부팅되는 microVM을 제공하므로 에이전트 루프나 평가 스윕 작업이 인프라를 기다릴 필요가 없습니다. 나아가 여러 에이전트로 Google 사용자를 지원하려면 물리적 머신을 최대한 활용할 수 있는 비용 효율적인 솔루션이 필요합니다. Agent Compute Engine은 Copy-On-Write(COW) 메모리 공유를 사용하여 단일 운영체제 템플릿에서 여러 에이전트를 실행하고, 빠른 체크포인트 및 복원을 통해 유휴 microVM을 일시중지함으로써 이러한 효율성을 달성합니다. 에이전트가 도구 호출 실행을 완료하고 에이전트 루프의 '사고' 단계에 진입하면, microVM은 자신이 유휴 상태임을 알리고 호스트는 이 microVM을 활성 상태에서 유휴 상태로 전환합니다. 다시 말해, 에이전트가 사람이나 외부 시스템을 기다리는 동안 실행 중인 microVM을 일시중지하고 스냅샷에서 빠르게 재개할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="9rugi"&gt;&lt;b&gt;보안, 격리, 거버넌스 강화:&lt;/b&gt; 에이전트가 더 복잡한 작업을 수행하게 되면서, 샌드박스 내에서 신뢰할 수 없거나 적대적인 코드 실행이 발생할 위험이 항상 존재하게 되었습니다. Agent Compute Engine을 Google의 오프로드 인프라 처리 장치(IPU)인&lt;a href="https://docs.cloud.google.com/docs/security/titanium-hardware-security-architecture"&gt; Titanium&lt;/a&gt;과 함께 실행하면 신뢰할 수 없는 AI 에이전트에 대응하기 위해 하드웨어 단계부터 고안된 심층 방어를 제공할 수 있습니다&lt;b&gt;.&lt;/b&gt; Agent Compute Engine은 자체 게스트 커널과 루트 액세스 권한이 있는 하드웨어 격리 Cloud Hypervisor 경계를 통해 강력한 격리를 제공합니다. (Agent Compute Engine의 microVM 아키텍처와 보안에 대해 자세히 알아보려면&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive"&gt; 기술 심층 분석&lt;/a&gt;을 읽어보세요.) 각 microVM은 단기 사용자 인증 정보를 사용하여 에이전트의 자체 ID를 실행합니다. 또한 모든 microVM은 자체적인 암호화 방식으로 확인된 ID를 가지며, 서비스 사용자 인증 정보는 microVM 외부의 이그레스에 삽입됩니다. Agent Gateway와 통합된 Agent Compute Engine은 포괄적인 모니터링 가능성, 정책, 보안 평가를 제공합니다.&lt;/li&gt;&lt;li data-block-key="4jgsd"&gt;&lt;b&gt;지속성 및 엔터프라이즈 통합:&lt;/b&gt; 에이전트는 장기 실행되는 여러 세션에서 에이전트 데이터를 유지할 수 있어야 합니다. 이를 위해 각 Agent Compute Engine microVM은 자체&lt;a href="https://docs.cloud.google.com/compute/docs/disks/hyperdisks"&gt; Hyperdisk&lt;/a&gt;를 갖추고 있어 실행 작업공간과 에이전트 컨텍스트를 유지할 수 있습니다. 이에 더해, 의미 있는 작업을 수행하려면 기업 데이터를 이동시키지 않고도 microVM이 기업 데이터를 사용할 수 있어야 합니다. Agent Compute Engine을 Google의 클라우드 및 ID 패브릭에 직접 통합함으로써, 엔터프라이즈 연결이 microVM 자체를 보호하는 것과 동일한 보안 및 ID 모델에 의해 제어되므로 통합된 ID 모델과 감사 가능성을 구현할 수 있습니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Gemini 에이전트를 전 세계 규모로 확장하려면 빠르게 가동되고 극도로 효율적으로 작동하는 컴퓨팅이 필요합니다. Agent Compute Engine microVM은 전 세계 사용자에게 대화형 에이전트 샌드박스를 제공하는 데 필요한 응답성, 하드웨어 격리, 워크로드 밀도를 갖추고 있습니다." - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Gautham Thambidorai, Gemini 부사장 겸 Google 펠로우&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;Agent Substrate를 사용한 GKE 기반 빌드&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="697j2"&gt;맞춤설정과 멀티 클라우드 이식성이 필요하거나 이미 Kubernetes를 표준으로 도입한 플랫폼팀을 대상으로 하는&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt; Google Kubernetes Engine(GKE) 기반의 Agent Substrate&lt;/a&gt;는 Kubernetes 환경에서도 에이전트 중심 설계를 지원하는 오픈소스 실행 런타임입니다. Agent Substrate는 에이전트 실행을 머신 관리에서 완전히 분리하는 제로 트러스트 아키텍처를 기반으로 빌드되었습니다. 에이전트가 유휴 상태가 되면 Agent Substrate는 에이전트의 활성 메모리 스냅샷을 생성하고 머신을 풀로 반환한 다음, 에이전트가 다시 필요해지는 순간에 에이전트를 재개합니다. 오픈소스이자 Kubernetes 기반이므로 맞춤설정하고 확장하여 기존 워크로드와 함께 실행할 수 있습니다. Agent Substrate의 주요 특징은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="ekrtb"&gt;&lt;b&gt;고밀도:&lt;/b&gt; Agent Substrate는 모든 에이전트에 대해 완전한 커널 격리와 ID 기반 네트워크 보안을 유지하면서 기존 컴퓨팅에 비해 최대 10배 더 높은 컴퓨팅 밀도를 제공합니다.&lt;/li&gt;&lt;li data-block-key="ff908"&gt;&lt;b&gt;1초 미만의 활성화:&lt;/b&gt; 200,000개의 에이전트를 실행하는 벤치마크 검증에서 Agent Substrate는 500ms 미만의 일시중지 및 재개 지연 시간으로 초당 500회의 활성화를 유지했습니다.&lt;/li&gt;&lt;li data-block-key="aglqc"&gt;&lt;b&gt;보안을 우선으로 하는 기본 설정:&lt;/b&gt; Agent Substrate는 에이전트를 위한 제로 트러스트라고 생각하면 됩니다. 각 샌드박스에는 microVM 또는 gVisor를 선택하여 사용할 수 있는 강력한 하드웨어 격리 기능이 내장되어 있습니다. 모든 에이전트는 암호화 방식으로 보호되는 자체 ID를 부여받으며, 세분화된 네트워크 정책을 적용하고 에이전트 자체의 접근 범위를 벗어난 사용자 인증 정보를 삽입하는 이그레스 프록시와 함께 사용됩니다. 앞으로 Agent Substrate 런타임 아키텍처를 확장하여 비즈니스 거버넌스 프레임워크를 위한 더 광범위한 Gemini와 통합할 예정입니다.&lt;/li&gt;&lt;li data-block-key="8eg1u"&gt;&lt;b&gt;오픈소스 이식성:&lt;/b&gt; 모든 컴퓨팅 환경의 모든 Kubernetes 클러스터에서 실행되며 Claude Code, OpenClaw, Hermes를 비롯한 모든 에이전트 프레임워크 또는 하네스와 호환됩니다.&lt;/li&gt;&lt;li data-block-key="b2gse"&gt;&lt;b&gt;동적 스토리지&lt;/b&gt;: 1초 미만의 재개 지연 시간으로 Filestore 에이전트 볼륨과 통합되어 활성 컴퓨팅과 함께 확장되며, 멀티 에이전트 워크플로를 위한 단일 공유 작업공간을 제공합니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Nous Research 같은 선도적인 AI팀은 이미 이 안정적인 아키텍처를 사용하여 멀티 테넌트 에이전트를 기존 고객 인프라에 바로 배포하여 효율성을 실현하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“Hermes Enterprise는 고객이 기존 인프라에 배포할 수 있도록 빌드되었으며, 에이전트별 격리와 확장 가능한 액세스 제어를 처리할 수 있습니다. Agent Substrate는 플랫폼 레이어에서 이 두 가지 작업을 모두 처리하는 동시에, 귀중한 컴퓨팅 리소스도 보존합니다. Agent Substrate를 직접 사용해 본 경험 덕분에, 에이전트 워크로드가 증가하더라도 아키텍처를 효율적으로 확장할 수 있다는 확신을 갖게 되었습니다.” &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Hervé Bizira, Nous Research 최고 비즈니스 책임자&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;모든 에이전트를 위한 거버넌스 기능 확장&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7qaoo"&gt;조직이 자율 에이전트를 격리된 파일럿에서 멀티 런타임 프로덕션 Fleet로 전환함에 따라, 기존 보안 프레임워크를 강화하고 발전시켜야 합니다. 고객은 세 가지 과제에 직면해 있습니다. 1) 에이전트, 도구, 모델, 기술, 그리고 데이터 전반에서 동적이고 비결정론적인 상호작용 경로를 보호하는 것, 2) 최소 권한 액세스 분산 런타임을 통해 보안 상황을 기본 거부 상태로 유지하는 것, 3) 비동기 에이전트 작업을 감사할 수 있도록 보장해야 하는 것입니다. 강력한 에이전트 거버넌스가 없으면 에이전트의 무분별한 확산으로 인해 섀도 AI, 데이터 무단 반출, 추적 및 감사가 어려운 에이전트 작업 등의 위험이 빠르게 발생합니다.&lt;/p&gt;&lt;p data-block-key="dfnqh"&gt;이러한 과제를 해결하기 위해 Google은 Gemini 플랫폼에 다음과 같은 강력한 에이전트 거버넌스 기능을 구축했습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="8r6q1"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview"&gt;&lt;b&gt;Agent Gateway&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 항공 관제사처럼 클라이언트와 에이전트 간 트래픽, 에이전트와 외부 위치 간 트래픽을 관리합니다. 또한 민감한 정보 보호, 에이전트 공격 보호, 시맨틱 거버넌스, 자체 정책 가져오기 기능을 포함한 광범위한&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/policies/overview"&gt; 거버넌스 및 보안 정책&lt;/a&gt;을 통합합니다.&lt;/li&gt;&lt;li data-block-key="ck7v4"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-registry"&gt;&lt;b&gt;Agent Registry&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 승인된 모든 실행 중인 에이전트, 도구, MCP 서버, 스킬, 모델, 엔드포인트의 정보 소스 역할을 하는 중앙 저장소를 제공하며, 적용된 정책을 통해 런타임 액세스를 제어합니다.&lt;/li&gt;&lt;li data-block-key="cdm1m"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-identity-overview"&gt;&lt;b&gt;에이전트 아이덴티티&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 개방형 표준 기반의&lt;a href="https://github.com/spiffe/spiffe" target="_blank"&gt; SPIFFE&lt;/a&gt;를 사용하여 각 에이전트에 고유한 보안 ID를 할당하며, 인증, 액세스 제어, 감사를 위한 디지털 서명 역할을 합니다.&lt;/li&gt;&lt;li data-block-key="fraki"&gt;&lt;a href="https://docs.cloud.google.com/stackdriver/docs/observability/agent-observability"&gt;&lt;b&gt;에이전트 모니터링 가능성&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt;&lt;a href="https://github.com/open-telemetry/semantic-conventions-genai" target="_blank"&gt; 에이전트형 시맨틱 규칙&lt;/a&gt;을 채택하는 OpenTelemetry(OTel) 규정 준수 원격 분석을 제공하여 Agent Gateway 전반에서 모든 모델 호출, 도구 호출, 에이전트 홉에 대한 표준화된 측정항목, 로그, 분산 트레이스를 내보냅니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="vrdq"&gt;다양한 환경에서 에이전트 Fleet이 지속적으로 급격하게 증가하고 있는 요즘, Google은 Google Cloud 런타임, 크로스 클라우드, 온프렘, 클라이언트 기기 전반에서 비즈니스 에이전트 거버넌스 기능을 지원하도록 Gemini의 범위를 확장하여 에이전트가 실행되는 모든 곳에서 에이전트를 관리하고 보호하고 있습니다. 여기에는 다음과 같은 기능이 포함됩니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="en0sq"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview#deployment-model-summary"&gt;&lt;b&gt;광범위한 Google Cloud 런타임 지원&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; Agent Runtime, Cloud Run, Gemini 플랫폼의 Agent Sandbox, GKE, Agent Compute Engine(프리뷰) 전반에서 포괄적인 에이전트 거버넌스를 확장합니다.&lt;/li&gt;&lt;li data-block-key="et1ii"&gt;&lt;b&gt;일관된 크로스 클라우드 도달범위:&lt;/b&gt; 경량의 Envoy 프록시 기반 정책 적용 지점을 배포하여 멀티 클라우드 및 하이브리드 환경으로 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).&lt;/li&gt;&lt;li data-block-key="egr8t"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-endpoint"&gt;&lt;b&gt;엔드포인트의 로컬 에이전트에 대한 거버넌스&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 관리 대상 기기에서 OS 수준 샌드박스 및 로컬 거버넌스 서비스를 통해 Claude Code 및 Antigravity CLI 같은 코딩 에이전트까지 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="7bed7"&gt;이 외에도 세분화된 비용 관리, 지능형 모델 라우팅, 간소화된 맞춤설정 및 통합을 지원하는 &lt;b&gt;Agent Gateway&lt;/b&gt;의 새로운 에이전트 거버넌스 기능이 공개됩니다. 이번 분기에 프리뷰 버전으로 제공되는 주요 기능은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="9l25l"&gt;&lt;b&gt;세분화된 토큰 및 비용 거버넌스:&lt;/b&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/policies/token-management-overview"&gt; 토큰 관리&lt;/a&gt;를 통해 에이전트와 모델 전반에서 토큰 소비를 제어할 수 있습니다. 이를 통해 비용을 할당하고, 예산 가드레일을 적용하고, 토큰 측정항목에 대한 단일 정보 소스를 제공할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="87nj"&gt;&lt;b&gt;적절한 모델로 요청 라우팅&lt;/b&gt;: 모델 라우팅 정책은 사용자 및 에이전트 요청을 적절한 모델로 라우팅하여 비용을 제어하고 성능을 개선합니다.&lt;/li&gt;&lt;li data-block-key="ak466"&gt;&lt;b&gt;확장 가능한 정책:&lt;/b&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/extension-bindings-overview"&gt; Service Extensions 바인딩&lt;/a&gt;을 통해 인라인 프로그래밍 가능성 및 확장성에 대한 간소화된 지원이 가능해집니다. Google 서비스, 고객의 맞춤형 함수, 파트너 서비스를 데이터 경로에 바로 긴밀하게 통합할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="84ghv"&gt;&lt;b&gt;확장된 보안 파트너 생태계:&lt;/b&gt; &lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-identity-overview#agent-auth-manager"&gt;에이전트 아이덴티티 인증 관리자를 사용한 안전한 OAuth&lt;/a&gt; 지원과 더불어, 서드 파티 ID 공급업체인 Ping Identity, SailPoint, Saviynt를 통해&lt;a href="https://services.google.com/fh/files/misc/secure_interoperability_and_delegated_authority_with_third_party_identity_provider_final.pdf" target="_blank"&gt; 위임된 사용자 승인&lt;/a&gt;을 제공합니다. 통합 파트너의 전체 목록은&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agw-partners"&gt; 여기&lt;/a&gt;에서 확인할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="aue32"&gt;&lt;b&gt;간소화되고 안전한 에이전트-도구 연결:&lt;/b&gt; Cloud Run용 빠른 연결을 사용하면 에이전트가 도달해야 하는 대상을 선언할 수 있으며, ID 토큰 삽입을 포함하여 구성요소 간에 안전하고 인증된 연결을 설정할 수 있습니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;"L’Oréal의 목표는 팀에 에이전트 AI를 제공하여 새로운 아이디어를 실현하고 뷰티의 미래를 만들어 나갈 수 있도록 지원하는 것입니다. AI 에이전트는 L’Oréal의 뷰티 테크 에이전트형 플랫폼을 통해 일상 업무에 자연스럽게 녹아들고 있습니다. Google Cloud의 에이전트 거버넌스는 Cloud Run과 같은 런타임 전반에서 ID, 정책, 모니터링 가능성을 통합해 주므로 회사의 포부를 자신 있게 확장할 수 있는 기반이 됩니다. 개발자는 더 빠르게 혁신할 수 있고, 엔지니어는 각 에이전트가 액세스할 수 있는 항목을 명확하게 제어할 수 있습니다.” &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;strong style="vertical-align: baseline;"&gt;Alexandre Frizzo, L’Oreal AI 수석 엔지니어&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;복원력 있는 에이전트 인프라를 기반으로 빌드&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="5bu4s"&gt;에이전트 시대에는 인프라를 확장하는 방식에도 진화가 필요합니다. Google은 Agent Compute Engine 및 Agent Substrate의 고성능 실행과, 지금은 크로스 클라우드 영역까지 확장된 비즈니스용 Gemini의 에이전트 거버넌스 기능을 결합하여 안전하게 보호되는 고밀도 AI 에이전트를 위한 탄력적인 기반을 구축하고 있습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="qtjp"&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive"&gt;Agent Compute Engine&lt;/a&gt;에 대해 자세히 알아보고 Agent Compute Engine에 대한&lt;a href="https://docs.google.com/forms/u/0/d/17-u6fXLEUpfmid3cl99cTdO-INuEeQYQqzNjmd4WwRg/viewform?edit_requested=true" target="_blank"&gt; 관심 여부&lt;/a&gt;를 보여주세요.&lt;/li&gt;&lt;li data-block-key="cguu1"&gt;커뮤니티와 함께 공개적으로 빌드되는&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt; Agent Substrate&lt;/a&gt;를 만들어 나가는 데 힘을 보태주세요. 지금 바로 &lt;a href="http://ate.dev/" target="_blank"&gt;오픈소스 저장소&lt;/a&gt;를 방문하여 GKE에서 Agent Substrate를 사용해 보세요.&lt;/li&gt;&lt;li data-block-key="5700e"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern"&gt;에이전트 거버넌스&lt;/a&gt;에 대해 자세히 알아보고&lt;a href="https://forms.gle/91cYE7RH4eQ18dbf7" target="_blank"&gt; 관심 여부&lt;/a&gt;를 알려주세요.&lt;/li&gt;&lt;li data-block-key="8b60e"&gt;&lt;a href="https://events.linuxfoundation.org/agntcon-mcpcon-north-america/" target="_blank"&gt;AGNTCon+MCPCon&lt;/a&gt;에서 전문가와 이야기를 나누고 Google의 데모를 살펴보세요.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Fri, 30 Oct 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</guid><category>Compute</category><category>Containers &amp; Kubernetes</category><category>Networking</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/ACE_hero.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Agent Compute Engine 및 확장된 에이전트 거버넌스 소개</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/ACE_hero.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>The Google Cloud infrastructure team </name><title></title><department></department><company></company></author></item><item><title>ZenteiQ, llm-d 기반 GKE Inference Gateway로 배치 추론을 4배 확장</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="3d0iw"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="4nmq3"&gt;&lt;/p&gt;&lt;p data-block-key="3f35i"&gt;&lt;i&gt;오늘은 Indian Institute of Science(IISc)에서 분사한 인공지능 스타트업인&lt;/i&gt;&lt;a href="https://zenteiq.ai/" target="_blank"&gt; &lt;i&gt;ZenteiQ&lt;/i&gt;&lt;/a&gt;&lt;i&gt;의 이야기를 들어보겠습니다. ZenteiQ는&lt;/i&gt;&lt;a href="https://indiaai.gov.in/" target="_blank"&gt; &lt;i&gt;IndiaAI Mission&lt;/i&gt;&lt;/a&gt;&lt;i&gt;의 선정 기업으로 주권 과학용 파운데이션 모델을 처음부터 빌드하는 것을 목표로 하고 있습니다. 물리 법칙, 지배 방정식, 수치 솔버를 이해하는 모델을 사전 학습시키기 위해 ZenteiQ는 여러 모델 제품군에서 실행되고 검증된 데이터 세트를 학습 실행에 제공하는 대규모 합성 데이터 배치 생성 파이프라인을 설계하고 빌드했습니다.&lt;/i&gt;&lt;a href="https://cloud.google.com/kubernetes-engine"&gt;&lt;i&gt;Google Kubernetes Engine(GKE)&lt;/i&gt;&lt;/a&gt;&lt;i&gt;과&lt;/i&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; &lt;i&gt;GKE Inference Gateway&lt;/i&gt;&lt;/a&gt;&lt;i&gt;를 통해 ZenteiQ는 파이프라인 내에 추론 라우팅 레이어를 제공하여 집계 추론 처리량을 4.07배 확장하고 가속기 1,000개당 일일 토큰 생성량을 14억 7천만 개에서 59억 7천만 개로 늘릴 수 있었습니다.&lt;/i&gt;&lt;b&gt; - Fisayo Feyisetan, Google Cloud 제품 관리자&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="25a75"&gt;주로 웹 텍스트와 코드를 학습하는 범용 언어 모델과 달리, 과학용 파운데이션 모델은 열역학, 전산 유체 역학, 전자기학과 같은 분야 전반에서 복잡한 물리 시스템, 수학적 지배 방정식, 수치 솔버를 이해해야 합니다. ZenteiQ는 시뮬레이션 결과를 해석하고, 방정식 공식을 평가하고, 물리 법칙을 따르는 단계별 수학적 유도 과정을 수행하는 주권 과학용 파운데이션 모델을 처음부터 빌드하고 있습니다.&lt;/p&gt;&lt;p data-block-key="1jic9"&gt;대규모 지배 방정식 데이터 세트로 모델을 사전 학습시키려면 수천억 개의 추론 토큰이 필요합니다. 선별된 과학 문헌 및 시뮬레이션 데이터 세트와 더불어, ZenteiQ는 독립적으로 설계하고 구현한 합성 데이터 배치 생성 파이프라인을 사용하여 후보 유도 과정과 솔버 검증 문제를 생성, 평가, 필터링한 후&lt;a href="https://github.com/AI-Hypercomputer/maxtext" target="_blank"&gt; MaxText&lt;/a&gt; 사전 학습 작업에 입력합니다.&lt;/p&gt;&lt;p data-block-key="90uv8"&gt;ZenteiQ는 고정된 컴퓨팅 할당량으로 운영되기 때문에 가속기가 학습 데이터를 생성하고 검증하는 데 소비하는 시간은 사전 학습에서 차감됩니다. 데이터 생성이 늦어지면 사전 학습용으로 할당된 멀티 호스트 가속기 클러스터가 데이터 세트를 기다리느라 아무런 작업도 하지 못하는 유휴 상태가 됩니다.&lt;/p&gt;&lt;h3 data-block-key="6mkv7"&gt;&lt;b&gt;데이터 생성으로 인해 사전 학습이 지연되는 문제&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="2375c"&gt;데이터 생성 속도를 극대화하기 위해, 당사의 파이프라인은 워커 포드에서 진행되는 프롬프트 준비 작업과 다중 노드 가속기 풀 전반의 vLLM 모델 서빙을 분리하여 운영합니다. 각 배치는 4가지 단계를 거칩니다. 먼저 과학적 시드 개념을 프롬프트 배치로 확장하고, 생성기 모델을 통해 후보 추론 트레이스를 생성합니다. 그다음 평가자 모델을 사용하여 응답에 점수를 매기고, 별도의 모델 제품군을 통해 가드레일 검사를 실행한 뒤 검증된 데이터 세트를 패키징하여 사전 학습에 투입합니다.&lt;/p&gt;&lt;p data-block-key="6clfq"&gt;처음에는 추론 엔드포인트 전반에 표준 ClusterIP 라운드 로빈 부하 분산을 사용하여 Kubernetes에서 이러한 모델 풀을 실행했습니다. 90억 및 350억 파라미터 모델 일정에 맞게 파이프라인을 확장하면서 두 가지 라우팅 병목 현상이 발생해 데이터 세트 생성 속도가 느려지기 시작했습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="fod9d"&gt;&lt;b&gt;불균일한 엔진 큐:&lt;/b&gt; 업스트림 워커 포드는 시드 개념을 복잡성과 응답 길이가 매우 다양한 프롬프트로 확장합니다. 표준 라운드 로빈 부하 분산 방식은 vLLM 엔진 큐의 상태를 파악할 수 없었기 때문에, 인접 노드에 여유 용량이 있는데도 이미 긴 추론 트레이스를 처리하느라 바쁜 서빙 포드에 계속해서 새로운 요청을 보내는 문제가 있었습니다.&lt;/li&gt;&lt;li data-block-key="92qf5"&gt;&lt;b&gt;중복 프리픽스 계산:&lt;/b&gt; 생성 배치 내의 프롬프트는 지시 컨텍스트와 작업 사양의 약 70%~80%를 공유합니다. 라운드 로빈 라우팅은 동일한 요청 사항을 여러 서빙 인스턴스에 분산시켰고, 이로 인해 각 포드는 가속기 메모리의 웜 캐시를 재사용하는 대신 동일한 공유 프롬프트 프리픽스를 처음부터 다시 계산해야 했습니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="jsgi"&gt;불균형한 큐와 중복된 프리필 작업이 겹치면서, 생성 처리량이 단일 실행 내에서 최대 절반까지 변동되어 데이터 세트 생성이 지연되고 예정된 사전 학습 실행의 시작이 지연되었습니다. 연구원들이 커스텀 추론 스케줄러를 직접 빌드하고 관리하느라 모델 개발에 소홀해지는 일 없이 실시간 vLLM 큐 깊이와 프롬프트 캐시를 파악할 수 있는 라우팅 기능이 필요했습니다.&lt;/p&gt;&lt;h3 data-block-key="d09sl"&gt;&lt;b&gt;llm-d 기반의 GKE Inference Gateway를 활용한 빌드 사례&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7hm8n"&gt;이미 GKE에서 데이터 준비 및 MaxText 사전 학습 작업을 실행하고 있으므로 팀에서 동일한 Kubernetes 플랫폼에서 데이터 생성과 모델 학습을 관리할 수 있습니다. 기본적인 과학적 방법론이나 파이프라인 설계를 변경하지 않고도 라우팅 병목 현상을 해결할 수 있다는 Google Cloud의 권장사항에 따라, vLLM 가속기 풀 앞에 오픈소스&lt;a href="https://llm-d.ai/" target="_blank"&gt; llm-d&lt;/a&gt; 분산 추론 프레임워크를 기반으로 하는&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; GKE Inference Gateway&lt;/a&gt;를 배포했습니다.&lt;/p&gt;&lt;p data-block-key="6e1tg"&gt;파이프라인에서 작업자 포드는 Cloud Storage에서 과학 시드 문서와 도메인 분류를 가져와 여러 단계의 프롬프트 배치로 확장합니다. 이러한 배치는 모든 모델 제품군과 서빙 노드 전반의 트래픽을 관리하는 단일 GKE Inference Gateway 배포를 통해 처리됩니다.&lt;/p&gt;&lt;p data-block-key="b3amv"&gt;모델 등급별로 라우팅을 분리하여 관리하는 대신, 동일한 게이트웨이를 통해 각 모델 풀 전반의 생성 요청, 평가 쿼리, 가드레일 검사를 통합적으로 라우팅합니다. 후보 대답이 평가 및 가드레일 검사를 통과하면 작업자 포드가 확인된 데이터 세트를 중복 삭제하고 패키징하여 GKE의 다운스트림 MaxText 사전 학습 작업에서 직접 사용할 수 있도록 합니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_YjgtWZi.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="9v0bp"&gt;GKE Inference Gateway는 검증된 데이터 세트가 MaxText 사전 학습에 입력되기 전에 vLLM을 실행하는 멀티 노드 가속기 풀에서 배치 생성, 평가, 가드레일 요청을 라우팅합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="1vzmh"&gt;&lt;b&gt;라운드 로빈에서 부하 및 캐시 인식 라우팅으로 전환&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="moai"&gt;GKE Inference Gateway와 llm-d를 사용하면 정적 라운드 로빈 순환 대신 vLLM 인스턴스의 실시간 서빙 신호를 사용하여 라우팅 결정을 내립니다. GKE Inference Gateway는 vLLM 엔드포인트 전반에서 실시간 큐 깊이와 키-값(KV) 캐시 사용률을 지속적으로 모니터링합니다. 서빙 노드가 긴 수식 유도 과정을 디코딩하느라 바쁠 때 게이트웨이는 수신 요청을 여유 용량이 있는 노드로 라우팅하므로, 인접 노드가 유휴 상태인데도 바쁜 작업자 노드에 과중한 프롬프트가 더 이상 쌓이지 않습니다.&lt;/p&gt;&lt;p data-block-key="4tpff"&gt;동시에 게이트웨이는 일치하는 과학적 요청 사항이 포함된 요청을 해당 프리픽스의 KV 캐시가 이미 가속기 메모리에 준비되어 있는 서빙 노드로 라우팅합니다. 각 프롬프트의 70~80%는 공유된 지시 컨텍스트인 반면, 생성된 추론 경로는 요청마다 다르기 때문에 프리픽스 캐시 지역성과 실시간 큐 분산을 결합하면 포드가 단일 복제본에 과부하를 주지 않고 반복적인 프리필 작업을 건너뛸 수 있습니다.&lt;/p&gt;&lt;h3 data-block-key="c1oif"&gt;&lt;b&gt;처리량 향상 및 예측 가능한 학습 실행&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="4vjfl"&gt;llm-d 기반 GKE Inference Gateway를 도입하면서 데이터 생성 파이프라인의 속도와 예측 가능성이 혁신적으로 개선되었습니다. 프로덕션 클러스터 전반에서 지능형 라우팅을 통해 다음과 같은 성과를 거두었습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="8g6g3"&gt;&lt;b&gt;Fleet 처리량 4배 향상:&lt;/b&gt; 가속기 1,000개당 합산 처리량이 초당 16,964개에서 69,114개 토큰으로 급증하여 일일 토큰 생성량이 &lt;b&gt;14억 7천만 개에서 약 60억 개&lt;/b&gt;로 늘어났습니다.&lt;/li&gt;&lt;li data-block-key="7cs6g"&gt;&lt;b&gt;개별 모델 풀에서 3.5~5.5배의 성능 향상:&lt;/b&gt; 실시간 큐 분산으로 각 실행 전반에서 서빙 노드의 부하를 균등하게 유지하여 긴 추론 유도로 인한 실행 중 속도 저하를 방지했습니다.&lt;/li&gt;&lt;li data-block-key="2hnb6"&gt;&lt;b&gt;프리픽스 캐시 적중률 14% 포인트 향상&lt;/b&gt; 일치하는 과학적 요청 사항이 있는 프롬프트를 웜 캐시로 라우팅하여 각 요청이 개별 유도 과정으로 분기되기 전에 발생하는 중복 프리필 작업을 방지했습니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="bdhld"&gt;연구 및 인프라 팀에게 가장 중요한 성과는 일정의 예측 가능성을 확보한 것이었습니다. 일일 출력량이 4배로 늘어남에 따라 검증된 데이터 세트를 제때 준비할 수 있게 되었고, 그 결과 데이터 생성을 기다릴 필요 없이 멀티 호스트 사전 학습 실행을 예정된 일정대로 시작할 수 있었습니다.&lt;/p&gt;&lt;h3 data-block-key="6o33v"&gt;&lt;b&gt;ZenteiQ의 물리적 AI의 다음 단계&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7166u"&gt;과학용 파운데이션 모델을 90억 개에서 350억 개 이상의 파라미터로 확장함에 따라, 사후 학습 강화 학습(RL)과 자동화된 수치 솔버 평가 루프에 동일한 GKE Inference Gateway 및 llm-d 라우팅 설정을 사용할 계획입니다. 이러한 멀티턴 출시의 각 턴은 이전 턴의 컨텍스트를 기반으로 하므로 실시간 큐 분산과 웜 프리픽스 캐시에 더 많이 의존합니다.&lt;/p&gt;&lt;p data-block-key="alino"&gt;자체 워크로드에서 이러한 기능을 사용해 보려면&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; GKE Inference Gateway 문서&lt;/a&gt;를 살펴보고 오픈소스&lt;a href="https://llm-d.ai/" target="_blank"&gt; llm-d 프로젝트&lt;/a&gt;를 확인해 보세요. Gemini 플랫폼팀이&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/how-gke-inference-gateway-improved-latency-for-vertex-ai"&gt; GKE Inference Gateway를 통해 지연 시간을 35% 단축&lt;/a&gt;한 방법도 확인해 보세요.&lt;/p&gt;&lt;/div&gt;</description><pubDate>Wed, 28 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</guid><category>GKE</category><category>AI infrastructure</category><category>Customers</category><category>llm-d</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>ZenteiQ, llm-d 기반 GKE Inference Gateway로 배치 추론을 4배 확장</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Prof. Sashikumaar Ganesan</name><title>Founder, ZenteiQ</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Fisayo Feyisetan</name><title>Product Manager, Google Kubernetes Engine</title><department></department><company></company></author></item><item><title>llm-d 1.0 발표: Google Cloud TPU 및 GPU의 에이전트를 위한 개방형 분산 추론</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="oaxf6"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="3onmq"&gt;&lt;/p&gt;&lt;p data-block-key="bov5v"&gt;캐시 인식 라우팅, 멀티 테넌트 트래픽 제어, 계층형 KV 캐시, 고가용성을 갖추어 Google Cloud에서 프로덕션에 즉시 사용 가능한 개방형 Kubernetes 네이티브 서빙 스택&lt;/p&gt;&lt;p data-block-key="am9kk"&gt;오늘 PyTorch 컨퍼런스에서 Google은 분산형 LLM 추론을 위한 오픈소스 Kubernetes 네이티브 스택인 llm-d 1.0을 발표했습니다. Google이 Red Hat, IBM 등과 공동으로 설립한 Cloud Native Computing Foundation(CNCF) 샌드박스 프로젝트에는 25개 이상의 조직에서 500명이 넘는 인원이 참여했습니다. 이 프로젝트에서는 vLLM과 SGLang이 모델을 서빙하는 PyTorch와 분산 시스템이 프로덕션에서 실행되고 확장되는 Kubernetes라는 중요한 두 커뮤니티를 하나로 통합합니다.&lt;/p&gt;&lt;p data-block-key="cr86l"&gt;llm-d 1.0은 에이전트가 추론의 본질을 바꾸고 있는 시점에 출시되었습니다. 1년 전만 해도 대부분의 추론 트래픽은 프롬프트 하나를 입력하면 대답 하나를 출력하는 채팅이었습니다. 오늘날 워크로드는 여러 도구로 분산되고, 긴 프리픽스를 공유하며, 갑자기 급증하는 다단계 에이전트 및 강화 학습(RL) 롤아웃으로 전환되고 있습니다. 단일 머신에서 또는 일반적인 라운드 로빈 부하 분산기 뒤에서 이를 서빙하면 금방 서비스가 중단되고 맙니다. 복제본은 동일한 프롬프트를 다시 계산하고, 가속기 메모리는 중복 상태로 가득 차며, 갑자기 급증한 에이전트 루프 하나가 대화형 사용자의 서비스를 지연시킬 수 있습니다.&lt;/p&gt;&lt;p data-block-key="ffe6o"&gt;llm-d는 모델 서버 클러스터를 조정된 서빙 풀로 전환하여 자체 모델을 서빙하는 팀에서 이러한 문제를 해결하도록 도와줍니다. PyTorch Conference 기조연설에서 Google은&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/bringing-you-agent-sandbox-on-gke-and-agent-substrate"&gt; GKE의 Agent Substrate&lt;/a&gt;에서 1,000개의 샌드박스 처리된 에이전트가 vLLM, SGLang, Google Cloud TPU 및 GPU가 혼합된 Fleet 전반의 단일 llm-d 엔드포인트에 접속하는 과정을 시연했습니다. 아래 3단계에 걸쳐 트래픽이 확장됨에 따라 캐시 인식 라우팅과 계층형 KV 캐시를 통해 각 에이전트의 단계가 컨텍스트를 가진 복제본에서 계속 처리되도록 했고, 흐름 제어로 급증한 에이전트 루프를 큐에 추가하여 대화형 요청의 속도를 빠르게 유지했습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_-_Figure_1_-_llm-d_1.0_distributed_infer.max-1000x1000.png"
        
          alt="1 - Figure 1 - llm-d 1.0 distributed inference architecture"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="6ltv7"&gt;그림 1: 라운드 로빈 부하 분산에서 캐시 인식 라우팅, 계층형 KV 캐시, llm-d 1.0의 우선순위 흐름 제어로 진화한 분산 추론&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="bsbrq"&gt;&lt;b&gt;1.0에서 제공하는 기능&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="c1doi"&gt;llm-d는 이미 Google Cloud TPU 및 GPU 전반에 걸쳐 프리픽스 및 부하 인식 라우팅, KV 캐시 오프로드, 사전 입력/디코딩 분리, 광범위한 전문가 병렬 처리, 일괄 추론을 제공하고 있습니다. 이러한 기능으로 얻는 이점은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="d1bj3"&gt;&lt;b&gt;멀티 테넌트 서비스 품질.&lt;/b&gt; llm-d 흐름 제어를 통한 우선순위 및 공정성 인식 라우팅 덕분에 지연 시간에 민감한 요청과 급증한 에이전트 워크로드가 리소스 고갈 없이 Fleet을 공유하여 SLO를 충족할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="6tf8u"&gt;&lt;b&gt;안정적인 기반.&lt;/b&gt; 여러 클라우드 및 가속기 유형에서 검증된 v1 API와 강화된 요청 경로가 지원됩니다.&lt;/li&gt;&lt;li data-block-key="18n8i"&gt;&lt;b&gt;더욱 안전한 업그레이드.&lt;/b&gt; 라우터 고가용성 및 다운타임 없는 업데이트가 지원될 뿐만 아니라&lt;a href="https://llm-d.ai/docs/dev/architecture/model-server-orchestration/disaggregatedset" target="_blank"&gt; DisaggregatedSet&lt;/a&gt;를 통해 컨텍스트 손실이나 활성 세션 중단 없이 사전 입력/디코딩 인식 순차적 업데이트를 조정합니다.&lt;/li&gt;&lt;li data-block-key="59nch"&gt;&lt;b&gt;에이전트 인식 서빙.&lt;/b&gt; 세션 인식 라우팅, 턴 우선순위 스케줄링, 네이티브 Responses API 상태를 통해 에이전트가 턴 전반에서 컨텍스트를 재사용할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="4tb1p"&gt;&lt;b&gt;확장된 TPU 통합&lt;/b&gt;. TorchTPU 협력적 타임 슬라이싱을 이용한 네이티브 PyTorch 모델 서빙으로 Google Cloud TPU Fleet 전반의 처리량과 사용률을 높입니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="8rbs7"&gt;이 구성요소는 자체 맞춤 프로덕션 환경으로 구성할 수 있도록 설계되었습니다. 엔진, 모델, 클러스터를 유지한 채 필요한 서빙 구성요소와 구성만 적용하면 됩니다.&lt;/p&gt;&lt;h3 data-block-key="95u7l"&gt;&lt;b&gt;llm-d 내부 작동 방식&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="50s6p"&gt;Google 엔지니어들은 아래 영역 전반에서 llm-d 커뮤니티와 협력하여 업스트림 Kubernetes 기본 요소, PyTorch 서빙 엔진, 가속기 인식 스케줄링을 구성 가능한 스택으로 통합했습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_-_Figure_2_-_llm-d_1.0_and_TorchTPU_stac.max-1000x1000.png"
        
          alt="2 - Figure 2 - llm-d 1.0 and TorchTPU stack on GKE"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="qe4xp"&gt;그림 2: Google Kubernetes Engine 및 Google TPU의 멀티 노드 llm-d 조정 및 단일 노드 TorchTPU 모델 엔진&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="cdibk"&gt;&lt;b&gt;하나의 엔드포인트에서 다양한 가속기 지원&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="3pdo"&gt;에이전트 Fleet은 하나의 워크로드로 정의할 수 없습니다. 대화형 턴에는 짧은 지연 시간이 필요하고, 백그라운드 루프와 강화 학습(RL) 롤아웃에는 높은 처리량이 요구되며, 수요는 분 단위로 변동합니다. llm-d는 전체 Fleet 전면에 하나의 라우터, 하나의 KV 캐시 색인, 하나의 흐름 제어 정책을 두고 가속기 풀을 단일 엔드포인트 뒤에 배치합니다. 에이전트는 하나의 API를 호출하며, 라우터가 각 단계의 복제본을 선택하고 이미 컨텍스트를 보유한 복제본으로 세션 컨텍스트를 유지합니다. 에이전트를 재작성하지 않고 플랫폼을 변경하는 것만으로 용량을 추가하고, 여러 세대의 가속기를 혼용하고, 모델을 다른 풀로 이동할 수 있습니다.&lt;a href="https://developers.googleblog.com/torchtpu-running-pytorch-natively-on-tpus-at-google-scale/" target="_blank"&gt; TorchTPU&lt;/a&gt;는 이러한 Fleet에 Google Cloud TPU를 도입하여 모델 재작성 없이 업스트림 vLLM 및 SGLang 내에서 기본적으로 PyTorch 모델을 실행합니다. 자세한 내용은&lt;a href="https://llm-d.ai/docs/dev/infrastructure/providers/gke#tpu-configuration" target="_blank"&gt; Google Kubernetes Engine(GKE) TPU의 llm-d 가이드&lt;/a&gt;를 참고하세요.&lt;/p&gt;&lt;p data-block-key="du8ld"&gt;&lt;b&gt;컨텍스트를 기억하는 라우팅&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="9nerv"&gt;llm-d 라우터는 Google에서 추론 최적화 라우팅을 위해 출시한 Kubernetes 프로젝트인 Gateway API Inference를 기반으로 합니다. GKE에서&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway#llm-d-router"&gt; GKE Inference Gateway&lt;/a&gt;는 llm-d 라우터를 관리형 서비스로 실행하여 설치 및 관리를 간소화하고&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt; 리전 간 라우팅을 확장&lt;/a&gt;합니다. 이 라우터는 캐시된 각 프리픽스를 보유한 복제본을 추적하고, 복제본을 선택할 때 부하와 예상 지연 시간을 고려합니다. 가속기 메모리가 가득 차면 llm-d는 이를 삭제하는 대신 vLLM의 OffloadingConnector, Mooncake 또는 SGLang의 HiCache를 사용하여 KV 캐시를 호스트 메모리로 옮긴 후 SSD 또는 Google Cloud Managed Lustre로 이동시킵니다. 이 설정은 TPU와 GPU가 혼합된 Fleet에서 긴 컨텍스트의 멀티턴 대화 부하가 대규모로 발생할 때 프리픽스 제거 폭풍을 방지하는 데 도움이 됩니다.&lt;/p&gt;&lt;p data-block-key="cceeg"&gt;Ironwood TPU(TPU 7x)에서 에이전트형 코딩 워크로드를 실행할 때 프리픽스 인식 라우팅과 호스트 메모리 오프로드를 함께 사용하면 일반 Kubernetes 서비스에 비해 첫 번째 토큰까지의 시간(TTFT) 중앙값이 85% 넘게 단축되고 총 처리량이 2.4배 증가했습니다(&lt;a href="https://github.com/llm-d/llm-d/blob/main/guides/models/qwen3-coder-480b/README.md" target="_blank"&gt;출처&lt;/a&gt;, 2026년 10월 기준).&lt;/p&gt;&lt;p data-block-key="bo5d6"&gt;&lt;b&gt;안전한 업그레이드를 위한 분리&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="6j67l"&gt;사전 입력은 컴퓨팅 집약적이고 디코딩은 메모리 제한이 있기 때문에 동일한 복제본에서 두 작업을 모두 실행하면 서로 대기하는 상황이 발생합니다. llm-d는 사전 입력, 디코딩, 멀티모달 인코딩을 별도의 풀로 실행하며, 광범위한 전문가 병렬 처리를 통해 대규모 전문가 혼합 모델을 여러 노드에 분산합니다. 1.0에서는 Google이 최초로 개발한 멀티 호스트 추론용 Kubernetes API인 LeaderWorkerSet를 기반으로 빌드된&lt;a href="https://llm-d.ai/docs/dev/architecture/model-server-orchestration/disaggregatedset" target="_blank"&gt; DisaggregatedSet&lt;/a&gt;가 이러한 풀을 하나의 단위로 관리합니다. 순차적 업데이트에서 사전 입력과 디코딩이 일치 버전으로 함께 전환되며 각 단계는 독립적으로 확장됩니다. 자세한 내용은&lt;a href="https://llm-d.ai/docs/well-lit-paths/foundations/pd-disaggregation" target="_blank"&gt; 분리형 서빙 가이드&lt;/a&gt;를 참고하세요.&lt;/p&gt;&lt;p data-block-key="9b7a9"&gt;&lt;b&gt;실시간 추론과 함께 실행되는 비동기 추론&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="6k0g"&gt;지연 시간에 민감하지 않은 트래픽을 위해 llm-d 1.0에서는 Google Cloud Pub/Sub 또는 Redis와 같은 큐에서 요청을 가져와 실시간 트래픽과 함께 라우팅해주는&lt;a href="https://github.com/llm-d/llm-d-async" target="_blank"&gt; llm-d-async-processor&lt;/a&gt;를 도입합니다. 이 프로세서는 큐 및 풀-디스패치 게이트를 사용하여 가용 용량을 확인하고 엄격한 우선순위 레인과 할당량을 적용합니다. 덕분에 백그라운드 작업이 대화형 사용자의 리소스를 고갈시키지 않으면서 여유 용량 내에서 실행됩니다.&lt;/p&gt;&lt;p data-block-key="ce04s"&gt;&lt;b&gt;타임 슬라이싱을 통해 유휴 RL 용량 활용&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="308b"&gt;RL 학습 중에는 롤아웃 생성 또는 가중치 업데이트가 진행될 때 가속기가 전체 시간의 40%~60% 동안 유휴 상태로 있는 경우가 많습니다. llm-d는&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing" target="_blank"&gt; Google Cloud TPU 및 GPU 타임 슬라이싱&lt;/a&gt;을 지원하여 이러한 유휴 주기에 비동기 추론을 인터리브 처리하여 최대 40%(기준)인 총 가속기 가동 주기를 70% 이상으로 향상시킵니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/introducing-co-operative-time-slicing-for-rl-in-llm-d"&gt;출처&lt;/a&gt;).&lt;/p&gt;&lt;p data-block-key="f1vra"&gt;&lt;b&gt;신뢰할 수 있는 벤치마크&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="57mmd"&gt;라우터, KV 캐시 계층, 사전 입력/디코딩 풀 전반에서 분산 추론 스택을 조정하려면 현실적인 멀티턴 부하 환경에서 반복 가능한 측정이 필요합니다.&lt;a href="https://prism.llm-d.ai/" target="_blank"&gt; Prism&lt;/a&gt;은 llm-d에서 검증한 경로 전반의 공개 벤치마크를 탐색할 수 있는 llm-d의 오픈소스 분석 대시보드로, 표준화된&lt;a href="https://github.com/llm-d/llm-d-benchmark" target="_blank"&gt; llm-d-benchmark&lt;/a&gt; 레시피와&lt;a href="https://github.com/kubernetes-sigs/inference-perf" target="_blank"&gt; inference-perf&lt;/a&gt; 워크로드를 기반으로 작동합니다. 수치 뒤에 숨겨진 정확한 구성을 검사하거나 자체 클러스터의 실행 결과를 업로드하여 처리량, 지연 시간, 비용 곡선을 나란히 비교할 수 있습니다.&lt;/p&gt;&lt;h3 data-block-key="9md5k"&gt;&lt;b&gt;Google Cloud에서 llm-d 1.0 실행&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="dccg6"&gt;llm-d는 Gateway API, LeaderWorkerSet, 동적 리소스 할당, Prometheus, OpenTelemetry 등 이미 많이 실행되고 있는 Kubernetes 구성요소를 기반으로 빌드됩니다. Google Cloud에서 llm-d를 실행하면 다음과 같은 요소를 관리형 인프라와 함께 통합할 수 있습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="alf87"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway#llm-d-router"&gt;&lt;b&gt;GKE Inference Gateway&lt;/b&gt;&lt;/a&gt;는 게이트웨이 모드에서 작동하는 llm-d 라우터로, L7 프록시 및 부하 분산을 처리하고 요청마다 llm-d 엔드포인트 선택기를 호출하는 관리형 GKE 게이트웨이입니다. 설치 및 관리를 간소화하므로 프록시를 직접 실행할 필요가 없습니다. 무엇보다도 GKE Inference Gateway를 사용하면 전역 장애 조치와 Model Armor 안전 확인을 통해&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt; 클러스터와 리전 전반에서&lt;/a&gt; llm-d를 확장할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="dfhv"&gt;&lt;b&gt;추론 신호 기반 자동 확장&lt;/b&gt;. KEDA와 수평형 포드 자동 확장 처리(HPA)는 큐 깊이, 포화도, 예측 지연 시간을 기준으로 풀을 확장하고, Kueue는 공유 가속기에 모델별 할당량을 적용합니다.&lt;/li&gt;&lt;li data-block-key="3rc26"&gt;&lt;b&gt;혼합 가속기 노드 풀&lt;/b&gt;. Google Cloud TPU 및 GPU 풀은 동일한 llm-d 엔드포인트 뒤에서 실행되며 검증된 Helm 차트를 사용하여 배포됩니다.&lt;/li&gt;&lt;li data-block-key="dq27b"&gt;&lt;b&gt;레이어 전반의 KV 캐시 오프로드&lt;/b&gt;. Google Cloud Managed Lustre는 로컬 TPU 및 GPU HBM과 호스트 CPU RAM 아래에 공유 원격 계층을 제공하므로 긴 컨텍스트 워크로드가 가속기 메모리를 소진하지 않고 실행됩니다.&lt;/li&gt;&lt;/ul&gt;&lt;h3 data-block-key="agfai"&gt;&lt;b&gt;프로덕션 환경에서의 성과&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="8ocbb"&gt;이 GKE llm-d 스택은 프로덕션 트래픽을 전달하며 Fleet 규모의 테스트를 마쳤습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="21cmi"&gt;Gemini 플랫폼(이전 명칭: Vertex AI)은 GKE Inference Gateway를 통해 프로덕션 트래픽을 처리하여 프리픽스 캐시 적중률을 35%에서 70%로 두 배 향상시키고, 코딩 에이전트의 TTFT를 35% 넘게 단축하며, 급증하는 채팅 트래픽에서 P95 TTFT를 50% 이상 줄입니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/how-gke-inference-gateway-improved-latency-for-vertex-ai"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;li data-block-key="1gj7d"&gt;미국과 유럽에서 전문가 혼합 모델을 서빙하는 17,000개 노드 규모의 멀티 리전 GKE 배포를 대상으로 한 공개 벤치마크에서 멀티 클러스터 GKE Inference Gateway와 llm-d 라우터는 3개 클러스터에서 99.9%의 성공률과 1% 미만의 라우팅 오버헤드를 유지하며 처리량을 2.9배 확장시켰습니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;li data-block-key="26rs8"&gt;700억 개의 파라미터 모델을 서빙하는 A3 Mega 클러스터에서 진행된 공개 벤치마크에서, 호스트 CPU RAM 외에도 Google Cloud Managed Lustre에 대한 멀티 커넥터 KV 캐시 오프로드를 사용하는 llm-d는 CPU RAM 오프로드만 사용하는 경우에 비해 TTFT를 약 40% 개선하고 토큰 50,000개 규모의 프롬프트에 응답하는 엔드 투 엔드 지연 시간을 30% 단축하는 동시에 GPU-시간 요구사항을 거의 60%나 줄였습니다(&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/scaling-llm-inference-multi-node-kv-cache-offloading-with-gke-managed-lustre"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="9rl00"&gt;Google Cloud에서 llm-d를 실행하는 조직은 캐시 적중률을 높이기 위한 프리픽스 인식 라우팅, 기존 서비스 메시와 호환되는 개방형 인터페이스, 트래픽 급증 시 우선순위 등급의 지연 시간을 유지하기 위한 흐름 제어 등 다양한 방식으로 이러한 기능을 활용하고 있습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Snap은 대규모 고성능 추론을 촉진하기 위해 llm-d를 프로덕션 AI 인프라에 통합하고 있습니다. 프리픽스 캐시 인식 라우팅을 사용한 결과 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;최대 75~80%에 달하는 프리픽스 캐시 적중률을 얻었습니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. llm-d의 오픈소스 특성 덕분에 Envoy 기반 서비스 메시와 원활하게 통합할 수 있었습니다." &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;- &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Vinay Kola&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, Snap Inc. 소프트웨어 엔지니어링 부문 선임 관리자&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"ZenteiQ에서는 llm-d 기반의 GKE Inference Gateway를 사용하여 자체 주권 과학용 파운데이션 모델을 위한 합성 데이터 생성을 가속화하고 있습니다. 부하 인식 및 프리픽스 캐시 인식 라우팅을 활용하여 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;총 추론 처리량을 4배 이상&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 높였으며, 일일 생성 토큰 용량을 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;TPU v6e 가속기 1,000개당 14억 7천만 개에서 59억 7천만 개&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 늘렸습니다. GKE와 통합된 llm-d의 오픈소스 기반 덕분에 커스텀 추론 스케줄러를 개발하고 유지보수할 필요 없이 대규모의 여러 모델 제품군을 효율적으로 서빙할 수 있게 되었습니다.” - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Sashikumaar Ganesan 교수&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, Zenteiq.ai 설립자 &lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“대화형 애플리케이션과 대용량 API 전반에서 프런티어 모델을 서빙한다는 것은 갑자기 몰리는 워크로드로 인해 우선순위 고객의 지연 시간이 저하되지 않도록 하면서 급증하는 트래픽을 처리해야 한다는 것을 의미합니다. llm-d의 프리픽스 캐시 인식 라우팅, 흐름 제어, 분리형 서빙 지원을 사용하면 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;상용 등급 전반에 엄격한 우선순위 대역을 적용&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하고, 풀이 포화 상태가 되었을 때 우선순위가 낮은 요청을 자동으로 보류하거나 차단하여 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;유료 트래픽이 지연 시간 SLO를 충족&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하도록 할 수 있습니다. Mistral은 오픈소스 소프트웨어를 적극 지원하며, 앞으로도 llm-d 및 DisaggregatedSet 프로젝트에 계속 참여할 것입니다.” - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Mathis Felardos, Lucas Fernandes-Martins, Nikhil Thomas,&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Mistral, 추론 엔지니어 겸 llm-d 참여자&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="aqpai"&gt;자체 모델을 서빙하는 여러 팀에서 프로덕션에 필요한 캐시 인식 라우팅, 트래픽 제어, 업그레이드 제어 기능을 포함하고, 분해하여 자체 인프라에 맞게 조정할 수 있는 개방형 스택을 요청해 왔습니다. llm-d 1.0은 이러한 니즈를 충족함은 물론 공동 개발을 위한 커뮤니티도 제공합니다.&lt;/p&gt;&lt;h3 data-block-key="21p8r"&gt;&lt;b&gt;시작하기&lt;/b&gt;&lt;/h3&gt;&lt;ol&gt;&lt;li data-block-key="6adqh"&gt;PyTorch Conference가 진행되는 동안 Google Cloud 부스에서 TPU 기반의 llm-d에 대한 전체 데모를 확인하세요.&lt;/li&gt;&lt;li data-block-key="r19g"&gt;검증된 Helm 차트를 사용하여 GKE에 llm-d 1.0을 배포하세요. &lt;a href="https://llm-d.ai/docs/infrastructure/providers/gke" target="_blank"&gt;GKE의 llm-d 문서&lt;/a&gt;를 참고하세요.&lt;/li&gt;&lt;li data-block-key="10fst"&gt;먼저 기존 vLLM 배포 앞에 프리픽스 인식 라우팅을 적용한 다음 흐름 제어, KV 캐시&lt;a href="https://llm-d.ai/docs/well-lit-paths/foundations/tiered-prefix-cache" target="_blank"&gt; 오프로드&lt;/a&gt;(&lt;a href="https://github.com/llm-d/llm-d/tree/main/guides/tiered-prefix-cache/modelserver/gpu/sglang" target="_blank"&gt;SGlang&lt;/a&gt;, &lt;a href="https://github.com/llm-d/llm-d/tree/main/guides/tiered-prefix-cache/modelserver/gpu/vllm" target="_blank"&gt;vLLM&lt;/a&gt;), 분리를 추가하세요.&lt;/li&gt;&lt;li data-block-key="5s9dv"&gt;&lt;a href="https://prism.llm-d.ai/" target="_blank"&gt;Prism&lt;/a&gt;에서 결과를 비교하고&lt;a href="https://github.com/llm-d/llm-d" target="_blank"&gt; GitHub&lt;/a&gt;를 통해 개발에 참여하세요.&lt;/li&gt;&lt;/ol&gt;&lt;/div&gt;</description><pubDate>Wed, 28 Oct 2026 13:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</guid><category>Containers &amp; Kubernetes</category><category>GKE</category><category>Open Source</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>llm-d 1.0 발표: Google Cloud TPU 및 GPU의 에이전트를 위한 개방형 분산 추론</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sean Horgan</name><title>Product Manager</title><department></department><company></company></author></item><item><title>오픈소스로 제공되는 TorchTPU: TPU에서 네이티브 PyTorch 실행</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="3zjpw"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="91ter"&gt;&lt;/p&gt;&lt;p data-block-key="7csql"&gt;오늘 PyTorch Conference 2026에서는 PyTorch를 Google Cloud 또는 자체 인프라에서 효과적으로 실행할 수 있도록 설계된 여러 신제품과 통합 소식이 발표되었습니다. 특히 Google TPU용 네이티브 PyTorch 스택인 TorchTPU가 이제 GitHub에서 오픈소스로 제공됩니다. TorchTPU를 통해 TPU도 GPU 및 CPU처럼 PyTorch에서 네이티브 옵션으로 제공됩니다. 이제 vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, LiteRT와 같은 기존 도구를 사용하여 TPU에서 모델을 학습, 서빙, 배포할 수 있습니다. 궁극적으로 이를 통해 고객은 전체 포트폴리오에서 일관되고 개방적인 소프트웨어 및 운영 모델을 사용하며 TPU, GPU, CPU 등 다양한 워크로드 최적화 컴퓨팅 옵션을 선택할 수 있습니다.&lt;/p&gt;&lt;h3 data-block-key="9rdfn"&gt;&lt;b&gt;TPU에서 PyTorch 코드를 기본적으로 실행&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="ek78b"&gt;Meta의 PyTorch팀과 공동 개발한&lt;a href="https://github.com/google-pytorch/torch_tpu" target="_blank"&gt; TorchTPU&lt;/a&gt;에서는 익숙한 API를 사용하여 최소한의 코드 변경으로 TPU에서 기존 PyTorch 워크로드를 실행할 수 있습니다. TorchTPU를 사용하면 즉시 실행 모드로 모델을 디버그한 다음 torch.compile을 통해 프로덕션 수준의 성능으로 전환하여 TPU 사용률을 최적화하고 메모리 오버헤드를 줄일 수 있습니다. TorchTPU는 표준 PyTorch API, 고급 진단, 네이티브 분산 기본 요소를 즉시 지원하여 도입 첫날부터 높은 성능과 운영 효율성을 제공합니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;span style="vertical-align: baseline;"&gt;"&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;Meta에서 AI의 한계를 뛰어넘기 위해서는 엄청난 규모의 컴퓨팅과 깊이 있고 다양한 하드웨어가 필수적입니다&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;. 단일 하드웨어 아키텍처로 제한되어서는 안 됩니다. TorchTPU라는 획기적인 발전 덕분에 핵심 머신러닝 시스템팀과 함께 하드웨어를 유연하게 공동 개발하는 동시에 주요 프로덕션 사용 사례에서 주요 LLM, 광고, 추천 시스템 워크로드를 지원할 수 있게 되었습니다. PyTorch 워크로드를 Google TPU에 배포하고, 엔지니어링팀에 직접 피드백을 제공하며, 모두에게 필요한 유연한 생태계를 구축할 수 있게 된 것입니다."- Jana van Greunen, Meta PyTorch 엔지니어링 부문 이사&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="3zjpw"&gt;Hugging Face Hub의 인기 있는 개방형 가중치 모델이 TorchTPU에서 기본적으로 실행되도록 Hugging Face와도 협력했습니다. Transformers v5에서는 &lt;code&gt;device_map="tpu"&lt;/code&gt;만 전달하면 모델을 TPU에 배포할 수 있습니다. 여러 가속기에서 대규모 생성 모델을 확장할 수 있도록 Diffusers 라이브러리가 TPU에서 기본적으로 실행되며 즉시 실행 모드, torch.compile, 텐서 병렬 처리를 지원합니다. 일관된 안정성을 유지하기 위해 TPU 인프라에서 Hugging Face Transformers 제품군의 지속적인 야간 테스트를 수행하기 위한 전용 CI/CD 파이프라인도 구축했습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“Hugging Face는 AI 빌더가 자신에게 가장 적합한 모델, 프레임워크, 하드웨어를 선택할 수 있는 개방적이고 중립적인 플랫폼이 되고자 노력하고 있습니다. 누구나 오픈소스 AI를 이용할 수 있으려면 하드웨어 다양성이 필수적입니다. Hugging Face에서는 Google과의 협업을 통해 Transformer를 비롯한 핵심 라이브러리에 네이티브 TorchTPU 지원을 제공함으로써 이를 실현하고 있습니다. Google과 Hugging Face는 개발자 커뮤니티가 익숙한 PyTorch 워크플로를 사용해 Hub의 인기 모델을 Google Cloud TPU에서 효율적으로 실행할 수 있도록 협력하고 있습니다. 빌드 방법과 인프라에 대한 더 많은 선택권을 개발자에게 제공하면 전체 오픈소스 생태계가 성장하는 데 도움이 됩니다.” - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;Jeff Boudier, Hugging Face 제품 부문 부사장&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-video"&gt;



&lt;div class="article-module article-video "&gt;
  &lt;figure&gt;
    &lt;a class="h-c-video h-c-video--marquee"
      href="https://youtube.com/watch?v=u4n558Ul6w0"
      data-glue-modal-trigger="uni-modal-u4n558Ul6w0-"
      data-glue-modal-disabled-on-mobile="true"&gt;

      
        &lt;img src="//img.youtube.com/vi/u4n558Ul6w0/maxresdefault.jpg"
             alt="Watch Introducing TorchTPU: Native PyTorch on Google Cloud TPUs to learn more"/&gt;
      
      &lt;svg role="img" class="h-c-video__play h-c-icon h-c-icon--color-white"&gt;
        &lt;use xlink:href="#mi-youtube-icon"&gt;&lt;/use&gt;
      &lt;/svg&gt;
    &lt;/a&gt;

    
  &lt;/figure&gt;
&lt;/div&gt;

&lt;div class="h-c-modal--video"
     data-glue-modal="uni-modal-u4n558Ul6w0-"
     data-glue-modal-close-label="Close Dialog"&gt;
   &lt;a class="glue-yt-video"
      data-glue-yt-video-autoplay="true"
      data-glue-yt-video-height="99%"
      data-glue-yt-video-vid="u4n558Ul6w0"
      data-glue-yt-video-width="100%"
      href="https://youtube.com/watch?v=u4n558Ul6w0"
      ng-cloak&gt;
   &lt;/a&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="94fb3"&gt;&lt;b&gt;추론 최적화&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="cqg64"&gt;추론 및 에이전트형 모델의 규모가 커짐에 따라 추론 비용과 지연 시간이 프로덕션의 주요 병목 현상이 되고 있습니다. Google Cloud는 TorchTPU를 널리 사용되는 오픈소스 서빙 엔진에 통합하고 TPU 및 GPU 전반에서 Kubernetes 네이티브 Fleet 라우팅과 페어링하여 비용 대비 처리량을 최적화할 수 있도록 지원합니다.&lt;/p&gt;&lt;p data-block-key="7u331"&gt;이를 토대로 개발자는 번거로운 플랫폼별 조정을 최소화하면서 다양한 하드웨어에서 워크로드를 확장할 수 있습니다. 이러한 프레임워크 수준의 개선사항을 프로덕션에 적용하기 위해 Google은 주요 오픈소스 커뮤니티 및 업계 파트너와 협력해 왔습니다. 아래 섹션에서는 이러한 파트너십이 vLLM을 통한 높은 처리량의 서빙, SGLang을 통한 구조화된 에이전트형 실행, llm-d를 통한 대규모 분산 Fleet 조정 전반에서 어떻게 획기적인 효율성을 이끌어내고 있는지 살펴봅니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;div data-draftjs-conductor-fragment='{"blocks":[{"key":"37eh","text":"vLLM: High-throughput serving and memory efficiency","type":"unstyled","depth":0,"inlineStyleRanges":[],"entityRanges":[],"data":{}},{"key":"gq3","text":"Developed in partnership with Inferact, the native PyTorch vLLM backend on TorchTPU enables developers to deploy open-weight models directly on TPUs with optimized, production-ready serving features and custom Pallas kernels. This integration supports continuous batching, quantization, and multi-chip parallelism on TPU hardware, while preserving upstream worker models, schedulers, and API servers to improve cost-performance ratios, without requiring changes to existing inference stacks.","type":"unstyled","depth":0,"inlineStyleRanges":[],"entityRanges":[{"offset":59,"length":4,"key":0}],"data":{}}],"entityMap":{"0":{"type":"LINK","mutability":"MUTABLE","data":{"url":"https://github.com/vllm-project/vllm-torchtpu"}}}}'&gt;
&lt;div class="Draftail-block--unstyled" data-block="true" data-editor="7vaaq" data-offset-key="98pg6-0-0"&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;vLLM: 높은 처리량의 서빙 및 메모리 효율성&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Inferact와의 협업을 통해 개발된 TorchTPU의 네이티브 PyTorch&lt;/span&gt;&lt;a href="https://github.com/vllm-project/vllm-torchtpu" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;vLLM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 백엔드를 사용하면 개발자가 최적화된 프로덕션 레디 서빙 기능과 커스텀 Pallas 커널을 통해 TPU에 직접 개방형 가중치 모델을 배포할 수 있습니다. 이 통합은 TPU 하드웨어에서 연속 일괄 처리, 양자화, 멀티 칩 병렬 처리를 지원하는 한편, 업스트림 작업자 모델, 스케줄러, API 서버를 보존하여 기존 추론 스택을 변경할 필요 없이 가격 대비 성능을 개선합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Inferact는 항상 전체 AI 생태계에서 고성능 추론을 접근 가능하고 안정적이며 비용 효율적으로 만드는 것을 사명으로 삼아왔습니다. TorchTPU 출시를 위해 협력하고 TPU에 vLLM을 위한 최고 수준의 지원을 제공하게 되어 기쁩니다. PyTorch의 최적화된 TPU 기능을 vLLM에 직접 연결함으로써 개발자가 Inferact 스택에 기대하는 높은 처리량, 짧은 지연 시간, 메모리 효율성을 갖춘 TPU에서 프로덕션 워크로드를 즉시 실행할 수 있습니다." - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;Simon Mo, Inferact CEO 겸 공동 설립자&lt;/span&gt;&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SGLang: 구조화된 에이전트형 워크로드 가속화&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;RadixArk와의 협업을 통해 개발된&lt;/span&gt;&lt;a href="https://github.com/sgl-project/sglang-torchtpu/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SGLang&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;용 네이티브 PyTorch 백엔드는 TPU에서 고도로 구조화된 에이전트형 워크로드를 가속화합니다. SGLang은 RadixAttention을 사용하여 요청 간에 KV 캐시를 재사용하므로 반복되는 프롬프트 프리픽스의 재계산을 완전히 건너뛸 수 있습니다. SGLang-TorchTPU는 업스트림 작업자 모델, 스케줄러, API 서버를 보존하며, HiCache의 I/O 백엔드 역할도 하는 분리형 전송 백엔드를 사용하여 복잡한 다단계 생성의 지연 시간과 처리량을 최적화합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"RadixArk는 다양한 실리콘 칩에 SGLang 지원을 출시하는 과정에서 TorchTPU를 통해 개발 속도를 크게 높였습니다. 덕분에 네이티브 TPU 가속화로 원활하게 전환하여 대폭 향상된 효율성과 유연한 컴퓨팅 옵션을 고객에게 직접 제공할 수 있게 되었습니다." - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;Banghua Zhu, RadixArk CTO 겸 공동 설립자&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;분산 LLM 추론을 위한 llm-d&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 Fleet에서 추론 엔진을 실행할 수 있도록 Red Hat, IBM과 500명이 넘는 참여자 및 25개 조직으로 이루어진 커뮤니티와 함께 llm-d 1.0을 출시합니다. Cloud Native Computing Foundation(CNCF) 샌드박스 프로젝트인 llm-d는 두 오픈소스 커뮤니티, 즉 vLLM과 SGLang이 모델을 서빙하는 PyTorch와 분산 시스템이 프로덕션에서 실행되고 확장되는 Kubernetes를 연결합니다. llm-d 라우터는 프리픽스 캐시 인식 라우팅을 사용하여 각 요청을 이미 컨텍스트를 가진 복제본으로 전송합니다. 또한 컴퓨팅 집약적인 사전 입력을 메모리 집약적인 디코딩에서 분리합니다. llm-d 1.0은 멀티 테넌트 흐름 제어, 라우터 고가용성, 안정적인 v1 API, 에이전트를 위한 세션 인식 라우팅을 지원하여 이러한 기술을 프로덕션에서 바로 사용할 수 있습니다. Google Kubernetes Engine(GKE)에서 공통 llm-d 엔드포인트를 사용하여 GPU 또는 Google TPU에서 실행할 수 있으며 각 워크로드에 적합한 하드웨어를 선택할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Zenteiq에서는 llm-d 기반의 GKE Inference Gateway를 사용하여 자체 주권 과학용 파운데이션 모델을 위한 합성 데이터 생성을 가속화하고 있습니다. 부하 인식 및 프리픽스 캐시 인식 라우팅을 활용하여 총 추론 처리량을 4배 이상 높였으며, 일일 생성 토큰 용량을 TPU v6e 가속기 1,000개당 14억 7천만 개에서 59억 7천만 개로 늘렸습니다. GKE와 통합된 llm-d의 오픈소스 기반 덕분에 커스텀 추론 스케줄러를 개발하고 유지보수할 필요 없이 대규모의 여러 모델 제품군을 효율적으로 서빙할 수 있게 되었습니다." - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;Sashikumaar Ganesan 교수, Zenteiq.ai 설립자&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 학습&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;수천 개의 가속기에서 PyTorch 학습을 확장하려면 내결함성이 있고 컴파일을 인식하는 분산 프레임워크가 필요합니다. Google은 TorchTPU를 PyTorch 커뮤니티의 핵심 학습, 강화 학습(RL), 조정 프레임워크에 통합했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TorchTitan: 대규모 분산 고성능 학습&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;a href="https://github.com/google-pytorch/torchtitan" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TorchTitan&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 확장 가능한 분산 학습을 위한 PyTorch 네이티브 참조 구현으로, TorchTPU와의 프로덕션급 통합을 제공합니다. 개발자는 PyTorch의 torch.compile과 TorchTitan의 컴파일 친화적인 SimpleFSDP, 특화된 Pallas 커널, 그래프 수준 최적화를 연결하여 TPU에서 대규모 모델을 효율적으로 빌드하고 학습시킬 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TorchTitan은 대규모 밀집형 모델(예: Llama 3 70B/405B, Qwen 3 8B/32B, MuseGlimmer 30B), 전문가 혼합(MoE)(예: Qwen 3 235B), DiT(Diffusion Transformer)(예: FLUX.1 12B)의 사전 학습을 위한 레시피를 제공하며, 최대 8,000개의 Ironwood TPU(TPU v7x)에서 실행되는 것으로 검증되었습니다. 초기 사전 학습 외에도 TorchTitan은 GRPO(Group Relative Policy Optimization) 및 RL 정렬을 지원하는 VeRL과 같은 사후 학습 파이프라인 내에서 확장 가능한 트레이너 역할을 합니다. 까다로운 개방형 아키텍처에서 대규모 효율성을 테스트하는 과정에서 TorchTitan을 통한 TorchTPU의 학습 경로는 Qwen 3 8B에서 최대 52%의 모델 FLOPS 사용률(MFU)을 달성했으며, 최대 8,192개의 Ironwood TPU에서 선형에 가까운 확장성과 안정성을 입증했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;VeRL: 확장 가능한 사후 학습 및 강화 학습(프리뷰)&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;RL은 모델 기능을 강화하는 최첨단 연구소와 분야별 작업에 맞게 모델을 맞춤설정하는 기업에게 중요한 기반 기술입니다. 그러나 분산된 RL 워크로드를 조정하는 것은 여전히 현대 AI 인프라에서 가장 복잡한 과제 중 하나입니다. 이러한 공백을 메우는&lt;/span&gt;&lt;a href="https://github.com/verl-project/verl/tree/main/examples/tpu/grpo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;VeRL&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 검증 가능한 수학 및 코딩 보상부터 대규모 멀티턴 에이전트형 도구 사용에 이르기까지 모든 것을 지원하며 가장 인기 있는 RL 프레임워크 중 하나로 빠르게 자리 잡았습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 활발한 커뮤니티의 하드웨어 선택 폭을 넓히기 위해 Google에서는 TPU 백엔드 및 엔드 투 엔드 참조 레시피를 VeRL에 업스트림했습니다. 학습 효율성을 극대화하도록 설계된 분리형 트레이너-샘플러 아키텍처를 기반으로 구축된 수학적 추론 데이터 세트에 대한 GRPO 참조 레시피는 하드웨어 제약이 없는 기존 모델 및 알고리즘 코드를 보존하면서 TPU에 VeRL 워크로드를 배포하는 방법을 보여줍니다. &lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ray: 이기종 컴퓨팅 조정&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한&lt;/span&gt;&lt;a href="https://github.com/ray-project/ray" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ray&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 네이티브 TorchTPU 지원을 추가하여 단일 워크플로 내에서 CPU, GPU, TPU 전반의 PyTorch 데이터 처리, 학습, RL, 서빙을 조정할 수 있게 되었습니다. 이제 몇 줄의 리소스 구성만으로 이기종 AI 파이프라인의 각 단계를 작업에 가장 적합한 가속기에 스케줄링할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“Ray Summit에서 PARK 스택, PyTorch, AI 모델, Ray, Kubernetes에 대해 다룬 이유는 오늘날 프로덕션 AI를 빌드하는 데 사용되는 기술이기 때문입니다. TorchTPU는 Google TPU를 업계 표준 스택에 직접 임베딩합니다. 또한 Google팀과 긴밀히 협력하여 Ray에서 TPU를 최고 수준의 가속기로 지원했습니다. 네이티브 PyTorch 지원까지 더해져 이제 TPU에서 워크로드를 원활하게 개발, 확장, 모니터링할 수 있습니다." - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;Edward Oakes, Anyscale 수석 설계자&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;배포 유연성 및 운영 효율성&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;진정한 이동성을 위해서는 에지 기기와 클라우드 가속기를 비롯한 다양한 하드웨어 프로필에서 배포 도구를 표준화해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;PyTorch 생태계에 합류한 LiteRT&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대부분의 PyTorch 모델은 휴대전화, 노트북, 브라우저, 임베디드 기기에서 실행되어야 합니다. 오늘, Google의 고성능 온디바이스 AI 추론인&lt;/span&gt;&lt;a href="https://github.com/google-ai-edge/litert" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;LiteRT&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(이전 명칭: TensorFlow Lite)가 PyTorch 생태계에 합류합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://github.com/google-ai-edge/litert-torch" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;LiteRT-Torch&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하면 단일 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;litert-torch.convert()&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 호출로 PyTorch 모델을 변환할 수 있습니다. &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;torch.export()&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 및 Core ATen 연산자를 기반으로 빌드되어 모델 코드가 PyTorch에 유지됩니다. LLM의 경우 LiteRT Torch는 Hugging Face Transformer 모델을 내보내&lt;/span&gt;&lt;a href="https://github.com/google-ai-edge/LiteRT-LM" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;LiteRT-LM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;으로 실행합니다. 변환된 모델은 Android, iOS, macOS, Windows, Linux, 웹, IoT 기기에서 실행되며, 단일 API를 통해 제공되는 주요 칩셋의 CPU(XNNPack 이용), GPU(오픈소스&lt;/span&gt;&lt;a href="https://developers.googleblog.com/ml-drift-next-gen-gpu-aiml-inference-at-the-edge/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ML Drift&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 이용), NPU 전반에서 하드웨어 가속을 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;초기 프리뷰 버전의 TPU Agent Suite 출시&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU에의 PyTorch 도입을 확대하기 위해&lt;/span&gt;&lt;a href="https://github.com/google-pytorch/tpu-agent-suite" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU Agent Suite&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 GitHub에서 프리뷰 버전으로 제공된다는 소식을 알려드립니다. 여러 코딩 하네스 모델 조합과 플러그인을 통해 통합되는 TPU Agent Suite는 많은 PyTorch 모델의 온보딩, 진단, 사용자 질문, 추론 성능 조정을 자동화하는 데 도움이 됩니다. &lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-video"&gt;



&lt;div class="article-module article-video "&gt;
  &lt;figure&gt;
    &lt;a class="h-c-video h-c-video--marquee"
      href="https://youtube.com/watch?v=hK3xqW_HrP0"
      data-glue-modal-trigger="uni-modal-hK3xqW_HrP0-"
      data-glue-modal-disabled-on-mobile="true"&gt;

      
        &lt;img src="//img.youtube.com/vi/hK3xqW_HrP0/maxresdefault.jpg"
             alt="Watch Introducing the TPU agent suite (preview): Open-source agents for PyTorch on Cloud TPU to learn more"/&gt;
      
      &lt;svg role="img" class="h-c-video__play h-c-icon h-c-icon--color-white"&gt;
        &lt;use xlink:href="#mi-youtube-icon"&gt;&lt;/use&gt;
      &lt;/svg&gt;
    &lt;/a&gt;

    
  &lt;/figure&gt;
&lt;/div&gt;

&lt;div class="h-c-modal--video"
     data-glue-modal="uni-modal-hK3xqW_HrP0-"
     data-glue-modal-close-label="Close Dialog"&gt;
   &lt;a class="glue-yt-video"
      data-glue-yt-video-autoplay="true"
      data-glue-yt-video-height="99%"
      data-glue-yt-video-vid="hK3xqW_HrP0"
      data-glue-yt-video-width="100%"
      href="https://youtube.com/watch?v=hK3xqW_HrP0"
      ng-cloak&gt;
   &lt;/a&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="j085k"&gt;&lt;b&gt;Google Cloud에서 PyTorch 시작하기&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="79abi"&gt;이러한 출시는 Google TPU 소프트웨어 생태계를 PyTorch 커뮤니티를 위한 개방적이고 개발자 친화적인 환경으로 만들겠다는 Google의 약속이 실현된 결과물입니다. Google은 TorchTPU, Hugging Face, vLLM, SGLang, llm-d, TorchTitan, VeRL, Ray 전반의 PyTorch 스택 업스트림으로 네이티브 TPU 지원을 통합하고 PyTorch 생태계에 LiteRT를 포함시킴으로써 사용자가 원하는 방식으로 AI를 빌드, 조정, 확장할 수 있는 유연성을 제공하고 있습니다.&lt;/p&gt;&lt;p data-block-key="1sgmf"&gt;&lt;a href="https://cloud.google.com/tpu/docs/pytorch-on-tpu"&gt;Google Cloud 문서&lt;/a&gt;를 방문하여 지금 바로 TPU에서 PyTorch를 실행해 보세요.&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 27 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus/</guid><category>TPUs</category><category>Application Development</category><category>Open Source</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>오픈소스로 제공되는 TorchTPU: TPU에서 네이티브 PyTorch 실행</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Bill Jia</name><title>Vice President, Engineering</title><department></department><company></company></author></item><item><title>글로벌 규모의 하드웨어 기반 보안: NVIDIA Blackwell을 탑재한 컨피덴셜 G4 정식 버전 출시</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/confidential-g4-gpus-are-ga/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="4vopj"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/confidential-g4-gpus-are-ga?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="ahfak"&gt;&lt;/p&gt;&lt;p data-block-key="54pu0"&gt;자율 에이전트를 프로덕션에 도입하려면 민감한 데이터와 가치 있는 지식 재산을 실시간으로 처리해야 합니다. 독점 모델 가중치, 사용자 프롬프트, 생성된 출력을 보호하기 위해서는 데이터가 실제로 처리되는 동안 데이터를 안전하게 보호하는 보안 기능이 필요합니다.&lt;/p&gt;&lt;p data-block-key="8btn6"&gt;기업의 보안 강화를 지원하기 위해 오늘 Google은 NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU로 구동되는 Google Cloud G4 인스턴스의 컨피덴셜 컴퓨팅을 정식 버전으로 출시한다고 발표했습니다. 이번 출시를 통해 NVIDIA 컨피덴셜 컴퓨팅을&lt;a href="https://cloud.google.com/ai-infrastructure"&gt; Google Cloud의 AI 하이퍼컴퓨터&lt;/a&gt;에 직접 통합하여 개인 정보 보호를 저해하지 않으면서 확장하는 데 필요한 동적 성능을 제공합니다.&lt;/p&gt;&lt;p data-block-key="b0ld2"&gt;올해 초&lt;a href="https://cloud.google.com/blog/ko/products/identity-security/verifiable-trust-in-the-ai-era-whats-new-in-confidential-computing?e=48754805&amp;amp;hl=ko"&gt; 컨피덴셜 G4 프리뷰 버전&lt;/a&gt;을 발표하면서 전 세계적인 입지와 규모에 대해 말씀드렸습니다. 이제 이러한 인스턴스는&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-vm/docs/supported-configurations#g4-machine-type"&gt; 36개 영역&lt;/a&gt;에서&lt;a href="https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines#consumption_option_availability_by_machine_type"&gt; 여러 가격 모델&lt;/a&gt;을 통해&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-vm/docs/create-a-confidential-vm-instance-with-gpu"&gt; Compute Engine VM&lt;/a&gt; 및&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/gpus-confidential-nodes"&gt; GKE 노드&lt;/a&gt;에 정식 버전으로 제공됩니다.&lt;/p&gt;&lt;p data-block-key="9bs9v"&gt;또한 안전한 다자간 데이터 공유를 지원하는&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-space/docs/confidential-space-overview"&gt; Confidential Space&lt;/a&gt;도 앞으로 몇 주 내에 정식 버전으로 출시될 예정입니다.&lt;/p&gt;&lt;h3 data-block-key="c0fcb"&gt;&lt;b&gt;짧은 지연 시간으로 민감한 데이터와 모델 보호&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="3bic4"&gt;사용 중인 데이터를 보호하기 위해 GPU 처리량이나 운영 민첩성을 희생할 필요는 없습니다. 컨피덴셜 G4는 내보낼 수 없는 하드웨어 키, 검증 가능한 원격 증명, 투명한 메모리 암호화를 결합하여 조직이 에이전트 워크로드와 추론 워크로드에 대한 투자를 극대화할 수 있도록 지원합니다. 기업은 엄격한 규제 및 규정 준수 요구사항을 충족하면서도 비용을 낮게 유지할 수 있습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"조직이 점점 더 복잡해지는 클라우드, 온프레미스, 에이전트 환경 전반에 AI를 배포함에 따라 민감한 데이터를 보호하는 것이 중요해졌습니다. 또한 기업은 AI 시스템이 안전하고 일관되게 정책에 따라 작동하도록 보장해야 합니다. NVIDIA RTX PRO 6000 Blackwell GPU로 구동되는 Google Cloud의 컨피덴셜 G4 VM은 개인 정보를 보호하는 AI와 AI 운영을 위한 강력한 기반을 제공합니다. Confidential Core AI는 Google Cloud를 기반으로 엔터프라이즈 원칙, 정책, 운영 요구사항을 AI 에이전트, 모델, 데이터, 도구를 모니터링하고 제어하는 실시간 보호 장치로 전환합니다. 이러한 기능이 결합되어 조직은 제어, 기밀성, 책임성을 유지하면서 Google Cloud에서 신뢰할 수 있는 AI를 확장할 수 있습니다." &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Taher Behbehani, Confidential Core AI 설립자 겸 CEO&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 AI 워크로드를 위한 추가적인 이점은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;엔드 투 엔드 기밀성 및 격리: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하드웨어 적용 실행 환경에서 데이터와 모델 파라미터를 암호화하여 호스트 시스템 관리자, 하이퍼바이저, 클라우드 제공업체의 액세스로부터 지식 재산과 고객 입력 데이터를 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;검증 가능한 암호화 신뢰: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하드웨어 기반 원격 증명을 사용하여 민감한 데이터 세트를 공개하고 워크로드를 실행하기 전에 코드, 플랫폼 구성, 환경 무결성을 검증합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;코드 리팩터링 불필요: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;애플리케이션 변경이나 커스텀 빌드 없이 표준 Ubuntu OS 이미지, NVIDIA 드라이버, NVIDIA CUDA-X 라이브러리를 사용하여 즉시 모델을 배포할 수 있습니다.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Polaris Cloud에는 이러한 간편한 배포 방식이 획기적인 변화를 가져왔습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“Polaris는 AI 에이전트를 위한 작업공간을 빌드하며, 고객은 에이전트의 작업이 실제로 어디에서 실행되었는지, 그리고 그 과정에서 암호화 방식으로 격리되었는지 확인할 수 있어야 합니다. Google Cloud의 컨피덴셜 G4는 이러한 상황을 완전히 바꿔 놓았습니다. 당사는 NVIDIA RTX PRO 6000 Blackwell GPU에서 하드웨어 기반의 출처를 확보하고 이를 고객이 결과와 함께 받는 영수증에 바인딩합니다. 그 외에는 사실상 아무것도 바뀌지 않았습니다. 동일한 G4 이미지, 동일한 NVIDIA 드라이버, 동일한 컨테이너 런타임을 사용하며 실행 시 플래그 하나만 추가하면 동일한 성능을 유지할 수 있습니다. 이를 통해 '고객의 에이전트를 실행해 드립니다'라는 고객과의 약속을 '고객이 당사와 함께 실행하는 모든 워크로드는 검증 가능합니다'로 하룻밤 사이에 업그레이드할 수 있었습니다.” &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Fred Esere, Polaris Cloud 설립자 겸 CEO&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;다자간 데이터 공동작업: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Confidential Space를 사용하여 공동 분석 및 공동 모델 학습을 안전하게 실행합니다. 여러 당사자가 서로에게 비공개 데이터를 공개하지 않고도 민감한 데이터 세트를 결합할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“기업은 가장 가치 있는 데이터를 AI에 활용하는 동시에 처리 과정에서 데이터를 보호해야 합니다. NVIDIA 컨피덴셜 컴퓨팅은 GPU 가속 워크로드에 하드웨어 기반 보호 기능을 제공하여 민감한 정보와 독점 모델이 사용되는 동안에도 안전하게 보호할 수 있도록 지원합니다. Google Cloud와 함께 NVIDIA Blackwell의 성능과 이러한 보안 기능을 컨피덴셜 G4 VM에 도입하여 조직이 높은 성능과 검증 가능한 보호 기능을 바탕으로 프로덕션 AI를 확장할 수 있도록 지원하고 있습니다.” &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;&lt;em&gt;- &lt;/em&gt;Dave Salvator, NVIDIA 가속 컴퓨팅 제품 부문 책임자&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="4vopj"&gt;&lt;b&gt;성능 테스트&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="8mj1e"&gt;메모리 암호화가 운영에 미치는 영향을 이해하기 위해 g4-standard-48 머신 유형에서 컨피덴셜 G4 인스턴스와 표준 비컨피덴셜 G4 인스턴스를 비교 분석했습니다. 이번 테스트는 널리 채택되어 여러 고객이 자체 추론 파이프라인을 위해 단일 GPU 인스턴스에 자주 사용하기도 하는 개방형 가중치 모델에 중점을 두었습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="gulel"&gt;Llama 3, Llama 3.3, Resnet-50, SDXL 등 널리 사용되는 모델에 대한 벤치마킹 결과, &lt;b&gt;컨피덴셜 G4는 AI 추론 워크로드에 대해 표준 G4 인스턴스와 동등한 수준의 성능을 제공하며, 처리량 저하는 3.5% 미만&lt;/b&gt;(초당 토큰 또는 이미지 수로 측정)인 것으로 나타났습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;참고:&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;성능 결과는 특정 테스트 조건 및 구성을 기반으로 합니다. 개별 워크로드 성능은 시스템 설정, 하드웨어 선택, 소프트웨어 환경에 따라 달라질 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이번 분석은 민감한 데이터를 보호하고 규정 준수 요구사항을 충족하면서도 신속하게 작업을 진행할 수 있음을 보여줍니다. 실제 배포 환경에서도 이러한 절충 방식이 검증되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Google Cloud의 컨피덴셜 G4와 당사 워크로드에서 동일한 소프트웨어를 실행하는 표준 G4의 성능을 벤치마킹해봤습니다&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;. 그 결과, 엔드 투 엔드 지연 시간이 5.2% 증가하는 정도의 작은 성능 저하만으로도 사용자의 증명된 환경 외부에 있는 권한 없는 사용자가 대화를 도청할 수 없도록 하는 하드웨어 수준의 보증을 확보할 수 있다는 사실을 발견했습니다. 우리는 언제나 이러한 선택을 할 것입니다. 사용자는 온프레미스의 개인 정보 보호 기능과 함께 클라우드의 편리함을 누릴 수 있기 때문입니다." &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;/em&gt;&lt;strong&gt;&lt;span style="vertical-align: baseline;"&gt;Andy Qin,&lt;/span&gt;&lt;a href="https://vertebrae.ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Vertebrae&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; CEO&lt;/span&gt;&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;컨피덴셜 G4 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨피덴셜 G4를 사용하면 모델 실행 및 에이전트형 워크로드 처리 과정에서 성능, 유연성 또는 운영 단순성을 희생하지 않고도 엔터프라이즈 보안을 강화할 수 있습니다. 처리량 저하가 거의 없으면서도 검증 가능한 신뢰와 강력한 하드웨어 격리를 제공하므로 조직은 클라우드 규모에서 가치가 높은 모델을 안전하게 배포하고 중요한 데이터 자산을 보호할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-vm/docs/create-a-confidential-vm-instance-with-gpu"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GPU를 사용하는 컨피덴셜 VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 문서를 참고하여 지금 바로 시작해 보세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 27 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/confidential-g4-gpus-are-ga/</guid><category>AI Hypercomputer</category><category>Compute</category><category>Security &amp; Identity</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>글로벌 규모의 하드웨어 기반 보안: NVIDIA Blackwell을 탑재한 컨피덴셜 G4 정식 버전 출시</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/confidential-g4-gpus-are-ga/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Meghna Sreenivasan</name><title>Product Manager, Confidential Computing</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sam Lugani</name><title>Product Lead, Confidential Computing</title><department></department><company></company></author></item><item><title>Google Cloud 피지컬 AI로 로봇 시뮬레이션부터 학습, 운영까지 구현하세요</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/scale-robotics-with-google-cloud-physical-ai-and-nvidia/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/scale-robotics-with-google-cloud-physical-ai-and-nvidia?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;로봇이 창고에서 안전하게 상자를 집어 올리거나 제조 현장에서 작업하려면 먼저 학습해야 합니다. 이를 위해 엔지니어링 팀은 방대한 양의 합성 데이터를 생성하고, 대규모 비전 및 이동 모델을 학습시키며, 로컬 하드웨어에서 매우 빠른 반응 속도로 해당 모델을 실행할 수 있어야 합니다. 물리적 머신에서 직접 테스트하는 방식은 하드웨어 파손, 막대한 비용을 초래하는 다운타임, 그리고 안전사고의 위험이 따릅니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Cloud 피지컬 AI&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;가 어떻게 시뮬레이션, 모델 학습, 실제 배포를 하나의 플랫폼으로 통합하여 로봇 개발자와 엔지니어링 팀을 지원하는지 소개합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;물리 시뮬레이션, 동영상 라벨링, GPU 학습, 에지 컴퓨팅을 위해 여러 도구를 번거롭게 병합할 필요 없이, 이제 Google Cloud에서 전체 로보틱스 파이프라인을 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table style="width: 100.032%;"&gt;&lt;colgroup&gt;&lt;col style="width: 15.9202%;"/&gt;&lt;col style="width: 23.2255%;"/&gt;&lt;col style="width: 60.8064%;"/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;단계&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;워크로드&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Google 제품&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;시뮬레이션 &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;NVIDIA Isaac Sim , Mujoco, &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;G4&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;학습&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동영상 시퀀스 자동 라벨링 및 VLA/WMA 학습 &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;NVIDIA로 가속화된 A3, A4, A5 머신(Cluster Director, GKE, Gemini 플랫폼의 클러스터 학습), Managed Lustre를 갖춘 AI 하이퍼컴퓨터 &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;운영&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;멀티 카메라 스트리밍, 센서 데이터, Google 모델 활용 &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GCS, Pub/Sub, BigQuery, Gemini Live, Gemma 4, GDM ER 2&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 단계는 다음 단계와 직접 연결되어, 가상 환경의 학습 데이터를 생산 로봇으로 전달하고 실제 세계의 센서 로그를 향후 학습 실행에 다시 반영합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;1. 시뮬레이션: 하드웨어를 건드리기 전에 가상 환경에서 로봇 테스트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개발자는 새로운 로봇 동작 테스트를 가속화하기 위해 &lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/data-center/rtx-pro-6000-blackwell-server-edition/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기반의 그래픽 최적화 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;G4 VM&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 Google Kubernetes Engine(GKE)에서 수천 개의 가상 환경을 병렬로 실행할 수 있습니다. 이 설정은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA Isaac Sim &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;개방형 시뮬레이션 프레임워크,&lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/ai/cosmos/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA Cosmos&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;오픈 월드 파운데이션 모델, Google DeepMind의 가속화된 물리 엔진인 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;MuJoCo Warp&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 포함한 물리 및 시뮬레이션 도구를 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 가상 환경에서 엔지니어링팀은 대규모 강화 학습 테스트를 실행하고, 멀티 카메라 뷰가 각도에 따라 일관되게 유지되는지 확인하고, 로봇이 보고 듣는 것을 움직이는 방식과 연결하는 비전 언어 행동(VLA) 모델을 벤치마킹할 수 있습니다. 다운타임, 하드웨어 비용, 물리적 시행착오로 인한 안전 위험 없이 사용 사례를 더 쉽게 시뮬레이션할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2. 학습: 동영상 데이터 자동 라벨 지정 및 대규모 로보틱스 모델 학습&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;로봇이 물리적 세계의 작동 원리를 학습하기 위해서는 일반적으로 라벨이 지정된 방대한 양의 동영상 데이터가 필요합니다. Google Cloud는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemini&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 모델 제품군과 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA Cosmos&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 결합하여 동영상을 자동으로 분석하고 라벨을 지정합니다. Gemini는 긴 녹화물에서 동영상, 오디오, 공간 컨텍스트를 처리하므로 도구 모음은 경계 상자를 자동으로 만들고, 장면의 객체에 라벨을 지정하고, VLA 학습 주석을 생성할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;데이터에 라벨이 지정되면 Google Cloud의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에서 분산 학습으로 바로 이동하여 대규모 VLA 및 세계 모델 아키텍처(WMA) 네트워크를 빌드하고 미세 조정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;빠른 데이터 스토리지: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;멀티 카메라 동영상 및 움직임 데이터 세트는 밀리초 미만의 지연 시간과 초당 테라바이트 속도를 제공하는 완전 관리형 병렬 파일 시스템인 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Cloud Managed Lustre&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 저장됩니다. 이를 통해 GPU에 데이터를 끊김 없이 공급하고, 빈번하게 발생하는 모델 체크포인트 생성 속도를 높일 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GPU 직접 제어: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;A3, A4, A5 VM에서 베어메탈급 GPU 성능을 구현하려는 팀은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Cluster Director&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;(GCE 또는 GKE 기반 관리형 Slurm용) 또는 GKE(기본 제공 기능 또는 Slinky Slurm Operator 부가기능 활용)를 사용할 수 있습니다. Google의 Jupiter 네트워크 패브릭 전반에서 작업을 예약하여 대규모 강화 학습 실행 중에도 높은 대역폭을 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;관리형 학습:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; DIY 클러스터 배관을 빌드하고 유지관리하는 것을 선호하지 않는 팀은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemini 플랫폼의 Vertex AI/학습 클러스터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용할 수 있습니다. 이 클러스터는 관리형 Slurm 조정, 자동화된 하드웨어 장애 복구, 즉시 사용 가능한 분산 SFT 및 RL용 레시피 또는 미세 조정을 위한 서버리스 커스텀 학습 작업을 제공합니다.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;3. 운영: 현장에서 모델을 실행하고 실제 데이터에서 학습&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;공장과 창고에서 로봇을 실행하려면 클라우드 규모의 계획과 빠른 로컬 실행이 모두 필요합니다. Google Cloud는 팀이 클라우드, 하이브리드, 오프라인 환경 전반에 세계 모델과 자체 커스텀 에이전트를 배포할 수 있도록 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;작업 계획 및 음성 상호작용: Gemini Robotics ER 2&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;(Embodied Reasoning, 현재 &lt;/span&gt;&lt;a href="https://cloud.google.com/model-garden"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Model Garden&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;및&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; Google AI Studio&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemini API&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;프리뷰&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 제공)는 공간 및 물리적 이해를 단계별 작업 계획과 하위 수준 로봇 제어를 위한 멀티 로봇 조정으로 전환합니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/model-garden"&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;이와 함께 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemini Live&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 70개 이상의 언어로 시각 지능과 지연 시간이 짧은 음성 대화를 지원하므로 로봇이 눈앞의 상황을 이해하는 동시에 음성 지시에 반응할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;온프레미스 및 오프라인 실행: Google Distributed Cloud(GDC)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 공장 및 창고 현장에서 직접 관리형 컴퓨팅과 컨테이너를 실행하여 저지연 카메라 처리와 Fleet 관리를 지원합니다. 네트워크 연결 없이 작동하는 로봇의 경우 경량형 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gemma 4&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 개방형 모델이 로컬 하드웨어에서 실행되어 10밀리초 이내에 비전, 오디오, 도구 호출을 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;지속적인 개선: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;페타바이트 규모의 차량 로그와 센서 스트림이 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Storage&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Pub/Sub&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 통해 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;BigQuery&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 유입됩니다. 팀은 이 데이터를 사용하여 장비 문제를 조기에 발견하고 실제 결과를 다음 모델 학습에 반영할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Cloud 피지컬 AI 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;첫 번째 물리 시뮬레이션을 실행하는 단계이든, 대규모 창고 로봇을 관리하는 단계이든, 지금 바로 Google Cloud에서 개발을 시작할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;시뮬레이션:&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/compute/docs/gpus"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 그래픽에 최적화된&lt;/span&gt;&lt;a href="https://cloud.google.com/kubernetes-engine?hl=en&amp;amp;utm_source=google&amp;amp;utm_medium=cpc&amp;amp;utm_campaign=Cloud-SS-DR-GCP-1713658-GCP-DR-NA-US-en-Google-BKWS-BRO-aiml&amp;amp;utm_content=c-Hybrid+%7C+BKWS+-+BRO+%7C+Txt-AIML-Generative+AI-Gemini+Enterprise-403222284696&amp;amp;utm_term=gcp%20automl&amp;amp;gclsrc=aw.ds&amp;amp;gad_source=1&amp;amp;gad_campaignid=23749696287&amp;amp;gclid=CjwKCAjwlY3WBhANEiwApsNrLWBtPfwkR50DXbJX3gUGO5ogRsjm49oe0V3B-ZoEgrRBA37TFJaVrhoCuAsQAvD_BwE#kubernetes-evolved-the-foundation-for-platform-builders"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;G4 VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 가동하여&lt;/span&gt;&lt;a href="https://docs.isaacsim.omniverse.nvidia.com/5.1.0/installation/install_advanced_cloud_setup_gcp.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA Isaac Sim&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 MuJoCo-Warp를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;학습:&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/ai-hypercomputer/docs/overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 하이퍼컴퓨터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 학습 레시피를&lt;/span&gt;&lt;a href="https://cloud.google.com/products/gemini-enterprise-agent-platform"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini 플랫폼&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 살펴보거나&lt;/span&gt;&lt;a href="https://cloud.google.com/products/cluster-director"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cluster Director&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를&lt;/span&gt;&lt;a href="https://cloud.google.com/products/managed-lustre"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Managed Lustre&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 함께 설정합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;운영: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;프리뷰 버전의&lt;/span&gt;&lt;a href="https://deepmind.google/models/gemini-robotics/embodied-reasoning/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini Robotics ER 2&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용해 보거나 Google Cloud팀에 문의하여 피지컬 AI 워크숍을 설정하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Mon, 26 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/scale-robotics-with-google-cloud-physical-ai-and-nvidia/</guid><category>Partners</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google Cloud 피지컬 AI로 로봇 시뮬레이션부터 학습, 운영까지 구현하세요</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/scale-robotics-with-google-cloud-physical-ai-and-nvidia/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Alan Christophe</name><title>Product Manager, Physical AI</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Robert Riemer</name><title>Customer Engineer, AI Infrastructure</title><department></department><company></company></author></item><item><title>Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Reflection은 개발자, 연구원, 기업이 첨단 소프트웨어 엔지니어링과 장기 에이전트 작업을 자유롭게 제어하고 맞춤설정할 수 있도록 설계된 최초의 개방형 가중치 모델인&lt;/span&gt;&lt;a href="https://huggingface.co/reflection" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Beam&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 출시했습니다. 출시 시점에 BF16, FP8, NVFP4 체크포인트를 사용할 수 있는 허용적인 Apache 2.0 라이선스에 따라 출시된 Beam은 유사한 오픈 모델보다&lt;/span&gt;&lt;a href="https://reflection.ai/blog/introducing-beam" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;3~4배 더 높은 추론&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 컴퓨팅 효율로 복잡한 추론 및 코딩 문제를 해결함으로써 5,000억 개의 파라미터 클래스에서 추론 효율성의 새로운 표준을 제시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 출시에 맞춰 Google Cloud는 Google Cloud AI 하이퍼컴퓨터 및 NVIDIA AI 인프라에서 Beam을 서빙할 수 있도록 당일부터 지원하고 즉시 실행 가능한 배포 레시피를 발표합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개발자가 프로덕션에서 Beam의 토큰 효율성을 최대한 활용할 수 있도록 Google은 Reflection과 협력하여 Google Cloud에서 &lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(vLLM 사용) 및 NVIDIA&lt;/span&gt;&lt;a href="https://github.com/ai-dynamo/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Dynamo&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(SGLang 사용)를 사용해 기본 서빙 스택의 성능을 최적화했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;"Google Cloud에 Beam 모델을 배포하여 최대 5배 더 높은 성능과 8배 더 짧은 지연 시간을 달성하여 에이전트형 워크로드의 서빙을 최적화했습니다."&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; - &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Joe Spisak, Reflection 제품 부문 부사장 겸 오픈소스 책임자&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud에서 출시와 동시에 지원을 시작함에 따라 개발자는 다음과 같은 이점을 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;모델 및 시스템 효율성 결합: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Beam의 3~4배 향상된 추론 컴퓨팅 효율과 시스템 수준 최적화를 결합하여 A4X Max 인스턴스(NVIDIA GB300 NVL72)에서는 최대 5배 더 높은 처리량과 8배 더 낮은 지연 시간*을, G4 VM(NVIDIA RTX PRO 6000)에서는 최대 2배 더 높은 처리량과 8배 더 낮은 지연 시간*을 달성합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고효율 멀티턴 서빙:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; KV 캐시 인식 라우팅, 프리필/디코딩 분리, 추측 디코딩, 호스트 DRAM 및 로컬 SSD로의 계층적 KV 캐시 오프로딩을 통해 긴 코딩 세션에서 중복되는 프롬프트 재계산을 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;턴키 최적화 배포:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; llm-d 및 NVIDIA Dynamo를 사용하는 에이전트 워크로드에 대해 Google Cloud가 권장하는 성능 최적화 레시피는&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI-Hypercomputer/gpu-recipes&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d/tree/main/guides" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini 플랫폼의 &lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Model Garden&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 클릭 몇 번으로 사용할 수 있습니다.&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*고객 벤치마킹 기준&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;추론을 확장하려면 시스템 수준의 최적화가 필요&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트 코딩 및 도구 사용을 위한 모델을 평가할 때 추론 효율성은 두 가지 고유한 계층에서 결정됩니다. 첫 번째는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;모델이 얼마나 효율적으로 추론하는지&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, 두 번째는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;서빙 시스템이 멀티턴 루프를 얼마나 효율적으로 실행하는지&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;모델 수준 효율성: Reflection의 Beam&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Reflection은 텍스트 네이티브 소프트웨어 엔지니어링과 다단계 도구 사용에 특화된 Beam을 설계했습니다. Beam은 총 약 5, 010억 개의 파라미터를 갖추고 있으며, 토큰당 약 230억 개의 파라미터를 활성화하고 약 100만 개의 토큰 컨텍스트 윈도우를 지원합니다. Beam은 Reflection의 Mirror CLI, Claude Code, Hermes, OpenCode 등 개발자가 이미 사용 중인 코딩 하네스에 직접 통합되어 GitHub 문제를 해결하고, CLI 및 DevOps 워크플로를 실행하고, 장기 작업을 완료할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Beam은 토큰당 230억 개의 파라미터만 활성화하고 다른 유사한 개방형 가중치 모델보다 &lt;/span&gt;&lt;a href="https://reflection.ai/blog/introducing-beam" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;3~4배 적은 추론 토큰&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 솔루션에 도달하므로 각 추론 단계에 필요한 추론 시간 컴퓨팅을 크게 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;시스템 수준 효율성: AI 하이퍼컴퓨터 최적화 서빙&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개발자가 에이전트를 프로덕션에 배포하면 서빙 레이어에서 또 다른 병목 현상이 나타날 수 있습니다. 에이전트형 코딩 루프에서는 단일 세션에서 모델이 수십 번 호출됩니다. 코딩 하네스는 매 턴마다 새로운 파일 읽기, 코드 차이, 컴파일러 로그, 도구 출력을 공유 대화 기록에 추가하며, 이 기록은 수만 또는 수십만 개의 토큰으로 빠르게 증가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모델 자체가 각 턴에서 3~4배 더 적은 추론 토큰을 생성하더라도 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;턴 전반에 걸쳐 누적된 컨텍스트 윈도우&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 인해 두 가지 주요 인프라 문제가 발생합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;첫째, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;프리필 컴퓨팅이 병목 현상을 일으킵니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 표준 Kubernetes 부하 분산기는 스테이트리스(Stateless) 라운드 로빈 라우팅을 사용하여 요청을 분산합니다. 코딩 하네스가 세션의 15번째 턴을 전송하면 14번째 턴과는 다른 복제본에 도달하는 경우가 많습니다. 이 복제본은 이전 프롬프트 전체를 처음부터 다시 계산해야 하므로 GPU 컴퓨팅이 낭비되고 긴 프리필 큐가 생성되어 다른 사용자까지 지연시킵니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;둘째, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;디코딩은 KV 캐시 용량으로 인해 병목 현상이 발생합니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 수십 개의 동시 에이전트 세션에 대해 긴 컨텍스트 KV 캐시를 유지하면 GPU 고대역폭 메모리(HBM)가 빠르게 가득 찹니다. HBM이 가득 차면 서빙 엔진은 오래된 KV 블록을 제거해야 합니다. 이러한 블록이 제거되는 즉시 캐시 적중률이 떨어지고 GPU 처리량이 정체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 규모에서 Beam의 모델 수준 효율성을 유지하려면 서빙 스택을 분산 시스템으로 최적화해야 합니다. 이러한 이유로 Google Cloud의 레시피는 Beam을&lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(vLLM 사용) 및&lt;/span&gt;&lt;a href="https://github.com/ai-dynamo/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA Dynamo&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(SGLang 사용)와 결합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터 추론 아키텍처 내부&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Beam의 BF16, FP8, NVFP4 체크포인트를 출시 첫날부터 최대 효율로 실행할 수 있도록 Google Cloud는 AI 하이퍼컴퓨터에 수직 통합 아키텍처를 설계했습니다. 이 아키텍처에서는 각 계층이 에이전트형 서빙 수명 주기의 특정 부분을 처리합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--medium
      
      
        h-c-grid__col
        
        h-c-grid__col--4 h-c-grid__col--offset-4
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_-_architecture.max-1000x1000.png"
        
          alt="1 - architecture"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;에이전트 트래픽 서빙을 위한 시스템 최적화 아키텍처&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;추론 포드를 스테이트리스(Stateless) 엔드포인트로 취급하는 대신 스택의 각 레이어는 멀티턴 에이전트 수명 주기를 중심으로 공동 설계됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프리픽스 및 부하 인식 라우팅(GKE + llm-d EPP/Dynamo 라우터):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업자 포드 전반에서 캐시된 프리픽스와 큐 깊이를 추적하여 코딩 하네스의 각 후속 턴을 웜 KV 프리픽스를 보유한 복제본으로 유도하는 동시에 턴 우선순위 흐름 제어를 통해 큐 포화를 방지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분산 컴퓨팅 및 추측 디코딩(A4X Max 및 G4 인스턴스)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 기본 Blackwell NVFP4, Beam의 230억 개 활성 전문가를 위한 전문가 병렬 처리(EP), 데이터 병렬 어텐션, DFlash2 추측 디코딩을 통해 vLLM 및 SGLang을 실행합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;프리필 및 디코딩 (P/D)풀&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 분리하면 대량의 프롬프트가 급증해도 활성 토큰 생성이 중단되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;계층형 KV 캐시(GPU 메모리 -&amp;gt; DRAM 및 로컬 SSD):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 활성 KV 블록은 고대역폭 GPU 메모리(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Tier 1&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;)에 유지되는 반면, 장기 세션 중에 제거된 웜 KV 블록은 vLLM의 OffloadingConnector 또는 SGLang의 HiCache를 통해 호스트 CPU DRAM 및 로컬 NVMe SSD(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Tier 2&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;)로 오버플로됩니다. 이를 통해 과거 컨텍스트를 처음부터 다시 계산하는 대신 밀리초 단위로 가져올 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;멀티턴 에이전트형 워크로드를 위한 시스템 최적화&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동시 실행 수준이 증가하는 상황에서&lt;/span&gt;&lt;a href="https://inferencex.semianalysis.com/agentx" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;AgentX 궤적 데이터 세트&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 멀티턴 코딩 및 도구 사용 워크로드를 서빙할 때, 서빙 스택의 각 레이어는 에이전트 워크로드의 멀티턴, 긴 컨텍스트 트래픽 패턴에 대한 성능 향상 및 지연 시간 개선에 기여합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;strong&gt;차트를 읽을 때 유의할 점이 있습니다. &lt;/strong&gt;두 구성은 서로 직접 비교할 수 없습니다. NVIDIA Dynamo는 NVIDIA GB300 NVL72 GPU 32개가 탑재된 A4X Max 인스턴스에서 실행되었고, llm-d는 NVIDIA RTX PRO 6000 GPU 8개가 탑재된 G4 VM에서 실행되었습니다. 각 차트는 동일한 하드웨어에서 기준 구성 대비 성능이 얼마나 향상되었는지 보여줍니다. 복제본이 많을수록 라우터가 적중할 수 있는 웜 KV 캐시가 많아지고 디코딩에서 프리필을 분할할 수 있는 공간이 늘어나므로 배포 규모가 커질수록 개선 효과가 커집니다. llm-d와 NVIDIA Dynamo는 모두 기본 인프라에 맞게 확장 및 축소됩니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_-_gb300_results.max-1000x1000.png"
        
          alt="2 - gb300 results"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;NVIDIA Dynamo 최적화 성능과 Reflection Beam의 기준 배포 비교&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/3_-_G4_results.max-1000x1000.png"
        
          alt="3 - G4 results"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;llm-d 최적화 성능과 Reflection Beam의 기준 배포 비교&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;두 플랫폼 모두에서 이러한 최적화를 계층화하면 파레토 프런티어가 개선되어 더 높은 출력 처리량과 더 빠른 사용자당 상호작용 속도를 동시에 달성할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기준 배포(스테이트리스(Stateless) 라운드 로빈 라우팅):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 접두사를 인식하지 않는 표준 Kubernetes 배포에서는 동일한 코딩 세션의 연속적인 턴이 서로 다른 복제본에 전달됩니다. 이로 인해 이전 컨텍스트에 대한 프리필 재계산이 지속적으로 이루어지고 동시 실행이 확장됨에 따라 처리량이 정체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KV 캐시 인식 및 흐름 제어 라우팅:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; NVIDIA Dynamo 또는 llm-d의 Sticky EPP에서 턴 우선순위 흐름 제어와 함께 프리픽스 인식 라우팅을 사용 설정하면 멀티턴 에이전트 궤적이 웜 KV 캐시를 보유한 복제본에 고정되어 최초 토큰 생성 시간(TTFT) 지연 시간이 즉시 단축되고 GPU 컴퓨팅이 확보되어 토큰 처리량이 크게 증가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 DRAM 및 로컬 SSD(LSSD) KV 오프로드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 제거된 KV 블록을 GPU 메모리에서 호스트 DRAM 및 로컬 NVMe SSD로 오프로드하면 수십 개의 긴 컨텍스트 코딩 세션이 기기 내 GPU 메모리 용량을 초과하더라도 캐시 스래싱을 방지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분할 서빙, 추측 디코딩, KV 풀 조정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 하이브리드 KV 캐시 메모리 할당을 조정하고, 추측 디코딩을 사용 설정하고, 프리필 및 디코딩 작업자를 분리하면 토큰 생성이 과도한 프롬프트 버스트로부터 격리되는 한편, 드래프트 모델이 출력 처리량을 크게 높여 에이전트당 토큰 상호작용 속도를 빠르게 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;PyTorchCon 및 GTC Berlin에 참석하여 시작해 보세요 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 블로그에서는 시스템 수준 최적화를 활용하여 에이전트 워크로드에 Reflection의 Beam 모델 제품군을 서빙할 때 성능을 확장하는 방법을 살펴봤습니다. 이 게시물에서 소개한 모든 Kubernetes 매니페스트, 라우터 구성, 벤치마킹 스크립트는 오픈소스이며 자체 GKE 클러스터에서 바로 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;최적화된 스택 배포&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: &lt;/span&gt;&lt;a href="https://github.com/ai-hypercomputer/gpu-recipes" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI-Hypercomputer/gpu-recipes 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes/tree/main/inference/a4xmax/disaggregated-serving/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;A4X Max&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes/tree/main/inference/g4/aggregated-serving/llm-d" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;G4&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 llm-d 및 NVIDIA Dynamo를 사용하여 Reflection의 Beam을 실행하는 출시 당일 지원 가이드와 Gemini 플랫폼의&lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Model Garden&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가중치 다운로드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;:&lt;/span&gt;&lt;a href="https://huggingface.co/reflection" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Reflection의 Hugging Face 페이지&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Apache 2.0 BF16, FP8, NVFP4 체크포인트를 다운로드하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;산호세에서 열리는 llm-d 및 PyTorch Conference 참석&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 올해 10월 산호세에서 열리는 PyTorch Conference North America에 참석하신다면 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;llm-d 커뮤니티 세션&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;과 Google Cloud 부스 #에 방문해 보세요. 에이전트 워크로드를 위한 KV 캐시 인식 라우팅, P/D 분리, KV 캐시 계층화에 대한 라이브 데모를 선보일 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA GTC Berlin 참석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;NVIDIA GTC Berlin에 참석하신다면 부스 3026 또는 행사장으로부터 도보로 5분 거리에 있는 w3.hub의 Google Cloud Hub에서 Google Cloud 팀을 만나보세요.&lt;/span&gt;&lt;a href="https://cloud.google.com/nvidia#join-us-at-gtc-berlin"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;세션에 대해 자세히 알아보세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Sun, 25 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</guid><category>Containers &amp; Kubernetes</category><category>AI Hypercomputer</category><category>Compute</category><category>llm-d</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Injae Kwak</name><title>AI Infrastructure Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Shivaji Dutta</name><title>AI Infra Solutions Architect</title><department></department><company></company></author></item><item><title>자율성 설계: 생명공학 분야의 고성능 컴퓨팅, 거버넌스형 에이전트를 위한 설계 패턴</title><link>https://cloud.google.com/blog/ko/topics/healthcare-life-sciences/architecting-scalable-agentic-biotech-workloads/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/healthcare-life-sciences/architecting-scalable-agentic-biotech-workloads?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘날 프로덕션 시스템에서 대부분의 AI 에이전트는 경량 디스패처로 작동합니다. AI 에이전트는 프롬프트를 파싱하여 API 호출을 수행하고, 레코드를 검색 후, 제어권을 다시 넘겨줍니다. 또한 실행 속도가 빠르고, 스테이트리스(Stateless)이며, 비용이 저렴합니다. 하지만 생명공학 분야에서는 이런 방식으로 작동하지 않습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;단백질 표적 접힘 구조를 예측하고, 50,000개의 화합물 리간드 라이브러리를 스크리닝하거나, 구조-활성 관계(SAR)를 평가하는 것은 빠른 API 조회로 해결할 수 있는 일이 아닙니다. 이러한 워크로드는 특화 실리콘 칩에서 몇 분 또는 몇 시간 동안 실행되는 지속적이고 스테이트풀(Stateful)한 GPU 집약적 시뮬레이션입니다. 범용 대규모 언어 모델(LLM) 엔드포인트에 복잡한 신약 개발 워크플로를 조정하도록 요청하면 표준 패러다임이 깨집니다. 타임아웃이 발생하고, 컨텍스트 윈도우가 원자 좌표로 넘쳐나며, 독점적인 화학 지식 재산(IP)이 외부 네트워크에 노출될 위험이 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈급 연구 개발(R&amp;amp;D) 에이전트를 빌드하려면 모놀리식 어시스턴트 모델을 넘어서야 합니다. 이 블로그 게시물에서는 인지 조정(두뇌)과 연산 실행(근육)을 분리하고, 두 가지를 모두 엔터프라이즈 거버넌스 플레인 내에 통합하여 생명공학 분야의 신약 개발 사용 사례에 활용할 수 있는 확장 가능한 에이전트를 빌드하는 3계층 아키텍처 활용법을 다룹니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-video"&gt;



&lt;div class="article-module article-video "&gt;
  &lt;figure&gt;
    &lt;a class="h-c-video h-c-video--marquee"
      href="https://youtube.com/watch?v=TZTDqtSpzv8"
      data-glue-modal-trigger="uni-modal-TZTDqtSpzv8-"
      data-glue-modal-disabled-on-mobile="true"&gt;

      
        &lt;img src="//img.youtube.com/vi/TZTDqtSpzv8/maxresdefault.jpg"
             alt="AI Agent Infrastructure Decoded"/&gt;
      
      &lt;svg role="img" class="h-c-video__play h-c-icon h-c-icon--color-white"&gt;
        &lt;use xlink:href="#mi-youtube-icon"&gt;&lt;/use&gt;
      &lt;/svg&gt;
    &lt;/a&gt;

    
  &lt;/figure&gt;
&lt;/div&gt;

&lt;div class="h-c-modal--video"
     data-glue-modal="uni-modal-TZTDqtSpzv8-"
     data-glue-modal-close-label="Close Dialog"&gt;
   &lt;a class="glue-yt-video"
      data-glue-yt-video-autoplay="true"
      data-glue-yt-video-height="99%"
      data-glue-yt-video-vid="TZTDqtSpzv8"
      data-glue-yt-video-width="100%"
      href="https://youtube.com/watch?v=TZTDqtSpzv8"
      ng-cloak&gt;
   &lt;/a&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;3계층 패턴&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;아래의 참조 아키텍처는 생명공학, 특히 신약 개발 분야에서 고성능 컴퓨팅 자율 에이전트를 설계, 최적화, 거버넌스를 적용하는 방법을 보여줍니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/Figure_1_TukBnfH.max-1000x1000.jpg"
        
          alt="Figure 1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="4nr3v"&gt;그림 1 — 3계층 패턴: 인지 조정자(두뇌), 확장 가능한 GPU 실행 계층(근육), 엔터프라이즈 거버넌스 플레인&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실행 계층: 근육 확장 - 고성능 컴퓨팅 실행&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;실행 계층은 고부하 과학 계산을 담당합니다. 첫 번째 아키텍처 결정은 워크로드를 실행할 위치를 정하는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;전략적 독점 파이프라인에는 보안 경계 내에 전용 GPU 인프라가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;일상적이거나 표준화된 워크로드는 관리형 클라우드 엔드포인트에 안전하게 맡길 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 아키텍처에서 단백질 접힘은 &lt;/span&gt;&lt;a href="https://catalog.ngc.nvidia.com/orgs/nvidia/teams/nim/collections/bionemo-esmfold" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ESMFold&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가, 생성형 설계는&lt;/span&gt;&lt;a href="https://docs.nvidia.com/nim/bionemo/genmol/latest/overview.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GenMol&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;이 주도합니다. 두 모델 모두 &lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/ai-data-science/products/nim-microservices/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA Inference Microservices&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(NIM)로 실행됩니다. NIM은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/introducing-g4-vm-with-nvidia-rtx-pro-6000"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA RTX PRO 6000 Blackwell&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; GPU 기반 G4 VM을 사용하여 &lt;/span&gt;&lt;a href="https://cloud.google.com/kubernetes-engine?hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(GKE)에 배포됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨테이너화된 GPU 워크로드의 주요 걸림돌은 콜드 스타트 페널티, 즉 이미지 레지스트리에서 수 기가바이트의 모델 가중치를 가져와 GPU 메모리(VRAM)에 스테이징하는 데 걸리는 지연 시간입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;짧은 지연 시간의 응답성을 보장하기 위해 다음 권장사항을 참조 아키텍처에 반영했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;웜 풀 유지:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE 노드 풀을 최소 하나의 활성 노드에 고정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가중치 미리 로드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 포드 초기화 시 모델 가중치가 VRAM에 직접 로드되므로 컨테이너에서 즉시 추론이 가능합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;복원력 있는 스케줄링:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE는 기본 VM 인프라를 해체하지 않고도 포드 수명 주기를 관리하고 실패한 인스턴스를 다시 시작합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 접근방식은 커스텀 수동 CUDA 커널 조정 대신 NVIDIA의 사전 컴파일하여 컨테이너화된 런타임을 활용하여 인프라 엔지니어링 오버헤드를 크게 줄이면서 결정론적 처리량을 보장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;생명공학 분야에서 화학 구조는 수백만 달러의 가치를 지닌 독점적 지식 재산에 해당합니다. 도킹 요청은 회사 외부로 절대 유출되어서는 안 되는 SMILE 문자열 또는 3D 좌표 행렬을 전송합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨테이너화된 NIM은 빠른 프로토타입 제작과 엄격한 데이터 격리 사이의 마찰을 해결합니다. 초기 탐색 분석 단계에서 연구원은 NVIDIA 호스팅 엔드포인트를 쿼리할 수 있습니다. 독점적인 리드 후보 물질로 전환할 때 정확히 동일한 컨테이너가 비공개 &lt;/span&gt;&lt;a href="https://cloud.google.com/vpc?hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;VPC&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 내의 GKE에 배포됩니다. 에이전트의 조정 로직은 동일하게 유지되며, 대상 URI만 외부 프록시에서 내부 VPC 엔드포인트로 업데이트됩니다. 분자 구조 데이터는 기업 경계 외부로 유출되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;인지 계층: 멀티 에이전트 추론&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컴퓨팅 실행이 격리된 상태에서 인지 계층은 에이전트형 워크플로 시퀀싱을 관리합니다. Gemini 플랫폼 내의 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/build/runtime"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Runtime&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 기반으로 빌드된 이 참조 아키텍처는 계층적 멀티 에이전트 구조, 하나의 리드 조정자, 두 개의 전문 도메인 하위 에이전트(리드 최적화 및 안전성 스크리닝)를 배포하는 시스템을 보여줍니다. 멀티 에이전트 설계는 당면한 사용 사례에 맞게 수정할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 설계를 기반으로 최종 사용자가 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;'표적 X에 대해 후보 4b를 분석하고 SAR 보고서 작성'&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;과 같은 상위 수준의 작업을 제출하면, 시스템은 아래에서 설명하는 4가지 핵심 조정 패턴을 적용합니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;인 프로세스 네이티브 에이전트 핸드오프: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;리드 조정자는 네트워크 직렬화 방식의 에이전트 간 HTTP 프로토콜이 아닌 Agent Runtime의 네이티브 SDK를 사용하여 전문 하위 에이전트에 작업을 위임합니다. 이렇게 하면 중간 네트워크 홉이 제거되어 내부 핸드오프가 즉각적으로 처리됩니다. 가장 바깥쪽 경계만 &lt;/span&gt;&lt;a href="https://cloud.google.com/gemini-enterprise?utm_source=google&amp;amp;utm_medium=cpc&amp;amp;utm_campaign=1713762-Gemini_Enterprise-DR-NA-US-en-Google-BKWS-EXA-GEnterprise&amp;amp;utm_content=c-Hybrid+%7C+BKWS+-+MIX+%7C+Txt_Gemini+Enterprise-189528400785&amp;amp;utm_term=gemini+enterprise&amp;amp;gclsrc=aw.ds&amp;amp;gad_source=1&amp;amp;gad_campaignid=23370621055&amp;amp;gclid=CjwKCAjwl97RBhBWEiwAa9rbXeetAjZcIRGcaAR57VWVWk7ik5DJ9ESqHiDav-2ervoiyzzRZ1ZWyRoCj6sQAvD_BwE&amp;amp;hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트와 같은 사용자 대상 인터페이스로 외부와 통신합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;참조를 통한 대용량 페이로드 전달: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;LLM이 대규모 3D 공간 좌표 배열을 직접 처리해야 할 때 빠르게 성능이 저하됩니다. 이 아키텍처에서는 원시 구조 데이터(PDB 파일, 도킹 포즈, 궤적 로그)가&lt;/span&gt;&lt;a href="https://cloud.google.com/storage?utm_source=google&amp;amp;utm_medium=cpc&amp;amp;utm_campaign=Cloud-SS-DR-GCP-1713658-GCP-DR-NA-US-en-Google-SKWS-BRO-storage&amp;amp;utm_content=c-Hybrid+%7C+SKWS+-+BRO+%7C+Txt-Infrastructure-Storage-Cloud+Storage-4642545472&amp;amp;utm_term=cloud+storage&amp;amp;gclsrc=aw.ds&amp;amp;gad_source=1&amp;amp;gad_campaignid=23767162264&amp;amp;gclid=CjwKCAjwl97RBhBWEiwAa9rbXYcqs8qBJehBeWaezdgKd4am7QbV7uo3__CJIZqoa8lqgP8ErM0LkBoCJ3cQAvD_BwE&amp;amp;hl=en"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Storage&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 직접 기록됩니다. 에이전트는 서명된 경량 객체 URI와 상위 수준의 구조적 요약을 전달하여 컨텍스트 윈도우를 간결하게 유지하고 추론 비용을 절감합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;생화학적 추론과 워크플로 로직 분리: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;범용 LLM은 작업 계획 및 합성에 탁월하지만 생화학적 세부정보에서 할루시네이션 현상이 발생하는 경향이 있습니다. 이러한 동작을 제어하기 위해 이 아키텍처는 관심사의 분리를 엄격하게 유지합니다. 즉, Gemini가 워크플로와 작업 분해를 처리합니다. 도메인 화학 및 약리학적 추론은 전용 GPU 노드에서 호스팅되는 특화된&lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Nemotron&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 모델에서 처리됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;엄격한 기준 대신 맥락 중심으로 평가: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;기존의 계산 스크리닝 방식은 임의의 수치 기준을 적용합니다(예: 결합 친화도가 -7.5kcal/mol 미만인 경우 폐기). 그러나 치료적 맥락 방식은 위험 허용 범위를 근본적으로 변경합니다. 건강한 일반인이 매일 복용하는 예방적 심혈관 치료제에는 매우 엄격한 안전성 마진이 필요한 반면, 난치성 암을 표적으로 하는 새로운 항암제 후보 물질은 효능이 입증되면 더 높은 독성을 수용할 수도 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;질환 맥락 정보를 전문 추론 모델에 직접 전달하면 약물 후보를 정적 기준이 아닌 동적인 표적에 특화된 프로필에 따라 평가하게 되므로, 유효한 리드 물질이 조기에 배제하는 것을 방지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;고성능 컴퓨팅 파이프라인의 성능 권장사항&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 GPU 컴퓨팅과 연동하는 에이전트형 시스템을 최적화하려면 일반적인 엔지니어링 통념에서 벗어날 필요가 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table&gt;&lt;colgroup&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong&gt;&lt;span style="vertical-align: baseline;"&gt;일반적인 가정&lt;/span&gt;&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong&gt;&lt;span style="vertical-align: baseline;"&gt;실제 아키텍처&lt;/span&gt;&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong&gt;&lt;span style="vertical-align: baseline;"&gt;권장사항&lt;/span&gt;&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;'더 빠른 드라이버 모델로 교체하여 지연 시간을 줄입니다.'&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기본 조정자의 토큰 생성은 다단계 R&amp;amp;D 파이프라인에서 병목 현상이 발생하는 경우가 거의 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;토큰 속도가 아닌 I/O 최적화: 조정자 추론 깊이를 타협하기보다는 페이로드 크기와 중간 네트워크 홉을 줄이는 데 집중합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;'작업자 간에 도구 호출을 병렬화합니다.'&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;외부 과학 서비스와 컨테이너화된 모델은 전용 하드웨어에서 내부적으로 요청을 순차 처리하는 경우가 많습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;실행 토폴로지 준수: 클라이언트 측 동시 실행을 백엔드 큐 메커니즘과 일치시켜 파이프라인 잠김 및 연결 시간 초과를 방지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;'도구 간에 전체 시뮬레이션 상태를 전달합니다.'&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 JSON 본문은 스키마 검증 실패, 프롬프트 잘림, 토큰 비대화를 유발합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;참조로 대용량 페이로드 전달: 원시 좌표를 객체 스토리지에 저장하고 에이전트 경계 간에 경량 URI를 전달합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;'파이프라인이 완료된 경우에만 출력을 반환합니다.'&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;실행 시간이 몇 분 이상 걸리는 경우 과학자는 작업이 진행 중인지 아니면 중단되었는지 파악하기 어렵습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;중간 단계 완료 스트리밍: 각 마일스톤이 완료될 때마다 진행 상황 업데이트를 전송하여(예: &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;폴딩 완료&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;도킹 실행 중&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;) 실시간 정보를 파악합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;'세분화된 여러 마이크로 도구를 연결합니다.'&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;도구 체인이 깊어지면 할루시네이션 인수와 스키마 불일치가 발생할 가능성이 높아집니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컴퓨팅 파이프라인 축소: 명확한 파라미터를 사용하고 통합 객체를 반환하는 깔끔한 단일 도구 인터페이스로 엔드 투 엔드 시뮬레이션 파이프라인을 래핑합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 거버넌스와 비대칭적 자율성&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 환경에 고성능 컴퓨팅 에이전트를 배포하려면 강력한 데이터 주권, 감사 추적, 프로세스 제어가 필요합니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/ai-machine-learning/introducing-gemini-enterprise-agent-platform"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini 플랫폼&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 다음 구성요소를 통해 이러한 보호 수단을 기본 기능으로 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/iam/docs/agent-identity-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 아이덴티티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 모든 자율 에이전트는 암호화 방식으로 검증 가능한 ID로 작동합니다. 따라서 생명공학 분야의 사용 사례에서 후보 분자가 채택되거나 거부되면 해당 이벤트가 특정 에이전트 보안 주체에 영구적으로 로깅됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 이 구성요소는 경계 내의 모든 상호작용에 대한 단일 인그레스/이그레스 지점 역할을 합니다. 중앙 집중식 IAM과 리전별 저장 위치 규칙은 민감한 분자 데이터가 지정된 클라우드 리전 내에 유지되도록 보장합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-registry"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Registry&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 이 기능은 승인된 에이전트, 검증된 도구 스키마, 승인된 모델 컨텍스트 프로토콜(MCP) 서버의 선별된 카탈로그를 유지하여 프로덕션에서 악성 도구가 실행되는 것을 방지합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/security/products/model-armor?hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Model Armor&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 이 기능은 수신 프롬프트와 발신 페이로드를 실시간으로 검사하여 프롬프트 인젝션과 데이터 무단 반출을 방지합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;성과는 명확합니다. ID, RBAC, 감사, 저장 위치, 데이터 보호는 Gemini 플랫폼의 기본 속성입니다. 이를 통해 기업 고객은 프로젝트마다 규정 준수 스택을 일일이 구축할 필요 없이 과학 연구 개발에 집중할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;중요한 연구 개발에서 완전한 자율성은 감당하기 어려운 책임을 초래하는 반면, 사소한 단계까지 승인을 요구하면 불편함이 발생할 수 있습니다. 이 문제를 해결하기 위해 다음과 같은 방식으로 비대칭 게이팅을 적용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;되돌릴 수 있는 작업 자동화:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 예를 들어 에이전트가 연구원의 개입 없이 자율적으로 화학 명명 동의어를 해결하고, PDB 구조 데이터를 가져오며, 예비 리핀스키 스크리닝을 실행할 수 있도록 허용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;되돌릴 수 없는 작업 제어:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 예를 들어 멀티 GPU 도킹 작업을 시작하거나, 리드 물질을 습식 실험실 합성 단계로 진행하거나, 치료 프로그램을 보관처리하는 작업에는 담당자의 명시적인 승인이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;패턴과 앞으로 나아갈 방향&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;고성능 컴퓨팅 자율 에이전트는 인지 계획, 수치 계산, 시스템 거버넌스 간의 경계가 다음과 같은 방식으로 명확할 때 성공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;조정자는 분해와 합성에 집중하고, 집약적인 생물물리학적 시뮬레이션은 컨테이너화된 전문 마이크로서비스와 모델에 맡깁니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;클라우드 스토리지를 통해 복잡한 화학 데이터를 참조로 전달하여 컨텍스트 비대화를 제거합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;암호화 에이전트 ID와 비대칭적 담당자 감독을 결합하여 엔터프라이즈 거버넌스에 워크플로의 기반을 둡니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;생성형 및 구조 생물학 모델이 전체 세포 모델링과 복잡한 동적 시뮬레이션으로 확장됨에 따라, 이 분리된 아키텍처는 독점 IP를 안전하고 감사 가능하게 유지하는 동시에 연구 시스템을 효율적으로 확장할 수 있도록 보장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이와 같은 사용 사례를 구축하기 위한 요구사항이 있는 경우 Google 영업 담당자에게 문의해 주세요. Google Cloud에서 에이전트 개발 여정을 함께 논의하고 지원해 드리겠습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Sun, 25 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/healthcare-life-sciences/architecting-scalable-agentic-biotech-workloads/</guid><category>AI &amp; Machine Learning</category><category>AI infrastructure</category><category>HPC</category><category>Customers</category><category>Healthcare &amp; Life Sciences</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/Blog_Headers_-_Cloudstyle_3.0.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>자율성 설계: 생명공학 분야의 고성능 컴퓨팅, 거버넌스형 에이전트를 위한 설계 패턴</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/Blog_Headers_-_Cloudstyle_3.0.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/healthcare-life-sciences/architecting-scalable-agentic-biotech-workloads/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Schneider Larbi</name><title>Sr. Manager, Global Partner Technical Architecture</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Chelsie Czop</name><title>Sr. Product Manager, AI Infrastructure</title><department></department><company></company></author></item><item><title>Cloud Run의 Temporal 서버리스 작업자: 수요에 앞서 작업자 확장</title><link>https://cloud.google.com/blog/ko/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오픈소스&lt;/span&gt;&lt;a href="https://temporal.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 실행 플랫폼은 최신 소프트웨어 인프라의 기반 레이어로 빠르게 자리 잡고 있으며, 특히 분산 시스템과 AI 에이전트 워크로드의 조정에 많이 사용되고 있습니다. 하지만 Temporal에서 작업자를 배포하고 확장하는 데는 고유한 어려움이 따릅니다. 작업자는 요청을 처리하는 대신 작업을 폴링하므로 요청 기반 서버리스 플랫폼과 잘 맞지 않을 수 있습니다. 이로 인해 Kubernetes 또는 VM에서 작업자 Fleet을 실행해야 하는 경우가 많으며, 이는 지속적 관리와 비용 지불을 필요로 합니다. 측정항목 파이프라인을 빌드하고 자동 확장 트리거를 조정해도 측정항목 지연으로 인해 확장이 버스트를 따라가지 못합니다. 배포할 때마다 업그레이드와 버전을 관리해야 하며, 큐에 작업이 있든 없든 컴퓨팅 비용을 지불해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 바로 이러한 풀 기반 작업을 위해&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/run/docs/deploy-worker-pools"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run 작업자 풀&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 빌드했습니다. 인스턴스가 큐 또는 스트림에 연결하고 다음 항목을 가져와 처리합니다. 오늘부터 Temporal 오픈소스 플랫폼의 완전 관리형 버전인&lt;/span&gt;&lt;a href="https://temporal.io/cloud" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal Cloud&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 이를 대신 확장해 드립니다. 현재 프리뷰 버전으로 제공되는 Cloud Run의&lt;/span&gt;&lt;a href="https://docs.temporal.io/serverless-workers" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal 서버리스 작업자&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하면 작업자를 작업자 풀로 배포할 수 있으며, Temporal은 태스크 큐의 작업에 맞게 풀의 크기를 조정합니다. 작업이 없을 때는 풀을 0으로 축소할 수 있습니다. 실행할 클러스터나 자동 확장 처리가 없으며, 작업자 코드는 동일하게 유지됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 작업자 풀이 Temporal과 연동되는 방식&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;작업자 풀은 지속적인 백그라운드 작업을 위한 Cloud Run의 리소스입니다. 공개 엔드포인트가 없으며 각 인스턴스에는 전체 수명 기간에 걸쳐 CPU가 할당되므로 Temporal 작업자가 실행되는 방식과 일치합니다. Temporal은 다음과 같이 Cloud Run 작업자 풀을 관리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal 작업자는 프로젝트에서 Cloud Run 작업자 풀 인스턴스로 실행되며 Temporal Cloud에서 작업을 폴링합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal Cloud는 태스크 큐를 추적하고 사용자가 부여한 IAM 권한을 사용하여 Cloud Run Admin API를 통해 작업자 풀의 인스턴스 수를 설정합니다. Temporal은 어떤 경우에도 인스턴스에 대한 연결을 열지 않으므로 포트를 열거나 방화벽 규칙을 추가할 필요가 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;각 빌드 버전을 자체 Cloud Run 작업자 풀로 실행합니다. 이전 빌드의 작업자 풀은 해당 빌드에서 시작된 워크플로에 다시 필요할 때까지 인스턴스 없이 유지될 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal 작업자는 프로젝트, 서비스 계정, 네트워크에서 실행되며, 실행할 작업자 수는 Temporal이 결정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Temporal 서버리스 작업자로 빌드할 수 있는 항목&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Run 작업자 풀과 Temporal 서버리스 작업자를 결합하면 다음과 같은 다양한 흥미로운 사용 사례를 실현할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;자동 확장되는 에이전트 작업자:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; AI 에이전트는 LLM 추론 및 도구 호출의 다단계 체인을 실행합니다. 여기서 Temporal의 내구성 있는 실행과 Cloud Run 작업자 풀이 함께 작동합니다. Temporal 작업자는 즉시 가동되어 LLM 단계, 임베딩 또는 API 호출의 급증을 처리한 다음 큐가 비면 0으로 축소됩니다. 작업자는 키 없이 Google Cloud AI API에 액세스할 수 있습니다. 추론을 위해 GPU를 연결할 수도 있으며, GPU에 연결된 작업자 역시 0으로 확장됩니다. Temporal은 각 모델 및 도구 호출을 내구성 있는 활동으로 실행합니다. 작업자가 단계 중간에 사라지면 활동이 다른 작업자에서 재시도되고 워크플로는 계속됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;장기 실행 워크플로:&lt;/strong&gt;&lt;a href="https://docs.temporal.io/workflows" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal 워크플로&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 무기한 실행될 수 있으므로 장기간에 걸쳐 실제 리소스의 상태를 추적하는 애플리케이션을 빌드할 수 있습니다. 이 패턴은 일반적으로 '&lt;/span&gt;&lt;a href="https://docs.temporal.io/design-patterns/entity-workflow%5C" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;항목 패턴&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;'이라고 합니다. 워크플로가 일부 항목의 상태를 나타내기 때문입니다. 하지만 이러한 장기 실행 워크플로는 일반적으로 일관된 컴퓨팅 요구사항이 없습니다. 개별 단계 중 일부는 짧고 일부는 길며, 워크플로가 절전 모드 상태에서 사람이나 다른 시스템과 같은 외부 입력을 기다리는 경우도 있습니다. Cloud Run 작업자 풀은 이 패턴을 지원하는 유연한 컴퓨팅을 제공합니다. 개별 단계는 필요한 시간만큼 실행될 수 있으며, Temporal은 수행할 작업이 없을 때 작업자 풀을 자동으로 축소합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;버스트 일괄 작업:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업자 풀은 인스턴스가 실행되는 동안에만 비용을 청구하므로 일괄 실행 사이에 유휴 상태인 작업자 풀은 인스턴스가 0개인 동안 비용이 발생하지 않습니다. 결제 실행이나 미디어 트랜스코딩과 같은 작업의 경우, Temporal은 배치가 도착하면 풀을 확장하고 큐가 비워지면 다시 축소합니다. 최대 인스턴스 수는 비용을 지불하는 인스턴스 수를 제한합니다. 이 용량을 초과하는 작업은 삭제되지 않고 큐에서 대기합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Temporal 작업자에 Cloud Run 작업자 풀을 사용해야 하는 이유&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이전에는 Cloud Run 서비스에서 Temporal 작업자를 실행하려면 몇 가지 우회적 방법을 사용해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;컨테이너가 포트에서 리슨할 것으로 서비스가 예상하기 때문에 HTTP 리스너 필요&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;인스턴스 기반 결제 방식으로 작업자가 요청 간에 CPU를 유지&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;최소 인스턴스 수가 필요해 서비스가 0으로 축소되지 않음&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Run 작업자 풀에서 Temporal 작업자를 실행하면 더 이상 이러한 우회적 방법이 필요하지 않으며 다음과 같은 이점을 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;관리할 엔드포인트가 없습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 잠글 공개 URL이나 부하 분산기가 없으며 구현할 상태 점검 포트도 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;더 저렴한 가격으로 안정적인 CPU 사용량을 확보할 수 있습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 인스턴스가 유휴 상태가 되거나 제한되지 않습니다. Cloud Run은 인스턴스가 유휴 상태로 보인다고 해서 인스턴스를 삭제하지 않으므로 Temporal이 단독으로 풀 축소 시점을 결정합니다. 작업자 풀은 인스턴스 기반 결제 방식의 Cloud Run 서비스보다 vCPU 시간 및 GB 시간당 약 40% 저렴합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;버전 변동 없이 확장할 수 있습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 인스턴스 수를 변경해도 새 버전이 생성되지 않으므로 Temporal은 부하가 변경될 때마다 풀의 크기를 조절할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Temporal이 작업자 풀의 확장 및 버전 관리를 처리하는 방식&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal은 작업이 태스크 큐 백로그에 도착하는 시점과 작업자가 이를 처리하기 시작하는 시점 사이의 지연이라는 하나의 주요 신호를 사용하여 용량 추가 시점을 결정합니다. 이 지연 시간이 늘어나면 사용 가능한 작업자가 포화 상태에 이른 것입니다. 확장은 다음과 같이 이루어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;서버 측 감지:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Temporal 서버는 각 태스크 큐의 백로그-작업자 지연 시간을 추적합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;푸시 알림:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 지연 시간이 트리거 조건을 초과하면 서버가 작업자 컨트롤러 인스턴스에 푸시 알림을 보냅니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프로비저닝:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업자 컨트롤러가 작업자 풀에 용량을 추가합니다. 새 인스턴스는 작업을 폴링하기 전에 시작하고 연결하는 데 시간이 걸리므로 용량이 신호보다 지연됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal은 여유 용량을 유지하므로 작업이 쌓인 후가 아니라 수요가 발생하기 전에 한발 앞서 풀이 확장됩니다. 수평 축소는 좀 더 보수적입니다. Temporal은 마지막으로 작업에서 사용 가능한 작업자를 찾지 못한 시점 이후 안정화 기간(기본값: 90초) 동안 대기하며, 연속적인 축소 사이에 일시중지합니다. Cloud Run의 구성 가능한 단계적 종료는 종료 시간을 10초에서 10분으로 연장합니다. 이렇게 하면 SIGTERM 인식 작업자가 작업을 완료하거나 체크포인트를 생성할 시간을 확보할 수 있습니다. 인스턴스 수는 사용자가 설정한 최솟값과 최댓값 사이로 유지됩니다. 유휴 기간 후 첫 번째 작업이 인스턴스가 시작될 때까지 기다릴 수 없는 경우 최솟값을 0보다 크게 설정합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_Tu66Q25.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;실행 중인 작업을 중단하지 않고 새로운 워크플로 코드를 배포하는 것은 어려운 일입니다. Temporal 워크플로는 스테이트풀(Stateful)이며 결정론적이기 때문에 실행 중에 코드를 교체하면 비결정론적 오류가 발생합니다. Cloud Run의 서버리스 작업자는 Temporal 작업자 버전 관리를 필수 적용하여 이 문제를 해결합니다. 조건부 분기를 사용하여 코드를 패치해서는 안 됩니다. 대신 각 작업자 배포 버전을 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;deploymentName&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;buildId&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;로 식별되는 자체 작업자 풀 배포로 배포합니다. 별도의 작업자 풀을 사용하면 두 가지 문제가 해결됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;특정 작업자 배포 버전에서 시작된 워크플로는 해당 버전에서 계속 실행되고 완료됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;각 작업자 배포 버전은 개별적으로 확장 및 소모되어 컴퓨팅 지출과 사용률을 애플리케이션의 요구사항에 맞게 조정합니다. 기존 워크플로가 이전 작업자 배포 버전에서 완료되고 소모되면 기본 작업자 풀은 결국 자동으로 0으로 축소됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 워크플로 유형에 대한 버전 관리 동작을 설정하거나 작업자 수준 기본값을 설정하세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;PINNED:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 워크플로가 시작된 작업자 버전(빌드 ID)을 유지하고 해당 버전에서 완료됩니다. 단기 실행 워크플로, 주문 처리, 다단계 API에 가장 적합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AUTO_UPGRADE:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 워크플로를 출시하면 새로운 '현재' 또는 '대상' 작업자 배포 버전으로 이동합니다. 구독 결제 또는 몇 주에 걸쳐 실행되는 작업과 같은 장기 실행 워크플로에 가장 적합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;작업자 버전 관리 구성에 대해 자세히 알아보려면&lt;/span&gt;&lt;a href="https://docs.temporal.io/worker-versioning" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;설정은 세 단계로 진행됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal 작업자를 컨테이너화하고 컨테이너를 Cloud Run 작업자 풀로 배포합니다. 이때 풀 이름에 빌드 ID를 포함합니다. Temporal API 키와 같은 사용자 인증 정보를 Secret Manager에 보관합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal Cloud에 작업자 풀을 관리할 수 있는 권한을 부여하여 Temporal을 작업자 풀에 연결하면 작업자 풀을 확장할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Temporal에서 풀의 프로젝트, 리전, 이름을 가리키는 작업자 배포 버전을 만듭니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/2_GCHxzit.gif"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Cloud Run의 Temporal 서버리스 작업자는 프리뷰 버전이므로 안정화 버전 출시 전에 API 및 구성이 변경될 수 있습니다. 시작하려면 다음 단계를 따르세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.temporal.io/serverless-workers/cloud-run" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run의 서버리스 작업자&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 어떻게 버전을 확장하고 처리하는지 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.temporal.io/production-deployment/worker-deployments/serverless-workers/cloud-run" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;설정 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하여 첫 번째 작업자를&lt;/span&gt;&lt;a href="https://docs.temporal.io/production-deployment/worker-deployments/serverless-workers/cloud-run" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;배포하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;CPU, 메모리, GPU, 네트워킹 옵션은&lt;/span&gt;&lt;a href="https://cloud.google.com/run/docs/deploy-worker-pools"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run 작업자 풀&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;구성 가능한 단계적 종료&lt;/span&gt;&lt;a href="https://forms.gle/ctAU6WDUVwJajx1D7" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;미리보기 버전&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 신청하여 사용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Thu, 22 Oct 2026 17:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools/</guid><category>Application Development</category><category>Cloud Run</category><category>AI infrastructure</category><category>Serverless</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Cloud Run의 Temporal 서버리스 작업자: 수요에 앞서 작업자 확장</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sagar Randive</name><title>Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Aniruddh Chaturvedi</name><title>Engineering Manager</title><department></department><company></company></author></item><item><title>AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;편집자 주&lt;/strong&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;: AI21 Labs는 Jamba 제품군을 비롯한 파운데이션 모델 개발에 오랜 실적을 보유한 선도적인 글로벌 AI 연구소로, 현재는 전문화된 LLM과 에이전트 최적화 기술에 주력하고 있습니다. AI21은 Google Cloud AI 하이퍼컴퓨터를 도입하여 우선순위가 높은 작업의 대기 시간을 72시간에서 12시간으로 단축하고, 수동 스케줄링 개입을 주당 20회에서 0회로 줄였습니다. &lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;a href="https://www.ai21.com/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI21&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 기업이 최첨단 품질의 에이전트를 효율적으로 실행할 수 있도록 지원하는 파운데이션 모델과 에이전트 최적화 제품을 개발합니다. &lt;/span&gt;&lt;a href="https://www.ai21.com/jamba/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Jamba&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 제품군을 비롯한 언어 모델과 에이전트 최적화 제품군은 까다로운 프로덕션 워크로드를 실행하며, 여기에는 AI21 자체 워크로드도 포함됩니다. AI21은 대규모 지원을 위해&lt;/span&gt;&lt;a href="https://cloud.google.com/ai-infrastructure"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud AI 하이퍼컴퓨터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 선택했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모델 학습 실행의 사용률을 높게 유지하려면 인프라, 조정, 가격 모델 전반에서 공동 설계된 확장 가능한 고성능 환경이 필요했습니다. AI21의 모델 학습은 공유&lt;/span&gt;&lt;a href="https://cloud.google.com/kubernetes-engine"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(GKE) 클러스터 중 하나에서 실행되며, 수천 개의 Google Cloud A3(NVIDIA H100 Tensor Core GPU 기반) 및 A3 Ultra(NVIDIA H200 Tensor Core GPU 기반) 인스턴스를 풀링하므로 모든 팀이 자체 슬라이스에 갇히지 않고 Fleet의 전체 용량을 활용할 수 있습니다. 이 클러스터는 Jamba 제품군 외에도 모델 및 에이전트 최적화 워크로드를 학습시킵니다. 이 접근 방식은 사용률을 높게 유지하고 스케줄링을 어렵게 만듭니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;사용률이 높은 클러스터의 교착 상태&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;조정에 GKE를 활용하기 전에는 Slack을 통해 직접 용량을 조율하곤 했습니다. 학습 실행을 위한 용량이 필요하면 #gpu-resources 채널에 글을 올리고 잘되기를 바라는 수밖에 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터에 여유 공간이 있을 때는 이 방법이 효과적이었습니다. 하지만 예약된 컴퓨팅 Fleet의 목표인 사용률 100%에 가까워지자, 이 방법이 더 이상 통하지 않았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;시간이 지나면서 모든 요청이 조율 대상이 되었고, 팀장은 컴퓨팅 리소스를 둘러싼 분쟁을 중재하는 데 시간을 보내야 했습니다. 우선순위가 높은 작업, 이를테면 한 번에 클러스터의 절반 이상이 필요하고 모델 프로젝트의 중요한 경로 역할을 하는 대규모 멀티 노드 학습 실행 작업도 충분한 연속 처리 용량이 확보될 때까지 최대 72시간 동안 차단된 상태로 대기해야 했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/1_5g4QmVa.gif"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="cwh8v"&gt;그림 1: #gpu-resources 채널의 일상적인 모습 — 수동 요청, 임시 조정, 답변을 기다리는 연구원&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;용량 부족은 두 가지 문제를 야기했고, 이 두 가지를 별개의 문제로 인식하기까지는 꽤 오랜 시간이 걸렸습니다. 첫 번째는 경합 문제, 즉 다음에 누가 컴퓨팅 리소스를 사용할 것인지 결정하는 문제였는데, 이는 협상을 통해 해결했습니다. 두 번째는 단편화 문제였습니다. 기술적으로는 사용 가능한 용량이 남아 있지만 대규모 작업에 사용하기에는 너무 작은 단위로 흩어져 있어 아무리 협상해도 해결할 수 없는 빈 패킹 문제와 같은 상황이 생겼습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image2_vk4hCkH.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="cwh8v"&gt;그림 2: GPU 단편화. 4개의 노드에 1+1+4+2로 분산된 8개의 무료 GPU는 8-GPU 워크로드에 적합하지 않습니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;수치상으로는 용량이 충분히 남아 있는 것처럼 보이지만, 실제로는 여러 머신에 너무 작은 단위로 분산되어 있어 더 큰 작업을 처리하기에는 부족한 경우가 있었습니다. 양자택일 방식의 작업 승인이 없다 보니, 관리자가 수동으로 개입할 때까지 머신이 실제 작업은 수행하지 않으면서 리소스만 점유한 채 클러스터가 교착 상태에 빠지곤 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 방식이 더 이상 효과적이지 않으며, 더 나은 방식이 필요하다는 점이 분명해졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;적절한 스케줄러 선택&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI21은 Apache YuniKorn, Volcano,&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Kueue&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 비롯한 몇 가지 오픈소스 일괄 스케줄러를 살펴보았습니다. YuniKorn은 AI21의 모든 사용 사례를 포괄하지 못했습니다. Volcano는 더 많은 기능을 제공하지만, 이를 우리 환경에 통합하려면 핵심 Kubernetes 스케줄러 구성요소를 교체해야 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Kueue가 단순성과 통합 측면에서 우수했습니다. 표준 Kubernetes와 호환되고, 핵심 구성요소를 교체할 필요가 없으며, 작업 사양을 다시 작성할 필요도 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE를 통해 AI 하이퍼컴퓨터의 유연하고 개방적인 운영 방식과 Kueue를 결합한 것도 성공에 기여한 요인이었습니다. GKE는 컴퓨팅 집약적인 AI 작업에 적합한 수준의 제어 기능을 제공합니다. 즉, 원시 인스턴스를 직접 관리하는 데 따른 오버헤드 없이도 GPU 하드웨어와 드라이버에 긴밀하게 액세스할 수 있습니다. Kueue는 &lt;/span&gt;&lt;a href="https://cloud.google.com/spot-vms"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Spot VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/introducing-dynamic-workload-scheduler"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; 동적 워크로드 스케줄러&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 Google Cloud 용량 유형을 포함하여 GKE와 기본적으로 통합되므로, 예약된 용량이 가득 차면 작업이 대기 상태로 멈춰 있는 대신 동일한 스케줄링 로직이 탄력적 용량을 자동으로 활용할 수 있게 해 줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;오픈소스로 루프 닫기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Kueue를 도입하면서 단순한 프로세스 변경 이상의 큰 변화가 일어났습니다. AI21은 Google Cloud와 파트너 관계를 맺고 있기 때문에 기술계정 관리자와 직접 소통할 수 있었고, 이 관리자는 AI21을 Kueue팀의 설계 파트너로 만들 수 있는 기회를 발견했습니다. 이를 통해 AI21은 단순한 사용자가 아니라 도구의 발전 방향을 형성하는 데 도움이 되도록 실질적인 프로덕션 요구사항을 제시하는 주체가 될 수 있었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 파트너십의 첫 번째 결과물 중 하나는 Kueue팀과 공유한 요구사항 문서였습니다. 이 문서에는 우리에게 필요했지만 아직 존재하지 않았던 동작, 즉 공정성에 보통 따라오는 선점 없이도 여러 팀의 멀티 노드 작업을 공정하게 순서대로 승인하는 동작이 설명되어 있었습니다. Kueue팀은 이 동작을 구현해냈습니다.&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/docs/concepts/admission_fair_sharing/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Admission Fair Sharing&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(AFS)은 이미 실행 중인 작업을 중단하지 않고 이전에 용량을 적게 사용한 팀에 유리하도록 승인 대기열의 순서를 재조정합니다. 비슷한 시기에 AI21에서는&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/docs/concepts/topology_aware_scheduling/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;토폴로지 인식 스케줄링&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;도 사용하기 시작했습니다. 기존의 이 기능 덕분에 Kueue가 물리적 클러스터 레이아웃을 인식할 수 있게 되었으며, 단일 노드에 맞지 않는 작업을 실행할 수 없는 위치에 배치하는 대신 해당 작업의 승인을 거부할 수 있었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI21에게 있어 최상의 오픈소스 피드백 루프는 프로덕션에서의 사용을 통해 드러난 실제 요구사항이 Kueue에 직접적으로 다시 반영되는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;동일한 Fleet, 더 적은 불편&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이제 Slack #gpu-resources 채널은 보관처리되었습니다. 디버그 포드, 멀티 노드 학습 실행, 추론 배포 등 모든 워크로드는 자동으로 큐에 추가되고, 우선순위가 지정되고, 스케줄링됩니다. 효과는 즉각적이었습니다. 수동 개입이 주당 약 20회에서 0회로 줄었습니다. 이전에는 최대 72시간을 기다려야 했던 높은 우선순위 작업의 대기 시간이 이제 12시간으로 줄었습니다. 클러스터 전반의 단편화는 15%에서 8%로 감소했으며, 실행할 곳이 없는 상태에서 부분적으로 허용되는 워크로드가 발생하는 '좀비 작업' 문제가 사라졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 변화로 인해 총비용이 달라진 것은 아닙니다. 예약된 Fleet을 의도적으로 100%에 가까운 사용률로 실행하므로 원시 지출은 애초에 최적화하려는 변수가 아니었습니다. 달라진 점은 직원들이 시간을 쓰는 방식이었습니다. 이제 팀장은 더 이상 컴퓨팅 리소스 분쟁을 중재할 필요가 없으며, 연구원들은 Slack에서 답장을 기다리지 않아도 됩니다. 모두가 더 많은 실험을 실행하고 더 빠르게 반복 작업을 진행할 수 있게 된 것입니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Mon, 12 Oct 2026 17:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</guid><category>AI Hypercomputer</category><category>GKE</category><category>AI infrastructure</category><category>Customers</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Barak Peleg</name><title>VP, Technology and Architecture, AI21</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Asaf Ben-Tovim</name><title>DevOps Engineer, AI21</title><department></department><company></company></author></item><item><title>45배 더 빠른 GKE 에이전트 샌드박스로 에이전트형 RL 및 평가 연구 가속화</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 병렬 롤아웃에서 에이전트형 강화 학습(RL)과 평가를 수직 확장할 때 첨단 AI 연구소는 필연적으로 병목 현상에 직면하게 됩니다. 고가의 GPU 클러스터가 유휴 상태로 CPU 샌드박스 콜드 스타트를 몇 분 동안 기다리고, 수 기가바이트에 달하는&lt;/span&gt;&lt;a href="https://www.swebench.com/original.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 스타일 이미지를 수천 개 가져와야 하고, 스케줄링 백로그가 발생하기 때문입니다. 이는 연구 속도를 늦추고 학습 예산을 낭비하게 만드는 샌드박스 인프라 문제입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 근본적인 인프라 병목 현상을 해결하기 위해 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;오늘 Google Cloud는 RL에 최적화된&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;,&lt;/strong&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 조정 SDK&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 널리 사용되는 RL 짐 및 하네스를 위한 기본&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;통합&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능을 정식 출시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;최신 AI를 위한 운영체제인 Kubernetes는 대규모 GPU/TPU 학습 클러스터와 분산 추론을 지원하도록 발전해 왔습니다. 이제 Kubernetes는 AI 컴퓨팅의 다음 개척 분야인 에이전트를 주도하기 위해 확장하고 있습니다. 하지만 정적 워크로드와 달리 에이전트형 워크로드는 빠르게 진화하므로 인프라도 그만큼 빠르게 진화해야 합니다. RL 연구자가 무엇을 필요로 할지 추측하는 대신 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Kubernetes 자체&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;성능 벤치마크 및 평가를 기반으로 하는 자동 연구 및 검증 루프&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 넣었습니다. 그리고&lt;/span&gt;&lt;a href="https://www.swebench.com/verified.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 강력한 에이전트형 벤치마크를 사용하여 의도적으로 자체 클러스터를 스트레스 테스트하고 오류를 발생시켰습니다. etcd 타임아웃부터 GPU 유휴 상태 급증에 이르기까지 드러난 모든 병목 현상이 개발 주기에 다시 반영되어 GKE의 핵심 기본 요소를 개선하는 데 사용되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과, 에이전트형 RL 및 평가 워크로드를 위해 특별히 설계된 샌드박스 레이어가 탄생했습니다. 이 샌드박스 레이어는 다음과 같은 특징을 가집니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;10~45배 빠른 첫 번째 명령어 실행까지 소요 시간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE는 샌드박스 환경을 45~85초가 아닌 1~9초 만에 가동할 수 있어 고가의 GPU를 최대한 활용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;꼬리 지연 시간 감소: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;최악의 경우 샌드박스 대기 시간이 7.5분에서 10초 미만으로 단축되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;3배 적은 컨트롤 플레인 변동:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 각 RL 학습 단계에서 롤아웃 버스트가 발생하며, 이때 수천 개의 샌드박스가 한꺼번에 요청됩니다. 이 SDK에는 포드를 삭제하고 다시 만드는 대신 롤아웃 전반에서 포드를 재사용하는 인플레이스 재활용 전략이 적용되어 있습니다. 즉, 생성되는 포드가 3분의 1로 줄어들어 변동이 발생해도 Kubernetes API 서버가 안정적으로 유지됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 새로운 기본 요소를 통해 AI 연구소와 에이전트 네이티브 스타트업은 이제 대규모 에이전트형 RL 궤적과 평가를 동시에 안정적으로 실행하여 가속기 유휴 시간을 최소화하고 연구 속도를 획기적으로 높일 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 RL 인프라가 직면한 현실적인 과제&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;해결책을 논하기에 앞서 에이전트형 RL이 인프라 측면에서 왜 그토록 까다로운지 정확히 알아보겠습니다. 표준 에이전트형 RL 루프에서 LLM 정책은 GPU에서 코드 스니펫과 같은 작업을 생성하고 이를 격리된 CPU 샌드박스 내에서 실행하여 보상 신호를 관찰합니다. 그러나 수만 건의 병렬 롤아웃을 지원하기 위해 이 루프를 수직 확장하면 다음과 같은 세 가지 중요 기반 시설 병목 현상이 발생합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가속기 유휴 비용, 즉 첫 번째 명령어 실행까지 소요 시간(TTFC) 및 꼬리 지연 시간의 함정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트형 RL은 배치 워크로드이며, 동기식 RL 단계에서는 배치에서 가장 느린 샌드박스가 준비될 때까지 학습을 진행할 수 없습니다. CPU 샌드박스를 구축하는 데 프로비저닝, 이미지 가져오기, 초기 시작 스크립트 실행에 몇 분이 걸린다면 값비싼 가속기 용량이 낭비됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 이미지 카디널리티:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 표준 컨테이너 캐싱은 소수의 정적 기본 이미지를 전제로 합니다. 그러나 에이전트형 RL에서는 모든 단일 작업(예: SWE-bench 또는&lt;/span&gt;&lt;a href="https://huggingface.co/datasets/R2E-Gym/R2E-Gym-Subset" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E-Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 수천 개 GitHub 저장소)에 완전히 별개의 OCI 컨테이너 이미지가 필요한 경우가 많습니다. 실행당 수천 개의 고유한 대규모 이미지를 관리하면 심각한 이미지 가져오기 병목 현상과 스토리지 마찰이 발생할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인 포화:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 버스트 배치 워크로드인 에이전트형 RL은 일반적으로 배치 크기의 이미지 작업과 작업당 여러 번의 롤아웃(예: 작업당 4, 8, 16번의 롤아웃)을 실행하므로 이미 많은 수의 이미지가 극한까지 증가하게 됩니다. 예를 들어 테스트에 사용된 한 공개 데이터 세트에는 4,578개의&lt;/span&gt;&lt;a href="https://huggingface.co/R2E-Gym/datasets" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 이미지가 포함되어 있습니다. 이미지당 4번의 롤아웃을 가정하면 18,312개의 작업이 발생하며, 이를 위해서는 18,312개의 샌드박스가 동시에 필요합니다. 표준 Kubernetes 컨트롤 플레인은 이러한 버스트 부하에서 성능이 현저히 저하됩니다. 분당 수만 개의 임시 포드 변경 과정에서 API 서버 큐 병목 현상과 포드 상태 오류가 발생하고 잘못된 노드 상태 제거가 트리거됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이는 가상의 문제가 아닙니다. 최첨단 에이전트를 학습시키는 선도적인 AI 연구소에서 매일 마주하는 현실입니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;RL에 최적화된 GKE 에이전트 샌드박스&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;코드 실행 샌드박스를 팬아웃하기 위해 비교적 소규모 클러스터를 구축했습니다. 이 클러스터는 GKE 이미지 스트리밍이 사용 설정된 10노드 gVisor 샌드박스 풀,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 컨트롤러, 웜 포드 확보를 위한 클러스터 내&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SDK&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 드라이버로 구성되었습니다. 많은 수의 이미지와 높은 카디널리티를 포함한 다양한 전략과 설정을 테스트했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_0wDJijd.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;인프라 계층&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 안전한 에이전트 실행을 위한 개방형 Kubernetes 기본 요소로, 사전 초기화된 정상 환경을 유지하여 콜드 스타트 오버헤드를 제거하는 기본 제공 SandboxWarmPool 기능을 갖추고 있습니다. SandboxWarmPool을&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/image-streaming"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 이미지 스트리밍&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 통합함으로써 1.2GB가 넘는 대용량 이미지 수천 개와 함께 높은 이미지 카디널리티를 요구하는 RL 및 평가 워크로드를 효과적으로 지원하는 동시에 반응성이 뛰어난 에이전트형 학습에 필요한 매우 짧은 TTFC를 제공합니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/agent-sandbox-pod-snapshots"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;스냅샷, 일시중지, 재개&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능을 통해 오류 복구를 위한 체크포인트 설정을 지원하며 샌드박스 포킹으로 병렬 에이전트 분기 로직을 구현하여 여러 경로를 탐색할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 GKE 기본 요소는 이미 선도적인 AI 연구소인 Mistral AI의 에이전트형 RL 학습 인프라를 뒷받침하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“강화 학습의 한계를 뛰어넘으려면 예측 불가능한 수요를 감당할 수 있도록 즉각적으로 확장 가능한 인프라가 필요합니다. RL을 위한 GKE의 고성능 에이전트 샌드박스를 활용하면 클러스터 전반에서 수십만 개의 안전한 환경을 원활하게 조정하고 단일 클러스터에서 30,000개가 넘는 샌드박스의 급증을 처리할 수 있습니다. 이는 모델 학습 및 반복 주기를 가속화하는 데 필요한 안정적인 기반을 제공합니다.” - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;장 말로 델리뇽, Mistral AI 연구 엔지니어&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;조정 SDK 및 RL 도구 통합&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;연구자가 Kubernetes YAML을 작성하거나 컨테이너 이미지에 커스텀 데몬을 삽입하지 않고도 이러한 기능을 활용할 수 있도록&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 조정 SDK&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 개발했습니다. 이 SDK는 특정 평가 또는 RL 학습 패턴에 맞게 조정된 플러그형 웜 풀링 전략을 통해 깔끔한 비동기 Python API를 제공합니다. 또한&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/gymnasium" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gymnasium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/nemo-gym" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA NeMo Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/openhands" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenHands&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 RL 도구를 위한 기본 통합을 구축했으며, 향후 더 많은 도구가 추가될 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크: 유휴 가속기로 인한 낭비 감소&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 10노드 gVisor 샌드박스 풀에서 두 가지 워크로드, 즉 500개 이미지로 구성된&lt;/span&gt;&lt;a href="https://www.swebench.com/verified.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 환경과 로컬 디스크 용량을 초과하는 4,578개 이미지로 구성된&lt;/span&gt;&lt;a href="https://huggingface.co/R2E-Gym/datasets" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 코퍼스를 대상으로 이 테스트를 수행했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;1.TTFC 및 테일 지연 시간: 속도 10~45배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table&gt;&lt;colgroup&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;핵심 측정항목&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;중요한 이유&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;원시 K8s 포드 기준&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스 SDK&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크 이점&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;TTFC, 평균&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GPU 유휴 시간 결정&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;44~85초(평균)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;1.1~8.8초(평균)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;속도 10배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;꼬리 지연 시간 - 최대 TTFC(최악의 경우)&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;배치 병목 현상&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;7.5분(450초)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;10초 미만&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;속도 45배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동시 실행은 500개의 동시 작업 및 샌드박스부터 최대 18,312개(R2E 이미지 4,578개 × 롤아웃 4번)까지 다양했습니다. 모든 설정에서 성능 향상이 유지되었습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_Q9hhUIh.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;이 결과에 도달하기까지의 과정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 컨트롤러, SDK, RL Fleet를 계측한 후 고정된 10노드 예산 범위 내에서 수백 번의 비교 실행을 수행했습니다. 성능 향상의 대부분은 다음 두 가지 변경 사항에서 비롯되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;이미지 하이드레이션이 중요 경로에서 제외되었습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 카디널리티가 높은 코퍼스는 로컬 디스크 용량을 훨씬 초과하므로 학습 도중에 콜드 이미지를 가져오면 I/O 경합과 수 분에 달하는 지연이 발생합니다. SDK는 노드 간 이미지 배치를 계획하고,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/image-streaming"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Image Streaming&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 사전 웜 풀링이 나머지 작업을 처리합니다. 즉, 롤아웃에서 요청하기 전에 하이드레이션이 완료됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인의 속도가 조절됩니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 동시성이 높은 롤아웃은 API 서버의 Thundering Herd를 트리거합니다.&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/releases/tag/v1.0.0" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 컨트롤러 v1.0.0&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 웜 풀이 다시 채워지는 속도를 제한하는 속도 제어 기능을 추가하여 버스트 중에도 etcd와 API 서버를 안정적으로 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 수치의 근거가 되는 튜닝 노브, 벤치마크 하네스, 부하 테스트는 모두 &lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;agent-sandbox-rl&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 예에 포함되어 있습니다. 이 예는 사람이 읽을 수 있는 JSON 보고서를 생성하므로 사용자의 클러스터에서 직접 비교를 재현할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;2. 다중 궤적 롤아웃 중 컨트롤 플레인 및 포드 수명 주기 변동 3배 감소&lt;/strong&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table&gt;&lt;colgroup&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;핵심 측정항목&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;중요한 이유&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;원시 K8s 포드 기준&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스 SDK&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크 이점&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인 변동&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;(이미지 4,578개 × 롤아웃 실행 4번)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨트롤 플레인 포화&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;18,312&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;5,869&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;변동 3.1배 감소&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;원시 Kubernetes는 각 궤적 단계마다 포드를 다시 만듭니다. 18,312개의 작업은 스케줄링 오버헤드를 늘리고 디스크 I/O를 낭비하며 대규모 테스트에서는 무제한 가비지 컬렉션 루프를 트리거했습니다. 반면 SDK의 인플레이스 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;재활용&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 전략은 포드를 활성 상태로 유지하면서 롤아웃 에피소드 사이에 포드 내에서 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;git reset&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;과 저장소 체크아웃을 실행합니다. 그 결과, 포드 생성은 3.1배 감소하고 버스트 중에도 컨트롤 플레인의 부하는 안정적으로 유지됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;절충점&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;환경을 미리 준비하면 저렴한 CPU와 백그라운드 클러스터 시간이 소요되므로 이미지 스트리밍 및 준비 확인이 중요 경로에 포함되지 않습니다. RL Fleet의 경우 이는 명백한 절충점입니다. 가속기 유휴 시간은 비용이 많이 드는 리소스인데, 이 접근 방식은 이를 제거합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;학습 규모에서는 한 가지 세부 사항이 중요합니다. SDK는 실패한 모든 샌드박스를 자동으로 삭제하지 않고, 재시도 가능한 것으로 집계하여 표시합니다. 추적되지 않는 삭제는 단순한 롤아웃 손실이 아니라 보상 편향으로 이어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 빌드하기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Python SDK를 위한&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 또는&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보고&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/gymnasium" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gymnasium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/nemo-gym" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA NeMo Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/openhands" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenHands&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 등의 RL 도구를 위한 기본&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;통합&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가속기 사용률 더욱 높이기:&lt;/strong&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing/tree/main" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 협력적 타임 슬라이싱 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와&lt;/span&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing/blob/main/guides/snapshot-agent/README.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;스냅샷 에이전트 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보고 독립적인 RL 작업을 공유 물리적 하드웨어에 동적으로 인터리브 처리하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자세히 알아보기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;를 사용하여 안전한 실행 환경을 배포하는 방법에 대한 공식 문서를 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Wed, 07 Oct 2026 17:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</guid><category>GKE</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>45배 더 빠른 GKE 에이전트 샌드박스로 에이전트형 RL 및 평가 연구 가속화</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Tinsley Shi</name><title>Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Tomer Glottmann</name><title>Staff Software Engineer, Technical Lead</title><department></department><company></company></author></item><item><title>Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gartner에서 비전 완성도와 실행 능력을 기준으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Google을 2026년 Gartner® Magic Quadrant™ 컨테이너 관리 부문에서 4년 연속 리더로 선정&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;했다는 반가운 소식을 전해드립니다. Google은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;평가 대상 공급업체 중 실행 능력(Ability to Execute) 면에서 가장 높은 평가&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 받았으며 이는 Google이 성능과 효율성 모두에 고도로 최적화된 컨테이너 플랫폼을 제공하겠다는 사명을 다하는 데 성공했음을 입증하는 결과라고 생각합니다. Google은 전 세계 고객이 차세대 AI 및 에이전트형 애플리케이션을 비롯해 가장 까다롭고 복잡한 워크로드를 대규모로 빌드하고 실행할 수 있도록 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;함께 발표된&lt;/span&gt;&lt;a href="https://www.gartner.com/interactive/cc/8353849" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2026 Gartner Critical Capabilities for Container Management&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 보고서에서도 Google Cloud가 신규 클라우드 네이티브 애플리케이션, 컨테이너화된 기존 애플리케이션, AI 학습, AI 추론, 에지 애플리케이션, 하이브리드 애플리케이션 같은 모든 사용 사례에서 1위를 차지했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gartner는 '2025년 30% 미만이었던 신규 AI 배포의 Kubernetes 도입률이 2028년에는 95%까지 급증할 것'으로 전망합니다.&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1&lt;/span&gt;&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 오늘날 가장 혁신적인 앱과 비즈니스는 컨테이너를 기반으로 운영되고 있으며, 컨테이너는 고객이 에이전트 시대에 비즈니스를 혁신하는 데 필요한 인프라를 제공합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2026_Gartner_Magic_Quadrant_for_Container_.max-1000x1000.png"
        
          alt="2026 Gartner Magic Quadrant for Container Management"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 2014년에 Kubernetes를 선보이고 2015년 세계 최초의 관리형 Kubernetes 서비스인 Google Kubernetes Engine(GKE)을 출시하면서 업계 전반의 클라우드 네이티브 혁명을 주도했습니다. 이후 컨테이너 플랫폼과 역동적이고 혁신적인 Kubernetes 생태계를 발전시키기 위한 Google의 노력은 깊이를 더해가고 있습니다. 서버리스 컨테이너 플랫폼인 GKE Autopilot과 Cloud Run은 GKE와 함께 운영 비용을 크게 절감하고 개발자가 뛰어난 컨테이너화 앱을 그 어느 때보다 신속하게 제공할 수 있도록 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 AI의 폭발적인 성장과 함께 Google은 AI 시대에 맞게 인프라 관리 방식을 재편하고 있습니다. 2026년 현재까지 Google은 GKE와 Cloud Run을 자율형 AI 시스템, 대규모 추론 워크로드, 안전한 런타임 격리에 최적화된 에이전트 네이티브 고성능 플랫폼으로 전환하기 위해 광범위한 기반 개선사항을 도입해 왔습니다. 최첨단 AI 모델 학습, AI 스타트업 시작, 기업의 AI 전환 중 어떤 단계에 있든 필요한 컨테이너 플랫폼을 찾을 수 있습니다. 주요 내용은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 인프라를 위한 업계 최고 수준의 성능 및 효율성 제공&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 예측 지연 시간 단축:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/whats-new-in-gke-at-next26"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 기본 제공되는 이 ML 기반 기능은 정적 구성 대신 용량을 고려한 라우팅을 사용하여 첫 번째 토큰까지의 시간(TTFT)을 최대 70% 단축합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 자동 KV 캐시 스토리지 계층화: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;KV 캐시 데이터를 RAM, Local SSD, Cloud Storage 간에 자동으로 이동합니다. 이를 통해 메모리 병목 현상을 줄이고, RAM 오프로딩으로 TTFT를 40% 개선하며, 프롬프트 컨텍스트가 큰 경우 Local SSD를 사용하여 처리량을 70% 늘릴 수 있습니다. [&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/google-cloud-next/google-cloud-next-2026-wrap-up"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;1&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;]&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 컨테이너 및 모델 시작 가속화: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 노드 시작 시간이 최대 4배 빨라졌으며 포드 시작 속도도 최대 80% 향상되었습니다. 또한 기본 제공되는 run:AI Model Streamer 통합을 통해 대용량 모델을 Cloud Storage에서 5배 더 신속하게 가져올 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 주문형 서버리스 GPU Scale-to-zero:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Cloud Run은 NVIDIA RTX PRO 6000 Blackwell GPU를 지원하여 700억 개 이상의 파라미터를 사용하는 모델을 주문형으로 서빙할 수 있습니다. 모든 드라이버가 사전 설치되고 5초 이내에 0에서 완전히 프로비저닝된 GPU를 바로 시작하여 서비스를 가동할 수 있습니다. 활성 추론이나 미세 조정 실행이 완료되면 Cloud Run이 인스턴스를 자동으로 0까지 축소하여 유휴 인프라 비용을 없애줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 인프라의 보안 및 확장을 위한 Kubernetes의 진화&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Agent Substrate: &lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 오픈소스이자 보안 강화를 기본으로 설정한 에이전트 실행 런타임으로,&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; 표준 컨테이너 런타임보다 10배 더 높은 밀도&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 수백만 개의 샌드박스를 실행하도록 설계되었습니다. 자율 에이전트 시대에 맞게 특별히 설계된 Substrate는 네이티브 제로 트러스트 커널 및 네트워크 격리 기능을 바탕으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 500회 이상의 일시중지/재개 활성화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 요청을 처리하면서도 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;500ms 미만의 재개 성능&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 제공합니다. Agent Substrate는 모든 Kubernetes 인프라에서 실행되며 GKE에 최적화된 오픈소스 솔루션으로 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor 커널 격리 기술을 기반으로 빌드된&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 신뢰할 수 없는 멀티 에이전트 AI 코드 실행으로부터 호스트 환경을 격리합니다. 또한 1초 미만의 지연 시간으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 최대 300개의 샌드박스&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 처리하는 대규모 보안 실행 환경을 제공하며, Axion 프로세서에서 실행 시 유사한 하이퍼스케일러 클라우드 제공업체보다 최대 30% 향상된 가격 대비 성능을 실현합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Dataplane V2 확장성 한도: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;활성 NetworkPolicy를 구현하는 GKE 클러스터의 아키텍처 용량 한도가 7,500개 노드에서&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/planning-large-clusters"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;클러스터당 15,000개 노드&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;로 두 배 증가하여 대기업 및 AI 고객의 대규모 인프라 요구사항을 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 인텐트 기반 자동 확장:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE가 기본 하드웨어 측정항목 외에도 애플리케이션 인텐트와 커스텀 측정항목을 사용하여 기본적으로 수평으로 자동 확장함에 따라 리소스 할당 반응 시간이 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;25초에서 단 5초로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 단축됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/filestore-agent-volumes"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore 에이전트 볼륨&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 이 새로운 솔루션은 NFS 마운트를 밀리초 단위로 연결 및 분리하여 에이전트가 거의 즉각적으로 작업을 시작/재개할 수 있도록 하며, 기본 Read-Write-Many(RWX) 액세스 및 POSIX 호환 파일 잠금을 통해 쓰기 충돌 없이 안전한 멀티 에이전트 협업을 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;서버리스 컨테이너로 실현하는 차세대 개발자 경험&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;표준 웹 API를 호스팅하거나, 대규모 배치 데이터 작업을 실행하거나, 비동기 메시지 큐를 처리하거나, 복잡한 AI 에이전트를 배포하는 모든 경우에서 Cloud Run의 단일 통합 서버리스 모델로 처리함에 따라 탁월한 개발자 경험과 최대한의 엔지니어링 속도가 실현됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google AI Studio에서 원클릭 프로토타입 제작: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google AI Studio 내에서 직접 풀 스택 애플리케이션을 빌드하고 배포할 수 있어 신속한 프로토타입 제작과 실험에 매우 적합한 환경을 제공합니다. 클릭 한 번으로 바이브 코딩한 애플리케이션을 즉시 패키징하여 Cloud Run에 게시할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 인스턴스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 새로운 기본 요소를 사용하면 Cloud Storage 볼륨 마운트가 통합된 개별 주소 지정 가능 장기 실행 싱글톤 리소스를 관리할 수 있어 OpenClaw와 같이 지속적으로 실행되는 백그라운드 에이전트를 비용 효율적으로 배포할 수 있습니다. 월 약 5.70달러(1 vCPU 및 1 GiB RAM 기준)라는 예측 가능한 고정 요금으로 시작하는 공유 CPU 기본 구성을 통해, Cloud Run 인스턴스는 기존 VM의 불필요한 대기 비용과 운영 오버헤드 없이 상시 작동하는 VM급 환경을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 샌드박스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 500밀리초 미만의 빠른 속도로 구동되는 강력한 격리 환경을 통해, 모델이 생성한 신뢰할 수 없는 코드도 안전하게 실행하며 무단 액세스로부터 호스트 시스템을 철저히 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;다음 단계 수행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 컨테이너 플랫폼의 성능, 보안, 확장성을 새로운 수준으로 끌어올리는 동시에 개방형 생태계에서 미래를 계속 만들어 나가고 있습니다. 지금 바로 에이전트 샌드박스와 Agent Substrate를 살펴보세요. Google은 고객 및 파트너 여러분과 함께 에이전트 인프라의 미래를 만들어 나가고 있습니다. 학습 여정을 계속하려면 다음 리소스를 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/resources/content/2026-gartner-mq-for-container-management"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;2026년 Gartner® Magic Quadrant™의 컨테이너 관리 부문&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; 보고서 사본을 무료로 다운로드하세요.&lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;GKE에서&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;참여: 에이전트 샌드박스&lt;/span&gt;&lt;a href="http://github.com/kubernetes-sigs/agent-sandbox" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;오픈소스 커뮤니티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 참여하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://github.com/agent-substrate/substrate" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;11월 9~12일 솔트레이크시티에서 열리는&lt;/span&gt;&lt;a href="http://goo.gle/KubeConSLC26" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;KubeCon North America 2026&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 참여하세요. 더 다양한 프로그램을 경험하려면 하루 일찍 열리는 GKE Day(11월 9일)에 참석하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Google이&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/application-development/2026-gartner-mq-for-cloud-native-application-platforms?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2026년 Gartner® Magic Quadrant™의 클라우드 네이티브 애플리케이션 플랫폼 부문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 리더로 선정된 이유를 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;지금 바로&lt;/span&gt;&lt;a href="http://cloud.run/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;cloud.run&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 서버리스 애플리케이션의 미래를 만들어 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;sup&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1. Gartner 보고서:&lt;/span&gt;&lt;/span&gt;&lt;a href="https://www.gartner.com/interactive/cc/8353849" rel="noopener" target="_blank"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt; &lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Critical Capabilities for Container Management, 2026년 9월 8일&lt;/span&gt;&lt;/span&gt;&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;
&lt;p&gt;&lt;sup&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner, Gartner Magic Quadrant의 컨테이너 관리 부문, Dennis Smith 외, 2026년 9월 2일&lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner, Critical Capabilities for Container Management, Tony Iams, Wataru Katsurashima, Lucas Albuquerque, Dennis Smith, Bhuvie Chhabra, 2026년 9월 8일. &lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner 및 Magic Quadrant는 Gartner, Inc. 및/또는 그 계열사의 상표입니다.&lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;면책 조항: Gartner는 자사 간행물에 설명된 어떤 회사, 공급업체, 제품 또는 서비스도 보증하지 않으며 기술 사용자에게 최고 등급의 공급업체 또는 기타 지정된 공급업체만 선택하도록 권장하지 않습니다. Gartner 간행물은 Gartner의 비즈니스 및 기술 인사이트 조직의 의견을 담고 있으며, 사실을 진술하는 것으로 해석해서는 안 됩니다. Gartner는 이 간행물과 관련하여 상품성 또는 특정 목적에 대한 적합성 보증을 비롯한 모든 명시적, 묵시적 보증을 부인합니다.&lt;/span&gt;&lt;/span&gt;&lt;/sup&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Wed, 07 Oct 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</guid><category>Cloud Run</category><category>GKE</category><category>Serverless</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Drew Bradstock</name><title>VP Product Management, Orchestration &amp; Kubernetes</title><department></department><company></company></author></item></channel></rss>