<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>컨테이너 및 Kubernetes</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/</link><description>컨테이너 및 Kubernetes</description><atom:link href="https://cloudblog.withgoogle.com/blog/ko/products/containers-kubernetes/rss/" rel="self"></atom:link><language>ko</language><lastBuildDate>Tue, 17 Nov 2026 04:18:00 +0000</lastBuildDate><image><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/static/blog/images/google.a51985becaa6.png</url><title>컨테이너 및 Kubernetes</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/</link></image><item><title>TPU의 복원력과 효율성을 높여주는 GKE 동적 슬라이싱</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-dynamic-slicing-on-tpus/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-dynamic-slicing-on-tpus?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TPU 및 Google Kubernetes Engine(GKE)에서 대규모 AI 워크로드를 실행하려면 모델이 변화하는 속도에 맞춰 조정되는 인프라가 필요합니다. GKE에서 정식 버전으로 제공되는 동적 슬라이싱은 논리적 TPU 슬라이스 형성을 물리적 노드 풀 프로비저닝에서 분리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 TPU 슬라이스에 대해 정적 노드 풀을 만드는 것과 비교할 때, 동적 슬라이싱은 AI 워크로드 시작 시간을 최대 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;5배&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, 워크로드 복구 시간을 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;4.5배&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 단축해 주므로 대규모 환경에서 TPU 굿풋, 효율성, 워크로드 복원력을 극대화할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;워크로드 하나, 노드 풀 하나의 한계 극복 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이전에는 GKE Standard에서 TPU 용량을 관리하려면 별도의 고정된 TPU 슬라이스 토폴로지 노드 풀이 필요했기 때문에 시작 시간과 복잡성이 증가하고 멀티 호스트 노드 풀이 여러 AI 워크로드를 호스팅할 수 없었습니다. 워크로드 요구사항이 변경되면 노드 풀을 수동으로 삭제하고 다시 만들어야 했습니다. 또한 이러한 긴밀한 결합으로 인해 단일 하드웨어 장애가 전체 슬라이스를 다운시키는 대규모 장애 도메인이 생성되어 재프로비저닝 중 복구가 지연되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 문제를 해결하기 위해 Google은 GKE 동적 슬라이싱을 빌드했습니다. 이 기능은 물리적 하드웨어 프로비저닝을 논리적 슬라이스 형성과 분리하고, TPU 광회선 교환(OCS) 기술로 TPU 큐브를 동적으로 결합하여 다양한 대규모 슬라이스 토폴로지(슈퍼 슬라이싱)를 형성하거나, TPU 큐브를 더 작은 슬라이스로 분할하여 노드 풀 내에서 여러 워크로드를 실행(서브 슬라이싱)합니다. 동적 슬라이싱은 워크로드가 정적 노드 풀을 삭제했다가 다시 만들 필요 없이, 필요에 따라 커스텀 TPU 슬라이스 토폴로지를 구성할 수 있도록 지원하여 작업 시작 지연 시간을 줄이고, 하드웨어 장애의 영향 범위를 제한하고, 워크로드 복구를 가속화하고, Fleet 사용률과 효율성을 향상시킵니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슬라이싱으로 플랫폼팀이 얻을 수 있는 몇 가지 주요 이점은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;다운타임 없는 토폴로지 민첩성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기존의 경직된 '삭제 후 생성' 노드 풀 주기를 완전히 제거함으로써, TPU 큐브(16개 VM 노드 풀)를 동적으로 결합하여 대규모 TPU 슬라이스를 형성하거나 AI 워크로드가 제출되는 즉시 더 작은 규모의 슬라이스를 생성할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;작업 시작 시간 최대 5배 단축:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 새로운 노드 풀 배포를 오랫동안 기다리는 대신, 사전 프로비저닝된 TPU 노드 풀에서 논리적 슬라이스 토폴로지를 즉시 구성하여 작업 시작 시간을 최대 5배까지 단축할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Fleet 사용률 향상:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 노드 풀 내에서 더 작은 워크로드의 멀티 테넌트 패킹을 지원하므로 리소스 효율성을 개선하고 유휴 용량을 제거할 수 있습니다. 또한 부분적으로 정상인 노드 풀을 프로비저닝할 수 있으므로 다른 방법으로는 사용이 불가능했을 정상 호스트를 활용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;최대 4.5배 빠른 복구 및 내결함성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 대규모 슬라이스 장애를 TPU 큐브로 격리하고(16-VM 4x4x4 슬라이스 토폴로지), 비정상 큐브를 1~2분 내에 교체하여 복구를 가속화할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;향상된 가시성 및 제어:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 각 큐브 내의 가용 TPU 파티션(슬라이스)에 대해 실시간 상태 및 사용량 측정항목을 포함한 포괄적인 인사이트를 제공하며, 선제적이고 최적화된 워크로드 예약을 용이하게 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;동적 슬라이싱 아키텍처&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 동적 슬라이싱은 두 가지 형태로 제공됩니다. 하나는 단일 TPU 큐브의 크기를 초과하는 대규모 TPU 슬라이스를 만드는 '슈퍼 슬라이싱', 다른 하나는 단일 큐브에서 더 작은 규모의 독립적인 슬라이스를 프로비저닝하는 '서브 슬라이싱'입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슈퍼 슬라이싱&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 동적 슈퍼 슬라이싱은 TPU 광회선 교환(OCS) 기술을 활용하여 워크로드 예약 시 TPU 큐브(4x4x4 슬라이스 토폴로지로 구성된 16개의 VM으로 이루어짐)를 동적으로 연결합니다. OCS 네트워크 구성을 동적으로 변경하면 더 큰 슬라이스 토폴로지가 생성되고 Kubernetes 워크로드 매니페스트에 설명된 워크로드 슬라이스 요구사항에 맞게 조정되어 운영 효율성이 크게 향상됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;슈퍼 슬라이싱은 사용 가능한 모든 TPU 용량을 16-VM(4x4x4) TPU 큐브로 구성된 균일한 노드 풀로 기본 변환하는 방식을 근간으로 합니다. Kubernetes 워크로드 YAML 파일에 TPU 슬라이스 토폴로지가 지정되면 GKE 스케줄러(또는 사용자의 커스텀 스케줄러)가 요청을 식별하고 슬라이스 생성을 인스턴스화합니다. 이 프로세스는 TPU&lt;/span&gt;&lt;a href="http://cloud.google.com/blog/topics/systems/the-evolution-of-googles-jupiter-data-center-network?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;광회선 교환&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 여러 개의 4x4x4 큐브를 함께 연결하고, 지정된 슬라이스 토폴로지를 동적으로 인스턴스화하고, 새로 설정된 슈퍼 슬라이스에 직접 워크로드를 예약합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/1._SUperSliceVisualizer_compressed.gif"
        
          alt="1. SUperSliceVisualizer_compressed"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="fwbyo"&gt;4개의 Ironwood 큐브(GKE 노드 풀로도 프로비저닝됨)를 사용하여 4x4x16 슈퍼 슬라이스(64개의 Ironwood VM과 총 256개의 칩으로 구성)를 형성하는 방법. 런타임 시 이 네 개의 큐브에 있는 모든 TPU 칩에서 TPU 네트워크를 하나로 연결하여 슬라이스를 동적으로 생성합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;동적 서브 슬라이싱&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동적 서브 슬라이싱은 사전 프로비저닝된 단일 TPU 큐브(16 VM 노드 풀)를 필요에 맞게 더 작고 독립적인 서브 슬라이스로 파티셔닝합니다. 균일한 TPU 큐브의 단일 풀을 관리하고 필요에 따라 파티션을 나눌 수 있습니다. 이 접근 방식을 사용하면 완전히 다른 슬라이스 토폴로지 요구사항을 가진 여러 개의 고유한 작업을 동일한 물리적 TPU 큐브 내에서 완전히 격리된 상태로 동시에 실행할 수 있으므로, 전반적인 리소스 사용률을 높이고 큐브의 일부가 비정상 상태인 경우에도 정상 파티션에서 워크로드를 복구하고 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;워크로드가 예약되면 서브 슬라이싱은 수신되는 Kubernetes 매니페스트에서 특정 슬라이스 토폴로지 요구사항을 동적으로 파싱합니다. 그런 다음 큐브 내에서 정상 파티션을 찾고, 고속 칩 간 상호 연결(ICI) 네트워크를 활성화하여 서브 슬라이스를 형성하고, 새로 생성된 슬라이스에 워크로드를 배포합니다. 워크로드가 완료되면 스케줄러가 자동으로 슬라이스를 해체('변형')하고 파티션을 공유 풀로 반환하므로 GKE 노드 풀을 다시 만들지 않아도 향후 워크로드에 즉시 사용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/2._dynamic_sub_slicing_visualization.gif"
        
          alt="2. dynamic_sub_slicing_visualization"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="hvrvr"&gt;GKE 서브 슬라이싱이 최적의 TPU 리소스 활용을 위해 16개 호스트 TPU 큐브를 더 작고 독립적인 슬라이스로(예: 16개 칩이 있는 2x2x4에서 2x2x2로) 동적으로 파티셔닝하는 방법.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 사용 사례&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슬라이싱을 활용하면 8,000개 칩의 대규모 단일 슬라이스부터 수천 개 칩의 멀티 슬라이스, 단일 호스트 4개 칩 구성에 이르기까지 대규모 학습에 적합한 방대한 TPU 슬라이스 토폴로지를 구성할 수 있습니다. 이를 통해 동일한 환경 내에서 다양한 이기종 AI 워크로드를 지원할 수 있습니다. 대규모 워크로드의 요구사항에 맞게 설계된 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;동적 슬라이싱&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;은 수천 개의 가속기에서 실행되는 AI 워크로드에 복원력과 운영 효율성을 제공합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;서브 슬라이싱&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;은 소규모 배포부터 대규모 배포에 이르는 추론 워크로드를 효율적으로 확장할 수 있는 다기능성을 제공합니다.  &lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;GKE용 동적 슬라이싱 스케줄러 &lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE는 동적 슬라이싱에 최적화된 배포 가능한 스케줄러를 제공합니다. 자체 커스텀 스케줄러를 사용하여 워크로드 배치를 관리하는 것도 가능합니다. 이러한 유연성 덕분에 선제적인 상태 모니터링을 기반으로 지능적인 워크로드 예약을 수행할 수 있습니다. 자세한 내용은&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dynamic-slicing"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;노드 풀 사전 프로비저닝&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;시작하려면 각각 16개의 VM(TPU 큐브 또는 하위 블록에 매핑)으로 구성된 노드 풀에 TPU 용량을 사전 프로비저닝하는 일회성 작업을 수행해야 합니다. 이러한 기본 변환을 통해, 필요에 따라 해당 단위를 동적으로 연결하여 커스텀 슬라이스 토폴로지를 구성할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슬라이싱은 증분 프로비저닝 노드 풀이라는 새로운 유형의 노드 풀을 도입합니다. 증분 프로비저닝 노드 풀은 TPU 슬라이스를 만들기 위한 기존의 '전부 아니면 전무(all-or-nothing)' 접근 방식을 대체하는 내결함성 모델입니다. GKE는 4x4x4(16 VM) 슬라이스의 일부 호스트에 결함이 있는 경우에도 사용 가능한 모든 정상 호스트를 사용하여 노드 풀을 프로비저닝합니다. 시스템은 지속적으로 상태를 조정하여 결함이 있는 호스트가 복구되면 대기 중인 노드를 자동으로 추가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 설정은 동적 서브 슬라이싱의 기본 요건으로, 고속 ICI 네트워크 메시를 동적으로 구성할 수 있게 해줍니다. 증분 프로비저닝을 사용하면 전체 용량에 대한 노드 풀을 한 번에 생성할 수 있으므로, 운영 부담을 줄이고 정상 노드에서 서브 슬라이싱을 사용 설정하여 TPU 사용률을 극대화할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슬라이싱의 워크로드 예약&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 클러스터에서 슬라이스 컨트롤러를 사용 설정하고 GKE 스케줄러를 구성한 후에는 간단한 워크로드 주석을 사용하여 워크로드에 동적 슬라이스가 필요함을 나타낼 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 주석이 감지되면 스케줄러는 자동으로 GKE 슬라이스 컨트롤러를 트리거하여 슬라이스&lt;/span&gt;&lt;a href="https://kubernetes.io/docs/concepts/extend-kubernetes/api-extension/custom-resources/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;커스텀 리소스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(CR)를 생성하고 런타임에 동적 슬라이스를 형성합니다. 슬라이스가 형성되면 워크로드가 동적 슬라이스에 예약됩니다. 예시는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/use-gke-dynamic-slicing"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참조하세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;복구&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;호스트 또는 네트워크 장애로 인해 워크로드가 중단되면 GKE 스케줄러는 지정된 복구 전략을 통해 복원력과 지속적인 운영을 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;슈퍼 슬라이싱(TPU 큐브 1개보다 큰 슬라이스): &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하드웨어 장애가 더 작은 단위인 TPU '큐브'로 격리되므로 스케줄러가 비정상 큐브를 제거하고 정상 큐브를 모두 선택하여 슬라이스를 빠르게 재구성할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;서브 슬라이싱: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;결함이 있는 인프라의 슬라이스는 사용 가능한 정상 파티션을 사용하여 동적으로 재구성됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;다음 단계 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동적 슬라이싱(슈퍼 슬라이스 및 서브 슬라이스)은 TPU에 사용할 수 있으며 TPU를 사용할 수 있는 모든 리전에서 제공됩니다. 동적 슬라이싱은 예약 모드의 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/tpu/docs/all-capacity-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU 모든 용량&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서만 지원됩니다. 동적 슬라이싱의 실제 예시는 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dynamic-slicing"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참조하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 17 Nov 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-dynamic-slicing-on-tpus/</guid><category>AI &amp; Machine Learning</category><category>GKE</category><category>TPUs</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>TPU의 복원력과 효율성을 높여주는 GKE 동적 슬라이싱</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-dynamic-slicing-on-tpus/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Kavitha Gowda</name><title>Product Manager, Google Cloud</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Wenzhe Li</name><title>Engineering Manager</title><department></department><company>Cloud AI</company></author></item><item><title>자율 에이전트를 위한 개방형 인프라 지원</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI가 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;인간 규모에서 에이전트 규모로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;기록 시스템에서 작업 시스템으로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;단순한 요청에서 복잡한 에이전트형 워크플로로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 발전함에 따라 플랫폼의 기반이 되는 워크로드가 완전히 변화하고 있습니다. 에이전트는 지속적인 스테이트풀(Stateful) 루프에서 작동합니다. 즉, 작업을 제안하고, 하위 에이전트를 가동하고, 샌드박스 내에서 코드 또는 도구 호출을 실행하고, 결과를 모델에 다시 입력하여 다음 턴을 진행합니다. 이 루프를 대규모로 실행하려면 2010년대에 Kubernetes와 Cloud Native Computing Foundation(CNCF)이 컨테이너에 도입한 것과 동일한 개방형 기반과 중립적인 거버넌스가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud는 Google에서 시작된 세 가지 오픈소스 프로젝트인&lt;/span&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 CNCF에 기증할 것임을 발표합니다. 이 프로젝트들은 지난달 CNCF 샌드박스에 채택된 바 있습니다. 이 개방형 스택을 관리형 프로덕션에 도입하고 TPU와 GPU 전반에서 그 활용을 가속화하기 위해, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Agent Substrate가 1.0 마일스톤에 도달했으며 이제 &lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;로 정식 버전이 제공된다는 소식도 함께 전해드립니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 프로젝트는 현재 커뮤니티 관리자 및 독립적인 빌드 인프라와 함께 CNCF 샌드박스 온보딩을 진행 중이며, gVisor는 인큐베이션 단계로 나아가고 있습니다. 이번 출시를 통해 모든 Kubernetes 클러스터, 모든 클라우드, 그리고 CPU, GPU, TPU에서 실행되는 개방형 스택을 제공할 수 있게 되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;유휴 컴퓨팅 오버헤드 없이 격리된 에이전트 환경을 확장하는&lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;(현재 1.0 버전이며 GKE에서 정식 버전으로 제공):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 몇 초간 코드나 테스트를 실행한 다음 모델 턴, 외부 API 또는 사람의 입력을 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;기다립니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 이와 같은 일시중지 중에 전용 컨테이너를 활성 상태로 유지하면 메모리와 컴퓨팅이 묶이게 됩니다. Agent Substrate는 스테이트풀(Stateful) 에이전트 세션과 ID를 활성 컴퓨팅에서 분리하고, 유휴 에이전트를 스토리지에 스냅샷으로 저장하고, 500밀리초 이내에 복원하여 컨테이너 밀도의 10배에 달하는 수백만 개의 샌드박스를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스 내에서 신뢰할 수 없는 코드를 격리하기 위해 &lt;/strong&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; 사용:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 검토되지 않은 코드와 외부 패키지를 정기적으로 생성하고 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하므로 호스트 Linux 커널을 공유하는 표준 컨테이너는 보안 위험이 됩니다. gVisor는 모든 Linux 노드에서 컨테이너 패킹 밀도로 경량 사용자 공간 애플리케이션 커널 내부에서 생성된 코드를 격리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;효율적인 사후 학습 및 서빙 배포를 위한 &lt;/strong&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 강화 학습(RL)을 통해 에이전트를 학습시키면 빌더는 수백만 개의 병렬 샌드박스 출시를 통해 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;학습&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;할 수 있는 개방형 루프를 얻게 됩니다. OpenRL은 Kubernetes 환경에서 일반 Python으로 자체 호스팅되는 RL 사후 학습 루프를 조정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Substrate를 통해 완전히 격리된 에이전트 환경 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트에는 격리된 컴퓨팅 리소스와 엄격한 액세스 경계가 필요하지만, 대부분의 시간을 대기하는 데 사용합니다. 몇 초간 코드를 실행한 다음 모델이 추론하거나 사람이 응답하는 동안 일시중지되기 때문입니다. 에이전트가 민감한 키를 보유할 필요 없이 승인된 도구와 서비스에만 액세스할 수 있도록 하려면 별도의 ID와 중앙 적용 지점이 필요합니다. 표준 Kubernetes에서 활성 에이전트마다 별도의 포드를 제공하면 에이전트가 유휴 상태일 때도 메모리와 CPU가 묶여 있게 됩니다. 이로 인해 컨트롤 플레인은 그렇게 설계되지 않았음에도 수백만 개의 영구 객체를 추적해야 하며, ID가 포드에 직접 연결됩니다. 동시에 ID는 본질적으로 Kubernetes 포드와 연결되어 있기 때문에, 액세스 및 보안 비밀을 제어하는 일이 기하급수적으로 복잡해집니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Agent Substrate는 스테이트풀(Stateful) 에이전트를 기본 컴퓨팅에서 분리하는 방식으로 이 문제를 해결합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;행위자(Actor)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 각 에이전트의 메모리, 파일, 개별 ID를 보유합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;작업자(Worker)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 웜 Kubernetes 풀에서 가져온 재사용 가능한 실행 샌드박스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;게이트웨이&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;는 인바운드 및 아웃바운드 액세스 제어를 시행하고 행위자 ID를 기반으로 보안 비밀을 삽입하여 민감한 키를 에이전트 환경 외부에 보관합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 모델 턴 또는 도구 호출을 기다리기 위해 일시중지되면 Agent Substrate는 에이전트의 메모리와 파일을 스토리지에 스냅샷으로 저장하고 즉시 작업자를 웜 풀로 반환합니다. 다음 요청이 도착하면 Agent Substrate는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;500밀리초 이내&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 사용 가능한 작업자 중 하나에 행위자를 복원하고 중단한 지점부터 작업을 재개합니다. 집이 아니라 호텔 방이라고 생각하면 됩니다. 도시를 떠날 때는 방을 잡아두지 않지만, 돌아오면 새 방이 준비되는 것과 같습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_s5MbWZe.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="26rg5"&gt;Agent Substrate는 스테이트풀(Stateful) 행위자와 정책 게이트웨이를 Kubernetes 작업자의 웜 풀에서 분리하여 500밀리초 이내에 유휴 세션을 복원합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2026년 5월 공개 개발이 시작된 이래로 Agent Substrate 프로젝트는 100명 이상의 기여자가 참여하는 규모로 성장했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=0&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Nous Research&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 초기 설계 파트너는 이를 기반으로 Hermes Enterprise를 빌드하고 있으며, 이미&lt;/span&gt;&lt;a href="https://kagent.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;kagent&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 다른 CNCF 프로젝트를 지원하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;1.0 마일스톤&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 도달했다는 것은 Agent Substrate가 수백만 개의 샌드박스에서 프로덕션 워크로드를 수용할 수 있음을 의미합니다. 표준 컨테이너 런타임의 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;10배에 달하는 밀도&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 구현하며, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 500회 이상의 일시중지 및 재개 활성화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 수행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이를 바탕으로, 에이전트 수명 주기 관리 방식은 그대로 유지하면서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Hypervisor microVM&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;gVisor&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 격리 경계로 선택할 수 있습니다. Agent Substrate는 표준 OCI 컨테이너를 실행하므로 에이전트 개발 키트(ADK) 에이전트, 스테이트풀(Stateful) 코딩 환경, 생산성 에이전트와 즉시 호환됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE에서 Agent Substrate&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;가 정식 버전으로 출시됨&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 따라, 이 런타임을 Google Cloud에서 관리형 기능으로 실행하거나 모든 Kubernetes 클러스터에 오픈소스 코드를 배포할 수 있습니다. 클러스터를 관리할 필요 없이 API를 통한 전용 microVM 컴퓨팅 서비스를 원하는 팀을 위해, Agent Substrate는 평가 및 RL 파이프라인을 위한 빠른 최대 절전 모드와 병렬 환경 포크 기능을 제공하는 Titanium microVM 서비스인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 보완했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://spiritt.ai/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SPIRITT&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 GKE 기반의 Agent Substrate를 바탕으로 SPIRITT Workspace를 구축하고 있습니다. 실제 작업은 에이전트가 자율적으로 실행하고, 인간은 협업을 통해 방향성을 제시할 수 있는 플랫폼입니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;"SPIRITT에서는 모든 고객에게 자율적인 AI 작업공간이 제공되며, 이 작업공간에서 에이전트 또는 에이전트 그룹이 코드 및 개발 주기부터 마케팅 및 운영에 이르기까지 조직 전반에서 실제 작업을 빌드, 실행, 배포합니다. GKE 기반 Agent Substrate는 에이전트가 코드를 안전하게 실행할 수 있도록 보안 격리를 제공하고, 자체 런타임을 플러그인할 수 있는 확장성을 제공하며, 모든 고객의 에이전트를 경제적으로, 그리고 대규모로 실행할 수 있는 밀도를 제공합니다." - Tamir Magen, SPIRITT CEO&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;gVisor로 신뢰할 수 없는 에이전트 코드 격리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 기록 시스템에서 작업 시스템으로 전환되면, 생성된 셸 명령어와 검토되지 않은 패키지를 실행하게 됩니다. 표준 컨테이너는 노드의 다른 모든 워크로드와 호스트 Linux 커널을 공유하므로 신뢰할 수 없는 코드를 다룰 때는 위험할 수 있습니다. 하드웨어 microVM은 강력한 경계를 제공하며, Agent Substrate는 이를 기본적으로 지원합니다. 많은 팀에서는 베어메탈이나 중첩 가상화를 사용할 수 없는 경우에도 표준 Linux 인스턴스에서 컨테이너 밀도로 실행되는 강력한 격리를 필요로 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Go로 작성된 경량 애플리케이션 커널을 통해 이러한 격리를 제공합니다. 컨테이너와 호스트 OS 사이에 위치한 gVisor는 사용자 공간에서 애플리케이션 시스템 호출을 가로채어 처리하므로 신뢰할 수 없는 코드가 호스트 커널과 직접 통신하는 일이 없습니다. 2018년 Google에서 오픈소스로 공개한 gVisor는 매일 GKE Sandbox와 Cloud Run에서 수백만 개의 샌드박스를 실행합니다. Google 외에도&lt;/span&gt;&lt;a href="https://www.anthropic.com/engineering/how-we-contain-claude" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Anthropic&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://openai.com/index/securing-research-infrastructure-for-advanced-ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenAI&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 gVisor를 사용하여 코드 실행을 격리하고,&lt;/span&gt;&lt;a href="https://modal.com/docs/guide/security" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Modal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://www.snowflake.com/en/blog/engineering/rebuild-snowpark-execution-sandbox-with-gvisor/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Snowflake&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 gVisor를 기반으로 실행 샌드박스를 운영하며,&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2021/12/02/running-gvisor-in-production-at-scale-in-ant/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ant Group&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/04/23/scaling-agentic-rl-sandboxes-to-the-millions-with-gvisor-at-tencent/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Tencent&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 대규모 프로덕션 환경에서 gVisor를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor는 세 가지 기능 덕분에 에이전트 Fleet에 적합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨테이너 밀도 및 유연한 메모리:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 고정된 크기의 RAM 블록을 미리 할당하는 VM과 달리, gVisor는 워크로드에 따라 메모리가 확장 및 축소되는 컨테이너 프로세스 모델을 유지하므로 각 노드에 더 많은 에이전트를 배치하여 에이전트당 비용을 절감할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기본 GPU, TPU, 스냅샷 지원:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; gVisor는&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/gpu/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/tpu/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/docs/user_guide/checkpoint_restore/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;체크포인트/복원&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 기본적으로 지원하므로 에이전트가 샌드박스 내에서 가속기에 액세스하고 유휴 상태일 때 일시중지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Linux가 실행되는 모든 곳에서 실행:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 중첩 가상화가 필요하지 않으므로 gVisor는 모든 클라우드 또는 로컬 Linux 노드에 동일하게 배포됩니다.&lt;/span&gt;&lt;a href="https://northflank.com/blog/gpu-sandboxes" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;예를 들어 &lt;/span&gt;&lt;a href="https://northflank.com/blog/gpu-sandboxes" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Northflank&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 중첩된 가상화를 사용할 수 없을 때 gVisor를 사용하여 GPU 워크로드를 샌드박스 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor를 CNCF에 기증함으로써 커뮤니티의 오랜 성능 장벽을 해소할 수 있게 되었습니다. Google을 비롯한 샌드박스 인프라 제공업체들은 모두 gVisor의 I/O 성능을 네이티브 Linux에 가깝게 만드는 호스트 커널 패치를 적용하고 있습니다. 하지만 이 프로젝트가 개별 공급업체 소유였던 당시에는 업스트림 Linux 관리자들이 패치 병합을 거부했습니다. 중립적인 CNCF 거버넌스로 전환하면 이러한 커널 최적화를 업스트림할 수 있는 길이 열리므로 모든 빌더가 기본적으로 네이티브에 가까운 성능을 즉시 얻을 수 있습니다. 이러한 흐름에 따라&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/10/02/gvisor-cncf/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ant Group, Modal, Tines가 gVisor의 관리자로 합류&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하기로 했으며, OpenAI, Tencent, NVIDIA도 기여를 이어나가고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;OpenRL을 사용하여 Kubernetes에서 RL 사후 학습 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;프로덕션에서 에이전트를 실행하는 샌드박스는 강화 학습으로 에이전트를 학습시키는 데 필요한 환경과 정확히 동일합니다. 오늘날 대부분의 첨단 기술 발전은 RL 사후 학습에서 비롯됩니다. 즉, 실제 도구 내에서 수백만 번의 멀티턴 롤아웃을 실행하고, 결과를 평가하고, 모델 가중치를 업데이트하는 방식입니다. 이 루프를 직접 빌드하려면 일반적으로 모놀리식 RL 프레임워크를 포크하고, 학습 알고리즘을 건드리기 전에 분산 가중치 전송을 디버깅해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 깔끔한 자체 호스팅 Python 사후 학습 루프를 Kubernetes 클러스터에 바로 제공하며, 다음과 같은 기능을 갖추고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;간단한 Python 프리미티브:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Tinker 호환 API를 통해 네 가지 깔끔한 프리미티브(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;sample&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;forward_backward&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;optim_step&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;save_state&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)를 사용하여 학습 루프를 작성하는 동시에 가중치와 데이터를 자체 클러스터에 유지합니다. 기존 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;tinker-cookbook&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 레시피는 변경 없이 실행되며 LoRA 어댑터와 전체 파라미터 미세 조정을 모두 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;플러그형 엔진 및 Kubernetes 예약:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; OpenRL은 Kubernetes 동적 리소스 할당(DRA)을 사용하여 가속기 풀을 파티셔닝하고 공유 풀에서 RL 작업을 조정합니다. 플러그형 아키텍처는 학습을 위한 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;PyTorch&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;/&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;AutoModel&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, 샘플링을 위한 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;vLLM&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;을 포함한 표준 엔진을 사용합니다. Gemma와 Qwen은 즉시 사용 가능하도록 검증되었으며, TPU 지원이 로드맵에 포함되어 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;OpenRL은 Red Hat, Google Cloud, IBM Research, CoreWeave, NVIDIA가 출범한 CNCF 분산 추론 및 RL 프로젝트인&lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와도 연동됩니다. 이 프로젝트는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;최근 1.0 버전에 도달&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;했으며, RL의 두 단계 모두에서 가속기를 계속 사용하도록 유지합니다. 여기서 llm-d는 다음을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프리픽스 인식 롤아웃 라우팅:&lt;/strong&gt;&lt;a href="https://llm-d.ai/docs/dev/architecture/router" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 라우터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 일치하는 KV 캐시 프리픽스를 이미 보유한 샘플러로 멀티턴 롤아웃을 라우팅하여 중복되는 프리필 컴퓨팅을 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;학습과 샘플링 간의 GPU 타임 슬라이싱:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; RL 학습에서는 샘플러와 트레이너가 번갈아 가며 작동하므로 한 세트의 칩이 유휴 상태일 때 다른 세트가 작동합니다. OpenRL은&lt;/span&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 타임 슬라이싱&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 샘플링과 학습 간에 동일한 물리적 GPU를 공유하고, Agent Substrate가 유휴 CPU 및 RAM을 회수하는 것과 동일한 방식으로 유휴 가속기 주기를 회수합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_oAroVYF.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="58c28"&gt;OpenRL은 Kubernetes에서 일반 Python RL 루프를 구동하여 Agent Substrate 샌드박스 내에서 에피소드를 실행하고, llm-d는 롤아웃을 라우팅하고 가속기를 타임 슬라이스합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;OpenRL은 이 스택에서 가장 최근에 추가된 레이어입니다. 2월에 연구 프리뷰로 시작되었으며, CNCF에 조기 도입할 예정입니다. 궁극적인 목표는 모든 가속기에서 모든 모델에 적용할 수 있는 하나의 레시피를 만드는 것이며, 어느 한 기업이 단독으로 이를 달성할 수는 없습니다. 이 목표를 달성하기 위해서는 가속기(NVIDIA, AMD, Intel, TPU), 추론 엔진(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;llm-d&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;vLLM&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;SGLang&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;), 학습 프레임워크, 그리고 Gemma 및 Qwen을 비롯한 개방형 가중치 모델을 빌드하는 사람들이 필요합니다. 설계가 확정되기 전에 중립적인 CNCF 거버넌스를 설정해 두면 모두가 함께 이를 구축할 수 있는 여지가 생깁니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 CNCF가 필요한 이유&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 에이전트의 보안과 효율성을 개선하려면 런타임, 스케줄러, 컴파일러, 실리콘 전반에 걸친 공동 설계가 필요합니다. 지난 한 해 동안은 비용 부담이 적고 격리된 샌드박스 환경과 개방형 사후 학습 인프라의 필요성이 매우 분명하게 드러났습니다. Agent Substrate, gVisor, OpenRL을 CNCF에 기증하는 과정에서 개방형 협업과 공동 투자에 대한 Google의 의지는 더욱 확고해졌습니다. 특정 공급업체에 종속되지 않는 소유권 덕분에 클라우드 제공업체, 하드웨어 공급업체, 독립 소프트웨어 회사들이 에이전트형 워크로드의 향후 성장 과정에 동등하게 참여할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 이번 기증이 Kubernetes의 사례에서 보았던 것과 마찬가지로 여러 프로젝트를 통해 에이전트형 워크로드의 개발과 채택 속도를 더욱 가속화할 것이라고 믿습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;KubeCon에서 Google Cloud를 만나보세요&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;솔트레이크시티에서 열리는&lt;/span&gt;&lt;a href="https://events.linuxfoundation.org/kubecon-cloudnativecon-north-america/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;KubeCon + CloudNativeCon North America&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(11월 9~12일)에서 여러 세션을 둘러보고 Google Cloud 부스에서 Agent Substrate, OpenRL, gVisor에 대해 자세히 알아보세요. Modal, Anyscale, Tecton을 비롯한 커뮤니티 파트너로부터 이 개방형 스택이 에이전트형 워크로드에 어떤 의미가 있는지도 곧 들어보실 수 있습니다. 그동안 다음을 확인해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;CNCF 샌드박스 신청 현황 지켜보기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; gVisor&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/521" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#521&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, Agent Substrate&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/523" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#523&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, OpenRL&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/518" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#518&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 동기 프로젝트인 KubeRay&lt;/span&gt;&lt;a href="https://github.com/cncf/sandbox/issues/525" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;#525&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;직접 확인해 보기:&lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ate.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gvisor.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://openrl.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;openrl.dev&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 바로 GKE에서 에이전트 실행해 보기:&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/sandbox-pods"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Sandbox&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;심층 분석 읽어보기:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://gvisor.dev/blog/2026/10/02/gvisor-cncf/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;gVisor의 CNCF 합류&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://opensource.googleblog.com/2026/06/introducing-openrl-a-self-hosted-post-training-api-for-fine-tuning-llms.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenRL 소개&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt; &lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Thu, 12 Nov 2026 21:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</guid><category>GKE</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>자율 에이전트를 위한 개방형 인프라 지원</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/open-infrastructure-for-autonomous-agents-comes-to-cncf/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Drew Bradstock</name><title>VP Product Management, Orchestration &amp; Kubernetes</title><department></department><company></company></author></item><item><title>10월 AI 인프라 및 조정 기능에 관한 새로운 소식</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud AI 인프라팀은 10월에도 새로운 제품 출시와 업데이트를 통해 오늘날의 AI 및 에이전트형 워크로드를 확장 가능하고 효율적으로 지원하며 바쁜 한 달을 보냈습니다. 또한 NVIDIA GTC, PyTorch Conference, AGNTCon + MCPCon 등 주요 업계 이벤트에서 고객, 파트너, 더 넓은 커뮤니티와 Google Cloud의 성과를 공유할 수 있어 영광이었습니다. 그럼 시작하겠습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 컴퓨팅 서비스:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 자율 AI 에이전트의 보안과 확장성을 강화하기 위해 특별히 설계된 컴퓨팅 서비스로, Agent Gateway 및 Agent Registry와 같은 확장된 에이전트 거버넌스 기능과 함께 고성능의 하드웨어 격리 microVM 샌드박스를 제공합니다. 주요 이점으로는 1초 미만의 빠른 활성화, 쓰기 시 복사 방식의 메모리 공유를 통한 초고밀도 워크로드 실행, 엔터프라이즈급 보안 및 ID 관리, 크로스 클라우드 관측 가능성 등이 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/google-cloud-infrastructure-at-nvidia-gtc-berlin-2026?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA GTC Berlin 2026&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 NVIDIA Vera Rubin NVL72 플랫폼 기반의 A5X 인스턴스, Virgo Network 수평 확장 패브릭, Managed Lustre 스토리지를 포함한 에이전트형 인프라의 업데이트를 발표했습니다. 공동 개발한 이러한 기술은 기업에 더 빠른 성능과 향상된 소버린 AI 제어 기능을 제공하며, 고급 컨피덴셜 컴퓨팅 기능을 통해 복잡한 다단계 모델을 안전하고 효율적으로 학습시키고 배포할 수 있도록 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE용 CPU 시작 부스트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 프리뷰 버전은 Kubernetes 인플레이스 포드 크기 조절을 사용하여 초기 설정 중에 컨테이너의 CPU 리소스를 동적으로 늘리고, 컨테이너를 다시 시작할 필요 없이 안정 상태 수준으로 다시 줄입니다. 이 기능은 시작 시 발생하는 성능 제한을 해소하고 리소스 요구량이 많은 워크로드의 콜드 스타트 속도를 최대 2배까지 높여 클라우드 인프라 비용을 절감하는 데 도움이 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 제품 업데이트: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE)용 Wiz 런타임 센서 부가기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 프리뷰 버전은 Standard 및 Autopilot GKE 클러스터 모두에서 Wiz의 eBPF 런타임 위협 감지 기능을 사용할 수 있으며, 간단한 배포, 자동화된 수명 주기 관리, 엔터프라이즈 사용자 인증 정보 보안, Fleet 전체 거버넌스 등의 이점을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;현대화 도구:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 마침내 하나로 통합되었습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/infrastructure-modernization/google-cloud-modernize-accelerate-transformation-with-ai?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Modernize&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Migration Center, Google Cloud VMware Engine,&lt;/span&gt;&lt;a href="https://cloud.google.com/solutions/mainframe-modernization?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud 메인프레임 현대화&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 새로운 EKS-to-GKE Migration Agent를 비롯한 Google Cloud의 마이그레이션 및 현대화 도구를 단일 포트폴리오로 통합합니다. 이제 엔터프라이즈팀은 인프라 평가, 플랫폼 현대화, 애플리케이션 현대화 전반에서 목적에 맞게 빌드된 에이전트 기능을 사용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/serverless/temporal-serverless-workers-on-cloud-run-worker-pools?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run의 Temporal 서버리스 작업자&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는&lt;/span&gt;&lt;a href="https://temporal.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Temporal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 태스크 큐 수요에 따라 작업자 풀을 자동으로 확장하고 유휴 상태일 때는 0으로 축소합니다. 이 통합은 클러스터 관리의 필요성을 없애고 비용을 절감하며, Temporal Worker Versioning을 사용하여 스테이트풀(Stateful) 장기 실행 워크플로와 AI 에이전트 워크로드를 안전하게 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 제품:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 1.0&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 모델 서버 클러스터를 조정된 서빙 풀로 전환하여 Google Cloud TPU와 GPU가 혼합된 Fleet 전반에서 분산 LLM 추론을 통합하는 오픈소스 Kubernetes 네이티브 서빙 스택입니다. Google과 파트너가 공동으로 개발한 이 프로젝트는 캐시 인식 라우팅, 계층형 KV 캐시 오프로딩, 우선순위 기반 흐름 제어와 같은 프로덕션 환경에서 즉시 사용할 수 있는 이점을 제공하여 컨텍스트 재사용을 획기적으로 개선하고, 첫 토큰 생성 시간 지연을 줄이며, 멀티 테넌트 에이전트 워크로드를 효율적으로 확장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud는 Meta와 협력하여 Google TPU를 GPU 및 CPU와 함께 PyTorch 생태계에 직접 통합하는 네이티브 PyTorch 스택인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TorchTPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 오픈소스로 공개했습니다. 이제 개발자는 Hugging Face, vLLM, TorchTitan과 같은 익숙한 프레임워크를 사용하여 TPU에서 모델을 네이티브로 학습, 서빙, 배포할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Distributed Cloud 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 엄격한 주권 규정에 따라 운영되는 조직은 데이터 처리에 AI를 활용하고 싶어도 데이터를 클라우드로 전송할 수 없습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/hybrid-cloud/new-innovations-in-google-distributed-cloud?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;최신 버전의 Google Distributed Cloud(GDC) 에어 갭&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 이러한 격리된 환경에서도 프런티어 AI 모델과&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/hybrid-cloud/managed-rag-search-inside-the-sovereign-perimeter-gemini-on-gdc-enterprise-search?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gemini를 활용한 멀티모달 엔터프라이즈 검색 기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용할 수 있도록 지원합니다. 또한 GDC 에어 갭 적용 환경은 NVIDIA Blackwell Ultra 아키텍처 기반의 NVIDIA HGX B300 시스템을 지원하며, 향상된 네트워킹 및 보안 기능을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에지 추론 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google은 OpenGL ES, OpenCL, Metal, WebGPU 전반의 하드웨어 복잡성을 추상화하는 LiteRT용 크로스 플랫폼 온디바이스 GPU 컴퓨팅 엔진인&lt;/span&gt;&lt;a href="https://developers.googleblog.com/ml-drift-next-gen-gpu-aiml-inference-at-the-edge/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ML Drift&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 오픈소스로 공개했습니다. 이 프레임워크는 에지에서 기존 머신러닝 워크로드와 고급 생성형 AI 모델 모두에 최고의 성능, 향상된 5D 텐서 지원, 높은 메모리 효율성을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개방형 가중치 모델 지원:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Reflection의 Beam은 Apache 2.0 라이선스에 따라 출시된 501개 파라미터의 개방형 가중치 모델로, 첨단 소프트웨어 엔지니어링과 장기 에이전트 작업을 위해 특별히 설계되었습니다.Google Cloud는 AI 하이퍼컴퓨터 및 NVIDIA AI 인프라에서 Beam을 서빙할 수 있도록 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;당일부터 지원하고 즉시 실행 가능한 배포 레시피를 발표&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 네트워크 참조 아키텍처:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/developers-practitioners/networking-for-ai-inference-model-serving-gke-only-and-for-all-other-backends?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 추론 모델 서빙을 위한 네트워킹 - GKE 전용 및 기타 모든 백엔드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Private Service Connect, Apigee API 관리, Model Armor를 사용하여 중앙 집중식 거버넌스와 비공개 IP 라우팅을 제공하는 AI 추론 모델 서빙을 위한 참조 아키텍처에 대해 알아볼 수 있습니다. 이러한 아키텍처는 GKE, Cloud Run, 하이브리드 클라우드 전반에서 멀티 모델 확장과 프롬프트 보안을 간소화합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-2-dynamic-slicing-enhancements/406815" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 TPU 관측 가능성 이야기: 2부 - 동적 슬라이싱 개선 사항&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 AI 플랫폼 수석 엔지니어인 Alex가 흥미로운 스토리 형식의 관측 가능성 가이드를 통해 차세대 v7 TPU를 위한 GKE의 새로운 동적 슬라이싱 관측 가능성 도구와 측정항목을 자세히 설명합니다. 실제 사례와 유용한 명령줄 스니펫을 통해 단계별 진단 워크플로를 살펴보세요.&lt;/span&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-1/397955" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기에서 1부를 확인하세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer?_gl=1*161z6lh*_ga*NTIxMzA0MjUwLjE3OTA5Njg2MDE.*_ga_4LYFWVHBEB*czE3OTA5NzAxNzYkbzgkZzEkdDE3OTA5NzAzNTAkajE4JGwwJGgw&amp;amp;e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 프런티어 연구소인 AI21은 Jamba 제품군을 학습시킬 새로운 스택이 필요했고, A3 및 A3 Ultra 인스턴스에서 GKE로 구성된 AI 하이퍼컴퓨터를 선택했습니다. AI21은 이를 통해 우선순위가 높은 작업의 대기 시간을 72시간에서 12시간으로 단축하고, 수동 스케줄링 개입 횟수를 주당 20회에서 0회로 줄였다고 밝혔습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/media-entertainment/how-visko-streams-real-time-world-models-on-google-cloud-tpus?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Visko, Google Cloud TPU에서 실시간 세계 모델 스트리밍&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 대화형 세계 모델을 개발하는 AI 스타트업 Visko는 동영상 생성, 초해상도 업스케일링, 오디오 동기화 기능을 결합한 엔드 투 엔드 실시간 추론 파이프라인을 단일&lt;/span&gt;&lt;a href="https://cloud.google.com/tpu?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud TPU 슬라이스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 배포했습니다. 이 블로그에서는 이 팀이 파이프라인을 설계한 과정, 아키텍처 최적화 기법, 그리고 초저지연 생성형 AI를 구축하려는 다른 스타트업에 도움이 될 만한 실전 팁을 소개합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ZenteiQ, GKE 및 llm-d를 통해 물리적 AI 추론을 4배 확장&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 인도 AI 스타트업인 ZenteiQ는 물리 법칙, 지배 방정식, 수치 솔버를 이해하는 모델을 사전 학습시키기 위해 여러 모델 제품군에서 실행되며 검증된 데이터 세트를 학습 실행에 제공하는 대규모 배치 합성 데이터 생성 파이프라인을 설계하고 빌드했습니다. GKE와 GKE Inference Gateway를 통해 ZenteiQ는 파이프라인 내에 추론 라우팅 레이어를 제공하여 집계 추론 처리량을 4.07배 확장하고 가속기 1,000개당 일일 토큰 생성량을 14억 7천만 개에서 59억 7천만 개로 늘릴 수 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/customers/paloaltonetworks?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Palo Alto Networks, 클라우드 기반 보안 서비스 현대화&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: Palo Alto는 2018년부터 Google Cloud와 협력하여 Prisma Access 보안 서비스를 제공해 왔으며, 이제 업데이트가 필요한 시점이 되었습니다. Palo Alto는 기존의 보안 수준을 유지하기 위해 플랫폼을 독립적으로 확장 가능한 두 개의 레이어로 분리했습니다. 하나는 Axion C4A 인스턴스를 사용하여 GKE에서 실행되며 트래픽 라우팅 및 전달을 처리하는 인그레스 레이어이고, 다른 하나는 내부 부하 분산기를 전면에 배치한 전용 단일 테넌트 VM에서 실행되며 위협 검사를 처리하는 보안 레이어입니다. 이제 각 레이어를 독립적으로 확장, 업데이트, 운영할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://www.googlecloudpresscorner.com/2026-10-27-Oracle-Brings-Google-TPUs-to-Oracle-Cloud-Infrastructure" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Oracle: Google Cloud 외부에서 TPU를 제공하는 최초의 하이퍼스케일러&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: Oracle은 Google TPU를 배포함으로써 Oracle Cloud Infrastructure(OCI)에서 제공하는 AI 칩의 범위를 넓히고 고객에게 AI 워크로드를 실행할 수 있는 더 많은 옵션을 제공하고 있습니다. OCI의 Google TPU는 2027년부터 제공될 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 리소스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기업이 개별적인 AI 실험에서 프로덕션 규모의 시스템으로 전환함에 따라 엔지니어링, 재무, 경영진에 이르기까지 다양한 부서에서 서로 다른 기술 용어를 사용하는 경우가 많습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/resources/report/content/an-it-leaders-encyclopedia-for-ai-infrastructure?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 인프라 백과사전&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 복잡한 인프라 전문 용어를 알기 쉽게 설명하여 이러한 커뮤니케이션 격차를 해소합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분석가 보고서: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/ai-machine-learning/google-named-leader-in-2026-idc-marketscape-for-agentic-ai-platforms?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google이 제1회 2026년 IDC MarketScape의 에이전트 AI 플랫폼 부문에서 리더로 선정&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;되었다는 기쁜 소식을 전해드립니다.&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;심층 분석: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine의 아키텍처&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 Google의 Gemini팀이 모든 Gemini 사용자에게 개인 에이전트를 제공하기 위해 VM의 격리 기능과 컨테이너의 속도 및 밀도를 모두 필요로 했던 이유를 설명하는 기술 가이드입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 9월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Kubernetes Engine 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE팀은 플랫폼의 확장성을 개선하는 데 주력하고 있으며, 9월에는 다양한 형태와 규모의 개선사항이 적용되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트 워크로드에 더 높은 밀도의 실행 런타임이 필요하신가요? Google Cloud는 표준 컨테이너 런타임보다 10배 더 높은 밀도로 수백만 개의 샌드박스를 실행할 수 있도록 새로운 오픈소스&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 설계했습니다. 또한 Agent Substrate는 네이티브 제로 트러스트 커널 및 네트워크 격리 기능을 바탕으로 초당 500회 이상의 일시중지/재개 활성화 요청 처리 시에도 500ms 미만의 재개 성능을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이제 GKE에&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Scale-to-zero&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능이 기본 제공됩니다. 자동 확장 측정항목이 포함된 HPA와 KEP-2021 지원 덕분에 워크로드를 축소하는 데 복잡한 구성요소를 구성할 필요가 없습니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그를 읽고&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;또한 GKE HPA(위에서 언급한 자동 확장 측정항목 사용)를 사용하면 이제 표준 측정항목 외에도 커스텀 PromQL 측정항목을 기반으로 확장 및 축소할 수 있으므로 비즈니스에 의미 있고 고유한 조건에 따라 워크로드를 트리거할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/native-support-for-prometheus-metrics-in-gke?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/native-support-for-prometheus-metrics-in-gke?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;또 다른 확장성 기능은&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/pod-snapshots"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 포드 스냅샷&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;으로, 이를 통해 CPU 및 GPU 메모리를 포함한 워크로드의 실행 상태를 저장하고 필요에 따라 복원할 수 있습니다. 내부 테스트에 따르면 GKE 포드 스냅샷 사용 시 AI 추론 시작 시간을 최대 89% 단축할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-pod-snapshots?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-pod-snapshots"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 마이그레이션 도구: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;마지막으로, AWS EKS에서 GKE로 컨테이너 워크로드를 마이그레이션하고 싶었지만 까다롭고 번거로운 엔지니어링 작업이 두려웠다면, Google Cloud가 최근 출시한&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-agentic-migration?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용해 보세요. 이 도구는 불안정하고 임시적인 프롬프팅을 결정론적 가드레일로 보호되는 AI 지원 마이그레이션 파이프라인으로 대체하는 전용 에이전트 플러그인입니다. 에이전트 스킬과 로컬 모델 컨텍스트 프로토콜(MCP) 서버의 컴파일로 설계된 이 도구는 AI를 사용하여 복잡한 AWS EKS IaC 및 Kubernetes 매니페스트를 GKE 시작 영역으로 직접 변환합니다. &lt;/span&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration/blob/main/docs/onboarding-guide.md" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;온보딩 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를&lt;/span&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration/blob/main/docs/onboarding-guide.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;참고하여 시작하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기능 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;강화 학습(RL) 및 평가 워크로드는 매우 까다롭습니다. 표준 에이전트형 RL 루프에서 LLM 정책은 GPU에서 코드 스니펫과 같은 작업을 생성하고 이를 격리된 CPU 샌드박스 내에서 실행하여 보상 신호를 관찰합니다. 그러나 수만 개의 동시 배포를 지원하도록 이 루프를 확장하면 유휴 상태의 가속기, 이미지 카디널리티, 포화 상태의 컨트롤 플레인과 같은 인프라 병목 현상이 발생합니다. 이를 위해 RL에 최적화된 GKE Agent Sandbox와 Agent Sandbox RL 조정 SDK, 인기 있는 RL Gym 및 하네스를 위한 기본 통합을 개발했습니다. 모두 정식 버전으로 제공되고 있으며 자세한 내용은&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;스토리지 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI는 많은 데이터를 학습하고 생성하며, 이러한 데이터는 블록 스토리지 시스템, 파일 시스템, 객체 스토어, 데이터베이스 등 어딘가에 저장되어야 합니다. Google Cloud는 이 중요한 레이어가 에이전트형 워크로드의 요구사항을 충족할 수 있도록 스토리지 포트폴리오의 개선사항을 발표했습니다.  &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트:&lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/ko/products/storage-data-transfer/filestore-agent-volumes?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore 에이전트 볼륨&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 에이전트형 워크로드를 위한 고성능의 탄력적인 영구 파일 스토리지를 제공합니다. GKE Agent Substrate 및 GKE 에이전트 샌드박스와의 긴밀한 통합 덕분에 Filestore 에이전트 볼륨은 전용 격리 파일 작업공간을 GKE 에이전트 샌드박스에 밀리초 단위로 자동 할당하고 연결합니다. &lt;/span&gt;&lt;a href="http://forms.gle/vYPkcFiZVoTjf7Ah7" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="http://forms.gle/vYPkcFiZVoTjf7Ah7" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;프리뷰 액세스를 요청하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 생성형 AI 및 RAG 데이터 레이어(예: Milvus, Pinecone, Qdrant, Vespa, Redis, 인메모리 컨텍스트 캐싱)를 실행하는 경우, 주요 하이퍼스케일러 중 코어당 가장 높은 IOPS와 처리량을 제공하는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/compute-engine-m4n-vms?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;M4N VM 제품군&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(현재 정식 버전 출시됨)을 살펴보세요. Google Cloud의 커스텀&lt;/span&gt;&lt;a href="https://cloud.google.com/titanium"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 오프로드 아키텍처 및&lt;/span&gt;&lt;a href="https://cloud.google.com/compute/docs/disks/hyperdisks"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Hyperdisk Extreme&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 결합된 M4N 인스턴스는 최대 25,000MiB/s(25GiB/s)의 집계 호스트 스토리지 성능과 최대 100만 IOPS를 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또 다른 새로운 Compute Engine 제품인&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Z4D가 정식 버전으로 출시&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;되었으며, 이는 AI/ML 학습 및 추론 워크로드를 위한 강력한 스토리지 솔루션입니다. 베어메탈 인스턴스로 구성된 Z4D는 에이전트형 마이크로 VM에 필요한 높은 로컬 SSD(LSSD) 용량과 짧은 지연 시간을 모두 제공하므로 호스트당 수천 개의 격리된 샌드박스를 기본 성능과 효율성으로 실행할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/storage-optimized-z4d-vm-and-bare-metal-instances?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;Z4D 머신에 대해 자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 업데이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;오늘날의 AI 학습 및 추론 파이프라인은 대부분의 스토리지 관리 시스템이 대응할 수 있는 속도보다 더 빠르게 데이터를 생성하므로 스토리지 자산을 파악하려는 팀에 어려움을 초래합니다. 새로운 버전의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/storage/docs/storage-intelligence/advisor-overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Storage Intelligence 어드바이저&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하면 '버킷에 무엇이 들어 있는지'에 대한 질문에 더 쉽게 답하고 예상치 못한 변경사항을 빠르게 식별할 수 있습니다. 또한 향상된&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/storage/docs/batch-operations/overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;일괄 작업&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 버킷 전반에서 대량 변경사항을 자동화할 수 있습니다. 예를 들어 스토리지 클래스를 이동하거나, 오래되었거나 임시 데이터를 일괄 삭제하거나, 메타데이터, 태그 지정, 보관, 암호화 변경사항을 적용할 수 있습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/storage-data-transfer/storage-intelligence-advisor-and-batch-operations-updates/?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Storage Intelligence 어드바이저의 최신 소식을&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/storage-intelligence-advisor-and-batch-operations-updates/"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 마지막으로, 새로운 버전의&lt;/span&gt;&lt;a href="https://cloud.google.com/products/alloydb"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;PostgreSQL용 AlloyDB&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 선구적인 Google 인프라인 Colossus 분산 파일 시스템과 Jupiter 네트워크를 결합하여&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/databases/alloydbs-agentic-database-architecture?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 시대를 위한 타협 없는 새로운 데이터베이스 아키텍처&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;방법:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 전 세계에 흩어져 있는 GPU와 TPU를 단일 진입점 뒤에서 단일 풀로 작동하게 하고 싶으신가요?&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 그 방법을 알려드립니다. 에지에서는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 전역, 멀티 리전 트래픽 분산 및 고가용성에 중점을 둡니다. 그 아래에서는&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d-router" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;LLM-d 라우터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 사용률을 높게 유지하는 복잡한 메모리 인식 예약 알고리즘을 처리합니다. 이 아키텍처는 의도적으로 런타임, 모델, 가속기와 무관하게 설계되었으며, 테스트에서는 멀티 클러스터 GKE Inference Gateway를 통해 트래픽을 라우팅할 때 추가된 오버헤드가 1% 미만이었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 모델 학습 또는 추론을 위해 TPU에서 GKE를 사용 중이거나 사용할 계획이신가요? 대규모 언어 모델(LLM)을 학습시키거나 높은 처리량의 추론 서빙을 실행하려면 Cloud TPU 및 GPU와 같은 특화된 AI 하드웨어에 상당한 투자가 필요합니다. 지출 비용을 최대한 활용하려면&lt;/span&gt;&lt;a href="https://discuss.google.dev/t/a-tale-of-tpu-observability-on-gke-part-1/397955" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 워크로드 수명 주기 측정항목을 이해&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;해야 합니다. 이 상세 가이드에서는 불투명한 클러스터 동작을 활용 가능한 원격 분석으로 전환하는 방법을 설명합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 고객:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 게임 스타트업 SeaVerse가&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/seaverse-chooses-gke-agent-sandbox?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 테넌트 워크로드에 GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하는 이유와 이 플랫폼을 통해 인프라 비용을 60% 절감한 방법을 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;혹시 놓치셨을까 봐 알려드리자면, Google은 Gartner와 Forrester의 주요 분석 보고서 3개에서 제품 또는 전략 부문 최고 점수를 획득하는 등 리더로 선정되었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/forrester-wave-public-cloud-platforms-q3-2026-report?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, The Forrester Wave™: 2026년 3분기 퍼블릭 클라우드 플랫폼 부문 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 모든 클라우드 제공업체 중 가장 높은 종합 점수 획득&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/compute/google-named-a-leader-in-2026-gartner-magic-quadrant-for-scps?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, 2026년 Gartner® Magic Quadrant™의 전략적 클라우드 플랫폼 서비스 부문에서 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 평가 대상 공급업체 중 '비전의 완전성' 부문에서 가장 선도적인 업체로 선정되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 평가 대상 공급업체 중 '실행 능력' 면에서 가장 높은 순위를 차지했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 전 세계 GPU 제공업체의 안정성, 성능, 지원, 가격, 보안을 평가하는 최신 SemiAnalysis ClusterMax 3.0 보고서에서 골드 등급을 받았습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://newsletter.semianalysis.com/p/clustermax-30-the-industry-standard" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;보고서 전문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 8월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud의 퍼스트 파티 보안 확장형 NFS 파일 서비스인 &lt;/span&gt;&lt;a href="https://cloud.google.com/filestore"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 AI 및 에이전트 워크플로를 위한 인기 스토리지 플랫폼으로 부상했으며, 이제 Google의 기본 분산 스토리지 시스템인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/how-colossus-optimizes-data-placement-for-performance?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Colossus&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 기반으로 직접 빌드된 새로운 백엔드 스토리지 계층을 통해 이 작업에 더욱 최적화된 성능을 제공합니다. 이 새로운 백엔드를 사용하면 스토리지 용량과 독립적으로 IOPS를 프로비저닝할 수 있으며 GKE와 긴밀하게 통합됩니다. AI 환경에서는 공통 데이터 세트를 읽고 써야 하는 대규모 에이전트 그룹인 이른바 에이전트형 스웜을 성능 저하 없이 서비스하는 데 도움이 될 수 있습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/filestore-file-service-runs-on-colossus?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그 게시물&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능: &lt;/strong&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gvisor-sandboxes-for-ray-clusters-on-gke?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이제 GKE의 분산 Ray 클러스터에서 gVisor 샌드박스를 사용할 수 있습니다&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. Google은 Anyscale과의 파트너십을 통해 Google의 오픈소스 애플리케이션 커널인 gVisor를 분산 Ray 클러스터에 직접 통합할 수 있는 Ray용 실험용 라이브러리를 선보였습니다. gVisor는 일반 컨테이너보다 강력한 격리 기능을 제공하면서도, 가벼운 환경 덕분에 빠른 시작 시간과 낮은 메모리 오버헤드라는 장점까지 모두 갖추고 있습니다. GKE에서 이러한 샌드박싱 기능을 사용해 보려면 &lt;/span&gt;&lt;a href="https://docs.ray.io/en/master/cluster/kubernetes/examples/ray-sandboxing.html" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Ray 샌드박싱 사용자 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;개인용 AI 에이전트를 실행할 고성능의 사용하기 쉬운 인프라를 찾고 계신가요? 하지만 비용 부담은 줄이고 싶으시다면 주목해 주세요. 새로운 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/serverless/introducing-cloud-run-instances"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Run 인스턴스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Cloud Run의 전용 싱글톤 컴퓨팅 런타임으로, 에이전트가 유휴 상태일 때도 종료되지 않습니다. 더욱 놀라운 점은 1개의 vCPU와 1GiB 메모리 사양의 Cloud Run 인스턴스를 30일 내내 중단 없이 실행해도 비용이 단돈 $5.70에 불과하다는 것입니다.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드, 문서, 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 모델 컨텍스트 프로토콜(MCP) 분야의 중요한 소식입니다. 2026년 7월 28일 사양을 기준으로 프로토콜 코어는 '완전히 스테이트리스(Stateless)입니다. 핸드셰이크는 이제 필요 없습니다. 초기화 / 초기화 완료 핸드셰이크(SEP-2575)와 논리적 Mcp-Session-Id 헤더(SEP-2567)가 완전히 사라졌습니다. 대신 이제 모든 요청이 자체 설명적이고 독립적으로 이루어집니다.' 정말 놀랍지 않은가요? &lt;/span&gt;&lt;a href="https://developers.googleblog.com/scaling-ai-agent-infrastructure-with-the-mcp-stateless-updates/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Developers 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 최신 MCP 사양의 변경사항과 구현 방법을 자세히 알아보세요.  &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;실시간 AI 시스템은 기존 네트워크 부하 분산 기법을 무력화합니다. '백엔드는 고립된 요청을 처리하는 대신 지속적으로 실시간 양방향 스트림을 관리해야 합니다. 오디오 청크, 스크립트, 모델 출력, 합성 음성이 동시에 끊임없이 오가기 때문입니다.' 사용자가 개입하면 상황은 더 복잡해집니다. &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;'서버는 현재 진행 중인 음성 생성을 즉시 중단하고, 컨텍스트를 업데이트하도록 전환하고, 새로운 도구를 트리거하고, 다른 대답을 작성하기 시작해야 합니다. 이 모든 작업은 연결을 끊지 않고 수행되어야 합니다.'&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; AI 시대에 부하를 관리하는 새로운 접근 방식에 대해 알아보려면 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/scaling-real-time-ai-agents-with-session-aware-load-balancing/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;세션 인식 부하 분산으로 실시간 AI 에이전트 확장하기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;방법:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 다양한 GPU 가속기를 혼합하여 사용하더라도 GKE에서 탄력적이고 확장 가능한 LLM 추론 플랫폼을 빌드하는 방법을 알아봅니다. 제안된 아키텍처는 Capacity Advisor와 Compute Advisor 외에도 RunAI:model streamer나 병렬 다운로드를 지원하는 GCPFuse와 같은 고성능 스토리지를 결합합니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/how-to-build-an-elastic-scalable-llm-inference-platform-on-gke-using-fluid-compute/388108" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;문서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;GPU 또는 TPU가 있는 호스트의 경우 라이브 마이그레이션을 사용하여 업데이트할 수 없으므로 유지보수 문제가 발생합니다. 이 새로운 문서 페이지에서 학습 및 추론 워크로드의 다운타임 허용 범위에 따라 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/perform-host-maintenance-accelerators"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;가속기가 장착된 호스트를 업데이트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하는 방법을 알아보세요.   &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;문서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Advanced Compute Images(ACI)는 AI/ML 및 HPC 인프라를 위한 표준화된 이미지 스택이므로 커스텀 이미지를 수동으로 빌드할 필요가 없습니다. 이 새로운 문서 페이지에서 Google Cloud CLI, 콘솔 또는 SchedMD의 Slurm 워크로드 관리자를 사용하여 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/compute/docs/instances/use-aci-images"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;ACI 이미지를 만드는&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 방법을 알아보세요&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;. &lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 워크로드는 설계하기가 어렵고, 리소스 집약적이며, 버스트가 발생하기 쉬운 것으로 알려져 있습니다. 이로 인해 확장 병목 현상이 발생하고 활용도가 낮거나 잘못 활용되는 컴퓨팅 리소스가 대량으로 발생할 수 있습니다. 새로운 블로그에서는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/best-practices-for-dynamic-capacity-management?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud에서 동적 용량 관리를 달성하는 세 가지 주요 방법&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 간략하게 설명합니다. 1) 계획된 다운타임에 대한 용량 예약, 2) 계획되지 않은 다운타임에 대한 자동화된 대체 용량 유지, 3) GKE의 핵심 조정 기능을 활용한 리소스 할당 자동화입니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;비즈니스 조정 소프트웨어 제공업체인 &lt;/span&gt;&lt;a href="https://www.uipath.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;UiPath&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 급증하는 워크로드를 처리하고 있었으며, 비용을 더 예측 가능하게 만들고 싶었습니다. 이를 위해 인프라를 재설계하여 고립된 클러스터에서 공유 Google Cloud GPU Fleet으로 전환했습니다. 여기에는 학습을 위한 A3 VM 인스턴스(NVIDIA H100 GPU)와 추론을 위한 G4 VM 인스턴스(NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU)가 모두 포함되었습니다. 아키텍처에 대한 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/customers/how-uipath-built-its-high-performance-gpu-platform"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;AI 개발 가속화에 주력하는 첨단 AI 연구소인 &lt;/span&gt;&lt;a href="https://mirendil.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Mirendil&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 모델 사전 학습 및 사후 학습 애플리케이션을 지원하기 위해 TPU와 NVIDIA GPU를 모두 갖춘 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/startups/mirendil-selects-ai-hypercomputer?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 하이퍼컴퓨터를 사용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하고 있다고 발표했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;소매 CRM 제공업체인 &lt;/span&gt;&lt;a href="https://replen.it/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Replenit&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 BigQuery, Gemini Enterprise Agent Platform, Cloud TPU에서 실행되는 오픈소스 Gemma 모델을 사용하여 Google Cloud에서 AI 의사 결정 엔진을 빌드했습니다. Replenit의 발표에 따르면, 이 조합을 통해 이전 클라우드 제공업체 대비 파이프라인 비용을 90%나 절감할 수 있었습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/customers/replenit?e=48754805&amp;amp;hl=en"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;우수사례 전문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 읽어보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://www.malachyte.com/" rel="noopener" target="_blank"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Malachyte&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 Bigtable, Managed Service for Apache Kafka, Pub/Sub, Compute Engine, GKE를 기반으로 AI 기반 이커머스 추천 플랫폼을 설계했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/data-analytics/solving-retails-cold-start-problem-malachytes-recommendation-reinvention?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 이 모든 것이 어떻게 결합되는지 확인해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 7월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/products/managed-lustre"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud Managed Lustre&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 정식 버전(GA)으로 출시되었습니다. 이제 용량 TiB당 125MB/s부터 250MB/s, 500MB/s, 최대 1,000MB/s까지 네 가지 성능 등급의 처리량을 선택할 수 있으며, 스토리지 용량을 최대 8PB까지 확장할 수 있습니다. Managed Lustre 솔루션은 DDN의 EXAScaler를 기반으로 하며, 고성능 스토리지 분야에서 수십 년간 쌓아온 DDN의 리더십과 Google Cloud의 클라우드 인프라 전문성이 결합된 결과물입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/c4n-network-and-storage-optimized-vms?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;C4N 네트워크 및 스토리지 최적화 VM 정식 버전 출시&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. C4N은 데이터 전송 병목 현상을 제거하기 위해 빌드된 Google Cloud 최초의 네트워크 및 블록 스토리지 최적화 VM 시리즈입니다. 5세대 Intel Xeon 확장 가능 프로세서로 구동되고 Google의 &lt;/span&gt;&lt;a href="https://cloud.google.com/titanium?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 오프로딩 하드웨어를 기반으로 빌드된 이 제품은 Hyperdisk Extreme과 함께 사용할 때 400Gbps의 네트워크 대역폭, 초당 9,500만 패킷(MPPS), 최대 25GiB/s의 블록 스토리지 처리량을 구현합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/planning-large-clusters#clusters-5k-nodes"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;네트워크 정책이 적용된 최대 15,000개 노드 규모의 GKE Dataplane V2(GA)&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 이 기능을 사용하면 표준 GKE 클러스터를 최대 15,000개 노드까지 확장하면서도 전체 활성 네트워크 정책 적용을 유지할 수 있어 대기업 및 AI/ML 고객의 대규모 인프라 요구사항을 지원할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/introducing-co-operative-time-slicing-for-rl-in-llm-d?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d의 협력적 타임 슬라이싱&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 강화 학습(RL) 워크로드를 실행하는 경우, 이제 독립적인 RL 작업을 공유 물리적 하드웨어에 인터리브 처리할 수 있어 모델 수렴이나 정확도에 영향을 주지 않으면서 가속기의 총 가동 주기를 기준치인 약 40%에서 최대 70%까지 늘릴 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 AI 보안 도구:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/identity-security/introducing-k8s-aibom-on-gke-for-automated-ai-bills-of-materials?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE에서 AI 공급망을 보호&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하고, AI 워크로드를 안전하게 배포하고, 섀도 AI를 줄이고 싶으신가요? Google은 컨테이너 클러스터를 지속적으로 모니터링하여 실행 중인 AI 런타임(예: vLLM 및 Triton)을 자동으로 감지하고 표준 CycloneDX 머신러닝 자재 명세서(ML-BOM)를 생성하는 가볍고 권한이 없는 Kubernetes 컨트롤러인 k8s-aibom을 오픈소스로 공개했습니다. &lt;/span&gt;&lt;a href="https://github.com/GoogleCloudPlatform/k8s-aibom" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;k8s-aibom 프로젝트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 확인하고 참여해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;7월 27일, Google은 2.8조 파라미터를 가진 개방형 가중치 모델인 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/announcing-day-0-support-for-kimi-k3-on-google-cloud/385392" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Moonshot AI의 Kimi K3&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 대해 가중치가 공개된 당일부터 즉각적인 지원을 시작한다고 발표했습니다. Model Garden, 커스텀 조정, llm-d 레시피가 포함된 GKE 등 선호하는 배포 경로에 관계없이 이 가이드에서는 Google Cloud에서 Kimi K3를 평가하고 파일럿하는 데 도움이 되는 자세한 단계별 안내를 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/autopilot-clusters-with-gke-managed-dranet-gpus-and-tpus"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE) 관리형 DRANET은 GPU와 TPU를 모두 지원합니다&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 이 구현을 활용하는 방법은 여러 가지가 있습니다. 사용자가 모든 권한을 갖는 표준 클러스터 방식과 Google이 복잡한 설정을 대신 처리해 주는 Autopilot 클러스터 방식 중에서 선택할 수 있습니다. 실무형 실습인 &lt;/span&gt;&lt;a href="https://codelabs.developers.google.com/codelabs/gke-autopilot-tpus-dranet-gemma#0" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU, GKE 관리형 DRANET, Gemma 4를 사용하는 GKE Autopilot 클러스터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GPU가 아닌 TPU에서 Ray를 실행하는 방법을 알아봅니다. 이 2부작 시리즈의 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/run-ray-on-tpu-part-1-the-foundations/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;1부&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 TPU 슬라이스에 대해 설명하고(힌트: Ray는 이를 일정 예약이 가능한 또 다른 가속기로 간주함), Ray의 다양한 AI 라이브러리를 살펴봅니다 (&lt;/span&gt;&lt;a href="https://developers.googleblog.com/run-ray-on-tpu-part-2-ray-ai-libraries/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2부&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;).&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;기기가 이론적인 성능 사양을 달성하는지 정확하게 평가하고 특정 성능 격차 또는 아키텍처별 병목 현상을 식별하는 데 도움이 되는 새로운 마이크로벤치마크 제품군을 사용하여 샘플 워크로드에 대한 TPU를 평가합니다. &lt;/span&gt;&lt;a href="https://developers.googleblog.com/how-to-use-google-microbenchmarks-for-evaluating-tpu-performance/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 예산에 부담을 주지 않고 에이전트를 확장하세요. GKE 에이전트 샌드박스와 포드 스냅샷을 통해 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/reduce-your-agents-costs-with-gke-agent-sandbox?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 조정을 사용하여 고정된 컴퓨팅 공간에 더 많은 에이전트를 안전하게 패킹하는 방법을 알아보세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;. 성능 최적화와 비용 최적화 중 무엇을 목표로 하든, 에이전트 효율성을 극대화하기 위해 어떤 설정을 어떻게 조정해야 하는지 알려드립니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기술적 청사진: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Ironwood 기반 Mistral 3 Large 추론 최적화 자세히 알아보기. 이 블로그에서는 Google의 한 팀이 Google Ironwood(TPU v7x)에서 Mistral 3 대규모 MoE 모델의 추론을 최적화하여, 1.5배의 성능 향상을 이끌어낸 과정을 개략적으로 소개합니다. 이 팀은 하이브리드 샤딩을 적용하고, 선형 VPU 합산을 트리 축소 방식으로 대체했으며, GMM/MLA 커널 최적화와 비동기 스케줄링 도입을 통해 이를 실현했습니다. 그 결과, 벤치마크 정확도에는 영향을 주지 않으면서도 처리량을 최대 48%까지 끌어올리는 성과를 거두었습니다. 블로그 전체 내용은 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/inside-the-optimization-of-mistral-3-large-inference-on-ironwood/385847" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 최초로 발표된 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/google-is-a-leader-in-gartner-magic-quadrant-for-ai-infra?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gartner&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Ⓡ&lt;/span&gt;&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Magic Quadrant™ AI 인프라 부문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 리더로 선정되었으며, '실행 능력'에서 가장 높은 평가를 받고 '비전의 완전성'에서 가장 앞선 위치를 차지했습니다. Gartner는 Google의 독점적인 확장형 컴퓨팅, 통합 AI 하이퍼컴퓨터 아키텍처, AI 컴퓨팅 용량의 규모를 주요 강점으로 꼽았습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/resources/content/2026-gartner-mq-ai-infrastructure?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 사본을 다운로드하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud는 최근 1,400명 이상의 수석 IT 리더를 대상으로 &lt;/span&gt;&lt;a href="https://cloud.google.com/resources/content/state-of-infrastructure-in-the-agentic-ai-era?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 인프라 현황 보고서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 위한 설문조사를 실시했으며, 그 결과 AI 활용 포부와 인프라 현실 간의 격차가 점점 더 벌어지고 있다는 분명한 패턴이 나타났습니다. 실제로 조직의 83%는 프로덕션급 에이전트 AI를 지원하려면 인프라를 업그레이드해야 한다고 답했습니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/state-of-ai-infrastructure-report-overview?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;함께 제공되는 블로그를 읽고&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트형 애플리케이션이 시스템에 요구하는 사항을 충족하도록 인프라를 조정하면 파일럿 단계에서 프로덕션으로 전환하는 데 어떤 도움이 되는지 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 6월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; AI에 사용되는 민감한 정보를 보호하는 것은 안전한 고급 클라우드 인프라의 핵심입니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/security/products/confidential-computing?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 컴퓨팅&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE) 내에서 사용 중인 데이터를 암호화하여 보호하고 검증 가능한 데이터 무결성을 제공합니다. 이 기능은 이제 &lt;/span&gt;&lt;a href="https://www.nvidia.com/en-us/products/workstations/professional-desktop-gpus/rtx-pro-6000-family/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA RTX PRO 6000 Blackwell 서버 에디션 GPU&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 탑재된 가속기 최적화 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/compute/docs/accelerator-optimized-machines#g4-series"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;G4 머신 시리즈&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/identity-security/verifiable-trust-in-the-ai-era-whats-new-in-confidential-computing?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이용 가능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/confidential-computing/confidential-vm/docs/create-a-confidential-vm-instance-with-gpu"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 G4 VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/gpus-confidential-nodes"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;컨피덴셜 G4 GKE 노드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 지금 바로 이용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;개발자 리소스: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;새로운 &lt;/span&gt;&lt;a href="https://cloud.google.com/products/tpu/tpu-developer?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU 개발자 허브&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 모델 빌더, 최적화 전문가, 개발자가 Google Cloud TPU의 성능을 최대한 활용하는 방법을 배울 수 있는 공간입니다. 자세한 내용은 이 &lt;/span&gt;&lt;a href="https://developers.googleblog.com/unlocking-the-power-of-the-tpu-stack-introducing-our-new-developer-hub/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 제품: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;새로운 &lt;/span&gt;&lt;a href="https://discuss.google.dev/t/stop-training-blind-scaling-ai-with-the-new-opentelemetry-based-tpu-ai-telemetry-collector-agent/375210" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenTelemetry 기반 TPU AI 원격 분석 수집기 에이전트&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 AI 워크로드를 확장하세요. 이제 사상 처음으로 정밀한 TPU 하드웨어 원격 분석 데이터를 Google Cloud Monitoring, Google Managed Prometheus 또는 자체 호스팅 Grafana 스택으로 바로 전송할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;실무자 가이드 및 방법&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; TPU, Cloud Storage FUSE, 동적 리소스 할당(DRA)을 사용하여 GKE Inference Gateway에서 실행되는 AI 추론 워크로드에 고가용성을 빌드하는 방법을 알아봅니다. 이 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/experimenting-with-tpus-gke-managed-dranet-and-multi-cluster-inference-gateway?_gl=1*jj3plw*_ga*OTAxNzc0MzU1LjE3ODIyMjAxNDk.*_ga_4LYFWVHBEB*czE3ODI3NTc3NzAkbzkkZzEkdDE3ODI3NTg2MDEkajYwJGwwJGgw&amp;amp;e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 전반적인 내용을 살펴보거나, &lt;/span&gt;&lt;a href="https://codelabs.developers.google.com/codelabs/gke-inference-gateway-multi-cluster-tpus-dranet#0" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;실습 Codelab&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 모든 기술적 세부정보를 직접 익혀볼 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;안내 가이드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 모델 컨텍스트 프로토콜(MCP)을 통해 AI 에이전트를 &lt;/span&gt;&lt;a href="https://cloud.google.com/storage"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Storage&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 비정형 데이터에 연결할 수 있다는 사실을 알고 계셨나요? &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/build-ai-agents-faster-with-gcs-google-cloud-storage-mcp-server"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;이 블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서는 세 가지 고객 사례를 통해 왜 이러한 연결이 필요한지 살펴보고, 완전 관리형 서비스나 제어 및 맞춤설정의 폭이 넓은 자체 관리형 로컬 서버 중 나에게 맞는 방식을 선택해 구현하는 방법을 알아봅니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보고서: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;독립적인 벤치마크 보고서에 따르면, &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 업계 선두의 다른 관리형 Kubernetes 서비스와 비교해 처리량은 15.7% 더 높고, 대기 시간은 92.8% 더 짧으며, 토큰 간 지연 시간은 62.6% 더 낮은 압도적인 성능을 기록했습니다. 이러한 압도적인 성능은 프리픽스 캐싱 기술 덕분입니다. 이 기술은 길고 반복되는 프롬프트 프리픽스의 KV 캐시(활성화 상태)를 저장함으로써 LLM 성능을 획기적으로 최적화합니다. &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-inference-gateway-prefix-caching-accelerates-ai-inference?e=0"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;블로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 자세히 알아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;a href="https://discuss.google.dev/t/accelerate-tpu-model-loading-while-saving-ram-on-gke/374835" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;TPU 및 GKE의 콜드 스타트 문제&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 자세히 살펴보고 Run:ai Model Streamer가 어떻게 상황을 바꿀 수 있는지 알아봅니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://www.youtube.com/watch?v=x36QJ-QKRGg" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Pager Health는 GKE, BigQuery, Cloud SQL, Gemini Enterprise Agent Platform을 활용하여 운영 단편화를 제거하고 간소화된 맞춤형 미국 의료 경험을 제공&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하여 삶을 변화시키고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 고객 리뷰 플랫폼인 Trustpilot은 Dataflow와 Gemini Enterprise Agent Platform을 통해 파인 튜닝된 Gemma 모델을 사용하여 대용량 스트리밍 파이프라인을 구축했습니다. 이 파이프라인은 비용 최적화된 A2 VM에서 A100 GPU를 사용해 실행되며, Gemini Enterprise Agent Platform에서 유지관리하는 최적화된 버전의 vLLM도 활용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2026년 5월&lt;/strong&gt;&lt;/h3&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;제품, 기술, 도구 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 변경사항:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이제 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Agent Sandbox&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 정식 버전으로 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 오픈소스 프로젝트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://github.com/agent-substrate/substrate" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 에이전트 인프라 밀도의 한계를 뛰어넘기 위해 새롭게 공개된 오픈소스 프로젝트입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새로운 기능:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 온디바이스 머신러닝(ML)을 대규모로 테스트하고 벤치마킹할 수 있는 솔루션인 &lt;/span&gt;&lt;a href="https://ai.google.dev/edge/ai-edge-portal" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google AI Edge Portal&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;이 이제 온디바이스 LLM의 벤치마킹과 디버깅을 지원합니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/ai-machine-learning/benchmark-llms-on-device-with-ai-edge-portal?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;여기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제품 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;AI 워크로드를 위한 새로운 고성능 스토리지 제품군인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/cloud-storage-rapid-turbocharges-object-storage-for-ai-analytics?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Cloud Storage Rapid를 심층적으로&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 살펴보았습니다. 출시 시점에는 고성능 영역 객체 스토리지 제품인 Rapid Bucket(이전 명칭: Rapid Storage)과 주문형 읽기를 가속화하고 기존 버킷의 워크로드를 위해 컴퓨팅과 데이터를 함께 배치하는 Rapid Cache(이전 명칭: Anywhere Cache)가 제공됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;연구, 보고서, 심층 분석&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google 글로벌 인프라 부문 부사장 비카시 콜리와 엔지니어링 연구원 아르준 싱이 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/networking/data-center-and-global-networks-built-for-ai-era"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI 워크로드가 네트워크 인프라에 미치는 영향&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 개괄적으로 설명하고, 이를 더 효과적으로 지원하기 위해 데이터 센터 패브릭, WAN, 글로벌 네트워크에 적용한 심층적인 개선사항을 논의합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;아키텍처 심층 분석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;인스턴스 수준의 안정성 방식에서 벗어나, TPU 기반 프런티어 AI 모델 개발을 위한 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/cluster-reliability-for-trillion-parameter-models-on-tpus?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;새로운 클러스터 수준 안정성 모델&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 공개했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;고객 및 파트너 업데이트&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고객 성공사례:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 시각 미디어 제공업체인 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/infrastructure/how-imgix-processes-8-billion-images-daily-with-g4-vms-powered-by-nvidia-blackwell?e=48754805"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Imgix는 NVIDIA RTX PRO 6000 Blackwell GPU 기반 G4 VM이 탑재된 AI 하이퍼컴퓨터에서 80억 개 이상의 이미지와 동영상을 제공&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Wed, 11 Nov 2026 10:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</guid><category>AI &amp; Machine Learning</category><category>Containers &amp; Kubernetes</category><category>Compute</category><category>Networking</category><category>Storage &amp; Data Transfer</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/Whats_new_in_AI_infrastructure.max-600x600.jpg" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>10월 AI 인프라 및 조정 기능에 관한 새로운 소식</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/Whats_new_in_AI_infrastructure.max-600x600.jpg</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/whats-new-in-ai-infrastructure-this-month/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Alex Barrett</name><title>Editor, Google Cloud blog</title><department></department><company></company></author></item><item><title>Kubernetes API가 응답하지 않을 때: 3레이어 네트워킹 미스터리</title><link>https://cloud.google.com/blog/ko/products/networking/the-three-layer-gke-network-mystery/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/networking/the-three-layer-gke-network-mystery?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모든 지원 엔지니어에게는 기억에 남는 케이스가 하나쯤 있습니다. 팀 점심 식사에서 종종 화제가 되는 케이스이자, 해결된 후에도 한밤중에 패킷 캡처를 뚫어져라 들여다보며 무슨 일이 일어났는지 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;정말로&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 이해했는지 확인하게 되는 케이스죠. 이것이 바로 그런 케이스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2026년 1월, 포드가 간헐적으로 Kubernetes API 서버에 연결되지 않는다는 내용의 단순해 보이는 지원 티켓이 접수되었습니다. 오류는 익숙한 타임아웃이었습니다. 고객은 이미 자사 운영팀 문제일 가능성을 배제한 상태였습니다. 당시에는 아무도 몰랐지만, 실은 스택의 세 가지 레이어에서 세 가지 버그가 동시에 발생하여 동일한 증상을 일으키고 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;사태가 마무리될 무렵에는 약 800명의 개발자가 몇 주 동안 프로덕션에 배포하지 못했고, europe-west 전역의 GKE 클러스터가 중단된 상태였습니다. 문제를 해결하기 위해 Google Kubernetes Engine(GKE), Private Service Connect, 네트워킹, hostnet, 커널, Linux 업스트림 커뮤니티의 엔지니어들이 협력하여 세 가지의 서로 다른 근본 원인을 찾아냈습니다. 그리고 최종 수정사항은 구성 변경이나 기능 플래그가 아닌 Linux 커널 자체에 대한 패치 형태로 적용되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 글은 저희가 어떻게 해결책에 도달했는지에 대한 이야기입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;1부: 멈추지 않는 경보음&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 고객은 Google Cloud의 europe-west 리전에서 대규모 멀티 클러스터 GKE 환경을 운영하고 있었습니다. 이들의 클러스터는 GKE 컨트롤 플레인을 비공개로 노출하는 Google Cloud의 메커니즘인 Private Service Connect를 사용했으며, Twistlock 보안 스캐너, 보안 비밀 관리를 위한 External Secrets Operator, 네트워크 정책을 위한 Cilium, 여러 내부 Kubernetes 오퍼레이터 등 시스템 수준 워크로드의 풍부한 생태계를 갖추고 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;첫 번째 오류는 europe-west의 사용자 수락 테스트(UAT) 클러스터 중 하나에서 나타났고, 며칠 후 동일한 리전의 또 다른 클러스터에서도 나타났습니다. 오류는 다음과 같았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;애플리케이션 로그 — 여러 네임스페이스에 걸친 포드&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;quot;TimeoutError: Connect call failed (&amp;#x27;1.2.3.4&amp;#x27;, 443)\r\ndial tcp 1.2.3.4:443: i/o timeout\r\n\r\n# 1.2.3.4 is the cluster&amp;#x27;s internal VIP for the kube-apiserver,\r\n# routed through Private Service Connect&amp;quot;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e895a50&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;초기에는 오류가 간헐적으로 발생했습니다. 즉, 로그에 급증이 있었지만 완전한 서비스 중단은 아니었습니다. 고객은 자사 코드에 문제가 있는지 의심했습니다. 해당 팀은 직전에 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;kopf&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 프레임워크로 빌드된 커스텀 오퍼레이터를 배포했고, 이를 가장 먼저 살펴보았습니다. 하지만 로그를 보니 오류는 오퍼레이터가 배포되기 8일 전부터 시작되었으며, 오퍼레이터를 완전히 종료했을 때도 타임아웃이 계속 발생했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-pull_quote"&gt;&lt;div class="uni-pull-quote h-c-page"&gt;
  &lt;section class="h-c-grid"&gt;
    &lt;div class="uni-pull-quote__wrapper h-c-grid__col h-c-grid__col--8 h-c-grid__col-m--6 h-c-grid__col-l--6
      h-c-grid__col--offset-2 h-c-grid__col-m--offset-3 h-c-grid__col-l--offset-3"&gt;
      &lt;div class="uni-pull-quote__inner-wrapper h-c-copy h-c-copy"&gt;
        &lt;q class="uni-pull-quote__text"&gt;External Secrets Operator를 완전히 축소한 후에도 문제는 지속되었습니다. 고객 워크로드와 저희가 건드리지 않은 시스템 수준 포드에서 오류가 발생하고 있었습니다.&lt;/q&gt;

        
      &lt;/div&gt;
    &lt;/div&gt;
  &lt;/section&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;점점 늘어나는 의심 요인&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 케이스가 발생하면 가장 먼저 무엇이 변경되었는지 확인해야 합니다. 고객의 타임라인을 통해 몇 가지 후보를 찾았고, 체계적으로 검토했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;커스텀 오퍼레이터(kopf):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 즉시 배제되었습니다. 오류가 배포 일주일 전에 발생했으며, 종료 후에도 계속되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;External Secrets Operator:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 고객 요청에 따라 완전히 삭제되었습니다. Kubernetes 컨트롤 플레인(KCP) 연결 및 클러스터 내부 시스템 포드에 의존하는 고객 워크로드에서 타임아웃이 계속 발생했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보안 에이전트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 제거했습니다. 하지만 결과는 동일했습니다. 이제 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;시스템 수준 Kubernetes 구성요소&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;가 자체 컨트롤 플레인에 도달하지 못하는 상황이 발생했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;conntrack 테이블 소진:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 한 가지 가설은 반개방 연결이 너무 많아 컨트롤 플레인 노드의 OS 연결 추적 테이블이 가득 찼다는 것이었습니다. 확인해 보았습니다. conntrack 테이블은 기본 최대 항목 수인 130만 개 중 약 50% 수준이었습니다. 소진과는 거리가 멀었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인 오버로드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; KCP VM 크기를 확장했습니다. kube-apiserver 지연 시간은 정상으로 보였습니다. 타임아웃 측면에서는 개선이 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 케이스가 정말 특이했던 점은 그 범위였습니다. 타임아웃이 5개의 서로 다른 클러스터에서 발생하여 DaemonSet, 배포, 시스템 포드에 모두 영향을 미치고 있음을 확인했습니다. 개발자 노트북, GitHub Actions 실행기와 같은 외부 클라이언트도 동일한 문제에 직면하고 있었습니다. 이는 워크로드 자체의 문제가 아니었습니다. &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;모든 것&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;과 API 서버 사이의 경로에 문제가 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;지금까지의 타임라인&lt;/span&gt;&lt;/h4&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;1일 차:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 첫 번째 I/O 타임아웃 오류 발생(europe-west3의 UAT 클러스터 중 하나, 간헐적, 무시할 수 있음)&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;10일 차:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 오류가 지속적으로 발생(빈도가 크게 증가함, 더 이상 무시할 수 없는 수준)&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;15일 차:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 케이스 에스컬레이션 — P0 버그 신고(여러 클러스터가 영향을 받는 것으로 확인됨, 개발자 약 800명 작업 차질, 프로덕션 버전 중단, 공식 에스컬레이션)&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;20일 차:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 유력한 의심 요인을 모두 배제(커스텀 오퍼레이터, 보안 에이전트, conntrack 소진, 컨트롤 플레인 크기 조정 모두 원인이 아님)&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;22일 차:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 패킷 캡처 수집(컨트롤 플레인 노드 NIC와 kube-api 컨테이너 내부에서 동시에 캡처 수행, 조사가 가장 중요한 단계에 접어듦)&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;유력한 의심 요인이 모두 배제되고 조사 범위가 부인할 수 없을 정도로 넓어지자, 저희는 애플리케이션 계층에서 더 이상 얻을 수 있는 정보가 없을 때 해야 할 일을 했습니다. 바로 패킷을 분석한 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;2부: 네트워크 케이블에서 유령 추적하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;패킷 캡처가 무엇을 보여주는지 이해하려면 먼저 GKE 포드가 API 호출을 수행할 때 거치는 아키텍처를 이해해야 합니다. Private Service Connect 기반 GKE 클러스터에서 이 경로는 로컬 연결처럼 보이지만 의외로 매우 깁니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/updated_architecture_official_icon.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;여기서 핵심 구성요소는 Private Service Connect입니다. 포드가 1.2.3.4:443으로 연결을 시도할 때, 실제로는 컨트롤 플레인으로 직접 연결되는 것이 아닙니다. 해당 IP가 가상 엔드포인트입니다. 이 연결은 Google의 네트워킹 패브릭에 의해 가로채기되고, Private Service Connect 엔드포인트를 통해 NAT 처리되고, 내부 패스 스루 네트워크 부하 분산기를 통과하고, 최종적으로 KCP VM에 전달됩니다. 여기서 Envoy는 실제 kube-apiserver 프로세스 앞에서 로컬 프록시 역할을 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Private Service Connect는 각 새 연결에 프록시 프로토콜 헤더를 추가하므로 kube-apiserver는 실제 클라이언트 IP를 볼 수 있습니다. &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;이 점은 나중에 중요하게 작용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;패킷에서 발견한 사실&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;KCP VM의 NIC(PIGv 인터페이스, Google의 프로그래밍 가능한 가상 NIC)와 kube-apiserver 컨테이너 내부에서 동시에 패킷을 캡처했을 때 놀라운 사실을 발견했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;포드에서 발신된 SYN 패킷이 KCP VM의 NIC에 도착하고 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;있었습니다&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;. 패킷은 그 단계까지는 가고 있었습니다. 하지만 TCP 핸드셰이크의 예상되는 두 번째 단계인 SYN-ACK 응답을 받는 대신 클라이언트는 잘못된 ACK를 반환받았습니다. RST도 아니었고, 응답이 없는 상태도 아니었습니다. 논리적으로는 더 이른 시점에 수립된 연결에 속해야 할 ACK였습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;네트워크 프로토콜 분석기인 Wireshark는 이러한 스트림에 처음에는 무해해 보이는 'TCP 포트 번호 재사용'이라는 라벨을 지정했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Wireshark — 실패한 핸드셰이크를 보여주는 패킷 스트림&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;Time      Source        Port  →  Destination   Port  Info\r\n09:13:41  10.0.13.77    53426 →  10.117.0.2    443   [SYN] Seq=0 Win=42600\r\n09:13:41  10.117.0.2    443   →  10.0.13.77    53426 [SYN, ACK] Seq=0 Ack=1 Win=64768\r\n   ...    (data exchange, connection completes)\r\n09:13:42  10.117.0.2    443   →  10.0.13.77    53426 [TCP Retransmission]\r\n09:13:42  10.117.0.2    443   →  10.0.13.77    53426 [TCP Retransmission]\r\n   ...    (many retransmissions of the same ACK)\r\n\r\n# 2 minutes later, same port 53426 is reused for a new connection\r\n09:13:44  10.0.13.77    53426 →  10.117.0.2    443   [SYN] Seq=1498 ← NEW connection\r\n           (expected: SYN-ACK)\r\n           (received: ACK Seq=1498 Ack=1025 — belongs to PREVIOUS stream)\r\n09:13:44  10.0.13.77    53426 →  10.117.0.2    443   [SYN] Retransmit...\r\n09:13:44  10.0.13.77    53426 →  10.117.0.2    443   [SYN] Retransmit...\r\n                                                    → eventually: i/o timeout&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e895390&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;패턴은 명확했습니다. 무언가로 인해 KCP VM이 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;몇 분 전에 종료된 다른 연결&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;에 속한 ACK로 새 SYN에 응답하고 있었습니다. 이전 연결은 동일한 소스 포트(위 예시에서는 53426)를 사용했으며 KCP VM은 이를 완전히 해제하지 못했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;"KCP 서버가 FIN,ACK를 전송하고 클라이언트가 FIN,ACK로 응답한 후 ACK로 응답합니다. 하지만 KCP는 FIN,ACK보다 먼저 ACK를 수신합니다. KCP 서버는 FIN,ACK에 대해 ACK를 보내지 않으며, ACK를 지속적으로 재전송합니다. RST는 상태를 정리하지 않습니다."&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;'잘못된 ACK' 급증&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;조사팀 중 한 팀이 패킷 캡처(PCAP)를 분석하는 동안 다른 팀은 Private Service Connect 인프라의 내부 측정항목, 특히 Private Service Connect 연결을 위한 NAT 및 프록시 프로토콜 헤더 삽입을 처리하는 Google의 소프트웨어 전환 레이어인 사용자 공간 패킷 스위치(USPS)를 자세히 조사했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이들은 Google의 네트워킹 패브릭인 Andromeda의 측정항목에서 우려스러운 점을 발견했습니다. '프록시 프로토콜 드롭: 잘못된 ACK 패킷'이라는 카운터는 몇 달 동안 변동이 없었지만, 2026년 2월에 영향을 받은 europe-west 리전 전반에서 초당 여러 번 드롭되는 등 급격히 증가했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 날짜는 USPS 버전 출시와 일치했습니다. 이 버전에는 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;다른&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 버그를 수정하는 변경사항이 포함되어 있었지만, 이 변경사항으로 인해 Private Service Connect가 특정 클래스의 패킷을 처리하는 방식이 변경되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;챌린지 ACK: RFC 5961 메커니즘&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;퍼즐의 다음 조각을 이해하려면 RFC 5961에 정의된 챌린지 ACK라는 TCP 보안 메커니즘에 대해 살펴봐야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;TCP 연결이 종료되었다고 상상해 보세요. 즉, FIN/ACK 절차를 거쳐 종료된 상태입니다. 서버 측(여기서는 KCP VM)은 TCP 상태 머신에서 해당 연결의 시퀀스 넘버를 잠시 기억할 수 있습니다. 이제 잠시 후 동일한 소스 포트와 목적지 포트(동일한 5-튜플)에 새 클라이언트 연결이 도착한다고 가정해 보겠습니다. 커널의 관점에서 보면 이는 이전 연결의 오래된 패킷일 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;수도 있고&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;, 커널이 여전히 열려 있는 세션이라고 생각하는 세션에 데이터를 삽입하려는 공격자일 수도 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;RFC 5961에 따르면 이전 또는 최근에 닫힌 연결의 기억된 상태와 일치하는 SYN을 수신했을 때 무조건 수락해서는 안 됩니다. 챌린지 ACK, 즉 이전 연결의 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;마지막으로 알려진 시퀀스 넘버&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;를 전달하는 확인 응답을 전송합니다. 새 클라이언트가 정당한 경우 이 예기치 않은 ACK를 확인하고 연결이 오래되었음을 인식한 후 RST를 전송하여 상태를 정리합니다. 그러면 서버는 다음 SYN을 정상적으로 수락합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;챌린지 ACK 흐름 — 작동 방식&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;# Step 1: New client sends SYN on a reused port\r\nClient  →  Server:  SYN  (seq=X, same 5-tuple as an old connection)\r\n\r\n# Step 2: Server is in FIN_WAIT_2, sends challenge ACK\r\nServer  →  Client:  ACK  (ack=old_seq — &amp;quot;is this really you?&amp;quot;)\r\n\r\n# Step 3: Client recognizes the stale state, resets it\r\nClient  →  Server:  RST\r\n\r\n# Step 4: State is cleared. Server accepts the next SYN normally.\r\nClient  →  Server:  SYN  (new connection)\r\nServer  →  Client:  SYN-ACK  ← handshake succeeds&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e897e10&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 메커니즘은 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;챌린지 ACK가 통과되는 경우&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 완벽하게 작동합니다. 하지만 새로운 USPS 변경사항은 바로 이 부분을 차단했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;원인: 선의에서 비롯된 수정사항&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;USPS의 변경사항은 Private Service Connect의 프록시 프로토콜 처리에서 정당한 보안 문제를 해결하기 위해 설계되었습니다. 그 효과 중 하나는 연결 핸드셰이크 단계에서 '잘못된 ACK'로 분류된 패킷을 삭제하는 것이었습니다. 특히 초기 SYN-ACK가 전송되기 전에 도착한 ACK는 정상적인 상황에서는 비정상적으로 분류됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;안타깝게도 챌린지 ACK는 정확히 다음과 같습니다. 새로운 핸드셰이크가 완료되기 전에 서버에서 SYN에 대한 응답으로 도착합니다. USPS의 새로운 관점에서 보면 이 패킷들은 잘못된 패킷처럼 보였고, 아무런 경고 없이 삭제되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;특히 GKE에서 이 문제가 발생한 이유는 다음과 같습니다. Private Service Connect는 NAT를 사용하여 여러 클라이언트 포드에서 단일 공개 엔드포인트를 공유합니다. 즉, 서로 다른 네임스페이스에서 서로 다른 노드로 실행되는 여러 포드가 NAT 이후에 모두 동일한 소스 포트를 사용하게 되어 5-튜플 충돌률이 높아질 수 있습니다. 챌린지 ACK 메커니즘이 일반적인 직접 연결 시나리오에서보다 훨씬 더 자주 트리거되고 있었습니다. USPS 수정사항으로 챌린지 ACK가 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;도입&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;된 것이 아니라, 챌린지 ACK는 항상 존재했습니다. 이로 인해 챌린지 ACK &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;삭제&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;가 도입되었으며, GKE의 TCP 스택이 오래된 상태를 정리하기 위해 암묵적으로 의존하던 흐름이 깨졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;완화 조치: 변경사항 롤백&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2024년 2월, 저희는 USPS 변경사항을 롤백하여 챌린지 ACK가 삭제되지 않고 통과되던 이전 동작을 복원했습니다. '프록시 프로토콜 드롭: 잘못된 ACK 패킷' 비율은 거의 즉시 기준치로 돌아갔습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2026년 3월 초, 고객은 영향을 받은 모든 클러스터가 복구되었음을 확인했습니다. 더 이상 타임아웃 오류가 발생하지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;하지만 롤백은 근본적인 해결책이 아니라 임시방편이었습니다. 시스템이 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;우연히 의존하던&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 동작을 복원한 것에 불과했습니다. 더 근본적인 질문은 애초에 KCP VM이 2분 넘게 FIN_WAIT_2 상태였던 이유를 찾는 것이며, 여전히 완전한 답을 얻지 못한 상태였습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 질문은 3부로 이어졌습니다. 그리고 여기서부터 상황이 정말 이상해지기 시작했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;3부: 세 가지 버그, 하나의 범죄 현장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;완화 조치로 시간을 벌었지만, KCP VM이 왜 그렇게 오랫동안 FIN_WAIT_2 상태로 연결을 유지했는지에 대한 의문은 여전히 남아 있었습니다. 정상적으로 작동하는 TCP 스택은 FIN을 처리하고, 이를 확인한 뒤 연결을 종료합니다. KCP VM은 이를 제대로 수행하지 못해 2분 이상 지속되는 반개방 연결을 남겼습니다. 이 시간은 Private Service Connect의 NAT 레이어에서 해당 포트를 재사용하기에 충분한 시간이자, 저희가 발견한 챌린지 ACK 시나리오를 유발하기에 충분한 시간이었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 질문에 답하기 위해서는 하나의 버그뿐만 아니라 최악의 순간에 교차한 세 가지의 서로 다른 장애 모드를 이해해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;버그 #1: PIGv에서 패킷 순서 변경&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;첫 번째 조각은 두 지점, 즉 KCP VM의 호스트 NIC(VM을 실행하는 물리적 호스트 내부)와 PIGv(VM에서 인식되는 가상 NIC)에서 동시에 캡처한 내용을 신중하게 분석하여 발견했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;호스트 NIC 수준에서 패킷은 완벽한 순서로 도착했습니다. 하지만 USPS를 거쳐 PIGv에 나타났을 때는 미묘하게 순서가 바뀌어 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이는 Private Service Connect의 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;미스 스레드 처리&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;가 작동하는 방식 때문에 발생합니다. Private Service Connect가 이전에 본 적이 없는 새로운 흐름('누락')을 가로채면 프록시 프로토콜 헤더를 추가하고 NAT 상태를 설정하는 더 느린 경로를 통해 해당 패킷을 처리합니다. 동일한 흐름의 후속 패킷은 빠른 경로를 사용합니다. 그 결과, 연결 종료 중인 흐름에 속하는 FIN 또는 RST 패킷이 뒤따르는 ACK와 비교하여 약간 순서가 맞지 않게 도착할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;KCP VM이 실제로 수신한 내용(순서가 변경된 시퀀스)&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;quot;# What should have happened:\r\nClient  →  Server: FIN, ACK  (client initiates close)\r\nServer  →  Client: ACK       (server acknowledges client FIN)\r\nServer  →  Client: FIN, ACK  (server initiates its own close)\r\nClient  →  Server: ACK       (client acknowledges server FIN)\r\n                             → Connection fully closed. Both sides free.\r\n\r\n# What the KCP VM actually received (reordered by PIGv/USPS):\r\nClient  →  Server: ACK        (arrives first — out of order)\r\nClient  →  Server: FIN, ACK   (arrives second, but kernel sees ACK first)\r\nServer  →  Client: FIN, ACK   (server sends close, enters FIN_WAIT_1)\r\nClient  →  Server: FIN, ACK   (old, now-reordered FIN from client)\r\n                             → Server should ACK this. But it doesn&amp;#x27;t...&amp;quot;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e8940d0&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;순서가 변경되면서 서버가 이미 자체 FIN을 보낸 후에 클라이언트의 FIN이 배치되었습니다. 서버는 FIN_WAIT_1 상태에 진입한 후 서버의 FIN에 대한 클라이언트의 ACK를 확인하고 FIN_WAIT_2 상태로 넘어갔습니다. 하지만 그 후 클라이언트 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;자체&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; FIN이 도착했고, 서버의 커널은 이를 무시했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;버그 #2: Envoy의 반개방 및 정지된 타이머&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;운영체제가 자체적으로 정리할 수 없었던 이유는 무엇일까요? FIN_WAIT_2 상태의 소켓이 강제로 닫히기 전에 대기하는 시간을 정확하게 제어하는 tcp_fin_timeout이라는 Linux 커널 매개변수가 있습니다. KCP VM에서는 이 값이 60초로 설정되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;하지만 tcp_fin_timeout은 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;고아&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 소켓, 즉 현재 어떤 프로세스도 열어두지 않은 소켓에만 적용됩니다. KCP VM의 kube-apiserver 앞에 있는 프록시인 Envoy는 반개방을 수행하고 있었습니다. 즉, 연결의 쓰기 측을 닫았지만 소켓을 열어두어 여전히 데이터를 수신할 수 있도록 shutdown(SHUT_WR)을 호출했습니다. 이는 완벽하게 유효한 TCP 동작이며, 정상적인 반이중 종료가 작동하는 방식입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;문제는 Envoy가 SHUT_WR로 소켓을 보유하는 한 커널은 이를 고아로 간주하지 않고, tcp_fin_timeout이 절대 시작되지 않는다는 것입니다. 소켓은 FIN_WAIT_2 상태로 무기한 대기하며, 올바르게 처리할 수 없는 클라이언트 FIN을 기다렸습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;커널 소켓 상태 — 새 연결 직전에 netstat를 통해 캡처됨&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;Proto  Local Address         Foreign Address       State\r\ntcp    10.128.0.5:443        10.0.13.77:53426      FIN_WAIT_2\r\n# This socket has been in FIN_WAIT_2 for &amp;gt; 120 seconds.\r\n# tcp_fin_timeout=60 has not fired because the socket is not orphaned.\r\n# Envoy holds it open with SHUT_WR.\r\n\r\n# 2 minutes later, Private Service Connect NAT reuses port 53426 for a new pod connection.\r\n# The kernel sees the new SYN on this 5-tuple and sends a challenge ACK.\r\n# USPS drops the challenge ACK. → i/o timeout.&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e895f90&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;버그 #3: Linux 커널의 잠재적 오류&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;하지만 여전히 빠진 조각이 있었습니다. FIN의 순서가 변경되더라도 정상적인 커널이라면 FIN_WAIT_2에서 수신된 FIN을 처리하고 TIME_WAIT로 전환해야 합니다. 소켓은 결국 닫혀야 합니다. 왜 닫히지 않았을까요?&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그래서 저희는 Linux TCP 상태 머신 구현을 심층적으로 살펴보게 되었습니다. 순서가 변경된 클라이언트 FIN이 KCP VM에 도착했을 때 커널의 tcp_ack() 함수가 호출되어 이를 처리했습니다. 그리고 KCP VM에서 실행되는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/container-optimized-os/docs"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Container-Optimized OS&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(COS)의 기반이 되는 커널 버전 6.1에 버그가 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;RFC 5961은 허용 가능한 ACK 번호에 대해 더 엄격한 유효성 검사를 추가했습니다. 특히, 네트워크 순서 변경을 처리하기 위해 약간 '오래된'(시퀀스 넘버 범위 내) ACK도 유효한 것으로 간주할 수 있도록 했습니다. 그러나 커널 6.1에는 tcp_ack()가 0을 반환하는 코드 경로가 있었습니다. 이는 오래되었지만 RFC 5961 허용 범위 내에 있는 ACK를 발견했을 때 '이 패킷이 완전히 처리되지 않았음'을 나타냅니다. FIN 처리 경로에서 tcp_ack()의 호출자는 이 반환 값을 확인하고 0을 확인했지만, 아무 작업도 수행하지 않았습니다. FIN 패킷이 수신되었으나 아무런 경고 없이 버려졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;이 문제를 수정한 Linux 커널 커밋(업스트림)&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;commit 795a7dfbc3d9\r\nAuthor: Eric Dumazet &amp;lt;edumazet@google.com&amp;gt;\r\nnet: tcp: accept old ack during closing\r\n\r\ntcp_ack() returns 0 when ack is old but acceptable wrt rfc5961.\r\nIn FIN_WAIT_2, this caused tcp_fin() to never be called for a\r\nvalid received FIN, leaving the connection stuck indefinitely.\r\n\r\nFixed: properly handle old-but-acceptable ACKs during connection close.\r\nIntroduced in 6.1, fixed in 6.9.7. LTS backports: 6.6.y and 6.1.y.&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e895110&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 버그는 커널 6.1부터 존재했으며 커널 6.9.7에서 이미 수정되었지만, GKE의 KCP VM은 6.1 및 6.6을 기반으로 하는 COS 빌드를 실행하고 있었습니다. 수정사항을 백포트하고 COS 이미지 업데이트로 제공해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;세 가지 버그가 어떻게 결합했는가&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개별적으로 보면 이 세 가지 문제 중 어느 것도 이 정도 규모의 서비스 중단을 일으키지 않았을 것입니다. 이 세 가지가 모두 함께 작용하여 이러한 장애가 발생했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;버그 #1만 발생:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 패킷 순서 변경이 약간의 지장을 주지만, 커널은 일반적으로 결국 FIN을 처리하고 정리합니다. 단지 이상적인 속도보다 느릴 뿐입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;버그 #2만 발생:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Envoy의 반개방은 완벽하게 정상적인 동작입니다. FIN이 제대로 처리되지 않는 경우에만 문제가 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;버그 #3만 발생:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 커널이 오래되었지만 허용 가능한 ACK를 처리하지 못하면 일부 연결이 지연되지만, Private Service Connect NAT의 포트 재사용 압박이 없으면 그 영향은 제한적입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;세 가지 버그가 모두 결합:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 순서 변경으로 인해 FIN이 순서에 맞지 않게 도착하고, 커널 버그로 인해 FIN이 처리되지 않으며, Envoy의 SHUT_WR로 인해 타임아웃이 발생하지 않고, 소켓이 무한정 FIN_WAIT_2 상태로 유지됩니다. Private Service Connect NAT가 포트를 재사용합니다. 챌린지 ACK가 전송됩니다. USPS 수정사항으로 인해 이 ACK가 삭제됩니다. 연결에 실패합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;해결 방법: 세 가지 수정사항&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 문제를 해결하려면 세 가지 수준에서 조치를 취해야 했으며, 여러 팀이 몇 주에 걸쳐 협력해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;즉각적인 완화 조치(2026년 2월):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; USPS 변경사항을 롤백했습니다. 챌린지 ACK가 삭제되지 않고 전달되는 이전 동작을 복원했습니다. 3월 초까지 고객 클러스터가 복구되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;정확성 수정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Private Service Connect 프록시 프로토콜 레이어에서 챌린지 ACK 시나리오를 올바르게 처리하기 위한 대체 변경사항으로, 단순히 이전 드롭 동작을 복원하는 것이 아닙니다. 회귀를 방지하기 위해 PacketDrill 테스트가 테스트 모음에 추가되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;근본 원인 수정 — Linux 커널 패치:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에릭 뒤마제가 작성한 업스트림 패치('net: tcp: accept old ack during closing')입니다. Linux 6.9.7에 병합되었으며 6.6.y 및 6.1.y LTS 브랜치로 백포트되었습니다. GKE 1.33.5 이상에서 제공됩니다. 이 버그는 이러한 COS 이미지를 실행하는 모든 GKE 버전의 OS 수준에서 완전히 해결되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;이 케이스가 특별했던 점&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대부분의 네트워킹 케이스는 한 레이어에서 해결됩니다. 잘못 구성된 방화벽 규칙, 소진된 연결 풀, 잘못 계산된 MTU 등을 찾아 수정하고 다음 단계로 넘어가면 됩니다. 이 케이스가 특별했던 점은 Private Service Connect 레이어, 커널의 TCP 상태 머신, Envoy의 연결 관리 중 어디를 살펴보더라도 완료되지 않은 연결의 I/O 타임아웃이라는 증상이 동일했다는 것입니다. 레이어마다 그럴듯한 원인 설명이 있었지만, 그 어떤 설명도 완전하지는 않았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;결국 문제를 해결한 것은 경로의 여러 지점에서 동시에 패킷을 캡처하는 체계적 원칙이었습니다. 호스트 NIC, PIGv, 컨테이너 내부에서 동시에 캡처하지 않았다면 순서 변경 현상을 발견할 수 없었을 것입니다. 이러한 PCAP을 2월 18일의 USPS 측정항목 급증과 연관시키지 않았다면 드롭된 챌린지 ACK를 찾지 못했을 것입니다. 또한 실험실 환경에서 문제를 재현하지 않았다면 FIN_WAIT_2 상태를 영구적으로 만드는 커널 버그를 발견하지 못했을 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 케이스를 해결로 이끈 또 하나의 요인은 팀워크였습니다. 2주 동안 GKE 네트워킹, Private Service Connect 인프라, Hostnet, Andromeda, KCP, 그리고 최종적으로 커널 커뮤니티까지 7~8개 분야의 엔지니어들이 참여했습니다. 한 사람이 이 모든 것을 머릿속에 담고 있을 수는 없습니다. 케이스 노트, 공유 버그 트래커, 꼼꼼하게 수집된 PCAP은 분산된 팀이 하나가 되어 일할 수 있게 해준 연결 고리였습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;결국 고객은 프로덕션 환경으로 복귀할 수 있었습니다. 커널에는 더 나은 버그 수정사항이 적용되었습니다. 그리고 모두가 패킷 순서 변경, 반개방 소켓, 선의의 보안 패치가 왜 동시에 한곳에 있어서는 안 되는지에 대한 아주 좋은 교훈을 얻었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;sub&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: sub;"&gt;이 블로그는 익명 처리된 고객 지원 참여 및 내부 버그의 실제 케이스 데이터를 기반으로 합니다. 언급된 Linux 커널 수정사항은 에릭 뒤마제가 작성한 커밋 795a7dfbc3d9입니다. 이 문제를 해결하는 데 도움을 주신 GKE, Private Service Connect, Hostnet, Andromeda, COS, Linux 네트워킹 커뮤니티의 엔지니어 여러분께 특별한 감사를 전합니다.&lt;/span&gt;&lt;/span&gt;&lt;/sub&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 10 Nov 2026 12:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/networking/the-three-layer-gke-network-mystery/</guid><category>Containers &amp; Kubernetes</category><category>GKE</category><category>DevOps &amp; SRE</category><category>Management Tools</category><category>Developers &amp; Practitioners</category><category>Networking</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Kubernetes API가 응답하지 않을 때: 3레이어 네트워킹 미스터리</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/networking/the-three-layer-gke-network-mystery/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Akash Thakur</name><title>Sr. Technical Solutions Engineer</title><department></department><company></company></author></item><item><title>VPC 흐름 로그로 GKE 워크로드 문제를 더 빠르게 해결하는 방법</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/using-vpc-flow-logs-to-troubleshoot-gke-workloads/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/using-vpc-flow-logs-to-troubleshoot-gke-workloads?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Kubernetes 환경을 효과적으로 운영하려면 네트워크 트래픽에 대한 가시성을 확보하는 것이 필수적입니다. 서비스 속도가 느려지거나 연결이 끊어졌을 때 어디에서 어디와 통신하고 있는지만 파악하면 문제의 원인을 빠르게 좁힐 수 있습니다. 표준 클라우드 네트워크에서는 흐름 로그가 IP 주소, 포트, 프로토콜 간의 연결을 기록하여 이러한 뷰를 제공합니다. 하지만 Kubernetes에서 포드는 일시적으로 존재합니다. 포드가 확장되거나 비정상 종료되거나 노드 간에 이동하면 IP 주소가 계속 변경되므로 10.4.2.18이 10.4.8.44와 통신하는 것을 보여주는 원시 로그 항목만으로는 해당 주소를 소유한 워크로드(및 포드)가 무엇인지, 어떤 네임스페이스에 속해 있는지, 어떤 애플리케이션에 연결하려 했는지 파악하기 어렵습니다. 클러스터에서 해당 포드를 검색할 때쯤이면 이미 사라졌을 수도 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud 환경에서는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/vpc/docs/using-flow-logs"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;VPC 흐름 로그&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 네트워크 계층에서 이러한 문제를 해소합니다. Google Cloud의 가상 네트워크는 이미 포드가 만드는 모든 연결을 확인하므로 샘플링된 각 흐름은 IP 주소 뒤에 있는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/kubernetes-engine-overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(GKE) 메타데이터(포드, 워크로드, 네임스페이스, 서비스)와 함께 기록됩니다. 따라서 추가 에이전트나 사이드카를 배포하지 않고도 L3/L4 트래픽에 대한 워크로드 수준 기여 분석을 얻을 수 있으며, 더 자세한 정보가 필요한 경우 이미 실행 중인 클러스터 내 컨테이너 네트워크 인터페이스(CNI) 및 데이터 영역 관측 가능성 도구와 함께 활용할 수도 있습니다. VPC 흐름 로그와 GKE가 어떻게 연동되는지, 그리고 어떻게 시작하는지 자세히 살펴보겠습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 메타데이터를 통해 VPC 흐름 로그를 보강하는 방법&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;VPC 흐름 로그는 Google Cloud의 가상 네트워크 내에서 직접 트래픽을 샘플링합니다. GKE 클러스터를 호스팅하는 서브넷에서 흐름 로그를 사용 설정하면 VPC 네트워크를 통과하는 포드 트래픽의 모든 레코드에 샘플링 시점에 해당 IP 주소를 소유한 Kubernetes 컨텍스트가 주석으로 추가됩니다. 이렇게 하면 포드가 사라진 후에도 다음과 같은 컨텍스트가 보존됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;클러스터: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 이름 및 위치입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;워크로드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;포드 이름 및 네임스페이스, 그리고 Deployment, StatefulSet 또는 DaemonSet 등 해당 포드를 소유하는 컨트롤러입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;서비스 이름: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;트래픽을 수신한 Kubernetes 서비스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;노드 및 영역:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 흐름의 양쪽 끝에 있는 노드 VM 및 해당 영역을 포함한 표준 VPC 필드입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 워크로드를&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/app-hub/docs/overview?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;App Hub&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 등록하면 각 레코드에 각 엔드포인트의 비즈니스 애플리케이션, 환경, 중요도를 식별하는 애플리케이션 수준 라벨(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;apphubSource&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;apphubDestination&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)도 포함됩니다. 이는 GKE 마이크로서비스가 Cloud Run 서비스와 같이 클러스터 외부에 있는 App Hub 등록 리소스와 통신할 때 특히 유용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기 전에&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;로그 버킷을&lt;/strong&gt;&lt;a href="https://cloud.google.com/network-intelligence-center/docs/flow-analyzer/enable-log-analytics"&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Observability Analytics&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;(이전 명칭: 로그 분석)로 업그레이드: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Flow Analyzer는 업그레이드된 버킷(일반적으로 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;_Default&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)에서만 읽습니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;참고:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 업그레이드는 영구적입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;code style="vertical-align: baseline;"&gt;gcloud logging buckets update _Default \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --location=global \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --enable-analytics&lt;/code&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;조직 전체에 VPC 흐름 로그 사용 설정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 조직 수준에서 한 번만 구성하면 향후 생성되는 클러스터를 포함한 모든 VPC 네트워크의 모든 서브넷에 적용됩니다(네트워크 관리자 역할 필요). 모든 레코드에 네임스페이스와 포드 세부정보가 포함되도록 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;include-all-metadata&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용 설정된 상태로 유지합니다. 가시성과 비용 간의 균형을 맞추기 위해 보조 샘플링 레이트(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;--flow-sampling&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;), 집계 간격(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;--aggregation-interval&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;) 또는 필터 표현식(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;--filter-expr&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)을 추가하여 관심 있는 트래픽만 확인할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;code style="vertical-align: baseline;"&gt;gcloud network-management vpc-flow-logs-configs create CONFIG_NAME \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --location=global \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --organization=ORGANIZATION_ID \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --metadata=include-all-metadata&lt;/code&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/intranode-visibility"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;노드 내 가시성&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; 사용 설정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Autopilot 클러스터에는 이미 사용 설정되어 있지만 Standard 클러스터에서는 별도로 사용 설정해야 합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;참고: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;이 기능을 사용 설정하면 컨트롤 플레인과 노드 구성요소가 다시 시작되고 노드별 오버헤드가 추가되므로 먼저 비프로덕션 클러스터에서 테스트하세요.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;code style="vertical-align: baseline;"&gt;gcloud container clusters update CLUSTER_NAME \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --location=LOCATION \&lt;/code&gt;&lt;code style="vertical-align: baseline;"&gt;    --enable-intra-node-visibility&lt;/code&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이제 시작할 준비가 되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Flow Analyzer에서 트래픽을 시각적으로 분석&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;VPC 흐름 로그는 모든 레코드를 Cloud Logging에 기록하므로 로그 탐색기 또는 로그 분석에서 검색하고 쿼리할 수 있습니다. 일상적인 작업에서는 Network Intelligence Center의 일부인&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/network-intelligence-center/docs/flow-analyzer/overview"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Flow Analyzer&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 동일한 레코드를 대화형 차트와 표로 변환하므로 클릭 몇 번으로 클러스터, 네임스페이스, 워크로드, 포드 또는 서비스별로 트래픽을 그룹화하고 필터링할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;아래 안내에서는 us-central1의 GKE Autopilot 클러스터에서 오픈소스 마이크로서비스 데모인&lt;/span&gt;&lt;a href="https://github.com/GoogleCloudPlatform/microservices-demo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Online Boutique&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용합니다. &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;loadgenerator&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 배포는 합성 쇼핑객 트래픽을 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;frontend&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;로 전송하고, 이는 다시 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;productcatalogservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;cartservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;currencyservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;recommendationservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;shippingservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;adservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;checkoutservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 호출합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;사례 1: IP 주소를 워크로드 이름으로 변환&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;사고를 조사하든 아키텍처 변경을 평가하든 첫 번째 질문은 항상 동일합니다. 어떤 엔드포인트가 어떤 볼륨으로 통신하고 있는가?&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Flow Analyzer는 임시 IP 주소 쌍을 제시하는 대신 GKE 메타데이터를 사용하여 Kubernetes 워크로드 이름을 통해 이 질문에 직접 답할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Flow Analyzer에서 수행할 단계:&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Network Intelligence Center&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &amp;gt; &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Flow Analyzer&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 열고 기간을 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;지난 1시간&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;으로 설정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;소스&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;대상&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;흐름 구성&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;기준&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 GKE 워크로드로 설정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;필터 표시줄에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 워크로드가 알려짐&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 필터를 추가하여 포드 간 트래픽만 표시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새 쿼리 실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 클릭합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/1_HzpvhDD.gif"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="psylm"&gt;Flow Analyzer에서 소스 GKE 워크로드 및 대상 GKE 워크로드별로 트래픽을 그룹화하여 원시 IP를 조회하지 않고도 마이크로서비스 종속 항목을 파악합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;주요 인사이트: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;볼륨별로 정렬된 이 테이블에서는 애플리케이션 종속 항목을 한눈에 파악할 수 있습니다. &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;frontend&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;는 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;loadgenerator&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;(사용자 트래픽을 나타냄)에서 들어오는 요청을 처리하고, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;productcatalogservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;는 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;recommendationservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;frontend&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;의 호출에 응답합니다. 각 행에는 원시 IP 주소 대신 워크로드 이름이 표시되므로 승인되지 않았거나 예기치 않은 워크로드 간 통신을 즉시 파악할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;사례 2: 단일 서비스 상세히 살펴보기&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;서비스가 느리거나 변경될 예정인 경우 해당 서비스에 의존하는 워크로드와 그 의존도를 파악해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Flow Analyzer에서 수행할 단계:&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;트래픽 집계&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;클라이언트&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; ↔&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; 서버(양방향)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 변경하여 둘 간의 요청과 응답이 함께 집계되도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;서버&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 워크로드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; = &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;productcatalogservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 필터를 추가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새 쿼리 실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 클릭한 다음 상단 행에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;세부정보&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 클릭합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/2_H9re5kG.gif"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="psylm"&gt;클라이언트 ↔ 서버(양방향) 집계를 사용하여 서버 GKE 워크로드(productcatalogservice)를 필터링하고 호출자별 점유율과 세부정보 타임라인을 확인합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;주요 인사이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 카탈로그 서비스의 모든 호출자, 각 호출자의 트래픽 점유율, 모든 호출자와 서비스 간의 타임라인을 확인할 수 있으므로 특정 호출자의 트래픽만 증가하고 나머지는 변화가 없다면 어느 부분부터 살펴봐야 하는지 알 수 있습니다. 볼륨이 아닌 지연 시간이 문제인 경우 표시 모드를 지연 시간으로 전환하여 동일한 호출자를 왕복 시간을 기준으로 정렬할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;사례 3: 영역 간에 통신하는 포드 찾기&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;리전 GKE 클러스터에서 트래픽 양이 많은 서비스가 서로 다른 영역에 배치되면 모든 요청이 영역 경계를 넘어 전송되므로 영역 간 데이터 전송 요금이 추가로 발생합니다. VPC 흐름 로그는 모든 흐름의 양쪽 끝에 있는 영역을 기록하므로 해당 트래픽을 발생시키는 포드 쌍을 쉽게 찾을 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Flow Analyzer에서 수행할 단계:&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기본 필터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;SQL 필터&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 전환합니다. 그러면 동일한 흐름의 두 필드를 비교할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;WHERE&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 상자에 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;src_gcp_zone &amp;lt;&amp;gt; dest_gcp_zone&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;을 입력합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;흐름 구성 기준&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;소스 GCP 영역, 소스 GKE 포드, 대상 GCP 영역&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;대상 GKE 포드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 설정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;새 쿼리 실행&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 클릭합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/3_3n9hbpu.gif"
        
          alt="3"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="psylm"&gt;src_gcp_zone &amp;lt;&amp;gt; dest_gcp_zone과 함께 SQL 필터 및 다중 속성 그룹화를 사용하여 영역 간 네트워크 트래픽을 발생시키는 포드 쌍을 식별합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;주요 인사이트:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 표에는 영역 간 트래픽이 볼륨별로 정렬되어 있으며, 각 끝에 있는 포드와 영역을 정확히 식별할 수 있습니다. 이 클러스터에서는 us-central1-b의 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;frontend&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 포드와 us-central1-c의 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;currencyservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 포드 간에 가장 많은 흐름이 발생하고, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;checkoutservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;shippingservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;productcatalogservice&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;가 그 뒤를 따릅니다. 더 자세히 조사하려면 로그 분석에서 '탐색'을 클릭하여 기본 SQL 쿼리를 열고 조인 또는 시간 버킷을 추가하는 등 추가 맞춤설정을 수행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE에는 기본 제공되는 답변이 있습니다. 서비스에서 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;trafficDistribution: PreferSameZone&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;(이전 버전의 경우 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;PreferClose&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)을 설정하여 호출자 영역의 정상 엔드포인트에 우선적으로 트래픽을 전달하고 각 영역에 자체 트래픽을 처리할 수 있는 충분한 복제본이 있는지 확인합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;주의사항&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;포드-인터넷 트래픽:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 흐름이 샘플링되기 전에 매스커레이드 에이전트가 포드 IP를 노드 IP로 대체하므로 VPC 흐름 로그에는 포드 주석이 포함되지 않습니다. 내부 대상을 비매스커레이드 목록에 유지하면 해당 흐름의 포드 이름이 보존되며, 노드 내 가시성을 사용하여 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;ip-masq-agent&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 실행하는 경우 연결 문제를 방지하려면 해당 목록에 클러스터의 노드 및 포드 IP 범위도 포함해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;차단된 트래픽:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 네트워크 정책에 의해 차단된 트래픽은 VPC 네트워크에 도달하지 않으므로&lt;/span&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/network-policy-logging"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NetworkPolicy 로깅&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 조사합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;샘플링:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 흐름 로그는 샘플링되므로&lt;/span&gt;&lt;a href="https://services.google.com/fh/files/misc/vpc_flow_logs_understanding_byte_and_packet_counts.pdf" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;바이트 및 패킷 수&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 연결별 트래픽을 집계하기보다는 순위를 매기거나 추세를 분석하는 데 적합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;다음 단계&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터에 이미 VPC 흐름 로그가 사용 설정되어 있다면 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;_Default&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 버킷을 업그레이드하고 Flow Analyzer를 열기만 하면 위의 세 가지 예시를 재현할 수 있습니다. 자세한 내용은 다음 문서를 참고하세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/vpc/docs/using-flow-logs#gke"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;VPC 흐름 로그 사용&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/vpc/docs/about-flow-logs-records#gke-annotations"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE용 VPC 흐름 로그 레코드 형식&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/network-intelligence-center/docs/flow-analyzer/analyze-traffic-flows"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Flow Analyzer를 사용한 네트워크 트래픽 분석&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/best-practices/network-observability"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 네트워크 관측 가능성 권장사항&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/troubleshooting/network-observability"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 네트워크 관측 가능성 문제 해결&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt; &lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Wed, 04 Nov 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/using-vpc-flow-logs-to-troubleshoot-gke-workloads/</guid><category>Networking</category><category>GKE</category><category>Developers &amp; Practitioners</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>VPC 흐름 로그로 GKE 워크로드 문제를 더 빠르게 해결하는 방법</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/using-vpc-flow-logs-to-troubleshoot-gke-workloads/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Nishant Kumar</name><title>Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Whitney Jenkins</name><title>Product Manager</title><department></department><company></company></author></item><item><title>GKE 네트워킹을 확장하여 동시 실행 AI 에이전트의 고밀도 워크로드를 지원하는 방법</title><link>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;고밀도 동시 실행 AI 에이전트를 조정하려면 무엇이 필요할까요? 정적 요청에서 자율적인 에이전트형 워크플로로 전환함에 따라 안전한 고밀도 샌드박스에 대한 필요성이 커지면서 기존 인프라는 아키텍처의 한계를 훨씬 뛰어넘는 요구사항에 직면하고 있습니다. 이러한 전환으로 인해 최고 수준의 연구소에서는 전례 없는 규모의 인프라를 요구하고 있으며, 최대 100만 개의 동시 코드 실행 샌드박스가 필요한 경우도 많습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 규모에서는 Kubernetes 네트워킹 인프라의 효율성이 에이전트 이니셔티브의 경제적 실행 가능성에 직접적인 영향을 미칩니다. 강화 학습(RL)과 같은 고급 워크플로에서는 극단적인 포드 제거로 인해 매분 수천 개의 격리된 샌드박스가 생성되고 삭제될 수 있습니다. 고가의 GPU와 TPU가 샌드박스 초기화를 기다리는 대신 모델을 실행하는 데 시간을 할애하도록 하려면 1초 미만의 프로비저닝과 매우 높은 컴퓨팅 밀도가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Sandbox&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 안전하고 가벼운 격리 기능을 제공하므로 이처럼 고도로 동적인 실행 환경을 지원하는 데 특히 적합합니다. 또한 수백만 개의 동시 유휴 세션이 존재하는 차세대 워크로드의 경우 GKE의 Agent Substrate는 이러한 기본 기능을 바탕으로 더 높은 밀도와 1초 미만의 상태 리하이드레이션 기능을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 게시물에서는&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dataplane-v2"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Dataplane V2&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 네트워크 ID 관리를 최적화하고, ID 확장 한도 문제를 해결하며, 1초 미만의 프로비저닝을 지원하여 대규모 고밀도 AI 에이전트 워크로드를 처리하는 방법을 알아봅니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;일반적인 확장 과제: 네트워크 ID 관리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 동시 실행 환경을 운영하다 보면 새로운 엔지니어링 과제가 발생하는데, 특히 네트워크 ID를 관리하는 방식에서 이러한 문제가 두드러집니다. 일반적으로 커스텀 컨트롤러와 워크로드 조정자는 각 포드에 고유한 동적 라벨(예: agent-id, 타임스탬프, claim-uid)을 할당하는 경우가 많습니다.&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/dataplane-v2"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Dataplane V2&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는&lt;/span&gt;&lt;a href="https://ebpf.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;eBPF&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기술을 기반으로 하며, 포드 라벨을 숫자 ID에 매핑하여 강력한 네트워크 보안 정책을 적용할 수 있도록 지원합니다. 에이전트형 워크플로에서는 포드마다 고유한 라벨이 생성되므로 시스템은 각 샌드박스에 고유한 ID를 선제적으로 프로비저닝합니다. 빠르게 변화하는 환경에서 이러한 순차적 할당 프로세스는 시스템이 eBPF 맵을 안전하게 업데이트하는 동안 포드 생성을 일시적으로 중단시킬 수 있으며, 이로 인해 초기화 시간이 예상보다 길어질 수도 있습니다. 또한 정교한 워크로드에서는 네트워크 ID가 빠르게 생성되거나 워크로드 자체의 규모가 커지면서 클러스터 전체에 적용되는 65,536개의 한도에 도달할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 시대를 위한 GKE 네트워크 데이터 영역의 혁신&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;안정적이고 보안 수준이 높은 플랫폼을 제공하는 것은 Google Cloud가 수행하는 모든 일의 기본 원칙입니다. 따라서 Google Cloud는 더 높은 확장성과 성능을 제공하면서도 기존의 ID 및 보안 제어 기능을 유지할 수 있는 방법을 찾아야 했습니다. 바로 이 부분에서 GKE Dataplane V2의 아키텍처 혁신이 중요한 역할을 합니다.&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=48754805&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;한 고객은 GKE에서 Agent Substrate를 사용&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;하여 클러스터 전반에서 수십만 개의 안전한 환경을 조정하고, 단일 클러스터에서 샌드박스가 30,000개 이상으로 급증하는 상황도 성공적으로 처리했다고 밝혔습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이를 위해 GKE는 다음과 같은 두 가지 네트워킹 접근 방식을 사용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;카디널리티가 높은 데이터 마이그레이션&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 GKE Dataplane V2는 '식별' 데이터를 '기능' 메타데이터와 분리합니다. &lt;/span&gt;&lt;a href="https://kubernetes.io/docs/concepts/overview/working-with-objects/labels/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;서비스 선택기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 일치 또는 핵심 리소스 그룹화에 적극적으로 참여하지 않는 필드는 포드의 라벨 집합에서 주석 집합으로 마이그레이션되어야 합니다. GKE Dataplane V2는 주석이 아닌 라벨을 기반으로 네트워크 ID를 지능적으로 계산하므로, 이러한 카디널리티가 높은 메타데이터를 라벨에서 다른 곳으로 이전하면 포드마다 별도의 ID를 생성할 필요가 없습니다. 이러한 세련된 방식의 전환을 통해 가시성을 희생하지 않고도 ID 확장 한도 문제를 근본적으로 해결할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;고급 Cilium 라벨 필터링&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 !agents.x-k8s.io/sandbox-name-hash 또는 !timestamp와 같은 규칙을 구성하여 정확한 라벨 제외 필터를 적용하면(예: kube-system의 cilium-config-emergency-override ConfigMap 사용) GKE Dataplane V2가 보안 ID 계산 중에 이러한&lt;/span&gt;&lt;a href="https://docs.cilium.io/en/stable/operations/performance/scalability/identity-relevant-labels/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;동적 라벨&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 무시하도록 명시적으로 지정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;즉, 개발자 프레임워크에서 의도치 않게 카디널리티가 높은 라벨을 도입하더라도 적절한 제외 필터를 구성하면 Google의 네트워크 데이터 영역에서 해당 라벨을 자동으로 제외할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과 동일한 유형의 에이전트가 하나의 Cilium 포드 ID를 계속 공유하므로 동적 AI 워크로드에 필수적인 초저지연 시작 시간을 유지할 수 있습니다. GKE는 ID가 선형적으로 증가하는 것을 방지하고 Cilium의 65,536개 ID 한도에 도달하지 않도록 하여 완전히 격리된 에이전트를 위해 1초 미만의 지연 시간으로 초당 300개의 샌드박스를 프로비저닝하는 뛰어난 속도와 효율성을 제공합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_qePrOOs.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;향후 계획&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;매우 높은 수준의 성능, 확장성, 밀도가 필요한 워크로드의 경우&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/about-agent-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 이러한 GKE Dataplane V2 권장사항을 기본적으로 통합하는 동시에 Kubernetes 예약 한도를 우회하여 GKE의 성능과 확장성을 더욱 향상합니다. 200,000개의 에이전트를 실행하는 벤치마크 검증에서 Agent Substrate는 500ms 미만의 일시중지 및 재개 지연 시간으로 초당 500회의 활성화를 유지했습니다. 지금 바로 기존 GKE 클러스터에 배포하여 가장 까다로운 AI 워크플로에서도 유휴 컴퓨팅 비용을 최소화할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE Dataplane V2는 네트워크 ID 계산을 최적화하고 카디널리티가 높은 메타데이터를 필터링하여 대규모 AI 워크로드에서 발생하는 주요 인프라 병목 현상을 해결합니다. 이러한 아키텍처 개선을 통해 샌드박스 프로비저닝 지연 시간을 1초 미만으로 줄이고, 고가의 GPU 유휴 시간을 최소화하며, 높은 컴퓨팅 밀도를 유지할 수 있습니다. 궁극적으로 이러한 효율성 덕분에 운영 비용을 관리하면서 에이전트 AI 운영 규모를 안정적으로 확장할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;자세한 내용은 GKE의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Sandbox&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/ai-ml/install-overview-substrate"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 03 Nov 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</guid><category>Containers &amp; Kubernetes</category><category>GKE</category><category>AI infrastructure</category><category>Networking</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>GKE 네트워킹을 확장하여 동시 실행 AI 에이전트의 고밀도 워크로드를 지원하는 방법</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/networking/gke-networking-dataplane-for-large-agentic-ai-workloads/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Srini Jasti</name><title>Group Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Venkat Krishnan</name><title>Software Engineer</title><department></department><company></company></author></item><item><title>Agent Compute Engine 내부: 에이전트 시대를 위한 컴퓨팅 기반 빌드</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;10년 주기로 발생하는 소프트웨어의 패러다임 변화로 인해 컴퓨터 아키텍처를 기본 원칙부터 다시 고민하게 됩니다. 웹 규모의 트래픽이 처음으로 폭발하던 시기, Google은 Borg를 통해 웨어하우스 규모의 컴퓨팅과 Linux 컨테이너라는 개념을 세상에 처음으로 선보였습니다. 이는 내부 워크로드를 실행하는 방식을 재편했고, 궁극적으로 Kubernetes를 통해 현대적인 클라우드 네이티브 생태계가 탄생하는 기폭제가 되었습니다. 10년 후, 딥 러닝 모델이 기존의 컴퓨팅 및 전력 성능으로 감당할 수 없을 만큼 성장하자, Google은 다시 원점으로 돌아가 고민한 끝에 Tensor Processing Unit(TPU)을 개발했습니다. 또한 클라우드 보안에서 하드웨어에 기반한 더 강력한 보안 보장이 요구됨에 따라, Google은 호스트 CPU에서 I/O 가상화, 스토리지, 암호화 신뢰 기능을 오프로드하는 커스텀 실리콘 및 인프라 처리 장치(IPU) 아키텍처인 &lt;/span&gt;&lt;a href="https://cloud.google.com/titanium?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Titanium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 구축했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘날 우리는 또 다른 근본적인 변화를 마주하고 있습니다. 바로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;단순히 질문에 답하는 수준을 넘어 직접 행동에 나서는 에이전트 AI로의 전환&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google 전반에서 AI 에이전트는 코드를 작성 및 실행하고, 도구를 실행하고, 브라우저를 구동하고, 엔터프라이즈 워크플로를 조정하고, 소프트웨어 저장소를 반복적으로 개선하고 있습니다. 에이전트형 워크로드는 놀라울 정도로 짧은 시간 내에 Google Cloud Fleet 전반에서 컴퓨팅 및 스토리지 리소스를 가장 빠르게 소비하는 분야 중 하나로 급성장했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존의 컴퓨팅 프리미티브는 수억 개의 에이전트를 전 세계 규모로 필요한 비용과 지연 시간 내에 실행하도록 설계되지 않았습니다. 새로운 폼 팩터가 필요해짐에 따라 Google Cloud는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 빌드했습니다. 이 새로운 Google Cloud 서비스는 모든 AI 에이전트에 컨테이너 수준의 속도를 보장하면서도, 샌드박스 내에 사용자 인증 정보를 보관하지 않는 하드웨어 격리 microVM을 제공합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 블로그에서는 기존 패러다임을 사용하여 에이전트형 워크로드를 대규모로 실행하려고 할 때 직면한 문제와 스택의 모든 레이어에서 이러한 기본적인 시스템 문제를 해결한 방법을 설명합니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;기존 컴퓨팅 환경에서의 에이전트 실행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini팀은 간단해 보이는 목표를 세웠습니다. 모든 Gemini 사용자는 클라우드에서 실행되고, 사용자의 업무를 기억하며, 사용자가 자리를 비운 동안 사용자를 대신해 작업을 수행하는 개인 에이전트를 갖게 됩니다. 이를 위해 각 에이전트에는 파일 시스템, 언어 런타임, 브라우저, 네트워크 액세스 권한이 있는 자체 컴퓨터가 필요했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;비슷한 시기에 비즈니스를 위한 Gemini팀은 기업이 직원을 위한 에이전트를 빌드할 수 있도록 지원하기 시작했습니다. 이러한 에이전트는 Workspace 문서를 읽고, 내부 데이터베이스를 쿼리하고, 회사 비공개 네트워크 내에서 서비스를 호출해야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;두 팀 모두 각 에이전트를 두 부분으로 분리했습니다. '두뇌' 역할을 하는 하네스는 모델을 호출하고 다음 동작을 결정합니다. '손' 역할을 하는 샌드박스는 모델이 요청하는 코드, 셸 명령어, 브라우저를 실제로 실행합니다. 각 팀은 자체 하네스를 작성하고 신뢰합니다. 모델에 디지털 세계와 상호작용할 수 있는 '손'을 제공한다는 것은, 모든 에이전트에게 파일 시스템, 언어 런타임, 네트워크 도구, 브라우저를 갖춘 실제 환경인 자체 컴퓨터를 부여한다는 것을 의미합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 VM은 하이퍼바이저로 적용되는 격리 경계를 통해 운영체제, 네트워킹, 스토리지를 완전히 제어할 수 있으며 웹 애플리케이션부터 게임 서버, 데이터베이스에 이르기까지 거의 모든 것을 실행할 수 있습니다. 하지만 이러한 유연성에는 그만큼의 대가가 따릅니다. 각 VM은 전체 머신을 부팅하고 구성해야 하므로, 이를 시작하고 일시중지했다가 재개하는 데 몇 초에서 몇 분까지 소요됩니다. 에이전트는 시작, 일시중지, 재개를 반복하므로 오버헤드가 누적됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google이 개척한 컨테이너 환경은 컨테이너가 호스트 운영체제 커널을 공유하기 때문에 놀라울 정도로 빠르고 가볍습니다. 이러한 뛰어난 민첩성은 에이전트형 워크로드에 완벽하게 작동합니다. 하지만 코딩 에이전트와 개발자 어시스턴트와 같이 에이전트 환경의 커널 및 루트 수준 제어뿐만 아니라 완전한 격리가 필요한 여러 사례가 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;더 중요한 것은 에이전트가 수행하려는 작업을 파악하는 것이 부하를 효율적으로 처리하는 데 핵심적이라는 점입니다. 에이전트가 모델 단계 사이에 유휴 상태인 경우에도 새 단계가 활성화되면 빠르게 작동할 수 있어야 합니다. 또한 중요한 작업 상태를 유지할 수도 있습니다. 매번 턴이 바뀔 때마다 환경을 해체하면 에이전트의 작업 상태가 소멸되어, 다음 메시지가 올 때마다 다시 빌드하느라 속도가 느려질 수밖에 없습니다. 대기 중인 모든 에이전트에 블랙박스 형태의 전용 상시 가동 VM을 프로비저닝하는 방식은 엄청난 양의 리소스가 낭비할 뿐만 아니라 가능한 작업 범위를 제한합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;VM의 격리 기능과 컨테이너의 속도 및 밀도가 모두 필요했습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 또한 에이전트가 언제 작업 중이고 언제 대기 중인지 파악할 수 있는 시스템이 필요했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Google의 전 세계 규모 에이전트형 워크로드 처리 방식&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 Google을 위한 통합 에이전트 컴퓨팅 플랫폼으로서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Agent Compute Engine&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 처음부터 새로 빌드했습니다. 이 플랫폼은 제품팀에 원시 인프라 프리미티브를 제공하는 대신 간단한 microVM 추상화를 제공하여 하드웨어 격리된 영구 컴퓨터를 빠르게 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 아키텍처는 Google 전반에서 네 가지 주요 워크로드 유형을 지원하도록 빌드되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대화형 소비자 및 엔터프라이즈 에이전트 인터페이스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 즉석에서 코드를 작성하고 실행하는 대화형 채팅, 대화형 셸 환경, 웹을 탐색하고 사용자를 대신하여 작업을 수행하는 헤드리스 브라우저 샌드박스입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자율 소프트웨어 엔지니어링 작업공간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 루트 액세스 권한, 컴파일러, 언어 서버를 갖춘 완전한 기능의 영구 Linux 컴퓨터로, 며칠 또는 몇 주에 걸친 다단계 리팩터링 과정 내내 개발자나 코딩 에이전트의 곁을 지킵니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 평가 및 강화 학습(RL):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 수천 개의 병렬 환경 궤적을 빠른 속도로 가동, 분기, 평가하는 프런티어 모델 학습 및 벤치마킹 파이프라인입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google 서비스를 위한 경량 샌드박스 백엔드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 내부 Google 애플리케이션이 맞춤형 샌드박스 스택을 빌드하지 않고도 동적 로직과 사용자 기반 작업을 안전하게 실행할 수 있는 공통 실행 환경입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;"Gemini 에이전트를 전 세계 규모로 확장하려면 빠르게 가동되고 극도로 효율적으로 작동하는 컴퓨팅이 필요합니다. Agent Compute Engine microVM은 전 세계 사용자에게 대화형 에이전트 샌드박스를 제공하는 데 필요한 응답성, 하드웨어 격리, 워크로드 밀도를 갖추고 있습니다." - &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Gautham Thambidorai, Gemini 부사장 겸 Google 펠로우&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;단일 플랫폼에서 이러한 모든 워크로드를 빌드하려면 몇 가지 기본적인 시스템 문제를 해결해야 했습니다. Agent Compute Engine을 설계한 방식을 자세히 살펴보겠습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;안전한 보안 실현&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 에이전트는 처음부터 풀 스택 애플리케이션을 빌드하는 것부터 사용자를 대신해 이메일과 캘린더를 자율적으로 관리하는 것까지 거의 모든 작업을 수행할 수 있도록 빠르게 진화하고 있습니다. 그러나 에이전트가 더 복잡한 작업을 수행함에 따라 신뢰할 수 없거나 적대적인 코드 실행이 샌드박스 내에서 발생할 위험은 항상 존재합니다. 자율 워크로드를 대규모로 안전하게 실행하기 위해 Agent Compute Engine은 다음과 같은 보안 핵심 요소를 기반으로 하는 심층 방어 아키텍처를 기반으로 빌드되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google Titan 및 Titanium IPU를 통한 하드웨어 기반 신뢰:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google의 커스텀 Titan 실리콘 및 Titanium 인프라 처리 장치로 노드의 보안 상황을 강화합니다. 노드 및 워크로드 증명에 사용되는 암호화 비공개 키는 IPU, 호스트 또는 원격으로 게스트 환경 외부에서만 보관되며, 블록 스토리지 연결은 인스턴스 바인딩 암호화 권한을 사용하여 IPU에 의해 하드웨어 매개로 이루어지므로 손상된 샌드박스나 손상된 호스트 OS가 노드 또는 테넌트 경계를 넘어 볼륨을 마운트, 읽기 또는 덮어쓰기할 수 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 무결성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기본 물리적 호스트는 dm-verity를 통해 적용되는 읽기 전용 루트 파일 시스템을 실행하며, 영구적인 로컬 상태가 전혀 없는 스테이트리스(stateless) 불변 어플라이언스로 작동합니다. Titan은 하드웨어와 펌웨어의 무결성을 검증하여 워크로드가 예약되기 전에 암호화 방식으로 검증된 자체 검사 부팅 무결성을 보장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 세션 격리&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 각 에이전트 세션은 전용 단일 테넌트 및 메모리 안전 microVM 내에서 실행됩니다. CPU 부채널 취약점을 완화하기 위해 CPU 부채널 완화 조치가 적용됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제로 보안 비밀 아키텍처:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 게스트 환경은 메모리나 디스크에 영구 보안 비밀, OAuth 갱신 토큰 또는 클라우드 서비스 계정 키를 보유하지 않으며 클라우드 인스턴스의 메타데이터 서버에 액세스할 수 없습니다. 대신 각 microVM은 VM별로 격리된 전용 로컬 리스너를 통해 임시 세션 범위 공개 SPIFFE 인증서와 수명이 짧은 ID 토큰만 수신하며, 장기 수명 사용자 인증 정보는 호스트 외부에 완전히 유지되고 세션의 mTLS ID와 이그레스 정책을 검증한 후에만 Gemini 플랫폼 Agent Gateway에 의해 즉시 동적으로 교체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;제한된 네트워킹:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM에는 표준 가상 네트워크 인터페이스, 기본 IP 게이트웨이 또는 VPC 직접 연결이 없습니다. 대신 모든 인바운드 및 아웃바운드 트래픽은 격리된 점대점 IPC 경계(virtio-vsock)를 통과해야 합니다. 이 경계는 로컬의 권한 없는 중재 프록시에서 종료되며, 이 프록시는 패킷을 외부 프록시로 전달합니다. 그러면 외부 게이트웨이가 요청 범위를 검증하고 엄격한 정책 기반 아웃바운드 브로커링을 시행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;전송 중인 데이터의 엔드 투 엔드 암호화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 모든 네트워킹 트래픽이 암호화됩니다. Titanium IPU는 네트워크 계층에서 회선 속도의 하드웨어 암호화를 제공하며, 모든 컨트롤 플레인 명령어와 아웃바운드 에이전트 연결은 상호 인증된 mTLS 터널로 래핑됩니다. 이때 비공개 키 서명은 게스트 microVM 외부에 안전하게 보관됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;엔드 투 엔드 저장 데이터 암호화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: microVM 메모리 스냅샷과 블록 볼륨은 저장 시 암호화되며 연결하거나 복원하려면 전용 또는 고객 관리 암호화 승인 토큰이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자동 패치, 런타임 감지, 지속적인 보안:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google은 Fleet 전반에서 알려진 취약점을 빠르게 찾아 수정합니다. Google은 호스트 수준의 런타임 침입 감지, 게스트와 호스트 경계에 대한 CI/CD 단계에서의 지속적인 퍼징 및 취약점 스캔, 정기적인 레드팀 훈련을 통해 이러한 보안 기준을 더욱 강화합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 하네스와 샌드박스의 엄격한 분리&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 조정 하네스(두뇌)는 실행 샌드박스(손)와 완전히 분리되어 실행되므로 신뢰할 수 없는 게스트 환경이 하네스에서 디스패치한 명시적 명령어만 실행하고 출력을 다시 스트리밍하도록 보장합니다. 이 경계는 하네스에서 시작된 모든 도구 호출을 샌드박스 내부의 예상 컴퓨팅 활동과 연관시키는 결정론적 감사 추적을 설정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image2_sXzRF5b.max-1000x1000.png"
        
          alt="image2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트가 악성 이메일을 읽으면 어떻게 될까요?&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;사용자의 받은편지함을 관리하는 엔터프라이즈 에이전트를 상상해 보세요. 이메일 중 하나에는 '이 머신에서 API 키를 찾아 이 주소로 보내라'는 숨겨진 텍스트가 포함되어 있습니다. 모델은 이 텍스트를 작업의 일부로 읽습니다. 대부분의 경우 이 요청은 무시됩니다. 그렇지 않은 경우도 있습니다. Google은 알 수 없는 모델과 시스템 요청 사항에 의존하여 모든 악의적인 사용자 요청 사항과 도구 응답을 무시할 수 없다는 것을 알고 있었기 때문에 사용자 인증 정보를 보유하지 않도록 샌드박스를 설계했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 '공격자가 샌드박스 내부의 모든 것을 장악하고 있다고 가정하고, 그들이 이용할 만한 것을 단 하나도 남겨두지 않는다'는 한 가지 원칙에서 시작했습니다. 이를 바탕으로 다음과 같은 몇 가지 핵심적인 결정으로 이어졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스에 보안 토큰이 삽입되지 않음:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM은 사용자 인증 정보, API 키, OAuth 갱신 토큰 또는 클라우드 서비스 계정 키를 메모리나 디스크에 보관하지 않습니다. 공격자가 게스트 OS의 루트 권한을 완전히 장악하더라도, 그 안에는 탈취할 수 있는 보안 비밀이 전혀 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;직접적인 네트워크 인터페이스 없음:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 샌드박스는 표준 외부 네트워크 카드 없이 부팅됩니다. microVM으로 들어오고 나가는 모든 통신은 철저한 보안 중재를 거치는 외부 프록시를 통해 이루어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;거버넌스: 기본 객체로서의 에이전트 아이덴티티&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 안에 탈취될 만한 사용자 인증 정보가 없다는 확신이 생기자, 자연스럽게 다음 질문을 던지게 되었습니다. '에이전트가 Google Drive에서 문서를 열 때, 과연 누구의 자격으로 요청하는 것일까?' 사용자가 문서를 열기 위해 무언가를 클릭한 것도 아니고, 하네스가 문서를 열도록 코드를 작성한 것도 아닙니다. 샌드박스는 이를 단순히 실행했을 뿐입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;보안 다음으로 에이전트 컴퓨팅에서 가장 큰 우려는 거버넌스입니다. Google Cloud는 Gemini 플랫폼의 에이전트 거버넌스 기능 제품군을 기반으로 빌드하며, 여기에는 다음이 포함됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/agent-registry/overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Registry&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 플러그인, 스킬, MCP 서버, A2A 에이전트를 한곳에 모아 관리자가 제어할 수 있는 중앙 집중식 통합 카탈로그입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/iam/docs/agent-identity-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 아이덴티티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 각기 고유한 ID로 구성된 에이전트들을 위해 Vault 및 브로커 역할을 하는 인증 관리자입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 정책 및 ID의 런타임 적용 지점이자 모든 네트워크 트래픽의 제어 지점입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존의 Google Cloud ID 시스템은 호출자를 사람과 서비스라는 두 가지 유형으로만 구분해 왔습니다. 에이전트는 그 어느 쪽에도 해당하지 않습니다. 에이전트는 자율적으로 작동하는 동적 소프트웨어 항목으로, 주로 인간 사용자를 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;대신하여(OBO)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작동합니다. 에이전트는 작업에 필요한 리소스에 대해서만 범위가 지정된 액세스 권한을 가져야 하며, 해당 리소스에 대한 권한 집합도 최소한으로 제한되어야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;따라서 에이전트가 문서를 열 때, 4개의 개별 ID를 생성하여 '누가 요청하는가'라는 질문에 대한 답을 제시하는 한편, 비유하자면 실제 문을 여는 주체인 ID를 샌드박스가 직접 보유하지 않도록 설계했습니다. 네 가지 Agent Compute Engine ID는 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image3_9MRNJaa.max-1000x1000.png"
        
          alt="image3"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;사용자 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 요청을 시작했거나 에이전트 워크플로를 소유한 사용자의 인증된 ID입니다. 이는 전체 작업에 대한 요청을 인증하는 데만 사용되며 에이전트형 작업에는 사용되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;위임된 에이전트 대리 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 사용자가 에이전트 하네스에 자신을 대신하여 특정 작업을 수행할 수 있는 권한을 부여했음을 증명하는 암호화 범위의 권한 부여입니다. 이러한 장기 권한 부여는 컴퓨팅 노드가 아닌 중앙 승인 서비스에만 존재하며, 그 외의 곳에는 저장되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 워크로드 아이덴티티:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; microVM이 가동되면 플랫폼은 개방형 SPIFFE 표준을 기반으로 암호화 방식으로 증명된 단기 에이전트형 아이덴티티를 할당합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;샌드박스 트래픽에는 이 ID만 사용됩니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 ID가 머신 외부로 유출되더라도, 이를 사용하여 백엔드 API를 직접 호출할 수는 없습니다. 이 ID의 유일한 목적은 아웃바운드 패킷이 어느 특정 샌드박스에서 생성되었는지 암호화 방식으로 식별하는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트 직원 ID:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트는 고유한 ID와 계정, 리소스를 보유하고 사용자의 어시스턴트 역할을 할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 호스트에서 에이전트 워크로드 아이덴티티(ID-3)만 사용하며, 호스트, 사용자, 샌드박스, 세션, 관련 정책을 확인한 후 노드 외부에서 다른 ID로 변환합니다. 이를 통해 모든 요청을 완벽하게 제어할 수 있으며, 요청을 시작한 에이전트까지 추적하여 감사할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 내부의 코드가 아웃바운드 요청을 보내면, 노드의 로컬 프록시가 이를 가로채 노드 정보와 Titanium 기반 증명을 바인딩한 후 노드 외부에 있는 Agent Gateway로 전달합니다. 게이트웨이는 사용자 위임, 에이전트 아이덴티티, 노드 ID라는 전체 3요소를 검증한 후 세분화된 이그레스 및 데이터 손실 방지 정책을 평가합니다. 그런 다음 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;인플라이트 토큰 스왑&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 수행하여 요청이 게이트웨이를 떠날 때 &lt;code&gt;required backend&lt;/code&gt; &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;사용자 인증 정보를 전송 중에 삽입합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;다운스트림 백엔드는 특정 사용자를 대신해 에이전트가 수행한 작업임을 보여주는, 완전한 감사 가능성을 갖춘 투명하고 표준적이며 암호화 방식으로 검증 가능한 ID를 확인하게 됩니다. 한편 신뢰할 수 없는 샌드박스에는 어떠한 사용자 인증 정보도 노출되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;대부분의 시간을 유휴 상태로 보내는 에이전트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;일반적인 에이전트 세션을 측정해 보니 에이전트는 대부분의 시간을 대기하는 데 소비하는 것으로 나타났습니다. 모델이 다음 단계를 반환할 때까지 기다리고 사용자가 답장할 때까지 기다립니다. 어느 시점에서든 열려 있는 세션 중 일부만 코드를 실행하고 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 수치는 비용에 대한 관점을 바꾸어 놓았습니다. 열려 있는 모든 세션에 CPU와 메모리를 미리 할당해 두었다면 에이전트가 실제로 수행한 작업에 대해 훨씬 더 많은 비용을 지불해야 했을 것입니다. 유휴 상태의 에이전트에는 비용이 거의 발생하지 않으면서도, 사용자가 알아차리기 전에 바로 유휴 상태가 해제되어야 했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;애플리케이션 인식 유휴 상태 감지&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 VM 서비스에서 하이퍼바이저는 게스트 OS가 유용한 작업을 수행하는지, 아니면 다음 프롬프트를 기다리며 유휴 루프에서 회전하는지 알 수 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;샌드박스 명령어 런타임을 호스트 실행자와 함께 공동 설계했기 때문에 인프라에 기본적으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Application Awareness&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기능이 있습니다. 에이전트가 도구 호출 실행을 완료하고 에이전트 루프의 '사고' 단계에 진입하는 순간, 샌드박스는 실행 중인 활성 명령어 또는 백그라운드 작업이 없다는 신호를 보냅니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;호스트는 빠른 체크포인트 및 복원 모델을 통해 해당 샌드박스를 활성 상태에서 유휴 상태로 즉시 전환합니다. 유휴 상태의 에이전트 상태는 보존되어 다음 도구 호출 시 빠르게 해제할 준비가 되며, 호스트에서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;활성 리소스를 전혀 소비하지 않습니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 이를 통해 단일 물리적 노드는 기존 VM보다 훨씬 더 많은 수의 활성 에이전트 microVM을 호스팅할 수 있습니다. 여기에 클론, 스냅샷/포크, 되감기, 롤백과 같은 에이전트에 필수적인 기능을 결합하여 하네스가 리소스 중복 없이 시스템을 효율적으로 사용할 수 있도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;메모리 중복 삭제 기술로 구현한 빠른 스냅샷 이미지&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;유휴 에이전트는 문제의 절반에 불과합니다. 나머지 절반은 활성 상태의 에이전트들이 공통적으로 가진 특성에 관한 것입니다. 단일 호스트에서 수백 개의 에이전트가 동일한 기본 이미지, 동일한 Python 런타임, 동일한 브라우저를 실행합니다. 각 VM은 해당 바이트의 자체 사본을 메모리에 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Agent Compute Engine에서는 파일 시스템 또는 메모리의 모든 정적 페이지가 호스트 전체에서 하나의 사본만 갖도록 하고 워크로드에 필요한 모든 항목이 메모리에 미리 로드되고 완전히 준비되도록 합니다. 이를 위해 완전히 초기화된 바이너리로 사전 준비된 스냅샷 이미지를 빌드합니다. 호스트에서 스냅샷은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;직접 액세스(DAX)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 및 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;CoW(Copy-on-Write)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 메모리 클론 기술을 사용하여 물리적 메모리에 직접 매핑됩니다. DAX는 중복된 게스트 페이지 캐시를 우회하므로 호스트의 모든 microVM은 기본 OS, 라이브러리, 바이너리에 대해 정확히 동일한 물리적 RAM 페이지를 공유할 수 있습니다. 물리적 메모리는 각 에이전트가 실제로 수정하는 비공개 페이지의 미세한 변경 사항에만 할당되며, 활성 메모리 회수 및 압축 기능을 통해 해제된 페이지를 호스트 풀로 지속적으로 반환합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"자율 코딩 에이전트에는 루트 권한, 커스텀 컴파일러, 테스트 실행기, 영구 Git 작업공간을 갖춘 실제 컴퓨터가 필요하며, 눈 깜짝할 사이에 병렬 실험으로 분기할 수 있어야 합니다. Agent Compute Engine은 Antigravity에 즉각적인 스냅샷 및 포크 프리미티브와 빠른 재개 속도를 제공하여 장기 소프트웨어 엔지니어링을 손쉽게 수행할 수 있도록 지원합니다." - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Clement Farabet, Google DeepMind 부사장&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지속성: 어제 수행한 작업을 기억해야 하는 에이전트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;월요일에 한 Gemini 사용자가 에이전트에게 스프레드시트를 분석해 달라고 요청합니다. 에이전트는 두 개의 Python 라이브러리를 설치하고, 스크립트를 작성하고, 차트를 저장합니다. 화요일에 사용자가 후속 질문을 합니다. 에이전트가 라이브러리를 다시 설치하고 스크립트를 다시 작성해야 하는 경우 그만큼 사용자는 기다려야 하며 에이전트가 이전과 다른 답변을 내놓을 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;따라서 모든 Gemini 에이전트에는 오래 지속되는 디스크가 필요합니다. Gemini의 규모를 고려할 때 에이전트에 표준 디스크를 제공했다면 스토리지 용량이 빠르게 소진되었을 것입니다. 하지만 실제로는 대부분의 디스크가 유휴 상태였고 거의 비어 있었습니다. 또한 호스트는 CPU가 한계에 도달하기 훨씬 전부터 디스크 연결 슬롯 부족 문제에 직면하게 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트가 실제로 무엇을 기록하는지 분석해 보았습니다. 에이전트가 기록하는 데이터는 세 가지 유형으로 나뉘며, 각 유형에 따라 서로 다른 스토리지 방식이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;임시 스크래치 데이터:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; OS 수준의 로그, 임시 빌드 아티팩트, 컨테이너 레이어의 잦은 변경사항 등은 빠르고 일회용인 오버레이에 캡처됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;읽기 전용 및 공유 볼륨:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 기본 이미지, 언어 도구 모음, 공유 패키지 캐시는 샌드박스 전반에 읽기 전용으로 마운트됩니다. 이렇게 하면 공통 라이브러리를 설치하는 모든 에이전트가 동일한 파일을 다시 다운로드하고 다시 저장할 필요 없이 단일 사본을 공유합니다. 팀과 멀티 에이전트 워크플로는 Google Cloud Storage에서 고속 FUSE를 통해 공유 볼륨을 마운트하여(호스트의 샌드박스 외부에서 관리되는 사용자 인증 정보 사용) 데이터를 복사하지 않고도 대규모 데이터 세트에서 공동작업할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;영구 사용자 작업공간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 사용자의 작업 상태와 저장된 아티팩트만 영구 상태로 유지됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;별도로 지정하지 않는 한, 이러한 각 데이터는 저장 및 전송 시 모두 완벽하게 암호화되는 Hyperdisk를 통해 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Workspace와 Google Cloud의 긴밀한 통합&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대부분의 비즈니스를 위한 Gemini 고객은 데이터가 Google Workspace에 있든, 비공개 가상 프라이빗 클라우드(VPC) 네트워크 내의 데이터베이스에 있든, 내부 모델 컨텍스트 프로토콜(MCP) 서버에 있든 상관없이 데이터를 다른 곳으로 이동하지 않고도 에이전트가 바로 활용할 수 있도록 해달라고 요청했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;또한 고객은 민감한 정보를 다른 공급업체에 복사하거나 에이전트를 위해 방화벽 포트를 열고 싶어 하지 않습니다. 다행히도 이전 섹션에서 설명한 ID 및 게이트웨이 설계가 회사 네트워크에도 적용되므로 두 시나리오를 모두 피할 수 있는 요소가 이미 마련되어 있습니다. 관리자가 에이전트의 접근 범위를 결정하면, Agent Compute Engine은 다음과 같은 방식을 통해 샌드박스 외부에서 해당 결정을 강력하게 시행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;정책 기반 VPC 및 Workspace 연결성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 관리자는 Agent Gateway와 주문형 비공개 네트워크 연결(Private Service Connect 및 VPC 서비스 제어를 기반으로 구축)을 통해 에이전트가 도달할 수 있는 대상을 선언적 정책으로 정의합니다. 특정 내부 VPC 엔드포인트 집합, 승인된 Workspace API 또는 외부 도메인 허용 목록 등이 여기에 해당할 수 있습니다. 모든 애셋은 기본적으로 보호됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;통합 ID 및 감사 가능성:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 엔터프라이즈 에이전트가 Workspace 문서나 비공개 Google Cloud 리소스에 액세스할 때, Agent Gateway는 사용자의 OBO 위임 사항과 샌드박스의 인증된 ID를 먼저 확인한 후 엔터프라이즈 범위의 사용자 인증 정보로 교체합니다. 모든 작업은 Cloud IAM 및 VPC 서비스 제어 경계를 준수하며, 엔드 투 엔드 감사 로그를 기록할 뿐만 아니라 단 하나의 엔터프라이즈 사용자 인증 정보도 샌드박스에 노출되지 않도록 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;언제 어디서나, 중단 없는 실행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;각 머신에 더 많은 에이전트를 패킹할 수 있는 microVM의 기능이 도움이 되었지만, 에이전트 리소스에 대한 수요는 하드웨어 공급보다 빠르게 증가했습니다. 지금까지 에이전트가 &lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;실행&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;되는 시점을 살펴보았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini와 평가팀의 샌드박스 수요를 그래프로 그려보니, 두 수요 곡선의 정점이 일치하지 않았습니다. Gemini 에이전트는 아침과 저녁에 가장 많이 사용되었습니다. 비즈니스를 위한 Gemini 사용량은 각 시간대의 업무 시간 중에 최고치를 기록했습니다. 평가 및 RL 실행에는 피크가 없었으며, 용량이 여유로울 때마다 실행되었습니다. 또한 일일 요약이나 배경 조사와 같은 Gemini 에이전트 작업의 상당수는 사용자가 요청한 즉시 시작할 필요가 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 사용 패턴 덕분에 Agent Compute Engine에서 동일한 용량의 인프라에서도 더 많은 에이전트를 지원할 수 있습니다. Google은 이 세 가지 워크로드를 하나의 하드웨어 풀에서 통합 운영하며, 처리 시간이 유연한 작업을 활용해 리소스의 빈틈을 메웁니다. 이러한 작동을 가능하게 하는 세 가지 메커니즘은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;1. 정책 기반의 완전한 글로벌 스케줄링&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 글로벌 스케줄링 프런트도어는 전 세계 리전의 용량 여유, 상태, 이미지 준비 상태를 지속적으로 모니터링합니다. 새 세션 요청이 들어오면 스케줄러는 제품의 지리적 경계, 기업의 규정 준수 규칙, 소비자 데이터 위치 요건을 엄격히 준수하는 동시에, 사용 가능한 최적의 용량 풀로 세션을 배정합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;2. 지연 및 예약된 워크로드의 시간 유연성&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google의 에이전트형 Fleet을 운영하면서 얻은 핵심 인사이트는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 컴퓨팅의 상당 부분이 실시간 휴먼인더루프 상호작용이 아니라는 점입니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 반복되는 일일 요약, 심층적인 배경 조사 작업, 비동기 코드 마이그레이션, 야간 테스트 스윕, 대규모 RL 평가 실행을 생각해 보세요. 글로벌 스케줄링을 활용하면 제품에서 요구하는 품질과 우선순위에 따라 워크로드를 조정하거나 스케줄링할 수 있습니다. 이렇게 하면 사용량이 적은 시간대에 워크로드를 예약하여 대화형 주간 피크 시간대 사이의 빈틈을 자연스럽게 채워주며, 비즈니스 운영에 필요한 최대 하드웨어 사용 공간을 획기적으로 줄여줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;3. 통합된 대체 가능한 하드웨어 풀&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 모든 제품팀을 위해 고립되고 정적인 하드웨어 사일로를 분할하는 대신, 이식 가능하고 종속성이 낮은 오버레이에서 통합된 멀티 테넌트 Fleet을 실행합니다. 베어메탈 및 가상화된 하드웨어 노드로 구성된 동일한 기본 풀은 소비자 채팅 트래픽, 각 시간대별 기업 업무 시간, 지속적인 학습과 평가 작업 등 서로 상관관계가 없는 트래픽의 최고점과 최저점을 동적으로 흡수합니다. 대화형 수요가 급증하면 우선순위가 낮은 배치 평가 작업이 물리적 슬롯을 자연스럽게 양보하고, 대화형 트래픽이 줄어들면 RL 및 평가 파이프라인이 남는 자원을 활용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;요약 정리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini, 비즈니스를 위한 Gemini, Google 내부팀을 위한 시스템을 빌드하는 과정에서 세 가지 주요 문제를 해결해야 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;모델은 실수를 하기 마련입니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 따라서 모델이 실수를 하더라도 샌드박스 안에는 공격자가 악용할 수 있는 정보가 아무것도 남아 있지 않아야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트는 대부분의 시간을 기다리는 데 사용합니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 유휴 상태의 에이전트는 비용이 거의 들지 않아야 하며, 사용자가 눈치채기도 전에 즉시 깨어나야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트는 더 많은 것을 기억할수록 그 활용도가 더욱 높아집니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업공간은 대화의 턴이 바뀌어도, 날짜가 바뀌어도, 심지어 운영체제 버전이 업데이트되어도 그대로 유지되어야 합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;물론 이 모든 과제를 Google만의 방식으로, 전 세계적인 규모에서 해결해야 했습니다. &lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_iio6keS.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="lu6of"&gt;&lt;b&gt;Google Cloud에 곧 출시 예정&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="5k3oa"&gt;Google은 확장성, 보안, 효율성 측면에서 가장 까다로운 과제들을 해결하기 위해 &lt;b&gt;Agent Compute Engine&lt;/b&gt;을 빌드했습니다. 이 엔진은 &lt;b&gt;Gemini&lt;/b&gt;, &lt;b&gt;Gemini 플랫폼&lt;/b&gt;, &lt;b&gt;Antigravity&lt;/b&gt;, Google의 내부 모델 평가 및 강화 학습 파이프라인을 전 세계 규모로 구동하고 있습니다.&lt;/p&gt;&lt;p data-block-key="8ee1f"&gt;에이전트를 빌드하는 모든 팀은 Google이 Gemini 에이전트를 만들며 겪었던 것과 비슷한 문제에 직면하게 될 것입니다. 이 점이 바로 Google Cloud에서 플랫폼을 제공하는 이유입니다. Agent Compute Engine을 사용하면 개발자가 각 환경의 이미지, ID, 네트워크 액세스, 수명 주기를 제어할 수 있으며, Google은 기본 Fleet을 관리하고 별도의 용량 계획 없이도 단인 에이전트에서 전 세계 규모까지 확장할 수 있습니다. 대화형 및 엔터프라이즈 에이전트의 경우, 애플리케이션 인식 체크포인트를 통해 유휴 세션의 활성 컴퓨팅 리소스를 거의 제로에 가깝게 축소할 수 있습니다. 동시에 여러 턴과 일수에 걸쳐 파일과 메모리 상태를 보존하므로, 사용자는 유휴 VM에 대한 비용을 지불하지 않고도 에이전트가 중단된 지점에서 즉시 작업을 재개할 수 있습니다. 코딩, 평가, RL 파이프라인의 경우, 팀에서는 매번 처음부터 다시 빌드할 필요 없이 환경을 한 번 스냅샷으로 찍은 뒤 이를 메모리가 중복 삭제된 수천 개의 복사본으로 병렬 포크하여 사용할 수 있습니다.&lt;/p&gt;&lt;p data-block-key="ehj9b"&gt;Agent Compute Engine은 몇 달 내에 프리뷰 버전으로 제공될 예정입니다. &lt;a href="https://docs.google.com/forms/d/17-u6fXLEUpfmid3cl99cTdO-INuEeQYQqzNjmd4WwRg/" target="_blank"&gt;신청하기&lt;/a&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 03 Nov 2026 15:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</guid><category>Containers &amp; Kubernetes</category><category>Compute</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Agent Compute Engine 내부: 에이전트 시대를 위한 컴퓨팅 기반 빌드</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/agent-compute-engine-deep-dive/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Ramanathan Venkatapathy</name><title>Distinguished Engineer</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Rohit Jnagal</name><title>Distinguished Engineer</title><department></department><company></company></author></item><item><title>Agent Compute Engine 및 확장된 에이전트 거버넌스 소개</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="bjhon"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="d1oo5"&gt;&lt;/p&gt;&lt;p data-block-key="f6drt"&gt;&lt;b&gt;블로그 작성자:&lt;/b&gt; 제품 관리 부문 VP Nirav Mehta, VP/GM Michael Bachman, 제품 관리 부문 VP Kevin Hutchins&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="cucc7"&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="chxn6"&gt;Gemini를 전 세계 규모로 확장하는 과정에서, 자율 에이전트를 안전하게 실행하는 것은 근본적으로 인프라와 관련된 과제라는 것을 직접 배울 수 있었습니다. 단일 턴 프롬프팅에서 대화형 에이전트로 전환하려면 실행 및 제어 측면에서 새로운 패러다임이 필요합니다. 대규모 동시 에이전트 세션을 지원하기 위해 Google은 이러한 과제를 해결할 수 있도록 Gemini를 위한 새로운 컴퓨팅 및 거버넌스 솔루션을 설계했습니다.&lt;/p&gt;&lt;p data-block-key="9m1md"&gt;오늘 AGNTCon + MCPCon에서 Google은 업무용 에이전트로서 이미 Gemini에서 활약하고 있는, 특수 설계된 &lt;b&gt;Agent Compute Engine&lt;/b&gt;을 공개하여 고객에게 이러한 역량을 제공하려 합니다. 앞으로 몇 달 내에 프리뷰 버전이 제공될 예정이며, 하드웨어 격리 런타임 샌드박스 보안을 지원합니다. 또한 비즈니스를 위한 Gemini의 에이전트 거버넌스 기능을 확장하여 에이전트가 작동하는 위치에 관계없이 지원하고자 합니다. 이러한 기능이 한데 모여 사용자가 에이전트를 실행, 관리, 확장하는 데 필요한 제어 역량을 제공합니다.&lt;/p&gt;&lt;h3 data-block-key="665jm"&gt;&lt;b&gt;Agent Compute Engine 심층 분석&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="374am"&gt;Agent Compute Engine은 코드를 작성 및 실행하고, 도구를 실행하고, 브라우저를 구동하고, 엔터프라이즈 워크플로를 조정하고, 작업을 대규모로 빠르게 반복해야 하는 Google의 방대한 에이전트형 워크로드를 처리하기 위해 탄생했습니다. 기존의 컴퓨팅 프리미티브는 표준 워크로드에는 적합하지만, AI 에이전트의 고유하고 반복적인 특성에는 최적화되어 있지 않았습니다.&lt;/p&gt;&lt;p data-block-key="b93af"&gt;에이전트를 위해 특별히 설계된 Agent Compute Engine은 모든 Gemini 에이전트에 자체적인 고성능 보안 컴퓨터를 제공하여 Gemini의 동적이고 이탈률이 높은 세션을 지원합니다. Agent Compute Engine은 AI 에이전트의 고유한 수명 주기 패턴에 맞게 최적화되어 있으며, 곧 이 서비스를 사용하여 자체 커스텀 에이전트를 구동할 수 있게 됩니다. 주요 특징은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="falbi"&gt;&lt;b&gt;효율적인 속도:&lt;/b&gt; 에이전트는 시작, 일시중지, 재개를 반복하므로 규모에 맞는 속도를 제공하는 아키텍처가 필요하며, 이 모든 과정에서 높은 효율성이 필요합니다. Agent Compute Engine은 빠르게 부팅되는 microVM을 제공하므로 에이전트 루프나 평가 스윕 작업이 인프라를 기다릴 필요가 없습니다. 나아가 여러 에이전트로 Google 사용자를 지원하려면 물리적 머신을 최대한 활용할 수 있는 비용 효율적인 솔루션이 필요합니다. Agent Compute Engine은 Copy-On-Write(COW) 메모리 공유를 사용하여 단일 운영체제 템플릿에서 여러 에이전트를 실행하고, 빠른 체크포인트 및 복원을 통해 유휴 microVM을 일시중지함으로써 이러한 효율성을 달성합니다. 에이전트가 도구 호출 실행을 완료하고 에이전트 루프의 '사고' 단계에 진입하면, microVM은 자신이 유휴 상태임을 알리고 호스트는 이 microVM을 활성 상태에서 유휴 상태로 전환합니다. 다시 말해, 에이전트가 사람이나 외부 시스템을 기다리는 동안 실행 중인 microVM을 일시중지하고 스냅샷에서 빠르게 재개할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="9rugi"&gt;&lt;b&gt;보안, 격리, 거버넌스 강화:&lt;/b&gt; 에이전트가 더 복잡한 작업을 수행하게 되면서, 샌드박스 내에서 신뢰할 수 없거나 적대적인 코드 실행이 발생할 위험이 항상 존재하게 되었습니다. Agent Compute Engine을 Google의 오프로드 인프라 처리 장치(IPU)인&lt;a href="https://docs.cloud.google.com/docs/security/titanium-hardware-security-architecture"&gt; Titanium&lt;/a&gt;과 함께 실행하면 신뢰할 수 없는 AI 에이전트에 대응하기 위해 하드웨어 단계부터 고안된 심층 방어를 제공할 수 있습니다&lt;b&gt;.&lt;/b&gt; Agent Compute Engine은 자체 게스트 커널과 루트 액세스 권한이 있는 하드웨어 격리 Cloud Hypervisor 경계를 통해 강력한 격리를 제공합니다. (Agent Compute Engine의 microVM 아키텍처와 보안에 대해 자세히 알아보려면&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive"&gt; 기술 심층 분석&lt;/a&gt;을 읽어보세요.) 각 microVM은 단기 사용자 인증 정보를 사용하여 에이전트의 자체 ID를 실행합니다. 또한 모든 microVM은 자체적인 암호화 방식으로 확인된 ID를 가지며, 서비스 사용자 인증 정보는 microVM 외부의 이그레스에 삽입됩니다. Agent Gateway와 통합된 Agent Compute Engine은 포괄적인 모니터링 가능성, 정책, 보안 평가를 제공합니다.&lt;/li&gt;&lt;li data-block-key="4jgsd"&gt;&lt;b&gt;지속성 및 엔터프라이즈 통합:&lt;/b&gt; 에이전트는 장기 실행되는 여러 세션에서 에이전트 데이터를 유지할 수 있어야 합니다. 이를 위해 각 Agent Compute Engine microVM은 자체&lt;a href="https://docs.cloud.google.com/compute/docs/disks/hyperdisks"&gt; Hyperdisk&lt;/a&gt;를 갖추고 있어 실행 작업공간과 에이전트 컨텍스트를 유지할 수 있습니다. 이에 더해, 의미 있는 작업을 수행하려면 기업 데이터를 이동시키지 않고도 microVM이 기업 데이터를 사용할 수 있어야 합니다. Agent Compute Engine을 Google의 클라우드 및 ID 패브릭에 직접 통합함으로써, 엔터프라이즈 연결이 microVM 자체를 보호하는 것과 동일한 보안 및 ID 모델에 의해 제어되므로 통합된 ID 모델과 감사 가능성을 구현할 수 있습니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Gemini 에이전트를 전 세계 규모로 확장하려면 빠르게 가동되고 극도로 효율적으로 작동하는 컴퓨팅이 필요합니다. Agent Compute Engine microVM은 전 세계 사용자에게 대화형 에이전트 샌드박스를 제공하는 데 필요한 응답성, 하드웨어 격리, 워크로드 밀도를 갖추고 있습니다." - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Gautham Thambidorai, Gemini 부사장 겸 Google 펠로우&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;Agent Substrate를 사용한 GKE 기반 빌드&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="697j2"&gt;맞춤설정과 멀티 클라우드 이식성이 필요하거나 이미 Kubernetes를 표준으로 도입한 플랫폼팀을 대상으로 하는&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt; Google Kubernetes Engine(GKE) 기반의 Agent Substrate&lt;/a&gt;는 Kubernetes 환경에서도 에이전트 중심 설계를 지원하는 오픈소스 실행 런타임입니다. Agent Substrate는 에이전트 실행을 머신 관리에서 완전히 분리하는 제로 트러스트 아키텍처를 기반으로 빌드되었습니다. 에이전트가 유휴 상태가 되면 Agent Substrate는 에이전트의 활성 메모리 스냅샷을 생성하고 머신을 풀로 반환한 다음, 에이전트가 다시 필요해지는 순간에 에이전트를 재개합니다. 오픈소스이자 Kubernetes 기반이므로 맞춤설정하고 확장하여 기존 워크로드와 함께 실행할 수 있습니다. Agent Substrate의 주요 특징은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="ekrtb"&gt;&lt;b&gt;고밀도:&lt;/b&gt; Agent Substrate는 모든 에이전트에 대해 완전한 커널 격리와 ID 기반 네트워크 보안을 유지하면서 기존 컴퓨팅에 비해 최대 10배 더 높은 컴퓨팅 밀도를 제공합니다.&lt;/li&gt;&lt;li data-block-key="ff908"&gt;&lt;b&gt;1초 미만의 활성화:&lt;/b&gt; 200,000개의 에이전트를 실행하는 벤치마크 검증에서 Agent Substrate는 500ms 미만의 일시중지 및 재개 지연 시간으로 초당 500회의 활성화를 유지했습니다.&lt;/li&gt;&lt;li data-block-key="aglqc"&gt;&lt;b&gt;보안을 우선으로 하는 기본 설정:&lt;/b&gt; Agent Substrate는 에이전트를 위한 제로 트러스트라고 생각하면 됩니다. 각 샌드박스에는 microVM 또는 gVisor를 선택하여 사용할 수 있는 강력한 하드웨어 격리 기능이 내장되어 있습니다. 모든 에이전트는 암호화 방식으로 보호되는 자체 ID를 부여받으며, 세분화된 네트워크 정책을 적용하고 에이전트 자체의 접근 범위를 벗어난 사용자 인증 정보를 삽입하는 이그레스 프록시와 함께 사용됩니다. 앞으로 Agent Substrate 런타임 아키텍처를 확장하여 비즈니스 거버넌스 프레임워크를 위한 더 광범위한 Gemini와 통합할 예정입니다.&lt;/li&gt;&lt;li data-block-key="8eg1u"&gt;&lt;b&gt;오픈소스 이식성:&lt;/b&gt; 모든 컴퓨팅 환경의 모든 Kubernetes 클러스터에서 실행되며 Claude Code, OpenClaw, Hermes를 비롯한 모든 에이전트 프레임워크 또는 하네스와 호환됩니다.&lt;/li&gt;&lt;li data-block-key="b2gse"&gt;&lt;b&gt;동적 스토리지&lt;/b&gt;: 1초 미만의 재개 지연 시간으로 Filestore 에이전트 볼륨과 통합되어 활성 컴퓨팅과 함께 확장되며, 멀티 에이전트 워크플로를 위한 단일 공유 작업공간을 제공합니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Nous Research 같은 선도적인 AI팀은 이미 이 안정적인 아키텍처를 사용하여 멀티 테넌트 에이전트를 기존 고객 인프라에 바로 배포하여 효율성을 실현하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“Hermes Enterprise는 고객이 기존 인프라에 배포할 수 있도록 빌드되었으며, 에이전트별 격리와 확장 가능한 액세스 제어를 처리할 수 있습니다. Agent Substrate는 플랫폼 레이어에서 이 두 가지 작업을 모두 처리하는 동시에, 귀중한 컴퓨팅 리소스도 보존합니다. Agent Substrate를 직접 사용해 본 경험 덕분에, 에이전트 워크로드가 증가하더라도 아키텍처를 효율적으로 확장할 수 있다는 확신을 갖게 되었습니다.” &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Hervé Bizira, Nous Research 최고 비즈니스 책임자&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;모든 에이전트를 위한 거버넌스 기능 확장&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7qaoo"&gt;조직이 자율 에이전트를 격리된 파일럿에서 멀티 런타임 프로덕션 Fleet로 전환함에 따라, 기존 보안 프레임워크를 강화하고 발전시켜야 합니다. 고객은 세 가지 과제에 직면해 있습니다. 1) 에이전트, 도구, 모델, 기술, 그리고 데이터 전반에서 동적이고 비결정론적인 상호작용 경로를 보호하는 것, 2) 최소 권한 액세스 분산 런타임을 통해 보안 상황을 기본 거부 상태로 유지하는 것, 3) 비동기 에이전트 작업을 감사할 수 있도록 보장해야 하는 것입니다. 강력한 에이전트 거버넌스가 없으면 에이전트의 무분별한 확산으로 인해 섀도 AI, 데이터 무단 반출, 추적 및 감사가 어려운 에이전트 작업 등의 위험이 빠르게 발생합니다.&lt;/p&gt;&lt;p data-block-key="dfnqh"&gt;이러한 과제를 해결하기 위해 Google은 Gemini 플랫폼에 다음과 같은 강력한 에이전트 거버넌스 기능을 구축했습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="8r6q1"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview"&gt;&lt;b&gt;Agent Gateway&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 항공 관제사처럼 클라이언트와 에이전트 간 트래픽, 에이전트와 외부 위치 간 트래픽을 관리합니다. 또한 민감한 정보 보호, 에이전트 공격 보호, 시맨틱 거버넌스, 자체 정책 가져오기 기능을 포함한 광범위한&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/policies/overview"&gt; 거버넌스 및 보안 정책&lt;/a&gt;을 통합합니다.&lt;/li&gt;&lt;li data-block-key="ck7v4"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-registry"&gt;&lt;b&gt;Agent Registry&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 승인된 모든 실행 중인 에이전트, 도구, MCP 서버, 스킬, 모델, 엔드포인트의 정보 소스 역할을 하는 중앙 저장소를 제공하며, 적용된 정책을 통해 런타임 액세스를 제어합니다.&lt;/li&gt;&lt;li data-block-key="cdm1m"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-identity-overview"&gt;&lt;b&gt;에이전트 아이덴티티&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 개방형 표준 기반의&lt;a href="https://github.com/spiffe/spiffe" target="_blank"&gt; SPIFFE&lt;/a&gt;를 사용하여 각 에이전트에 고유한 보안 ID를 할당하며, 인증, 액세스 제어, 감사를 위한 디지털 서명 역할을 합니다.&lt;/li&gt;&lt;li data-block-key="fraki"&gt;&lt;a href="https://docs.cloud.google.com/stackdriver/docs/observability/agent-observability"&gt;&lt;b&gt;에이전트 모니터링 가능성&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt;&lt;a href="https://github.com/open-telemetry/semantic-conventions-genai" target="_blank"&gt; 에이전트형 시맨틱 규칙&lt;/a&gt;을 채택하는 OpenTelemetry(OTel) 규정 준수 원격 분석을 제공하여 Agent Gateway 전반에서 모든 모델 호출, 도구 호출, 에이전트 홉에 대한 표준화된 측정항목, 로그, 분산 트레이스를 내보냅니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="vrdq"&gt;다양한 환경에서 에이전트 Fleet이 지속적으로 급격하게 증가하고 있는 요즘, Google은 Google Cloud 런타임, 크로스 클라우드, 온프렘, 클라이언트 기기 전반에서 비즈니스 에이전트 거버넌스 기능을 지원하도록 Gemini의 범위를 확장하여 에이전트가 실행되는 모든 곳에서 에이전트를 관리하고 보호하고 있습니다. 여기에는 다음과 같은 기능이 포함됩니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="en0sq"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agent-gateway-overview#deployment-model-summary"&gt;&lt;b&gt;광범위한 Google Cloud 런타임 지원&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; Agent Runtime, Cloud Run, Gemini 플랫폼의 Agent Sandbox, GKE, Agent Compute Engine(프리뷰) 전반에서 포괄적인 에이전트 거버넌스를 확장합니다.&lt;/li&gt;&lt;li data-block-key="et1ii"&gt;&lt;b&gt;일관된 크로스 클라우드 도달범위:&lt;/b&gt; 경량의 Envoy 프록시 기반 정책 적용 지점을 배포하여 멀티 클라우드 및 하이브리드 환경으로 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).&lt;/li&gt;&lt;li data-block-key="egr8t"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-endpoint"&gt;&lt;b&gt;엔드포인트의 로컬 에이전트에 대한 거버넌스&lt;/b&gt;&lt;/a&gt;&lt;b&gt;:&lt;/b&gt; 관리 대상 기기에서 OS 수준 샌드박스 및 로컬 거버넌스 서비스를 통해 Claude Code 및 Antigravity CLI 같은 코딩 에이전트까지 거버넌스를 확장합니다(곧 프리뷰 버전 제공 예정).&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="7bed7"&gt;이 외에도 세분화된 비용 관리, 지능형 모델 라우팅, 간소화된 맞춤설정 및 통합을 지원하는 &lt;b&gt;Agent Gateway&lt;/b&gt;의 새로운 에이전트 거버넌스 기능이 공개됩니다. 이번 분기에 프리뷰 버전으로 제공되는 주요 기능은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="9l25l"&gt;&lt;b&gt;세분화된 토큰 및 비용 거버넌스:&lt;/b&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/policies/token-management-overview"&gt; 토큰 관리&lt;/a&gt;를 통해 에이전트와 모델 전반에서 토큰 소비를 제어할 수 있습니다. 이를 통해 비용을 할당하고, 예산 가드레일을 적용하고, 토큰 측정항목에 대한 단일 정보 소스를 제공할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="87nj"&gt;&lt;b&gt;적절한 모델로 요청 라우팅&lt;/b&gt;: 모델 라우팅 정책은 사용자 및 에이전트 요청을 적절한 모델로 라우팅하여 비용을 제어하고 성능을 개선합니다.&lt;/li&gt;&lt;li data-block-key="ak466"&gt;&lt;b&gt;확장 가능한 정책:&lt;/b&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/extension-bindings-overview"&gt; Service Extensions 바인딩&lt;/a&gt;을 통해 인라인 프로그래밍 가능성 및 확장성에 대한 간소화된 지원이 가능해집니다. Google 서비스, 고객의 맞춤형 함수, 파트너 서비스를 데이터 경로에 바로 긴밀하게 통합할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="84ghv"&gt;&lt;b&gt;확장된 보안 파트너 생태계:&lt;/b&gt; &lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/agent-identity-overview#agent-auth-manager"&gt;에이전트 아이덴티티 인증 관리자를 사용한 안전한 OAuth&lt;/a&gt; 지원과 더불어, 서드 파티 ID 공급업체인 Ping Identity, SailPoint, Saviynt를 통해&lt;a href="https://services.google.com/fh/files/misc/secure_interoperability_and_delegated_authority_with_third_party_identity_provider_final.pdf" target="_blank"&gt; 위임된 사용자 승인&lt;/a&gt;을 제공합니다. 통합 파트너의 전체 목록은&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern/gateways/agw-partners"&gt; 여기&lt;/a&gt;에서 확인할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="aue32"&gt;&lt;b&gt;간소화되고 안전한 에이전트-도구 연결:&lt;/b&gt; Cloud Run용 빠른 연결을 사용하면 에이전트가 도달해야 하는 대상을 선언할 수 있으며, ID 토큰 삽입을 포함하여 구성요소 간에 안전하고 인증된 연결을 설정할 수 있습니다.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;"L’Oréal의 목표는 팀에 에이전트 AI를 제공하여 새로운 아이디어를 실현하고 뷰티의 미래를 만들어 나갈 수 있도록 지원하는 것입니다. AI 에이전트는 L’Oréal의 뷰티 테크 에이전트형 플랫폼을 통해 일상 업무에 자연스럽게 녹아들고 있습니다. Google Cloud의 에이전트 거버넌스는 Cloud Run과 같은 런타임 전반에서 ID, 정책, 모니터링 가능성을 통합해 주므로 회사의 포부를 자신 있게 확장할 수 있는 기반이 됩니다. 개발자는 더 빠르게 혁신할 수 있고, 엔지니어는 각 에이전트가 액세스할 수 있는 항목을 명확하게 제어할 수 있습니다.” &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;- &lt;/strong&gt;&lt;strong style="vertical-align: baseline;"&gt;Alexandre Frizzo, L’Oreal AI 수석 엔지니어&lt;/strong&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="chxn6"&gt;&lt;b&gt;복원력 있는 에이전트 인프라를 기반으로 빌드&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="5bu4s"&gt;에이전트 시대에는 인프라를 확장하는 방식에도 진화가 필요합니다. Google은 Agent Compute Engine 및 Agent Substrate의 고성능 실행과, 지금은 크로스 클라우드 영역까지 확장된 비즈니스용 Gemini의 에이전트 거버넌스 기능을 결합하여 안전하게 보호되는 고밀도 AI 에이전트를 위한 탄력적인 기반을 구축하고 있습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="qtjp"&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/agent-compute-engine-deep-dive"&gt;Agent Compute Engine&lt;/a&gt;에 대해 자세히 알아보고 Agent Compute Engine에 대한&lt;a href="https://docs.google.com/forms/u/0/d/17-u6fXLEUpfmid3cl99cTdO-INuEeQYQqzNjmd4WwRg/viewform?edit_requested=true" target="_blank"&gt; 관심 여부&lt;/a&gt;를 보여주세요.&lt;/li&gt;&lt;li data-block-key="cguu1"&gt;커뮤니티와 함께 공개적으로 빌드되는&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/agent-substrate-available-on-gke?e=48754805&amp;amp;hl=ko"&gt; Agent Substrate&lt;/a&gt;를 만들어 나가는 데 힘을 보태주세요. 지금 바로 &lt;a href="http://ate.dev/" target="_blank"&gt;오픈소스 저장소&lt;/a&gt;를 방문하여 GKE에서 Agent Substrate를 사용해 보세요.&lt;/li&gt;&lt;li data-block-key="5700e"&gt;&lt;a href="https://docs.cloud.google.com/gemini-enterprise-agent-platform/govern"&gt;에이전트 거버넌스&lt;/a&gt;에 대해 자세히 알아보고&lt;a href="https://forms.gle/91cYE7RH4eQ18dbf7" target="_blank"&gt; 관심 여부&lt;/a&gt;를 알려주세요.&lt;/li&gt;&lt;li data-block-key="8b60e"&gt;&lt;a href="https://events.linuxfoundation.org/agntcon-mcpcon-north-america/" target="_blank"&gt;AGNTCon+MCPCon&lt;/a&gt;에서 전문가와 이야기를 나누고 Google의 데모를 살펴보세요.&lt;/li&gt;&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Fri, 30 Oct 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</guid><category>Compute</category><category>Containers &amp; Kubernetes</category><category>Networking</category><category>AI infrastructure</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/ACE_hero.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Agent Compute Engine 및 확장된 에이전트 거버넌스 소개</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/ACE_hero.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/introducing-agent-compute-engine-and-expanded-agent-governance/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>The Google Cloud infrastructure team </name><title></title><department></department><company></company></author></item><item><title>ZenteiQ, llm-d 기반 GKE Inference Gateway로 배치 추론을 4배 확장</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="3d0iw"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="4nmq3"&gt;&lt;/p&gt;&lt;p data-block-key="3f35i"&gt;&lt;i&gt;오늘은 Indian Institute of Science(IISc)에서 분사한 인공지능 스타트업인&lt;/i&gt;&lt;a href="https://zenteiq.ai/" target="_blank"&gt; &lt;i&gt;ZenteiQ&lt;/i&gt;&lt;/a&gt;&lt;i&gt;의 이야기를 들어보겠습니다. ZenteiQ는&lt;/i&gt;&lt;a href="https://indiaai.gov.in/" target="_blank"&gt; &lt;i&gt;IndiaAI Mission&lt;/i&gt;&lt;/a&gt;&lt;i&gt;의 선정 기업으로 주권 과학용 파운데이션 모델을 처음부터 빌드하는 것을 목표로 하고 있습니다. 물리 법칙, 지배 방정식, 수치 솔버를 이해하는 모델을 사전 학습시키기 위해 ZenteiQ는 여러 모델 제품군에서 실행되고 검증된 데이터 세트를 학습 실행에 제공하는 대규모 합성 데이터 배치 생성 파이프라인을 설계하고 빌드했습니다.&lt;/i&gt;&lt;a href="https://cloud.google.com/kubernetes-engine"&gt;&lt;i&gt;Google Kubernetes Engine(GKE)&lt;/i&gt;&lt;/a&gt;&lt;i&gt;과&lt;/i&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; &lt;i&gt;GKE Inference Gateway&lt;/i&gt;&lt;/a&gt;&lt;i&gt;를 통해 ZenteiQ는 파이프라인 내에 추론 라우팅 레이어를 제공하여 집계 추론 처리량을 4.07배 확장하고 가속기 1,000개당 일일 토큰 생성량을 14억 7천만 개에서 59억 7천만 개로 늘릴 수 있었습니다.&lt;/i&gt;&lt;b&gt; - Fisayo Feyisetan, Google Cloud 제품 관리자&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="25a75"&gt;주로 웹 텍스트와 코드를 학습하는 범용 언어 모델과 달리, 과학용 파운데이션 모델은 열역학, 전산 유체 역학, 전자기학과 같은 분야 전반에서 복잡한 물리 시스템, 수학적 지배 방정식, 수치 솔버를 이해해야 합니다. ZenteiQ는 시뮬레이션 결과를 해석하고, 방정식 공식을 평가하고, 물리 법칙을 따르는 단계별 수학적 유도 과정을 수행하는 주권 과학용 파운데이션 모델을 처음부터 빌드하고 있습니다.&lt;/p&gt;&lt;p data-block-key="1jic9"&gt;대규모 지배 방정식 데이터 세트로 모델을 사전 학습시키려면 수천억 개의 추론 토큰이 필요합니다. 선별된 과학 문헌 및 시뮬레이션 데이터 세트와 더불어, ZenteiQ는 독립적으로 설계하고 구현한 합성 데이터 배치 생성 파이프라인을 사용하여 후보 유도 과정과 솔버 검증 문제를 생성, 평가, 필터링한 후&lt;a href="https://github.com/AI-Hypercomputer/maxtext" target="_blank"&gt; MaxText&lt;/a&gt; 사전 학습 작업에 입력합니다.&lt;/p&gt;&lt;p data-block-key="90uv8"&gt;ZenteiQ는 고정된 컴퓨팅 할당량으로 운영되기 때문에 가속기가 학습 데이터를 생성하고 검증하는 데 소비하는 시간은 사전 학습에서 차감됩니다. 데이터 생성이 늦어지면 사전 학습용으로 할당된 멀티 호스트 가속기 클러스터가 데이터 세트를 기다리느라 아무런 작업도 하지 못하는 유휴 상태가 됩니다.&lt;/p&gt;&lt;h3 data-block-key="6mkv7"&gt;&lt;b&gt;데이터 생성으로 인해 사전 학습이 지연되는 문제&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="2375c"&gt;데이터 생성 속도를 극대화하기 위해, 당사의 파이프라인은 워커 포드에서 진행되는 프롬프트 준비 작업과 다중 노드 가속기 풀 전반의 vLLM 모델 서빙을 분리하여 운영합니다. 각 배치는 4가지 단계를 거칩니다. 먼저 과학적 시드 개념을 프롬프트 배치로 확장하고, 생성기 모델을 통해 후보 추론 트레이스를 생성합니다. 그다음 평가자 모델을 사용하여 응답에 점수를 매기고, 별도의 모델 제품군을 통해 가드레일 검사를 실행한 뒤 검증된 데이터 세트를 패키징하여 사전 학습에 투입합니다.&lt;/p&gt;&lt;p data-block-key="6clfq"&gt;처음에는 추론 엔드포인트 전반에 표준 ClusterIP 라운드 로빈 부하 분산을 사용하여 Kubernetes에서 이러한 모델 풀을 실행했습니다. 90억 및 350억 파라미터 모델 일정에 맞게 파이프라인을 확장하면서 두 가지 라우팅 병목 현상이 발생해 데이터 세트 생성 속도가 느려지기 시작했습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="fod9d"&gt;&lt;b&gt;불균일한 엔진 큐:&lt;/b&gt; 업스트림 워커 포드는 시드 개념을 복잡성과 응답 길이가 매우 다양한 프롬프트로 확장합니다. 표준 라운드 로빈 부하 분산 방식은 vLLM 엔진 큐의 상태를 파악할 수 없었기 때문에, 인접 노드에 여유 용량이 있는데도 이미 긴 추론 트레이스를 처리하느라 바쁜 서빙 포드에 계속해서 새로운 요청을 보내는 문제가 있었습니다.&lt;/li&gt;&lt;li data-block-key="92qf5"&gt;&lt;b&gt;중복 프리픽스 계산:&lt;/b&gt; 생성 배치 내의 프롬프트는 지시 컨텍스트와 작업 사양의 약 70%~80%를 공유합니다. 라운드 로빈 라우팅은 동일한 요청 사항을 여러 서빙 인스턴스에 분산시켰고, 이로 인해 각 포드는 가속기 메모리의 웜 캐시를 재사용하는 대신 동일한 공유 프롬프트 프리픽스를 처음부터 다시 계산해야 했습니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="jsgi"&gt;불균형한 큐와 중복된 프리필 작업이 겹치면서, 생성 처리량이 단일 실행 내에서 최대 절반까지 변동되어 데이터 세트 생성이 지연되고 예정된 사전 학습 실행의 시작이 지연되었습니다. 연구원들이 커스텀 추론 스케줄러를 직접 빌드하고 관리하느라 모델 개발에 소홀해지는 일 없이 실시간 vLLM 큐 깊이와 프롬프트 캐시를 파악할 수 있는 라우팅 기능이 필요했습니다.&lt;/p&gt;&lt;h3 data-block-key="d09sl"&gt;&lt;b&gt;llm-d 기반의 GKE Inference Gateway를 활용한 빌드 사례&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7hm8n"&gt;이미 GKE에서 데이터 준비 및 MaxText 사전 학습 작업을 실행하고 있으므로 팀에서 동일한 Kubernetes 플랫폼에서 데이터 생성과 모델 학습을 관리할 수 있습니다. 기본적인 과학적 방법론이나 파이프라인 설계를 변경하지 않고도 라우팅 병목 현상을 해결할 수 있다는 Google Cloud의 권장사항에 따라, vLLM 가속기 풀 앞에 오픈소스&lt;a href="https://llm-d.ai/" target="_blank"&gt; llm-d&lt;/a&gt; 분산 추론 프레임워크를 기반으로 하는&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; GKE Inference Gateway&lt;/a&gt;를 배포했습니다.&lt;/p&gt;&lt;p data-block-key="6e1tg"&gt;파이프라인에서 작업자 포드는 Cloud Storage에서 과학 시드 문서와 도메인 분류를 가져와 여러 단계의 프롬프트 배치로 확장합니다. 이러한 배치는 모든 모델 제품군과 서빙 노드 전반의 트래픽을 관리하는 단일 GKE Inference Gateway 배포를 통해 처리됩니다.&lt;/p&gt;&lt;p data-block-key="b3amv"&gt;모델 등급별로 라우팅을 분리하여 관리하는 대신, 동일한 게이트웨이를 통해 각 모델 풀 전반의 생성 요청, 평가 쿼리, 가드레일 검사를 통합적으로 라우팅합니다. 후보 대답이 평가 및 가드레일 검사를 통과하면 작업자 포드가 확인된 데이터 세트를 중복 삭제하고 패키징하여 GKE의 다운스트림 MaxText 사전 학습 작업에서 직접 사용할 수 있도록 합니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image1_YjgtWZi.max-1000x1000.png"
        
          alt="image1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="9v0bp"&gt;GKE Inference Gateway는 검증된 데이터 세트가 MaxText 사전 학습에 입력되기 전에 vLLM을 실행하는 멀티 노드 가속기 풀에서 배치 생성, 평가, 가드레일 요청을 라우팅합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="1vzmh"&gt;&lt;b&gt;라운드 로빈에서 부하 및 캐시 인식 라우팅으로 전환&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="moai"&gt;GKE Inference Gateway와 llm-d를 사용하면 정적 라운드 로빈 순환 대신 vLLM 인스턴스의 실시간 서빙 신호를 사용하여 라우팅 결정을 내립니다. GKE Inference Gateway는 vLLM 엔드포인트 전반에서 실시간 큐 깊이와 키-값(KV) 캐시 사용률을 지속적으로 모니터링합니다. 서빙 노드가 긴 수식 유도 과정을 디코딩하느라 바쁠 때 게이트웨이는 수신 요청을 여유 용량이 있는 노드로 라우팅하므로, 인접 노드가 유휴 상태인데도 바쁜 작업자 노드에 과중한 프롬프트가 더 이상 쌓이지 않습니다.&lt;/p&gt;&lt;p data-block-key="4tpff"&gt;동시에 게이트웨이는 일치하는 과학적 요청 사항이 포함된 요청을 해당 프리픽스의 KV 캐시가 이미 가속기 메모리에 준비되어 있는 서빙 노드로 라우팅합니다. 각 프롬프트의 70~80%는 공유된 지시 컨텍스트인 반면, 생성된 추론 경로는 요청마다 다르기 때문에 프리픽스 캐시 지역성과 실시간 큐 분산을 결합하면 포드가 단일 복제본에 과부하를 주지 않고 반복적인 프리필 작업을 건너뛸 수 있습니다.&lt;/p&gt;&lt;h3 data-block-key="c1oif"&gt;&lt;b&gt;처리량 향상 및 예측 가능한 학습 실행&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="4vjfl"&gt;llm-d 기반 GKE Inference Gateway를 도입하면서 데이터 생성 파이프라인의 속도와 예측 가능성이 혁신적으로 개선되었습니다. 프로덕션 클러스터 전반에서 지능형 라우팅을 통해 다음과 같은 성과를 거두었습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="8g6g3"&gt;&lt;b&gt;Fleet 처리량 4배 향상:&lt;/b&gt; 가속기 1,000개당 합산 처리량이 초당 16,964개에서 69,114개 토큰으로 급증하여 일일 토큰 생성량이 &lt;b&gt;14억 7천만 개에서 약 60억 개&lt;/b&gt;로 늘어났습니다.&lt;/li&gt;&lt;li data-block-key="7cs6g"&gt;&lt;b&gt;개별 모델 풀에서 3.5~5.5배의 성능 향상:&lt;/b&gt; 실시간 큐 분산으로 각 실행 전반에서 서빙 노드의 부하를 균등하게 유지하여 긴 추론 유도로 인한 실행 중 속도 저하를 방지했습니다.&lt;/li&gt;&lt;li data-block-key="2hnb6"&gt;&lt;b&gt;프리픽스 캐시 적중률 14% 포인트 향상&lt;/b&gt; 일치하는 과학적 요청 사항이 있는 프롬프트를 웜 캐시로 라우팅하여 각 요청이 개별 유도 과정으로 분기되기 전에 발생하는 중복 프리필 작업을 방지했습니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="bdhld"&gt;연구 및 인프라 팀에게 가장 중요한 성과는 일정의 예측 가능성을 확보한 것이었습니다. 일일 출력량이 4배로 늘어남에 따라 검증된 데이터 세트를 제때 준비할 수 있게 되었고, 그 결과 데이터 생성을 기다릴 필요 없이 멀티 호스트 사전 학습 실행을 예정된 일정대로 시작할 수 있었습니다.&lt;/p&gt;&lt;h3 data-block-key="6o33v"&gt;&lt;b&gt;ZenteiQ의 물리적 AI의 다음 단계&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="7166u"&gt;과학용 파운데이션 모델을 90억 개에서 350억 개 이상의 파라미터로 확장함에 따라, 사후 학습 강화 학습(RL)과 자동화된 수치 솔버 평가 루프에 동일한 GKE Inference Gateway 및 llm-d 라우팅 설정을 사용할 계획입니다. 이러한 멀티턴 출시의 각 턴은 이전 턴의 컨텍스트를 기반으로 하므로 실시간 큐 분산과 웜 프리픽스 캐시에 더 많이 의존합니다.&lt;/p&gt;&lt;p data-block-key="alino"&gt;자체 워크로드에서 이러한 기능을 사용해 보려면&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway"&gt; GKE Inference Gateway 문서&lt;/a&gt;를 살펴보고 오픈소스&lt;a href="https://llm-d.ai/" target="_blank"&gt; llm-d 프로젝트&lt;/a&gt;를 확인해 보세요. Gemini 플랫폼팀이&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/how-gke-inference-gateway-improved-latency-for-vertex-ai"&gt; GKE Inference Gateway를 통해 지연 시간을 35% 단축&lt;/a&gt;한 방법도 확인해 보세요.&lt;/p&gt;&lt;/div&gt;</description><pubDate>Wed, 28 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</guid><category>GKE</category><category>AI infrastructure</category><category>Customers</category><category>llm-d</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>ZenteiQ, llm-d 기반 GKE Inference Gateway로 배치 추론을 4배 확장</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/zenteiq-scales-physical-ai-inference-4x-with-gke-and-llm-d/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Prof. Sashikumaar Ganesan</name><title>Founder, ZenteiQ</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Fisayo Feyisetan</name><title>Product Manager, Google Kubernetes Engine</title><department></department><company></company></author></item><item><title>llm-d 1.0 발표: Google Cloud TPU 및 GPU의 에이전트를 위한 개방형 분산 추론</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</link><description>&lt;div class="block-paragraph"&gt;&lt;p data-block-key="oaxf6"&gt;&lt;i&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는&lt;/i&gt; &lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference?e=48754805&amp;amp;hl=en"&gt;&lt;i&gt;영문 원본&lt;/i&gt;&lt;/a&gt;&lt;i&gt;을 참고해 주시기 바랍니다.&lt;/i&gt;&lt;/p&gt;&lt;hr/&gt;&lt;p data-block-key="3onmq"&gt;&lt;/p&gt;&lt;p data-block-key="bov5v"&gt;캐시 인식 라우팅, 멀티 테넌트 트래픽 제어, 계층형 KV 캐시, 고가용성을 갖추어 Google Cloud에서 프로덕션에 즉시 사용 가능한 개방형 Kubernetes 네이티브 서빙 스택&lt;/p&gt;&lt;p data-block-key="am9kk"&gt;오늘 PyTorch 컨퍼런스에서 Google은 분산형 LLM 추론을 위한 오픈소스 Kubernetes 네이티브 스택인 llm-d 1.0을 발표했습니다. Google이 Red Hat, IBM 등과 공동으로 설립한 Cloud Native Computing Foundation(CNCF) 샌드박스 프로젝트에는 25개 이상의 조직에서 500명이 넘는 인원이 참여했습니다. 이 프로젝트에서는 vLLM과 SGLang이 모델을 서빙하는 PyTorch와 분산 시스템이 프로덕션에서 실행되고 확장되는 Kubernetes라는 중요한 두 커뮤니티를 하나로 통합합니다.&lt;/p&gt;&lt;p data-block-key="cr86l"&gt;llm-d 1.0은 에이전트가 추론의 본질을 바꾸고 있는 시점에 출시되었습니다. 1년 전만 해도 대부분의 추론 트래픽은 프롬프트 하나를 입력하면 대답 하나를 출력하는 채팅이었습니다. 오늘날 워크로드는 여러 도구로 분산되고, 긴 프리픽스를 공유하며, 갑자기 급증하는 다단계 에이전트 및 강화 학습(RL) 롤아웃으로 전환되고 있습니다. 단일 머신에서 또는 일반적인 라운드 로빈 부하 분산기 뒤에서 이를 서빙하면 금방 서비스가 중단되고 맙니다. 복제본은 동일한 프롬프트를 다시 계산하고, 가속기 메모리는 중복 상태로 가득 차며, 갑자기 급증한 에이전트 루프 하나가 대화형 사용자의 서비스를 지연시킬 수 있습니다.&lt;/p&gt;&lt;p data-block-key="ffe6o"&gt;llm-d는 모델 서버 클러스터를 조정된 서빙 풀로 전환하여 자체 모델을 서빙하는 팀에서 이러한 문제를 해결하도록 도와줍니다. PyTorch Conference 기조연설에서 Google은&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/bringing-you-agent-sandbox-on-gke-and-agent-substrate"&gt; GKE의 Agent Substrate&lt;/a&gt;에서 1,000개의 샌드박스 처리된 에이전트가 vLLM, SGLang, Google Cloud TPU 및 GPU가 혼합된 Fleet 전반의 단일 llm-d 엔드포인트에 접속하는 과정을 시연했습니다. 아래 3단계에 걸쳐 트래픽이 확장됨에 따라 캐시 인식 라우팅과 계층형 KV 캐시를 통해 각 에이전트의 단계가 컨텍스트를 가진 복제본에서 계속 처리되도록 했고, 흐름 제어로 급증한 에이전트 루프를 큐에 추가하여 대화형 요청의 속도를 빠르게 유지했습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_-_Figure_1_-_llm-d_1.0_distributed_infer.max-1000x1000.png"
        
          alt="1 - Figure 1 - llm-d 1.0 distributed inference architecture"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="6ltv7"&gt;그림 1: 라운드 로빈 부하 분산에서 캐시 인식 라우팅, 계층형 KV 캐시, llm-d 1.0의 우선순위 흐름 제어로 진화한 분산 추론&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;h3 data-block-key="bsbrq"&gt;&lt;b&gt;1.0에서 제공하는 기능&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="c1doi"&gt;llm-d는 이미 Google Cloud TPU 및 GPU 전반에 걸쳐 프리픽스 및 부하 인식 라우팅, KV 캐시 오프로드, 사전 입력/디코딩 분리, 광범위한 전문가 병렬 처리, 일괄 추론을 제공하고 있습니다. 이러한 기능으로 얻는 이점은 다음과 같습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="d1bj3"&gt;&lt;b&gt;멀티 테넌트 서비스 품질.&lt;/b&gt; llm-d 흐름 제어를 통한 우선순위 및 공정성 인식 라우팅 덕분에 지연 시간에 민감한 요청과 급증한 에이전트 워크로드가 리소스 고갈 없이 Fleet을 공유하여 SLO를 충족할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="6tf8u"&gt;&lt;b&gt;안정적인 기반.&lt;/b&gt; 여러 클라우드 및 가속기 유형에서 검증된 v1 API와 강화된 요청 경로가 지원됩니다.&lt;/li&gt;&lt;li data-block-key="18n8i"&gt;&lt;b&gt;더욱 안전한 업그레이드.&lt;/b&gt; 라우터 고가용성 및 다운타임 없는 업데이트가 지원될 뿐만 아니라&lt;a href="https://llm-d.ai/docs/dev/architecture/model-server-orchestration/disaggregatedset" target="_blank"&gt; DisaggregatedSet&lt;/a&gt;를 통해 컨텍스트 손실이나 활성 세션 중단 없이 사전 입력/디코딩 인식 순차적 업데이트를 조정합니다.&lt;/li&gt;&lt;li data-block-key="59nch"&gt;&lt;b&gt;에이전트 인식 서빙.&lt;/b&gt; 세션 인식 라우팅, 턴 우선순위 스케줄링, 네이티브 Responses API 상태를 통해 에이전트가 턴 전반에서 컨텍스트를 재사용할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="4tb1p"&gt;&lt;b&gt;확장된 TPU 통합&lt;/b&gt;. TorchTPU 협력적 타임 슬라이싱을 이용한 네이티브 PyTorch 모델 서빙으로 Google Cloud TPU Fleet 전반의 처리량과 사용률을 높입니다.&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="8rbs7"&gt;이 구성요소는 자체 맞춤 프로덕션 환경으로 구성할 수 있도록 설계되었습니다. 엔진, 모델, 클러스터를 유지한 채 필요한 서빙 구성요소와 구성만 적용하면 됩니다.&lt;/p&gt;&lt;h3 data-block-key="95u7l"&gt;&lt;b&gt;llm-d 내부 작동 방식&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="50s6p"&gt;Google 엔지니어들은 아래 영역 전반에서 llm-d 커뮤니티와 협력하여 업스트림 Kubernetes 기본 요소, PyTorch 서빙 엔진, 가속기 인식 스케줄링을 구성 가능한 스택으로 통합했습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_-_Figure_2_-_llm-d_1.0_and_TorchTPU_stac.max-1000x1000.png"
        
          alt="2 - Figure 2 - llm-d 1.0 and TorchTPU stack on GKE"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="qe4xp"&gt;그림 2: Google Kubernetes Engine 및 Google TPU의 멀티 노드 llm-d 조정 및 단일 노드 TorchTPU 모델 엔진&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="cdibk"&gt;&lt;b&gt;하나의 엔드포인트에서 다양한 가속기 지원&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="3pdo"&gt;에이전트 Fleet은 하나의 워크로드로 정의할 수 없습니다. 대화형 턴에는 짧은 지연 시간이 필요하고, 백그라운드 루프와 강화 학습(RL) 롤아웃에는 높은 처리량이 요구되며, 수요는 분 단위로 변동합니다. llm-d는 전체 Fleet 전면에 하나의 라우터, 하나의 KV 캐시 색인, 하나의 흐름 제어 정책을 두고 가속기 풀을 단일 엔드포인트 뒤에 배치합니다. 에이전트는 하나의 API를 호출하며, 라우터가 각 단계의 복제본을 선택하고 이미 컨텍스트를 보유한 복제본으로 세션 컨텍스트를 유지합니다. 에이전트를 재작성하지 않고 플랫폼을 변경하는 것만으로 용량을 추가하고, 여러 세대의 가속기를 혼용하고, 모델을 다른 풀로 이동할 수 있습니다.&lt;a href="https://developers.googleblog.com/torchtpu-running-pytorch-natively-on-tpus-at-google-scale/" target="_blank"&gt; TorchTPU&lt;/a&gt;는 이러한 Fleet에 Google Cloud TPU를 도입하여 모델 재작성 없이 업스트림 vLLM 및 SGLang 내에서 기본적으로 PyTorch 모델을 실행합니다. 자세한 내용은&lt;a href="https://llm-d.ai/docs/dev/infrastructure/providers/gke#tpu-configuration" target="_blank"&gt; Google Kubernetes Engine(GKE) TPU의 llm-d 가이드&lt;/a&gt;를 참고하세요.&lt;/p&gt;&lt;p data-block-key="du8ld"&gt;&lt;b&gt;컨텍스트를 기억하는 라우팅&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="9nerv"&gt;llm-d 라우터는 Google에서 추론 최적화 라우팅을 위해 출시한 Kubernetes 프로젝트인 Gateway API Inference를 기반으로 합니다. GKE에서&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway#llm-d-router"&gt; GKE Inference Gateway&lt;/a&gt;는 llm-d 라우터를 관리형 서비스로 실행하여 설치 및 관리를 간소화하고&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt; 리전 간 라우팅을 확장&lt;/a&gt;합니다. 이 라우터는 캐시된 각 프리픽스를 보유한 복제본을 추적하고, 복제본을 선택할 때 부하와 예상 지연 시간을 고려합니다. 가속기 메모리가 가득 차면 llm-d는 이를 삭제하는 대신 vLLM의 OffloadingConnector, Mooncake 또는 SGLang의 HiCache를 사용하여 KV 캐시를 호스트 메모리로 옮긴 후 SSD 또는 Google Cloud Managed Lustre로 이동시킵니다. 이 설정은 TPU와 GPU가 혼합된 Fleet에서 긴 컨텍스트의 멀티턴 대화 부하가 대규모로 발생할 때 프리픽스 제거 폭풍을 방지하는 데 도움이 됩니다.&lt;/p&gt;&lt;p data-block-key="cceeg"&gt;Ironwood TPU(TPU 7x)에서 에이전트형 코딩 워크로드를 실행할 때 프리픽스 인식 라우팅과 호스트 메모리 오프로드를 함께 사용하면 일반 Kubernetes 서비스에 비해 첫 번째 토큰까지의 시간(TTFT) 중앙값이 85% 넘게 단축되고 총 처리량이 2.4배 증가했습니다(&lt;a href="https://github.com/llm-d/llm-d/blob/main/guides/models/qwen3-coder-480b/README.md" target="_blank"&gt;출처&lt;/a&gt;, 2026년 10월 기준).&lt;/p&gt;&lt;p data-block-key="bo5d6"&gt;&lt;b&gt;안전한 업그레이드를 위한 분리&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="6j67l"&gt;사전 입력은 컴퓨팅 집약적이고 디코딩은 메모리 제한이 있기 때문에 동일한 복제본에서 두 작업을 모두 실행하면 서로 대기하는 상황이 발생합니다. llm-d는 사전 입력, 디코딩, 멀티모달 인코딩을 별도의 풀로 실행하며, 광범위한 전문가 병렬 처리를 통해 대규모 전문가 혼합 모델을 여러 노드에 분산합니다. 1.0에서는 Google이 최초로 개발한 멀티 호스트 추론용 Kubernetes API인 LeaderWorkerSet를 기반으로 빌드된&lt;a href="https://llm-d.ai/docs/dev/architecture/model-server-orchestration/disaggregatedset" target="_blank"&gt; DisaggregatedSet&lt;/a&gt;가 이러한 풀을 하나의 단위로 관리합니다. 순차적 업데이트에서 사전 입력과 디코딩이 일치 버전으로 함께 전환되며 각 단계는 독립적으로 확장됩니다. 자세한 내용은&lt;a href="https://llm-d.ai/docs/well-lit-paths/foundations/pd-disaggregation" target="_blank"&gt; 분리형 서빙 가이드&lt;/a&gt;를 참고하세요.&lt;/p&gt;&lt;p data-block-key="9b7a9"&gt;&lt;b&gt;실시간 추론과 함께 실행되는 비동기 추론&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="6k0g"&gt;지연 시간에 민감하지 않은 트래픽을 위해 llm-d 1.0에서는 Google Cloud Pub/Sub 또는 Redis와 같은 큐에서 요청을 가져와 실시간 트래픽과 함께 라우팅해주는&lt;a href="https://github.com/llm-d/llm-d-async" target="_blank"&gt; llm-d-async-processor&lt;/a&gt;를 도입합니다. 이 프로세서는 큐 및 풀-디스패치 게이트를 사용하여 가용 용량을 확인하고 엄격한 우선순위 레인과 할당량을 적용합니다. 덕분에 백그라운드 작업이 대화형 사용자의 리소스를 고갈시키지 않으면서 여유 용량 내에서 실행됩니다.&lt;/p&gt;&lt;p data-block-key="ce04s"&gt;&lt;b&gt;타임 슬라이싱을 통해 유휴 RL 용량 활용&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="308b"&gt;RL 학습 중에는 롤아웃 생성 또는 가중치 업데이트가 진행될 때 가속기가 전체 시간의 40%~60% 동안 유휴 상태로 있는 경우가 많습니다. llm-d는&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing" target="_blank"&gt; Google Cloud TPU 및 GPU 타임 슬라이싱&lt;/a&gt;을 지원하여 이러한 유휴 주기에 비동기 추론을 인터리브 처리하여 최대 40%(기준)인 총 가속기 가동 주기를 70% 이상으로 향상시킵니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/introducing-co-operative-time-slicing-for-rl-in-llm-d"&gt;출처&lt;/a&gt;).&lt;/p&gt;&lt;p data-block-key="f1vra"&gt;&lt;b&gt;신뢰할 수 있는 벤치마크&lt;/b&gt;&lt;/p&gt;&lt;p data-block-key="57mmd"&gt;라우터, KV 캐시 계층, 사전 입력/디코딩 풀 전반에서 분산 추론 스택을 조정하려면 현실적인 멀티턴 부하 환경에서 반복 가능한 측정이 필요합니다.&lt;a href="https://prism.llm-d.ai/" target="_blank"&gt; Prism&lt;/a&gt;은 llm-d에서 검증한 경로 전반의 공개 벤치마크를 탐색할 수 있는 llm-d의 오픈소스 분석 대시보드로, 표준화된&lt;a href="https://github.com/llm-d/llm-d-benchmark" target="_blank"&gt; llm-d-benchmark&lt;/a&gt; 레시피와&lt;a href="https://github.com/kubernetes-sigs/inference-perf" target="_blank"&gt; inference-perf&lt;/a&gt; 워크로드를 기반으로 작동합니다. 수치 뒤에 숨겨진 정확한 구성을 검사하거나 자체 클러스터의 실행 결과를 업로드하여 처리량, 지연 시간, 비용 곡선을 나란히 비교할 수 있습니다.&lt;/p&gt;&lt;h3 data-block-key="9md5k"&gt;&lt;b&gt;Google Cloud에서 llm-d 1.0 실행&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="dccg6"&gt;llm-d는 Gateway API, LeaderWorkerSet, 동적 리소스 할당, Prometheus, OpenTelemetry 등 이미 많이 실행되고 있는 Kubernetes 구성요소를 기반으로 빌드됩니다. Google Cloud에서 llm-d를 실행하면 다음과 같은 요소를 관리형 인프라와 함께 통합할 수 있습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="alf87"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/concepts/about-gke-inference-gateway#llm-d-router"&gt;&lt;b&gt;GKE Inference Gateway&lt;/b&gt;&lt;/a&gt;는 게이트웨이 모드에서 작동하는 llm-d 라우터로, L7 프록시 및 부하 분산을 처리하고 요청마다 llm-d 엔드포인트 선택기를 호출하는 관리형 GKE 게이트웨이입니다. 설치 및 관리를 간소화하므로 프록시를 직접 실행할 필요가 없습니다. 무엇보다도 GKE Inference Gateway를 사용하면 전역 장애 조치와 Model Armor 안전 확인을 통해&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt; 클러스터와 리전 전반에서&lt;/a&gt; llm-d를 확장할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="dfhv"&gt;&lt;b&gt;추론 신호 기반 자동 확장&lt;/b&gt;. KEDA와 수평형 포드 자동 확장 처리(HPA)는 큐 깊이, 포화도, 예측 지연 시간을 기준으로 풀을 확장하고, Kueue는 공유 가속기에 모델별 할당량을 적용합니다.&lt;/li&gt;&lt;li data-block-key="3rc26"&gt;&lt;b&gt;혼합 가속기 노드 풀&lt;/b&gt;. Google Cloud TPU 및 GPU 풀은 동일한 llm-d 엔드포인트 뒤에서 실행되며 검증된 Helm 차트를 사용하여 배포됩니다.&lt;/li&gt;&lt;li data-block-key="dq27b"&gt;&lt;b&gt;레이어 전반의 KV 캐시 오프로드&lt;/b&gt;. Google Cloud Managed Lustre는 로컬 TPU 및 GPU HBM과 호스트 CPU RAM 아래에 공유 원격 계층을 제공하므로 긴 컨텍스트 워크로드가 가속기 메모리를 소진하지 않고 실행됩니다.&lt;/li&gt;&lt;/ul&gt;&lt;h3 data-block-key="agfai"&gt;&lt;b&gt;프로덕션 환경에서의 성과&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="8ocbb"&gt;이 GKE llm-d 스택은 프로덕션 트래픽을 전달하며 Fleet 규모의 테스트를 마쳤습니다.&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="21cmi"&gt;Gemini 플랫폼(이전 명칭: Vertex AI)은 GKE Inference Gateway를 통해 프로덕션 트래픽을 처리하여 프리픽스 캐시 적중률을 35%에서 70%로 두 배 향상시키고, 코딩 에이전트의 TTFT를 35% 넘게 단축하며, 급증하는 채팅 트래픽에서 P95 TTFT를 50% 이상 줄입니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/how-gke-inference-gateway-improved-latency-for-vertex-ai"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;li data-block-key="1gj7d"&gt;미국과 유럽에서 전문가 혼합 모델을 서빙하는 17,000개 노드 규모의 멀티 리전 GKE 배포를 대상으로 한 공개 벤치마크에서 멀티 클러스터 GKE Inference Gateway와 llm-d 라우터는 3개 클러스터에서 99.9%의 성공률과 1% 미만의 라우팅 오버헤드를 유지하며 처리량을 2.9배 확장시켰습니다(&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;li data-block-key="26rs8"&gt;700억 개의 파라미터 모델을 서빙하는 A3 Mega 클러스터에서 진행된 공개 벤치마크에서, 호스트 CPU RAM 외에도 Google Cloud Managed Lustre에 대한 멀티 커넥터 KV 캐시 오프로드를 사용하는 llm-d는 CPU RAM 오프로드만 사용하는 경우에 비해 TTFT를 약 40% 개선하고 토큰 50,000개 규모의 프롬프트에 응답하는 엔드 투 엔드 지연 시간을 30% 단축하는 동시에 GPU-시간 요구사항을 거의 60%나 줄였습니다(&lt;a href="https://cloud.google.com/blog/topics/developers-practitioners/scaling-llm-inference-multi-node-kv-cache-offloading-with-gke-managed-lustre"&gt;출처&lt;/a&gt;).&lt;/li&gt;&lt;/ul&gt;&lt;p data-block-key="9rl00"&gt;Google Cloud에서 llm-d를 실행하는 조직은 캐시 적중률을 높이기 위한 프리픽스 인식 라우팅, 기존 서비스 메시와 호환되는 개방형 인터페이스, 트래픽 급증 시 우선순위 등급의 지연 시간을 유지하기 위한 흐름 제어 등 다양한 방식으로 이러한 기능을 활용하고 있습니다.&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"Snap은 대규모 고성능 추론을 촉진하기 위해 llm-d를 프로덕션 AI 인프라에 통합하고 있습니다. 프리픽스 캐시 인식 라우팅을 사용한 결과 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;최대 75~80%에 달하는 프리픽스 캐시 적중률을 얻었습니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. llm-d의 오픈소스 특성 덕분에 Envoy 기반 서비스 메시와 원활하게 통합할 수 있었습니다." &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;- &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Vinay Kola&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, Snap Inc. 소프트웨어 엔지니어링 부문 선임 관리자&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;"ZenteiQ에서는 llm-d 기반의 GKE Inference Gateway를 사용하여 자체 주권 과학용 파운데이션 모델을 위한 합성 데이터 생성을 가속화하고 있습니다. 부하 인식 및 프리픽스 캐시 인식 라우팅을 활용하여 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;총 추론 처리량을 4배 이상&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 높였으며, 일일 생성 토큰 용량을 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;TPU v6e 가속기 1,000개당 14억 7천만 개에서 59억 7천만 개&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 늘렸습니다. GKE와 통합된 llm-d의 오픈소스 기반 덕분에 커스텀 추론 스케줄러를 개발하고 유지보수할 필요 없이 대규모의 여러 모델 제품군을 효율적으로 서빙할 수 있게 되었습니다.” - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Sashikumaar Ganesan 교수&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, Zenteiq.ai 설립자 &lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“대화형 애플리케이션과 대용량 API 전반에서 프런티어 모델을 서빙한다는 것은 갑자기 몰리는 워크로드로 인해 우선순위 고객의 지연 시간이 저하되지 않도록 하면서 급증하는 트래픽을 처리해야 한다는 것을 의미합니다. llm-d의 프리픽스 캐시 인식 라우팅, 흐름 제어, 분리형 서빙 지원을 사용하면 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;상용 등급 전반에 엄격한 우선순위 대역을 적용&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하고, 풀이 포화 상태가 되었을 때 우선순위가 낮은 요청을 자동으로 보류하거나 차단하여 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;유료 트래픽이 지연 시간 SLO를 충족&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;하도록 할 수 있습니다. Mistral은 오픈소스 소프트웨어를 적극 지원하며, 앞으로도 llm-d 및 DisaggregatedSet 프로젝트에 계속 참여할 것입니다.” - &lt;/span&gt;&lt;/em&gt;&lt;strong style="vertical-align: baseline;"&gt;Mathis Felardos, Lucas Fernandes-Martins, Nikhil Thomas,&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Mistral, 추론 엔지니어 겸 llm-d 참여자&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph"&gt;&lt;p data-block-key="aqpai"&gt;자체 모델을 서빙하는 여러 팀에서 프로덕션에 필요한 캐시 인식 라우팅, 트래픽 제어, 업그레이드 제어 기능을 포함하고, 분해하여 자체 인프라에 맞게 조정할 수 있는 개방형 스택을 요청해 왔습니다. llm-d 1.0은 이러한 니즈를 충족함은 물론 공동 개발을 위한 커뮤니티도 제공합니다.&lt;/p&gt;&lt;h3 data-block-key="21p8r"&gt;&lt;b&gt;시작하기&lt;/b&gt;&lt;/h3&gt;&lt;ol&gt;&lt;li data-block-key="6adqh"&gt;PyTorch Conference가 진행되는 동안 Google Cloud 부스에서 TPU 기반의 llm-d에 대한 전체 데모를 확인하세요.&lt;/li&gt;&lt;li data-block-key="r19g"&gt;검증된 Helm 차트를 사용하여 GKE에 llm-d 1.0을 배포하세요. &lt;a href="https://llm-d.ai/docs/infrastructure/providers/gke" target="_blank"&gt;GKE의 llm-d 문서&lt;/a&gt;를 참고하세요.&lt;/li&gt;&lt;li data-block-key="10fst"&gt;먼저 기존 vLLM 배포 앞에 프리픽스 인식 라우팅을 적용한 다음 흐름 제어, KV 캐시&lt;a href="https://llm-d.ai/docs/well-lit-paths/foundations/tiered-prefix-cache" target="_blank"&gt; 오프로드&lt;/a&gt;(&lt;a href="https://github.com/llm-d/llm-d/tree/main/guides/tiered-prefix-cache/modelserver/gpu/sglang" target="_blank"&gt;SGlang&lt;/a&gt;, &lt;a href="https://github.com/llm-d/llm-d/tree/main/guides/tiered-prefix-cache/modelserver/gpu/vllm" target="_blank"&gt;vLLM&lt;/a&gt;), 분리를 추가하세요.&lt;/li&gt;&lt;li data-block-key="5s9dv"&gt;&lt;a href="https://prism.llm-d.ai/" target="_blank"&gt;Prism&lt;/a&gt;에서 결과를 비교하고&lt;a href="https://github.com/llm-d/llm-d" target="_blank"&gt; GitHub&lt;/a&gt;를 통해 개발에 참여하세요.&lt;/li&gt;&lt;/ol&gt;&lt;/div&gt;</description><pubDate>Wed, 28 Oct 2026 13:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</guid><category>Containers &amp; Kubernetes</category><category>GKE</category><category>Open Source</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>llm-d 1.0 발표: Google Cloud TPU 및 GPU의 에이전트를 위한 개방형 분산 추론</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/llm-d-1-0-an-open-source-stack-for-distributed-inference/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sean Horgan</name><title>Product Manager</title><department></department><company></company></author></item><item><title>Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공</title><link>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Reflection은 개발자, 연구원, 기업이 첨단 소프트웨어 엔지니어링과 장기 에이전트 작업을 자유롭게 제어하고 맞춤설정할 수 있도록 설계된 최초의 개방형 가중치 모델인&lt;/span&gt;&lt;a href="https://huggingface.co/reflection" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Beam&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 출시했습니다. 출시 시점에 BF16, FP8, NVFP4 체크포인트를 사용할 수 있는 허용적인 Apache 2.0 라이선스에 따라 출시된 Beam은 유사한 오픈 모델보다&lt;/span&gt;&lt;a href="https://reflection.ai/blog/introducing-beam" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;3~4배 더 높은 추론&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 컴퓨팅 효율로 복잡한 추론 및 코딩 문제를 해결함으로써 5,000억 개의 파라미터 클래스에서 추론 효율성의 새로운 표준을 제시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 출시에 맞춰 Google Cloud는 Google Cloud AI 하이퍼컴퓨터 및 NVIDIA AI 인프라에서 Beam을 서빙할 수 있도록 당일부터 지원하고 즉시 실행 가능한 배포 레시피를 발표합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개발자가 프로덕션에서 Beam의 토큰 효율성을 최대한 활용할 수 있도록 Google은 Reflection과 협력하여 Google Cloud에서 &lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(vLLM 사용) 및 NVIDIA&lt;/span&gt;&lt;a href="https://github.com/ai-dynamo/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Dynamo&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(SGLang 사용)를 사용해 기본 서빙 스택의 성능을 최적화했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;"Google Cloud에 Beam 모델을 배포하여 최대 5배 더 높은 성능과 8배 더 짧은 지연 시간을 달성하여 에이전트형 워크로드의 서빙을 최적화했습니다."&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; - &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Joe Spisak, Reflection 제품 부문 부사장 겸 오픈소스 책임자&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud에서 출시와 동시에 지원을 시작함에 따라 개발자는 다음과 같은 이점을 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;모델 및 시스템 효율성 결합: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Beam의 3~4배 향상된 추론 컴퓨팅 효율과 시스템 수준 최적화를 결합하여 A4X Max 인스턴스(NVIDIA GB300 NVL72)에서는 최대 5배 더 높은 처리량과 8배 더 낮은 지연 시간*을, G4 VM(NVIDIA RTX PRO 6000)에서는 최대 2배 더 높은 처리량과 8배 더 낮은 지연 시간*을 달성합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;고효율 멀티턴 서빙:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; KV 캐시 인식 라우팅, 프리필/디코딩 분리, 추측 디코딩, 호스트 DRAM 및 로컬 SSD로의 계층적 KV 캐시 오프로딩을 통해 긴 코딩 세션에서 중복되는 프롬프트 재계산을 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;턴키 최적화 배포:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; llm-d 및 NVIDIA Dynamo를 사용하는 에이전트 워크로드에 대해 Google Cloud가 권장하는 성능 최적화 레시피는&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI-Hypercomputer/gpu-recipes&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/llm-d/llm-d/tree/main/guides" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;Gemini 플랫폼의 &lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Model Garden&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 클릭 몇 번으로 사용할 수 있습니다.&lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*고객 벤치마킹 기준&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;추론을 확장하려면 시스템 수준의 최적화가 필요&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;에이전트 코딩 및 도구 사용을 위한 모델을 평가할 때 추론 효율성은 두 가지 고유한 계층에서 결정됩니다. 첫 번째는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;모델이 얼마나 효율적으로 추론하는지&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, 두 번째는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;서빙 시스템이 멀티턴 루프를 얼마나 효율적으로 실행하는지&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;모델 수준 효율성: Reflection의 Beam&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Reflection은 텍스트 네이티브 소프트웨어 엔지니어링과 다단계 도구 사용에 특화된 Beam을 설계했습니다. Beam은 총 약 5, 010억 개의 파라미터를 갖추고 있으며, 토큰당 약 230억 개의 파라미터를 활성화하고 약 100만 개의 토큰 컨텍스트 윈도우를 지원합니다. Beam은 Reflection의 Mirror CLI, Claude Code, Hermes, OpenCode 등 개발자가 이미 사용 중인 코딩 하네스에 직접 통합되어 GitHub 문제를 해결하고, CLI 및 DevOps 워크플로를 실행하고, 장기 작업을 완료할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Beam은 토큰당 230억 개의 파라미터만 활성화하고 다른 유사한 개방형 가중치 모델보다 &lt;/span&gt;&lt;a href="https://reflection.ai/blog/introducing-beam" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;3~4배 적은 추론 토큰&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 솔루션에 도달하므로 각 추론 단계에 필요한 추론 시간 컴퓨팅을 크게 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;시스템 수준 효율성: AI 하이퍼컴퓨터 최적화 서빙&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;개발자가 에이전트를 프로덕션에 배포하면 서빙 레이어에서 또 다른 병목 현상이 나타날 수 있습니다. 에이전트형 코딩 루프에서는 단일 세션에서 모델이 수십 번 호출됩니다. 코딩 하네스는 매 턴마다 새로운 파일 읽기, 코드 차이, 컴파일러 로그, 도구 출력을 공유 대화 기록에 추가하며, 이 기록은 수만 또는 수십만 개의 토큰으로 빠르게 증가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모델 자체가 각 턴에서 3~4배 더 적은 추론 토큰을 생성하더라도 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;턴 전반에 걸쳐 누적된 컨텍스트 윈도우&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 인해 두 가지 주요 인프라 문제가 발생합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;첫째, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;프리필 컴퓨팅이 병목 현상을 일으킵니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 표준 Kubernetes 부하 분산기는 스테이트리스(Stateless) 라운드 로빈 라우팅을 사용하여 요청을 분산합니다. 코딩 하네스가 세션의 15번째 턴을 전송하면 14번째 턴과는 다른 복제본에 도달하는 경우가 많습니다. 이 복제본은 이전 프롬프트 전체를 처음부터 다시 계산해야 하므로 GPU 컴퓨팅이 낭비되고 긴 프리필 큐가 생성되어 다른 사용자까지 지연시킵니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;둘째, &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;디코딩은 KV 캐시 용량으로 인해 병목 현상이 발생합니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 수십 개의 동시 에이전트 세션에 대해 긴 컨텍스트 KV 캐시를 유지하면 GPU 고대역폭 메모리(HBM)가 빠르게 가득 찹니다. HBM이 가득 차면 서빙 엔진은 오래된 KV 블록을 제거해야 합니다. 이러한 블록이 제거되는 즉시 캐시 적중률이 떨어지고 GPU 처리량이 정체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 규모에서 Beam의 모델 수준 효율성을 유지하려면 서빙 스택을 분산 시스템으로 최적화해야 합니다. 이러한 이유로 Google Cloud의 레시피는 Beam을&lt;/span&gt;&lt;a href="https://llm-d.ai/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(vLLM 사용) 및&lt;/span&gt;&lt;a href="https://github.com/ai-dynamo/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA Dynamo&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(SGLang 사용)와 결합합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 하이퍼컴퓨터 추론 아키텍처 내부&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Beam의 BF16, FP8, NVFP4 체크포인트를 출시 첫날부터 최대 효율로 실행할 수 있도록 Google Cloud는 AI 하이퍼컴퓨터에 수직 통합 아키텍처를 설계했습니다. 이 아키텍처에서는 각 계층이 에이전트형 서빙 수명 주기의 특정 부분을 처리합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--medium
      
      
        h-c-grid__col
        
        h-c-grid__col--4 h-c-grid__col--offset-4
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_-_architecture.max-1000x1000.png"
        
          alt="1 - architecture"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;에이전트 트래픽 서빙을 위한 시스템 최적화 아키텍처&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;추론 포드를 스테이트리스(Stateless) 엔드포인트로 취급하는 대신 스택의 각 레이어는 멀티턴 에이전트 수명 주기를 중심으로 공동 설계됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;프리픽스 및 부하 인식 라우팅(GKE + llm-d EPP/Dynamo 라우터):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 작업자 포드 전반에서 캐시된 프리픽스와 큐 깊이를 추적하여 코딩 하네스의 각 후속 턴을 웜 KV 프리픽스를 보유한 복제본으로 유도하는 동시에 턴 우선순위 흐름 제어를 통해 큐 포화를 방지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분산 컴퓨팅 및 추측 디코딩(A4X Max 및 G4 인스턴스)&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 기본 Blackwell NVFP4, Beam의 230억 개 활성 전문가를 위한 전문가 병렬 처리(EP), 데이터 병렬 어텐션, DFlash2 추측 디코딩을 통해 vLLM 및 SGLang을 실행합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;프리필 및 디코딩 (P/D)풀&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 분리하면 대량의 프롬프트가 급증해도 활성 토큰 생성이 중단되지 않습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;계층형 KV 캐시(GPU 메모리 -&amp;gt; DRAM 및 로컬 SSD):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 활성 KV 블록은 고대역폭 GPU 메모리(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Tier 1&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;)에 유지되는 반면, 장기 세션 중에 제거된 웜 KV 블록은 vLLM의 OffloadingConnector 또는 SGLang의 HiCache를 통해 호스트 CPU DRAM 및 로컬 NVMe SSD(&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Tier 2&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;)로 오버플로됩니다. 이를 통해 과거 컨텍스트를 처음부터 다시 계산하는 대신 밀리초 단위로 가져올 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;멀티턴 에이전트형 워크로드를 위한 시스템 최적화&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동시 실행 수준이 증가하는 상황에서&lt;/span&gt;&lt;a href="https://inferencex.semianalysis.com/agentx" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;AgentX 궤적 데이터 세트&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 멀티턴 코딩 및 도구 사용 워크로드를 서빙할 때, 서빙 스택의 각 레이어는 에이전트 워크로드의 멀티턴, 긴 컨텍스트 트래픽 패턴에 대한 성능 향상 및 지연 시간 개선에 기여합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;strong&gt;차트를 읽을 때 유의할 점이 있습니다. &lt;/strong&gt;두 구성은 서로 직접 비교할 수 없습니다. NVIDIA Dynamo는 NVIDIA GB300 NVL72 GPU 32개가 탑재된 A4X Max 인스턴스에서 실행되었고, llm-d는 NVIDIA RTX PRO 6000 GPU 8개가 탑재된 G4 VM에서 실행되었습니다. 각 차트는 동일한 하드웨어에서 기준 구성 대비 성능이 얼마나 향상되었는지 보여줍니다. 복제본이 많을수록 라우터가 적중할 수 있는 웜 KV 캐시가 많아지고 디코딩에서 프리필을 분할할 수 있는 공간이 늘어나므로 배포 규모가 커질수록 개선 효과가 커집니다. llm-d와 NVIDIA Dynamo는 모두 기본 인프라에 맞게 확장 및 축소됩니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_-_gb300_results.max-1000x1000.png"
        
          alt="2 - gb300 results"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;NVIDIA Dynamo 최적화 성능과 Reflection Beam의 기준 배포 비교&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/3_-_G4_results.max-1000x1000.png"
        
          alt="3 - G4 results"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="soz5i"&gt;llm-d 최적화 성능과 Reflection Beam의 기준 배포 비교&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;두 플랫폼 모두에서 이러한 최적화를 계층화하면 파레토 프런티어가 개선되어 더 높은 출력 처리량과 더 빠른 사용자당 상호작용 속도를 동시에 달성할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;기준 배포(스테이트리스(Stateless) 라운드 로빈 라우팅):&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 접두사를 인식하지 않는 표준 Kubernetes 배포에서는 동일한 코딩 세션의 연속적인 턴이 서로 다른 복제본에 전달됩니다. 이로 인해 이전 컨텍스트에 대한 프리필 재계산이 지속적으로 이루어지고 동시 실행이 확장됨에 따라 처리량이 정체됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KV 캐시 인식 및 흐름 제어 라우팅:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; NVIDIA Dynamo 또는 llm-d의 Sticky EPP에서 턴 우선순위 흐름 제어와 함께 프리픽스 인식 라우팅을 사용 설정하면 멀티턴 에이전트 궤적이 웜 KV 캐시를 보유한 복제본에 고정되어 최초 토큰 생성 시간(TTFT) 지연 시간이 즉시 단축되고 GPU 컴퓨팅이 확보되어 토큰 처리량이 크게 증가합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;호스트 DRAM 및 로컬 SSD(LSSD) KV 오프로드:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 제거된 KV 블록을 GPU 메모리에서 호스트 DRAM 및 로컬 NVMe SSD로 오프로드하면 수십 개의 긴 컨텍스트 코딩 세션이 기기 내 GPU 메모리 용량을 초과하더라도 캐시 스래싱을 방지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분할 서빙, 추측 디코딩, KV 풀 조정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 하이브리드 KV 캐시 메모리 할당을 조정하고, 추측 디코딩을 사용 설정하고, 프리필 및 디코딩 작업자를 분리하면 토큰 생성이 과도한 프롬프트 버스트로부터 격리되는 한편, 드래프트 모델이 출력 처리량을 크게 높여 에이전트당 토큰 상호작용 속도를 빠르게 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;PyTorchCon 및 GTC Berlin에 참석하여 시작해 보세요 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 블로그에서는 시스템 수준 최적화를 활용하여 에이전트 워크로드에 Reflection의 Beam 모델 제품군을 서빙할 때 성능을 확장하는 방법을 살펴봤습니다. 이 게시물에서 소개한 모든 Kubernetes 매니페스트, 라우터 구성, 벤치마킹 스크립트는 오픈소스이며 자체 GKE 클러스터에서 바로 실행할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;최적화된 스택 배포&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: &lt;/span&gt;&lt;a href="https://github.com/ai-hypercomputer/gpu-recipes" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI-Hypercomputer/gpu-recipes 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes/tree/main/inference/a4xmax/disaggregated-serving/dynamo" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;A4X Max&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://github.com/AI-Hypercomputer/gpu-recipes/tree/main/inference/g4/aggregated-serving/llm-d" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;G4&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 llm-d 및 NVIDIA Dynamo를 사용하여 Reflection의 Beam을 실행하는 출시 당일 지원 가이드와 Gemini 플랫폼의&lt;/span&gt;&lt;a href="https://console.cloud.google.com/agent-platform/publishers/reflection/model-garden/beam"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Model Garden&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가중치 다운로드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;:&lt;/span&gt;&lt;a href="https://huggingface.co/reflection" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; Reflection의 Hugging Face 페이지&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 Apache 2.0 BF16, FP8, NVFP4 체크포인트를 다운로드하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;산호세에서 열리는 llm-d 및 PyTorch Conference 참석&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 올해 10월 산호세에서 열리는 PyTorch Conference North America에 참석하신다면 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;llm-d 커뮤니티 세션&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;과 Google Cloud 부스 #에 방문해 보세요. 에이전트 워크로드를 위한 KV 캐시 인식 라우팅, P/D 분리, KV 캐시 계층화에 대한 라이브 데모를 선보일 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;NVIDIA GTC Berlin 참석: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;NVIDIA GTC Berlin에 참석하신다면 부스 3026 또는 행사장으로부터 도보로 5분 거리에 있는 w3.hub의 Google Cloud Hub에서 Google Cloud 팀을 만나보세요.&lt;/span&gt;&lt;a href="https://cloud.google.com/nvidia#join-us-at-gtc-berlin"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;세션에 대해 자세히 알아보세요&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Sun, 25 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</guid><category>Containers &amp; Kubernetes</category><category>AI Hypercomputer</category><category>Compute</category><category>llm-d</category><category>AI infrastructure</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google Cloud, Reflection의 Beam 출시와 동시에 지원: llm-d 및 NVIDIA Dynamo를 5배 빠른 성능 제공</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/topics/ai-infrastructure/day-0-support-with-5x-perf-for-reflection-beam-on-google-cloud/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Injae Kwak</name><title>AI Infrastructure Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Shivaji Dutta</name><title>AI Infra Solutions Architect</title><department></department><company></company></author></item><item><title>GKE용 Wiz 런타임 센서 부가기능 출시: Kubernetes를 위한 턴키 방식의 위협 감지 기능</title><link>https://cloud.google.com/blog/ko/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 시대에는 모든 것이 더 빠르게 변화하고 있으며, 보안 위협 또한 예외는 아닙니다. 과거에는 공격자가 취약점을 악용하는 데 몇 주가 걸렸지만 이제는 단 몇 분 만에 가능합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;저장된 아티팩트를 대상으로 하는 표준 취약점 스캔은 기본적인 설정 문제를 파악하는 데 유용하지만, 현재 진행 중인 공격을 감지하려면 실시간 런타임 보호가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/security/install-wiz-sensor-addon"&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine(GKE)용 Wiz 런타임 센서 부가기능&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 프리뷰 버전으로 새롭게 선보입니다. 이 기본 제공 통합을 통해 Wiz의 업계 선도적인 eBPF 런타임 위협 감지 기능을 Standard 및 Autopilot GKE 클러스터 모두에서 사용할 수 있으며, 간단한 배포, 자동화된 수명 주기 관리, 엔터프라이즈 사용자 인증 정보 보안, Fleet 전체 거버넌스 등의 혜택을 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;런타임 보안의 운영상 번거로움&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;보안 및 플랫폼 엔지니어링팀은 클러스터 내 런타임 방어 체계를 배포할 때 다음과 같은 공통적인 딜레마에 직면하곤 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;배포 및 수명 주기 관리의 번거로움&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 런타임 에이전트를 배포하려면 수십 또는 수백 개의 클러스터에서 서드 파티 소스의 설치를 관리해야 하는 경우가 많습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;사용자 인증 정보의 무분별한 확산 및 보안 위험&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: API 키를 Kubernetes 보안 비밀로 전달하고 순환하는 방식은 관리 오버헤드를 가중시키고 보안 위험을 초래합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Fleet 전체 보안 적용 공백&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 플랫폼팀에는 워크로드가 배포되고 트래픽을 수신하기 전에 모든 새 클러스터에 런타임 센서가 사용 설정되어 있는지 확인하는 기본 제공 정책 컨트롤러 기능이 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;성능 및 운영 오버헤드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 명시적이고 전략적인 리소스 제한이 없으면 런타임 에이전트가 워크로드 및 시스템 기능에 필요한 CPU와 메모리 가용량에 영향을 줄 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud와 Wiz는 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE용 Wiz 런타임 센서&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 통해 이러한 운영 장벽을 최소화했습니다. 이제 GKE에서 런타임 센서를 퍼스트 파티 관리형 플랫폼 부가기능으로 사용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE용 Wiz 런타임 센서로 보안 공백 해결&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE용 Wiz 런타임 센서는 센서 수명 주기를 간소화하고 자동화하여 중앙 보안 및 플랫폼 엔지니어링 워크플로를 연결합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/gke_wiz_sensor_architecture_final_google_s.max-1000x1000.jpg"
        
          alt="gke_wiz_sensor_architecture_final_google_sans"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="4myyb"&gt;그림 1: 사용자 인증 정보 동기화, 센서 배포, 위협 원격 분석을 보여주는 대략적인 아키텍처&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;부가기능을 사용하면 GKE가 센서 배포, 사용자 인증 정보 삽입, 수명 주기 업데이트를 관리합니다. 런타임 보호를 플랫폼에 직접 빌드하면 관리 오버헤드가 줄어들고 Kubernetes Fleet에 다음과 같은 이점이 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;기본 Secret Manager 통합: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;보안팀은 더 이상 클러스터 네임스페이스에 Wiz API 키를 배포할 필요가 없습니다. 이 부가기능은 GKE의&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/secret-manager/docs/sync-k8-secrets"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Secret Manager 보안 비밀 동기화 통합&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 전용 서비스 계정만 액세스할 수 있는 클러스터 외부의 중앙 집중식 사용자 인증 정보 저장소에 Wiz 사용자 인증 정보를 저장합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE는 사용자 인증 정보를 자동으로 검색하여 런타임 센서 포드에 직접 삽입합니다. Secret Manager에서 키를 업데이트하면 클러스터를 다시 시작하거나 수동으로 개입하지 않아도 센서에 자동으로 동기화됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;간소화된 사용 설정: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Secret Manager에 Wiz 사용자 인증 정보를 추가한 후 플랫폼 운영자는 gcloud CLI 또는 GKE API를 사용하여 런타임 센서 부가기능을 사용 설정할 수 있습니다. GKE 컨트롤 플레인은 센서 구성요소 배포, 포드 수명 주기 관리, 노드 구성을 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;보안 이그레스 및 프록시 지원&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 공개 인터넷 액세스를 제한하는 환경의 경우 관리형 센서는 표준 HTTP 및 mTLS 프록시 구성을 지원합니다. 원격 분석은 이그레스 방화벽 정책을 위반하지 않고 Wiz로 다시 라우팅됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;조직 정책을 통한 Fleet 전체 거버넌스&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 플랫폼 보안 책임자는 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/organization-policy/create-custom-constraints"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;커스텀 조직 정책 제약 조건&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 조직 전체에 규정 준수를 적용할 수 있습니다. 제약 조건을 사용하여 런타임 센서 부가기능을 사용 설정하지 않는 클러스터를 만들려는 시도를 거부할 수 있습니다. 이렇게 하면 악의적인 행위자가 런타임 감지를 피하기 위해 악성 인프라를 가동하는 것을 방지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;오버헤드를 최소화하는 커널 수준의 모니터링 가능성&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Wiz 런타임 센서는 시스템 호출, 실행 중인 프로세스, 네트워크 연결, 파일 액세스를 지속적으로 모니터링합니다. 리버스 셸, 승인되지 않은 권한 에스컬레이션, 컨테이너 이스케이프, 안전하지 않은 아웃바운드 연결을 포함한 의심스러운 활동을 포착하는 동시에 워크로드 활동이 많은 경우에도 CPU 사용량을 낮게 유지합니다. &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;센서는 각 노드에서 고정된 메모리 한도를 사용하여 워크로드 밀도가 변경되더라도 일관된 성능을 보장합니다. 이는 애플리케이션 활동이 수시로 변동될 수 있는 AI 워크로드와 웹 서비스에서 특히 유용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;별도의 자동 업데이트&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 보안 위협과 제로데이 취약점은 정기적인 인프라 유지보수 기간을 기다려 주지 않습니다. GKE용 Wiz 센서 부가기능의 수명 주기는 GKE 클러스터 및 노드의 수명 주기와 별개로 운영됩니다. &lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;센서는 Wiz에서 게시한 새로운 센서 버전의 업데이트를 주기적으로 출시하여 GKE 버전 업그레이드, 노드 풀 재생성 또는 워크로드 중단 없이 클러스터에 항상 최신 감지 규칙이 적용되도록 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;작동 방식: 센서 배포 및 적용&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Wiz 센서 부가기능을 사용 설정하는 과정은 플랫폼 관리자가 이미 GKE에서 익숙하게 사용하는 프로세스와 동일합니다. 표준 gcloud 명령어를 사용하면 클러스터 생성 중에 런타임 보호를 활성화하고, 기존 클러스터에 대해 사용 설정하고, Fleet 전반에 적용하는 동시에 Secret Manager에서 사용자 인증 정보를 안전하게 관리할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE에 Secret Manager에 대한 액세스 권한을 부여하는 등의 기본 요건은 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/security/install-wiz-sensor-addon"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;설정 문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참조하세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;Wiz Sensor 부가기능을 사용하여 클러스터 프로비저닝&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Secret Manager에 저장된 사용자 인증 정보를 사용하여 관리형 Wiz 센서가 사용 설정된 새 GKE 클러스터를 프로비저닝하려면 다음 안내를 따르세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;gcloud container clusters create production-ai-cluster \\\r\n    --zone=us-central1-a \\\r\n    --release-channel=regular \\\r\n    --workload-pool=${PROJECT_ID}.svc.id.goog \\\r\n    --enable-secret-sync \\\r\n    --enable-secret-sync-rotation \\\r\n    --addons=WizSensor=ENABLED \\\r\n    --wiz-sensor-registry-secret-uri=projects/${PROJECT_ID}/secrets/wiz-registry-secret/versions/latest \\\r\n    --wiz-sensor-api-key-secret-uri=projects/${PROJECT_ID}/secrets/wiz-api-key-secret/versions/latest&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e81a290&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE용 워크로드 아이덴티티 제휴 및 Secret Manager 보안 비밀 동기화가 사용 설정된 기존 실행 중인 클러스터에서 센서를 사용 설정하려면 다음 명령어를 실행합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;gcloud container clusters update production-ai-cluster \\\r\n    --zone=us-central1-a \\\r\n    --update-addons=WizSensor=ENABLED \\\r\n    --wiz-sensor-registry-secret-uri=projects/${PROJECT_ID}/secrets/wiz-registry-secret/versions/latest \\\r\n    --wiz-sensor-api-key-secret-uri=projects/${PROJECT_ID}/secrets/wiz-api-key-secret/versions/latest&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e897090&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;조직 정책을 통한 Fleet 전체 보호 시행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/multi-cloud/docs/attached/generic/how-to/setup-custom-constraints"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;커스텀 제약조건&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 배포하여 조직 전체의 모든 새 GKE 클러스터에 런타임 센서를 설치하도록 요구할 수 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;name: organizations/123456789012/customConstraints/custom.GKEWizSensorEnforced\r\nresource_types:\r\n  - container.googleapis.com/Cluster\r\nmethod_types:\r\n  - CREATE\r\n  - UPDATE\r\ncondition: resource.addonsConfig.wizSensorConfig.enabled == true\r\naction_type: ALLOW\r\ndisplay_name: Enforce Wiz Sensor on All GKE Clusters\r\ndescription: Mandates that all GKE clusters enable the managed Wiz Runtime Sensor backed by the corporate Secret Manager vault.&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e83bf90&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 보안을 위한 지능형 위협 상관관계 분석&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 통합의 진정한 힘은 관리형 센서가 더 광범위한 Wiz AI 애플리케이션 보호 플랫폼(AI-APP)에 연결될 때 발휘됩니다. GKE 런타임 원격 분석을 Wiz 보안 그래프에 입력하면 정적 알림을 뛰어넘는 보안 툴킷을 활용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;실시간 위험 평가 및 위협 검증&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 백그라운드 보안 스캔과 실시간 활동 모니터링을 결합하여 실제 위험을 명확하게 파악할 수 있습니다. 센서는 취약한 코드가 실제로 메모리에서 실행 중인지 확인하므로 활성 보안 위협에 집중하고 비활성 위협은 무시할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;실시간 위협 감지 및 대응&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 멀웨어, 무단 액세스 시도, 소프트웨어 취약점과 같은 의심스러운 활동을 실시간으로 식별합니다. 보안팀은 위협이 확산되기 전에 자동으로 차단하거나 중지하는 규칙을 설정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;네트워크 활동 및 상세한 보안 인사이트&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 시스템 활동, 네트워크 연결, 데이터 흐름을 추적하여 숨겨진 위험과 무단 소프트웨어 사용을 발견합니다. 위협이 감지되면 센서가 자동으로 진단 데이터를 수집하여 팀이 발생한 상황을 신속하게 조사할 수 있도록 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 기능을 통해 GKE에 배포된 미션 크리티컬 애플리케이션과 AI 에이전트가 개발자 속도를 저해하지 않으면서 공격과 데이터 무단 반출을 모니터링할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE용 Wiz 런타임 센서 부가기능은 운영의 복잡성이나 배포의 번거로움 없이 심층적인 커널 수준의 eBPF 보호를 구현하여 컨테이너 보안의 표준을 제시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE의 관리형 플랫폼 자동화와 Wiz의 포괄적인 보안 인텔리전스를 결합하면, 플랫폼 및 보안팀은 강력한 런타임 방어 체계를 유지하면서도 클라우드 환경에 걸맞은 빠른 속도로 혁신을 추진할 수 있습니다. 자세한 내용은 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/security/install-wiz-sensor-addon"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE용 Wiz 센서 문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 확인하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Sun, 25 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes/</guid><category>GKE</category><category>Containers &amp; Kubernetes</category><category>Security &amp; Identity</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>GKE용 Wiz 런타임 센서 부가기능 출시: Kubernetes를 위한 턴키 방식의 위협 감지 기능</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/identity-security/wiz-sensor-for-gke-turnkey-threat-detection-for-kubernetes/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Daniel L’Hommedieu</name><title>Sr. Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Shahar Yakov</name><title>Product Team Lead, Wiz</title><department></department><company></company></author></item><item><title>GKE CPU 시작 부스트: 과도한 프로비저닝 없는 앱 시작 가속화</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;갑작스러운 트래픽 급증에 대응하여 마이크로서비스를 시작하거나, 새로운 소프트웨어 버전을 배포하거나, 애플리케이션 복제본을 확장하는 등의 경우, Google Kubernetes Engine(GKE)에서 실행 중인 애플리케이션에 신속하고 반응성이 뛰어난 사용자 환경을 제공하려면 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;포드 시작 시간&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;이 중요합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_with_image"&gt;&lt;div class="article-module h-c-page"&gt;
  &lt;div class="h-c-grid uni-paragraph-wrap"&gt;
    &lt;div class="uni-paragraph
      h-c-grid__col h-c-grid__col--8 h-c-grid__col-m--6 h-c-grid__col-l--6
      h-c-grid__col--offset-2 h-c-grid__col-m--offset-3 h-c-grid__col-l--offset-3"&gt;

      






  

    &lt;figure class="article-image--wrap-small
      
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_mhC0eeP.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  





      &lt;p data-block-key="0udcy"&gt;하지만 플랫폼 엔지니어와 개발자는 애플리케이션이 안정 상태에서 작동할 때보다 시작 시 훨씬 더 많은 CPU 성능을 요구할 때가 많다는 고질적인 딜레마에 직면해 있습니다. 안정 상태의 일반적인 사용량에 맞춰 CPU 요청량을 설정하면 실행 시 CPU 제한이 발생하여 콜드 스타트가 느려지고 준비 여부 프로브에서 제한 시간 초과가 발생할 수 있습니다. 반대로, 단기적인 시작 버스트를 충족하기 위해 기본 CPU 요청을 과도하게 프로비저닝하면 귀중한 컴퓨팅 리소스가 낭비되고 인프라 비용이 증가합니다.&lt;/p&gt;&lt;p data-block-key="5vv18"&gt;오늘 GKE용&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/boost-application-startup"&gt; &lt;b&gt;CPU 시작 부스트&lt;/b&gt;&lt;/a&gt; 프리뷰 버전을 발표하게 되어 기쁩니다. CPU 시작 부스트는 GKE의 수직형 포드 자동 확장 처리(VPA)에 바로 통합되어 초기 설정 중에는 컨테이너의 CPU 할당량을 동적으로 높이고 애플리케이션이 준비되면 기준이 되는 안정 상태 수준으로 원활하게 다시 축소합니다. &lt;b&gt;이 모든 과정에서 컨테이너를 다시 시작할 필요는 없습니다.&lt;/b&gt;&lt;/p&gt;
    &lt;/div&gt;
  &lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;현대화된 애플리케이션 부팅 시 추가 CPU가 필요한 이유&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;새 컨테이너가 시작되면 사용자 요청을 처리하기 전에 리소스 집약적인 초기 설정 작업을 수행하는 경우가 있습니다. 사용하는 기술 스택에 따라 다르지만 다음과 같은 시작 워크로드에는 상당한 CPU 주기가 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Java JVM 애플리케이션&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Spring Boot와 같은 프레임워크는 클래스 로드, 클래스 경로 스캔, 종속 항목 삽입 컨테이너 인스턴스화, 적시(Just-In-Time) 컴파일 실행을 위해 높은 CPU 버스트 용량이 필요합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Node.js 서버&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 앱은 초기 실행 시 JavaScript 파일을 파싱하고 복잡한 모듈 종속 항목 트리(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;require&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;/&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;import&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)를 빌드하며 V8 엔진 최적화 및 JIT 컴파일 패스를 실행합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Python 및 AI/ML 마이크로서비스&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 이러한 서비스는 초기 주기를 사용하여 PyTorch, NumPy, LangChain과 같은 대규모 라이브러리를 가져오고, &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;.pyc&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 바이트 코드를 컴파일하고, ORM 데이터베이스 스키마를 설정하고, 캐시 구조를 사전 로드합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;CPU 요청 규모를 안정 상태의 성능에만 맞춰 설정하면 이러한 초기 설정 워크로드가 시작 시 CPU 제한을 겪게 되어 준비 여부 프로브가 지연됩니다. 느린 콜드 스타트를 방지하기 위해 팀에서는 CPU 요청을 과도하게 프로비저닝하는 경우가 많습니다. 하지만 애플리케이션이 안정화된 후에는 추가 CPU 리소스가 유휴 상태가 되어 아무런 가치도 창출하지 못한 채 클라우드 비용만 증가시킵니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-paragraph_with_image"&gt;&lt;div class="article-module h-c-page"&gt;
  &lt;div class="h-c-grid uni-paragraph-wrap"&gt;
    &lt;div class="uni-paragraph
      h-c-grid__col h-c-grid__col--8 h-c-grid__col-m--6 h-c-grid__col-l--6
      h-c-grid__col--offset-2 h-c-grid__col-m--offset-3 h-c-grid__col-l--offset-3"&gt;

      






  

    &lt;figure class="article-image--wrap-small
      
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_zZExLw4.max-1000x1000.jpg"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  





      &lt;h3 data-block-key="0udcy"&gt;&lt;b&gt;CPU 시작 부스트의 작동 방식&lt;/b&gt;&lt;/h3&gt;&lt;p data-block-key="3ph6k"&gt;CPU 시작 부스트는 워크로드 시작 중에 일시적으로 vCPU를 '부스트'하고 초기 설정이 완료되면 자동으로 기본 수준으로 되돌려 이 문제를 해결합니다.&lt;/p&gt;&lt;p data-block-key="fvv3n"&gt;주요 이점:&lt;/p&gt;&lt;ul&gt;&lt;li data-block-key="9mat4"&gt;&lt;b&gt;콜드 스타트 속도 향상&lt;/b&gt;: 애플리케이션 초기 설정 시간을 최대 &lt;b&gt;2배&lt;/b&gt; 단축하여 예상치 못한 트래픽 급증 시 자동 확장 반응 속도를 높입니다.&lt;/li&gt;&lt;li data-block-key="e3e9q"&gt;&lt;b&gt;클라우드 지출 최적화&lt;/b&gt;: 시작 시에만 필요해 유휴 상태에 있는 용량에 비용을 지불하는 대신 실제 런타임 니즈에 맞게 안정 상태의 CPU 요청을 적정 규모로 설정할 수 있습니다.&lt;/li&gt;&lt;li data-block-key="c0i46"&gt;&lt;b&gt;포드 재시작 불필요&lt;/b&gt;: 실행 중인 컨테이너 내에서 리소스 크기가 동적으로 조정됩니다.&lt;/li&gt;&lt;li data-block-key="3je7j"&gt;&lt;b&gt;유연한 정책 제어&lt;/b&gt;: 간단한 포드 수준의 배수(예: 시작 시 CPU 2배)를 적용하거나 복잡한 멀티 컨테이너 포드에 컨테이너별로 세분화된 규칙을 정의할 수 있습니다.&lt;/li&gt;&lt;/ul&gt;
    &lt;/div&gt;
  &lt;/div&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;내부 작동 방식: Kubernetes 인플레이스 포드 크기 조절&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존에는 포드의 리소스 요청이나 한도를 변경하려면 포드를 삭제하고 다시 생성해야 했습니다. 이 과정에서 컨테이너가 다시 시작되고 캐시가 무효화되며 노드 재스케줄링에 따른 오버헤드가 발생했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 문제를 해결하기 위해 CPU 시작 부스트는 Kubernetes&lt;/span&gt;&lt;a href="https://kubernetes.io/docs/tasks/configure-pod-container/resize-container-resources/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;인플레이스 포드 크기 조절(IPPR)&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 기반으로 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;a href="https://github.com/kubernetes/enhancements/tree/master/keps/sig-node/1287-in-place-pod-resize" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;KEP-1287&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 통해 추적되는 IPPR은 동적인 인플레이스 리소스 변환 기능을 도입했습니다. IPPR은 Kubernetes 1.27에서 알파 버전으로 처음 도입되고 v1.33에서 베타로 승격되었으며 v1.35에서 정식 버전(GA)으로 전환되었습니다. 이 기능을 사용하면 Kubernetes 컨트롤 플레인과 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;kubelet&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;이 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;컨테이너 프로세스를 다시 시작하지 않고도&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 실행 중인 포드의 컨테이너 CPU와 메모리 요청을 업데이트할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE는 VPA 내에서 IPPR을 활용하여 포드 승인 시 시작 CPU 부스트를 적용하고 준비 후에는 원활하게 단계적으로 축소합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;CPU 시작 부스트 작동 방식(포드 수명 주기 개요)&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;CPU 시작 부스트는 세 가지 단계로 작동합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;승인 단계&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 포드를 배포하면 VPA 승인 웹훅이 생성 요청을 가로챕니다. 정책(예: 2배수 또는 +2 vCPU)에 따라 상향 조정된 CPU 요청을 계산하고 추적용 주석과 함께 이 상향된 CPU 요청을 포드 사양에 삽입합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;시작 단계&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 부스트된 CPU 할당량으로 포드가 예약되고 초기 설정됩니다. 애플리케이션은 CPU 제한 없이 최대 속도로 클래스 로딩, JIT 컴파일, 모듈 파싱을 완료합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;부스트 해제 단계&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 포드의 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;readinessProbe&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 통과하고 설정된 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;durationSeconds&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 대기 시간이 경과되는 즉시 VPA 업데이터가 인플레이스 크기 조절 요청을 실행합니다. CPU 요청이 기본 수준으로 다시 낮아지며 그와 동시에 컨테이너는 중단 없이 계속 실행됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;기본 요건 및 가용성&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;CPU 시작 부스트는 현재 GKE에서 프리뷰 버전으로 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 버전&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Standard 및 Autopilot 클러스터의 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;1.36.0-gke.4447000&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 버전 이상&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;클러스터 모드&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: GKE Autopilot에서 기본적으로 사용 설정됩니다(VPA는 기본적으로 활성화됨). GKE Standard에서는 수직형 포드 자동 확장(VPA)이 사용 설정되어 있는지만 확인하면 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;워크로드 지원&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: Deployments 및 StatefulSet를 비롯한 표준 Kubernetes 컨트롤러에서 작동합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기: CPU 시작 부스트 구성&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;CPU 시작 부스트를 구성하려면 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;VerticalPodAutoscaler&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 매니페스트에 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;startupBoost&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 섹션을 추가하기만 하면 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;예시 1: 고정된 안정 상태를 사용하는 포드 수준 부스트(&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;updateMode: "Off"&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;)&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;안정 상태 CPU 요청은 매니페스트 정의에 고정한 상태로 VPA를 시작 부스트 용도로만 사용하려면 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;updateMode&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;"Off"&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;로 설정하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;apiVersion: &amp;quot;autoscaling.k8s.io/v1&amp;quot;\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n  name: java-app-startup-boost\r\n  namespace: default\r\nspec:\r\n  targetRef:\r\n    apiVersion: &amp;quot;apps/v1&amp;quot;\r\n    kind: Deployment\r\n    name: java-app\r\n  updatePolicy:\r\n    updateMode: &amp;quot;Off&amp;quot;\r\n  startupBoost:\r\n    cpu:\r\n      type: &amp;quot;Factor&amp;quot;\r\n      factor: 2\r\n      durationSeconds: 10&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e86d290&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;이 예시에서 GKE는 시작 중에 컨테이너의 CPU 요청을 2배 늘리고, 준비 여부 프로브 통과 후 10초간 부스트된 할당량을 유지한 다음 기본 수준으로 다시 줄입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;strong style="vertical-align: baseline;"&gt;예시 2: 시작 부스트와 지속적인 VPA 자동 확장의 결합&lt;/strong&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE가 시작 중에 CPU를 부스트하고 시작 후에도 안정 상태의 리소스를 지속적으로 최적화하도록 하려면 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;updateMode&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;"InPlaceOrRecreate"&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;로 설정하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;apiVersion: &amp;quot;autoscaling.k8s.io/v1&amp;quot;\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n  name: nodejs-app-vpa\r\n  namespace: default\r\nspec:\r\n  targetRef:\r\n    apiVersion: &amp;quot;apps/v1&amp;quot;\r\n    kind: Deployment\r\n    name: nodejs-service\r\n  updatePolicy:\r\n    updateMode: &amp;quot;InPlaceOrRecreate&amp;quot;\r\n  startupBoost:\r\n    cpu:\r\n      type: &amp;quot;Factor&amp;quot;\r\n      factor: 3\r\n      durationSeconds: 15&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e86e610&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;예시 3: 세분화된 컨테이너 수준 부스트&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;부팅 시 추가 CPU가 필요하지 않은 사이드카(예: Logging 에이전트 또는 서비스 메시 프록시)를 실행하는 포드의 경우 특정 앱 컨테이너를 타겟팅할 수 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;apiVersion: &amp;quot;autoscaling.k8s.io/v1&amp;quot;\r\nkind: VerticalPodAutoscaler\r\nmetadata:\r\n  name: app-container-boost\r\nspec:\r\n  targetRef:\r\n    apiVersion: &amp;quot;apps/v1&amp;quot;\r\n    kind: Deployment\r\n    name: API-gateway\r\n  updatePolicy:\r\n    updateMode: &amp;quot;Off&amp;quot;\r\n  resourcePolicy:\r\n    containerPolicies:\r\n    - containerName: &amp;quot;web-app&amp;quot;\r\n      mode: &amp;quot;Off&amp;quot;\r\n      startupBoost:\r\n        cpu:\r\n          type: &amp;quot;Quantity&amp;quot;\r\n          quantity: &amp;quot;2&amp;quot;\r\n          durationSeconds: 5&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e86c9d0&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h2&gt;&lt;strong style="vertical-align: baseline;"&gt;클러스터에서 시작 부스트 확인&lt;/strong&gt;&lt;/h2&gt;
&lt;p&gt;&lt;code style="vertical-align: baseline;"&gt;kubectl&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;을 사용하여 GKE가 시작 부스트를 적용한 후 다시 축소했는지 확인할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;1. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;포드 주석 검사&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;vpaCpuStartupBoost&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 추적 주석을 확인합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;kubectl get pod &amp;lt;POD_NAME&amp;gt; -o yaml&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e86ccd0&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;기본 CPU 요청과 부스트된 CPU 요청을 나타내는 주석을 찾습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;인플레이스 크기 조절 이벤트 모니터링&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: GKE가 준비 상태가 된 후 CPU 요청을 다시 기본 수준으로 축소했는지 확인합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;kubectl get events --field-selector reason=InPlaceResizedByVPA&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e89aa50&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;프로덕션 워크로드 권장사항&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;수평형 포드 자동 확장 처리(HPA)와 함께 사용&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: CPU 시작 부스트와 함께 HPA를 사용하는 경우 안정적인 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;readinessProbe&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 정의하고 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;durationSeconds&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;를 짧게 유지하세요(예: &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;0초&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;~&lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;10초&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;). 이렇게 하면 HPA가 초기 설정 중 발생하는 CPU 급증을 안정 상태의 높은 부하로 오인하는 것을 방지할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/configure-capacity-buffer"&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Capacity Buffers API&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;로 트래픽 급증 처리: 대규모 환경에서 시작에 따른 리소스 부담을 줄이면 더 적은 수의 노드에서 더 높은 워크로드 밀도를 달성하여 전반적인 활용률을 높일 수 있습니다. 엄격한 SLO를 유지하면서 운영 오버헤드를 최소화하고 갑작스러운 트래픽 급증을 흡수하려면 GKE capacity buffers API 도입을 고려해 보세요. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Autopilot 리소스 비율&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: GKE Autopilot에서는 포드가 유효한 CPU 대 메모리 비율을 유지해야 합니다. 기본 메모리 할당량이 시작 시 부스트된 CPU 비율을 수용할 수 있는지 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;CPU 시작 부스트를 사용하는 GKE 사용자는 Java, Node.js, Python과 같은 CPU 집약적인 워크로드에서 매우 빠른 콜드 스타트를 구현하는 동시에 리소스 효율성을 극대화하고 클라우드 비용을 절감할 수 있다는 두 가지 이점을 모두 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 워크로드의 시작 속도를 높일 준비가 되셨나요?&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/cpu-startup-boost"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE CPU 시작 부스트 문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/kubernetes-engine/docs/how-to/vertical-pod-autoscaling"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 수직형 포드 자동 확장&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 대해 자세히 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;GKE &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;1.36.0-gke.4447000&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 이상을 실행하는 GKE Standard 또는 Autopilot 클러스터에서 CPU 시작 부스트를 사용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Tue, 13 Oct 2026 02:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs/</guid><category>Compute</category><category>GKE</category><category>Developers &amp; Practitioners</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>GKE CPU 시작 부스트: 과도한 프로비저닝 없는 앱 시작 가속화</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-cpu-startup-boost-faster-pod-starts-lower-costs/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Abdel Sghiouar</name><title>Cloud Developer Advocate</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Jakub Pawełczak</name><title>Cloud Product Manager</title><department></department><company></company></author></item><item><title>AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer?e=48754805&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;편집자 주&lt;/strong&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;: AI21 Labs는 Jamba 제품군을 비롯한 파운데이션 모델 개발에 오랜 실적을 보유한 선도적인 글로벌 AI 연구소로, 현재는 전문화된 LLM과 에이전트 최적화 기술에 주력하고 있습니다. AI21은 Google Cloud AI 하이퍼컴퓨터를 도입하여 우선순위가 높은 작업의 대기 시간을 72시간에서 12시간으로 단축하고, 수동 스케줄링 개입을 주당 20회에서 0회로 줄였습니다. &lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;a href="https://www.ai21.com/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AI21&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 기업이 최첨단 품질의 에이전트를 효율적으로 실행할 수 있도록 지원하는 파운데이션 모델과 에이전트 최적화 제품을 개발합니다. &lt;/span&gt;&lt;a href="https://www.ai21.com/jamba/" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Jamba&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 제품군을 비롯한 언어 모델과 에이전트 최적화 제품군은 까다로운 프로덕션 워크로드를 실행하며, 여기에는 AI21 자체 워크로드도 포함됩니다. AI21은 대규모 지원을 위해&lt;/span&gt;&lt;a href="https://cloud.google.com/ai-infrastructure"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud AI 하이퍼컴퓨터&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 선택했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;모델 학습 실행의 사용률을 높게 유지하려면 인프라, 조정, 가격 모델 전반에서 공동 설계된 확장 가능한 고성능 환경이 필요했습니다. AI21의 모델 학습은 공유&lt;/span&gt;&lt;a href="https://cloud.google.com/kubernetes-engine"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Kubernetes Engine&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(GKE) 클러스터 중 하나에서 실행되며, 수천 개의 Google Cloud A3(NVIDIA H100 Tensor Core GPU 기반) 및 A3 Ultra(NVIDIA H200 Tensor Core GPU 기반) 인스턴스를 풀링하므로 모든 팀이 자체 슬라이스에 갇히지 않고 Fleet의 전체 용량을 활용할 수 있습니다. 이 클러스터는 Jamba 제품군 외에도 모델 및 에이전트 최적화 워크로드를 학습시킵니다. 이 접근 방식은 사용률을 높게 유지하고 스케줄링을 어렵게 만듭니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;사용률이 높은 클러스터의 교착 상태&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;조정에 GKE를 활용하기 전에는 Slack을 통해 직접 용량을 조율하곤 했습니다. 학습 실행을 위한 용량이 필요하면 #gpu-resources 채널에 글을 올리고 잘되기를 바라는 수밖에 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터에 여유 공간이 있을 때는 이 방법이 효과적이었습니다. 하지만 예약된 컴퓨팅 Fleet의 목표인 사용률 100%에 가까워지자, 이 방법이 더 이상 통하지 않았습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;시간이 지나면서 모든 요청이 조율 대상이 되었고, 팀장은 컴퓨팅 리소스를 둘러싼 분쟁을 중재하는 데 시간을 보내야 했습니다. 우선순위가 높은 작업, 이를테면 한 번에 클러스터의 절반 이상이 필요하고 모델 프로젝트의 중요한 경로 역할을 하는 대규모 멀티 노드 학습 실행 작업도 충분한 연속 처리 용량이 확보될 때까지 최대 72시간 동안 차단된 상태로 대기해야 했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/original_images/1_5g4QmVa.gif"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="cwh8v"&gt;그림 1: #gpu-resources 채널의 일상적인 모습 — 수동 요청, 임시 조정, 답변을 기다리는 연구원&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;용량 부족은 두 가지 문제를 야기했고, 이 두 가지를 별개의 문제로 인식하기까지는 꽤 오랜 시간이 걸렸습니다. 첫 번째는 경합 문제, 즉 다음에 누가 컴퓨팅 리소스를 사용할 것인지 결정하는 문제였는데, 이는 협상을 통해 해결했습니다. 두 번째는 단편화 문제였습니다. 기술적으로는 사용 가능한 용량이 남아 있지만 대규모 작업에 사용하기에는 너무 작은 단위로 흩어져 있어 아무리 협상해도 해결할 수 없는 빈 패킹 문제와 같은 상황이 생겼습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/image2_vk4hCkH.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="cwh8v"&gt;그림 2: GPU 단편화. 4개의 노드에 1+1+4+2로 분산된 8개의 무료 GPU는 8-GPU 워크로드에 적합하지 않습니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;수치상으로는 용량이 충분히 남아 있는 것처럼 보이지만, 실제로는 여러 머신에 너무 작은 단위로 분산되어 있어 더 큰 작업을 처리하기에는 부족한 경우가 있었습니다. 양자택일 방식의 작업 승인이 없다 보니, 관리자가 수동으로 개입할 때까지 머신이 실제 작업은 수행하지 않으면서 리소스만 점유한 채 클러스터가 교착 상태에 빠지곤 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;기존 방식이 더 이상 효과적이지 않으며, 더 나은 방식이 필요하다는 점이 분명해졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;적절한 스케줄러 선택&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI21은 Apache YuniKorn, Volcano,&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Kueue&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 비롯한 몇 가지 오픈소스 일괄 스케줄러를 살펴보았습니다. YuniKorn은 AI21의 모든 사용 사례를 포괄하지 못했습니다. Volcano는 더 많은 기능을 제공하지만, 이를 우리 환경에 통합하려면 핵심 Kubernetes 스케줄러 구성요소를 교체해야 했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Kueue가 단순성과 통합 측면에서 우수했습니다. 표준 Kubernetes와 호환되고, 핵심 구성요소를 교체할 필요가 없으며, 작업 사양을 다시 작성할 필요도 없었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE를 통해 AI 하이퍼컴퓨터의 유연하고 개방적인 운영 방식과 Kueue를 결합한 것도 성공에 기여한 요인이었습니다. GKE는 컴퓨팅 집약적인 AI 작업에 적합한 수준의 제어 기능을 제공합니다. 즉, 원시 인스턴스를 직접 관리하는 데 따른 오버헤드 없이도 GPU 하드웨어와 드라이버에 긴밀하게 액세스할 수 있습니다. Kueue는 &lt;/span&gt;&lt;a href="https://cloud.google.com/spot-vms"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Spot VM&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/compute/introducing-dynamic-workload-scheduler"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt; 동적 워크로드 스케줄러&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 Google Cloud 용량 유형을 포함하여 GKE와 기본적으로 통합되므로, 예약된 용량이 가득 차면 작업이 대기 상태로 멈춰 있는 대신 동일한 스케줄링 로직이 탄력적 용량을 자동으로 활용할 수 있게 해 줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;오픈소스로 루프 닫기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Kueue를 도입하면서 단순한 프로세스 변경 이상의 큰 변화가 일어났습니다. AI21은 Google Cloud와 파트너 관계를 맺고 있기 때문에 기술계정 관리자와 직접 소통할 수 있었고, 이 관리자는 AI21을 Kueue팀의 설계 파트너로 만들 수 있는 기회를 발견했습니다. 이를 통해 AI21은 단순한 사용자가 아니라 도구의 발전 방향을 형성하는 데 도움이 되도록 실질적인 프로덕션 요구사항을 제시하는 주체가 될 수 있었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 파트너십의 첫 번째 결과물 중 하나는 Kueue팀과 공유한 요구사항 문서였습니다. 이 문서에는 우리에게 필요했지만 아직 존재하지 않았던 동작, 즉 공정성에 보통 따라오는 선점 없이도 여러 팀의 멀티 노드 작업을 공정하게 순서대로 승인하는 동작이 설명되어 있었습니다. Kueue팀은 이 동작을 구현해냈습니다.&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/docs/concepts/admission_fair_sharing/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Admission Fair Sharing&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;(AFS)은 이미 실행 중인 작업을 중단하지 않고 이전에 용량을 적게 사용한 팀에 유리하도록 승인 대기열의 순서를 재조정합니다. 비슷한 시기에 AI21에서는&lt;/span&gt;&lt;a href="https://kueue.sigs.k8s.io/docs/concepts/topology_aware_scheduling/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;토폴로지 인식 스케줄링&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;도 사용하기 시작했습니다. 기존의 이 기능 덕분에 Kueue가 물리적 클러스터 레이아웃을 인식할 수 있게 되었으며, 단일 노드에 맞지 않는 작업을 실행할 수 없는 위치에 배치하는 대신 해당 작업의 승인을 거부할 수 있었습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI21에게 있어 최상의 오픈소스 피드백 루프는 프로덕션에서의 사용을 통해 드러난 실제 요구사항이 Kueue에 직접적으로 다시 반영되는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;동일한 Fleet, 더 적은 불편&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이제 Slack #gpu-resources 채널은 보관처리되었습니다. 디버그 포드, 멀티 노드 학습 실행, 추론 배포 등 모든 워크로드는 자동으로 큐에 추가되고, 우선순위가 지정되고, 스케줄링됩니다. 효과는 즉각적이었습니다. 수동 개입이 주당 약 20회에서 0회로 줄었습니다. 이전에는 최대 72시간을 기다려야 했던 높은 우선순위 작업의 대기 시간이 이제 12시간으로 줄었습니다. 클러스터 전반의 단편화는 15%에서 8%로 감소했으며, 실행할 곳이 없는 상태에서 부분적으로 허용되는 워크로드가 발생하는 '좀비 작업' 문제가 사라졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 변화로 인해 총비용이 달라진 것은 아닙니다. 예약된 Fleet을 의도적으로 100%에 가까운 사용률로 실행하므로 원시 지출은 애초에 최적화하려는 변수가 아니었습니다. 달라진 점은 직원들이 시간을 쓰는 방식이었습니다. 이제 팀장은 더 이상 컴퓨팅 리소스 분쟁을 중재할 필요가 없으며, 연구원들은 Slack에서 답장을 기다리지 않아도 됩니다. 모두가 더 많은 실험을 실행하고 더 빠르게 반복 작업을 진행할 수 있게 된 것입니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Mon, 12 Oct 2026 17:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</guid><category>AI Hypercomputer</category><category>GKE</category><category>AI infrastructure</category><category>Customers</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>AI21, AI 하이퍼컴퓨터로 AI 워크로드 시작 시간 83% 단축</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/ai21-trains-its-models-on-ai-hypercomputer/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Barak Peleg</name><title>VP, Technology and Architecture, AI21</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Asaf Ben-Tovim</name><title>DevOps Engineer, AI21</title><department></department><company></company></author></item><item><title>45배 더 빠른 GKE 에이전트 샌드박스로 에이전트형 RL 및 평가 연구 가속화</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 병렬 롤아웃에서 에이전트형 강화 학습(RL)과 평가를 수직 확장할 때 첨단 AI 연구소는 필연적으로 병목 현상에 직면하게 됩니다. 고가의 GPU 클러스터가 유휴 상태로 CPU 샌드박스 콜드 스타트를 몇 분 동안 기다리고, 수 기가바이트에 달하는&lt;/span&gt;&lt;a href="https://www.swebench.com/original.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 스타일 이미지를 수천 개 가져와야 하고, 스케줄링 백로그가 발생하기 때문입니다. 이는 연구 속도를 늦추고 학습 예산을 낭비하게 만드는 샌드박스 인프라 문제입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 근본적인 인프라 병목 현상을 해결하기 위해 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;오늘 Google Cloud는 RL에 최적화된&lt;/strong&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt;,&lt;/strong&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 조정 SDK&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, 널리 사용되는 RL 짐 및 하네스를 위한 기본&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;통합&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능을 정식 출시합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;최신 AI를 위한 운영체제인 Kubernetes는 대규모 GPU/TPU 학습 클러스터와 분산 추론을 지원하도록 발전해 왔습니다. 이제 Kubernetes는 AI 컴퓨팅의 다음 개척 분야인 에이전트를 주도하기 위해 확장하고 있습니다. 하지만 정적 워크로드와 달리 에이전트형 워크로드는 빠르게 진화하므로 인프라도 그만큼 빠르게 진화해야 합니다. RL 연구자가 무엇을 필요로 할지 추측하는 대신 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Kubernetes 자체&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;성능 벤치마크 및 평가를 기반으로 하는 자동 연구 및 검증 루프&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;에 넣었습니다. 그리고&lt;/span&gt;&lt;a href="https://www.swebench.com/verified.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 강력한 에이전트형 벤치마크를 사용하여 의도적으로 자체 클러스터를 스트레스 테스트하고 오류를 발생시켰습니다. etcd 타임아웃부터 GPU 유휴 상태 급증에 이르기까지 드러난 모든 병목 현상이 개발 주기에 다시 반영되어 GKE의 핵심 기본 요소를 개선하는 데 사용되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과, 에이전트형 RL 및 평가 워크로드를 위해 특별히 설계된 샌드박스 레이어가 탄생했습니다. 이 샌드박스 레이어는 다음과 같은 특징을 가집니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;10~45배 빠른 첫 번째 명령어 실행까지 소요 시간:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE는 샌드박스 환경을 45~85초가 아닌 1~9초 만에 가동할 수 있어 고가의 GPU를 최대한 활용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;꼬리 지연 시간 감소: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;최악의 경우 샌드박스 대기 시간이 7.5분에서 10초 미만으로 단축되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;3배 적은 컨트롤 플레인 변동:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 각 RL 학습 단계에서 롤아웃 버스트가 발생하며, 이때 수천 개의 샌드박스가 한꺼번에 요청됩니다. 이 SDK에는 포드를 삭제하고 다시 만드는 대신 롤아웃 전반에서 포드를 재사용하는 인플레이스 재활용 전략이 적용되어 있습니다. 즉, 생성되는 포드가 3분의 1로 줄어들어 변동이 발생해도 Kubernetes API 서버가 안정적으로 유지됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 새로운 기본 요소를 통해 AI 연구소와 에이전트 네이티브 스타트업은 이제 대규모 에이전트형 RL 궤적과 평가를 동시에 안정적으로 실행하여 가속기 유휴 시간을 최소화하고 연구 속도를 획기적으로 높일 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 RL 인프라가 직면한 현실적인 과제&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;해결책을 논하기에 앞서 에이전트형 RL이 인프라 측면에서 왜 그토록 까다로운지 정확히 알아보겠습니다. 표준 에이전트형 RL 루프에서 LLM 정책은 GPU에서 코드 스니펫과 같은 작업을 생성하고 이를 격리된 CPU 샌드박스 내에서 실행하여 보상 신호를 관찰합니다. 그러나 수만 건의 병렬 롤아웃을 지원하기 위해 이 루프를 수직 확장하면 다음과 같은 세 가지 중요 기반 시설 병목 현상이 발생합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가속기 유휴 비용, 즉 첫 번째 명령어 실행까지 소요 시간(TTFC) 및 꼬리 지연 시간의 함정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 에이전트형 RL은 배치 워크로드이며, 동기식 RL 단계에서는 배치에서 가장 느린 샌드박스가 준비될 때까지 학습을 진행할 수 없습니다. CPU 샌드박스를 구축하는 데 프로비저닝, 이미지 가져오기, 초기 시작 스크립트 실행에 몇 분이 걸린다면 값비싼 가속기 용량이 낭비됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 이미지 카디널리티:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 표준 컨테이너 캐싱은 소수의 정적 기본 이미지를 전제로 합니다. 그러나 에이전트형 RL에서는 모든 단일 작업(예: SWE-bench 또는&lt;/span&gt;&lt;a href="https://huggingface.co/datasets/R2E-Gym/R2E-Gym-Subset" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E-Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;의 수천 개 GitHub 저장소)에 완전히 별개의 OCI 컨테이너 이미지가 필요한 경우가 많습니다. 실행당 수천 개의 고유한 대규모 이미지를 관리하면 심각한 이미지 가져오기 병목 현상과 스토리지 마찰이 발생할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인 포화:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 버스트 배치 워크로드인 에이전트형 RL은 일반적으로 배치 크기의 이미지 작업과 작업당 여러 번의 롤아웃(예: 작업당 4, 8, 16번의 롤아웃)을 실행하므로 이미 많은 수의 이미지가 극한까지 증가하게 됩니다. 예를 들어 테스트에 사용된 한 공개 데이터 세트에는 4,578개의&lt;/span&gt;&lt;a href="https://huggingface.co/R2E-Gym/datasets" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 이미지가 포함되어 있습니다. 이미지당 4번의 롤아웃을 가정하면 18,312개의 작업이 발생하며, 이를 위해서는 18,312개의 샌드박스가 동시에 필요합니다. 표준 Kubernetes 컨트롤 플레인은 이러한 버스트 부하에서 성능이 현저히 저하됩니다. 분당 수만 개의 임시 포드 변경 과정에서 API 서버 큐 병목 현상과 포드 상태 오류가 발생하고 잘못된 노드 상태 제거가 트리거됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이는 가상의 문제가 아닙니다. 최첨단 에이전트를 학습시키는 선도적인 AI 연구소에서 매일 마주하는 현실입니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;RL에 최적화된 GKE 에이전트 샌드박스&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;코드 실행 샌드박스를 팬아웃하기 위해 비교적 소규모 클러스터를 구축했습니다. 이 클러스터는 GKE 이미지 스트리밍이 사용 설정된 10노드 gVisor 샌드박스 풀,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 컨트롤러, 웜 포드 확보를 위한 클러스터 내&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SDK&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 드라이버로 구성되었습니다. 많은 수의 이미지와 높은 카디널리티를 포함한 다양한 전략과 설정을 테스트했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_0wDJijd.max-1000x1000.png"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;인프라 계층&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 안전한 에이전트 실행을 위한 개방형 Kubernetes 기본 요소로, 사전 초기화된 정상 환경을 유지하여 콜드 스타트 오버헤드를 제거하는 기본 제공 SandboxWarmPool 기능을 갖추고 있습니다. SandboxWarmPool을&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/image-streaming"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 이미지 스트리밍&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 통합함으로써 1.2GB가 넘는 대용량 이미지 수천 개와 함께 높은 이미지 카디널리티를 요구하는 RL 및 평가 워크로드를 효과적으로 지원하는 동시에 반응성이 뛰어난 에이전트형 학습에 필요한 매우 짧은 TTFC를 제공합니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/agent-sandbox-pod-snapshots"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;스냅샷, 일시중지, 재개&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 기능을 통해 오류 복구를 위한 체크포인트 설정을 지원하며 샌드박스 포킹으로 병렬 에이전트 분기 로직을 구현하여 여러 경로를 탐색할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 GKE 기본 요소는 이미 선도적인 AI 연구소인 Mistral AI의 에이전트형 RL 학습 인프라를 뒷받침하고 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;em&gt;&lt;span style="vertical-align: baseline;"&gt;“강화 학습의 한계를 뛰어넘으려면 예측 불가능한 수요를 감당할 수 있도록 즉각적으로 확장 가능한 인프라가 필요합니다. RL을 위한 GKE의 고성능 에이전트 샌드박스를 활용하면 클러스터 전반에서 수십만 개의 안전한 환경을 원활하게 조정하고 단일 클러스터에서 30,000개가 넘는 샌드박스의 급증을 처리할 수 있습니다. 이는 모델 학습 및 반복 주기를 가속화하는 데 필요한 안정적인 기반을 제공합니다.” - &lt;/span&gt;&lt;/em&gt;&lt;span style="vertical-align: baseline;"&gt;장 말로 델리뇽, Mistral AI 연구 엔지니어&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;조정 SDK 및 RL 도구 통합&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;연구자가 Kubernetes YAML을 작성하거나 컨테이너 이미지에 커스텀 데몬을 삽입하지 않고도 이러한 기능을 활용할 수 있도록&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 조정 SDK&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 개발했습니다. 이 SDK는 특정 평가 또는 RL 학습 패턴에 맞게 조정된 플러그형 웜 풀링 전략을 통해 깔끔한 비동기 Python API를 제공합니다. 또한&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/a&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/gymnasium" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gymnasium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/nemo-gym" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA NeMo Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/openhands" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenHands&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와 같은 RL 도구를 위한 기본 통합을 구축했으며, 향후 더 많은 도구가 추가될 예정입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크: 유휴 가속기로 인한 낭비 감소&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 10노드 gVisor 샌드박스 풀에서 두 가지 워크로드, 즉 500개 이미지로 구성된&lt;/span&gt;&lt;a href="https://www.swebench.com/verified.html" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;SWE-bench&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 환경과 로컬 디스크 용량을 초과하는 4,578개 이미지로 구성된&lt;/span&gt;&lt;a href="https://huggingface.co/R2E-Gym/datasets" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;R2E&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 코퍼스를 대상으로 이 테스트를 수행했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;1.TTFC 및 테일 지연 시간: 속도 10~45배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table&gt;&lt;colgroup&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;핵심 측정항목&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;중요한 이유&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;원시 K8s 포드 기준&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스 SDK&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크 이점&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;TTFC, 평균&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GPU 유휴 시간 결정&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;44~85초(평균)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;1.1~8.8초(평균)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;속도 10배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;꼬리 지연 시간 - 최대 TTFC(최악의 경우)&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;배치 병목 현상&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;7.5분(450초)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;10초 미만&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;속도 45배 개선&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;동시 실행은 500개의 동시 작업 및 샌드박스부터 최대 18,312개(R2E 이미지 4,578개 × 롤아웃 4번)까지 다양했습니다. 모든 설정에서 성능 향상이 유지되었습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_Q9hhUIh.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;이 결과에 도달하기까지의 과정:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 컨트롤러, SDK, RL Fleet를 계측한 후 고정된 10노드 예산 범위 내에서 수백 번의 비교 실행을 수행했습니다. 성능 향상의 대부분은 다음 두 가지 변경 사항에서 비롯되었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;이미지 하이드레이션이 중요 경로에서 제외되었습니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 카디널리티가 높은 코퍼스는 로컬 디스크 용량을 훨씬 초과하므로 학습 도중에 콜드 이미지를 가져오면 I/O 경합과 수 분에 달하는 지연이 발생합니다. SDK는 노드 간 이미지 배치를 계획하고,&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/image-streaming"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Image Streaming&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;과 사전 웜 풀링이 나머지 작업을 처리합니다. 즉, 롤아웃에서 요청하기 전에 하이드레이션이 완료됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인의 속도가 조절됩니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 동시성이 높은 롤아웃은 API 서버의 Thundering Herd를 트리거합니다.&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/releases/tag/v1.0.0" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 컨트롤러 v1.0.0&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;은 웜 풀이 다시 채워지는 속도를 제한하는 속도 제어 기능을 추가하여 버스트 중에도 etcd와 API 서버를 안정적으로 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 수치의 근거가 되는 튜닝 노브, 벤치마크 하네스, 부하 테스트는 모두 &lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;agent-sandbox-rl&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 예에 포함되어 있습니다. 이 예는 사람이 읽을 수 있는 JSON 보고서를 생성하므로 사용자의 클러스터에서 직접 비교를 재현할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;2. 다중 궤적 롤아웃 중 컨트롤 플레인 및 포드 수명 주기 변동 3배 감소&lt;/strong&gt;&lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table&gt;&lt;colgroup&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;col/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;핵심 측정항목&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;중요한 이유&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;원시 K8s 포드 기준&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스 SDK&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;벤치마크 이점&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;컨트롤 플레인 변동&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;(이미지 4,578개 × 롤아웃 실행 4번)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;컨트롤 플레인 포화&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;18,312&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;5,869&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;변동 3.1배 감소&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;원시 Kubernetes는 각 궤적 단계마다 포드를 다시 만듭니다. 18,312개의 작업은 스케줄링 오버헤드를 늘리고 디스크 I/O를 낭비하며 대규모 테스트에서는 무제한 가비지 컬렉션 루프를 트리거했습니다. 반면 SDK의 인플레이스 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;재활용&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; 전략은 포드를 활성 상태로 유지하면서 롤아웃 에피소드 사이에 포드 내에서 &lt;/span&gt;&lt;code style="vertical-align: baseline;"&gt;git reset&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt;과 저장소 체크아웃을 실행합니다. 그 결과, 포드 생성은 3.1배 감소하고 버스트 중에도 컨트롤 플레인의 부하는 안정적으로 유지됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;절충점&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;환경을 미리 준비하면 저렴한 CPU와 백그라운드 클러스터 시간이 소요되므로 이미지 스트리밍 및 준비 확인이 중요 경로에 포함되지 않습니다. RL Fleet의 경우 이는 명백한 절충점입니다. 가속기 유휴 시간은 비용이 많이 드는 리소스인데, 이 접근 방식은 이를 제거합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;학습 규모에서는 한 가지 세부 사항이 중요합니다. SDK는 실패한 모든 샌드박스를 자동으로 삭제하지 않고, 재시도 가능한 것으로 집계하여 표시합니다. 추적되지 않는 삭제는 단순한 롤아웃 손실이 아니라 보상 편향으로 이어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 빌드하기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Python SDK를 위한&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 또는&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/examples/agent-sandbox-rl" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스 RL 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보고&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/gymnasium" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Gymnasium&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;,&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/nemo-gym" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;NVIDIA NeMo Gym&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;, &lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations/openhands" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;OpenHands&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 등의 RL 도구를 위한 기본&lt;/span&gt;&lt;a href="https://github.com/kubernetes-sigs/agent-sandbox/tree/main/clients/integrations" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;통합&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;가속기 사용률 더욱 높이기:&lt;/strong&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing/tree/main" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;llm-d 협력적 타임 슬라이싱 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;와&lt;/span&gt;&lt;a href="https://github.com/llm-d-incubation/llm-d-rl-time-slicing/blob/main/guides/snapshot-agent/README.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;스냅샷 에이전트 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보고 독립적인 RL 작업을 공유 물리적 하드웨어에 동적으로 인터리브 처리하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자세히 알아보기:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;를 사용하여 안전한 실행 환경을 배포하는 방법에 대한 공식 문서를 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Wed, 07 Oct 2026 17:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</guid><category>GKE</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>45배 더 빠른 GKE 에이전트 샌드박스로 에이전트형 RL 및 평가 연구 가속화</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/accelerate-agentic-rl-with-gke-agent-sandbox/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Tinsley Shi</name><title>Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Tomer Glottmann</name><title>Staff Software Engineer, Technical Lead</title><department></department><company></company></author></item><item><title>Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gartner에서 비전 완성도와 실행 능력을 기준으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;Google을 2026년 Gartner® Magic Quadrant™ 컨테이너 관리 부문에서 4년 연속 리더로 선정&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;했다는 반가운 소식을 전해드립니다. Google은 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;평가 대상 공급업체 중 실행 능력(Ability to Execute) 면에서 가장 높은 평가&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 받았으며 이는 Google이 성능과 효율성 모두에 고도로 최적화된 컨테이너 플랫폼을 제공하겠다는 사명을 다하는 데 성공했음을 입증하는 결과라고 생각합니다. Google은 전 세계 고객이 차세대 AI 및 에이전트형 애플리케이션을 비롯해 가장 까다롭고 복잡한 워크로드를 대규모로 빌드하고 실행할 수 있도록 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;함께 발표된&lt;/span&gt;&lt;a href="https://www.gartner.com/interactive/cc/8353849" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2026 Gartner Critical Capabilities for Container Management&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 보고서에서도 Google Cloud가 신규 클라우드 네이티브 애플리케이션, 컨테이너화된 기존 애플리케이션, AI 학습, AI 추론, 에지 애플리케이션, 하이브리드 애플리케이션 같은 모든 사용 사례에서 1위를 차지했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Gartner는 '2025년 30% 미만이었던 신규 AI 배포의 Kubernetes 도입률이 2028년에는 95%까지 급증할 것'으로 전망합니다.&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1&lt;/span&gt;&lt;/span&gt;&lt;span style="vertical-align: baseline;"&gt; 오늘날 가장 혁신적인 앱과 비즈니스는 컨테이너를 기반으로 운영되고 있으며, 컨테이너는 고객이 에이전트 시대에 비즈니스를 혁신하는 데 필요한 인프라를 제공합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2026_Gartner_Magic_Quadrant_for_Container_.max-1000x1000.png"
        
          alt="2026 Gartner Magic Quadrant for Container Management"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 2014년에 Kubernetes를 선보이고 2015년 세계 최초의 관리형 Kubernetes 서비스인 Google Kubernetes Engine(GKE)을 출시하면서 업계 전반의 클라우드 네이티브 혁명을 주도했습니다. 이후 컨테이너 플랫폼과 역동적이고 혁신적인 Kubernetes 생태계를 발전시키기 위한 Google의 노력은 깊이를 더해가고 있습니다. 서버리스 컨테이너 플랫폼인 GKE Autopilot과 Cloud Run은 GKE와 함께 운영 비용을 크게 절감하고 개발자가 뛰어난 컨테이너화 앱을 그 어느 때보다 신속하게 제공할 수 있도록 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔터프라이즈 AI의 폭발적인 성장과 함께 Google은 AI 시대에 맞게 인프라 관리 방식을 재편하고 있습니다. 2026년 현재까지 Google은 GKE와 Cloud Run을 자율형 AI 시스템, 대규모 추론 워크로드, 안전한 런타임 격리에 최적화된 에이전트 네이티브 고성능 플랫폼으로 전환하기 위해 광범위한 기반 개선사항을 도입해 왔습니다. 최첨단 AI 모델 학습, AI 스타트업 시작, 기업의 AI 전환 중 어떤 단계에 있든 필요한 컨테이너 플랫폼을 찾을 수 있습니다. 주요 내용은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 인프라를 위한 업계 최고 수준의 성능 및 효율성 제공&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 예측 지연 시간 단축:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/whats-new-in-gke-at-next26"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 기본 제공되는 이 ML 기반 기능은 정적 구성 대신 용량을 고려한 라우팅을 사용하여 첫 번째 토큰까지의 시간(TTFT)을 최대 70% 단축합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 자동 KV 캐시 스토리지 계층화: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;KV 캐시 데이터를 RAM, Local SSD, Cloud Storage 간에 자동으로 이동합니다. 이를 통해 메모리 병목 현상을 줄이고, RAM 오프로딩으로 TTFT를 40% 개선하며, 프롬프트 컨텍스트가 큰 경우 Local SSD를 사용하여 처리량을 70% 늘릴 수 있습니다. [&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/topics/google-cloud-next/google-cloud-next-2026-wrap-up"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;1&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;]&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 컨테이너 및 모델 시작 가속화: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 노드 시작 시간이 최대 4배 빨라졌으며 포드 시작 속도도 최대 80% 향상되었습니다. 또한 기본 제공되는 run:AI Model Streamer 통합을 통해 대용량 모델을 Cloud Storage에서 5배 더 신속하게 가져올 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 주문형 서버리스 GPU Scale-to-zero:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Cloud Run은 NVIDIA RTX PRO 6000 Blackwell GPU를 지원하여 700억 개 이상의 파라미터를 사용하는 모델을 주문형으로 서빙할 수 있습니다. 모든 드라이버가 사전 설치되고 5초 이내에 0에서 완전히 프로비저닝된 GPU를 바로 시작하여 서비스를 가동할 수 있습니다. 활성 추론이나 미세 조정 실행이 완료되면 Cloud Run이 인스턴스를 자동으로 0까지 축소하여 유휴 인프라 비용을 없애줍니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 인프라의 보안 및 확장을 위한 Kubernetes의 진화&lt;/strong&gt;&lt;/h3&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Agent Substrate: &lt;/strong&gt;&lt;a href="http://ate.dev/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 오픈소스이자 보안 강화를 기본으로 설정한 에이전트 실행 런타임으로,&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; 표준 컨테이너 런타임보다 10배 더 높은 밀도&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;로 수백만 개의 샌드박스를 실행하도록 설계되었습니다. 자율 에이전트 시대에 맞게 특별히 설계된 Substrate는 네이티브 제로 트러스트 커널 및 네트워크 격리 기능을 바탕으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 500회 이상의 일시중지/재개 활성화&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 요청을 처리하면서도 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;500ms 미만의 재개 성능&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;을 제공합니다. Agent Substrate는 모든 Kubernetes 인프라에서 실행되며 GKE에 최적화된 오픈소스 솔루션으로 제공됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트 샌드박스: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;gVisor 커널 격리 기술을 기반으로 빌드된&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;는 신뢰할 수 없는 멀티 에이전트 AI 코드 실행으로부터 호스트 환경을 격리합니다. 또한 1초 미만의 지연 시간으로 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;초당 최대 300개의 샌드박스&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;를 처리하는 대규모 보안 실행 환경을 제공하며, Axion 프로세서에서 실행 시 유사한 하이퍼스케일러 클라우드 제공업체보다 최대 30% 향상된 가격 대비 성능을 실현합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Dataplane V2 확장성 한도: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;활성 NetworkPolicy를 구현하는 GKE 클러스터의 아키텍처 용량 한도가 7,500개 노드에서&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/planning-large-clusters"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;클러스터당 15,000개 노드&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;로 두 배 증가하여 대기업 및 AI 고객의 대규모 인프라 요구사항을 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 인텐트 기반 자동 확장:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; GKE가 기본 하드웨어 측정항목 외에도 애플리케이션 인텐트와 커스텀 측정항목을 사용하여 기본적으로 수평으로 자동 확장함에 따라 리소스 할당 반응 시간이 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;25초에서 단 5초로&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 단축됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/blog/products/storage-data-transfer/filestore-agent-volumes"&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;Filestore 에이전트 볼륨&lt;/strong&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;: 이 새로운 솔루션은 NFS 마운트를 밀리초 단위로 연결 및 분리하여 에이전트가 거의 즉각적으로 작업을 시작/재개할 수 있도록 하며, 기본 Read-Write-Many(RWX) 액세스 및 POSIX 호환 파일 잠금을 통해 쓰기 충돌 없이 안전한 멀티 에이전트 협업을 지원합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;서버리스 컨테이너로 실현하는 차세대 개발자 경험&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;표준 웹 API를 호스팅하거나, 대규모 배치 데이터 작업을 실행하거나, 비동기 메시지 큐를 처리하거나, 복잡한 AI 에이전트를 배포하는 모든 경우에서 Cloud Run의 단일 통합 서버리스 모델로 처리함에 따라 탁월한 개발자 경험과 최대한의 엔지니어링 속도가 실현됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Google AI Studio에서 원클릭 프로토타입 제작: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Google AI Studio 내에서 직접 풀 스택 애플리케이션을 빌드하고 배포할 수 있어 신속한 프로토타입 제작과 실험에 매우 적합한 환경을 제공합니다. 클릭 한 번으로 바이브 코딩한 애플리케이션을 즉시 패키징하여 Cloud Run에 게시할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 인스턴스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 이 새로운 기본 요소를 사용하면 Cloud Storage 볼륨 마운트가 통합된 개별 주소 지정 가능 장기 실행 싱글톤 리소스를 관리할 수 있어 OpenClaw와 같이 지속적으로 실행되는 백그라운드 에이전트를 비용 효율적으로 배포할 수 있습니다. 월 약 5.70달러(1 vCPU 및 1 GiB RAM 기준)라는 예측 가능한 고정 요금으로 시작하는 공유 CPU 기본 구성을 통해, Cloud Run 인스턴스는 기존 VM의 불필요한 대기 비용과 운영 오버헤드 없이 상시 작동하는 VM급 환경을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;Cloud Run 샌드박스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 500밀리초 미만의 빠른 속도로 구동되는 강력한 격리 환경을 통해, 모델이 생성한 신뢰할 수 없는 코드도 안전하게 실행하며 무단 액세스로부터 호스트 시스템을 철저히 보호합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;다음 단계 수행&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 컨테이너 플랫폼의 성능, 보안, 확장성을 새로운 수준으로 끌어올리는 동시에 개방형 생태계에서 미래를 계속 만들어 나가고 있습니다. 지금 바로 에이전트 샌드박스와 Agent Substrate를 살펴보세요. Google은 고객 및 파트너 여러분과 함께 에이전트 인프라의 미래를 만들어 나가고 있습니다. 학습 여정을 계속하려면 다음 리소스를 확인하세요.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/resources/content/2026-gartner-mq-for-container-management"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="text-decoration: underline; vertical-align: baseline;"&gt;2026년 Gartner® Magic Quadrant™의 컨테이너 관리 부문&lt;/strong&gt;&lt;/a&gt;&lt;strong style="vertical-align: baseline;"&gt; 보고서 사본을 무료로 다운로드하세요.&lt;/strong&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;GKE에서&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/machine-learning/agent-sandbox"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;에이전트 샌드박스&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;참여: 에이전트 샌드박스&lt;/span&gt;&lt;a href="http://github.com/kubernetes-sigs/agent-sandbox" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;오픈소스 커뮤니티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 참여하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://github.com/agent-substrate/substrate" rel="noopener" target="_blank"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Agent Substrate&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 살펴보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;11월 9~12일 솔트레이크시티에서 열리는&lt;/span&gt;&lt;a href="http://goo.gle/KubeConSLC26" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;KubeCon North America 2026&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 참여하세요. 더 다양한 프로그램을 경험하려면 하루 일찍 열리는 GKE Day(11월 9일)에 참석하세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;Google이&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/application-development/2026-gartner-mq-for-cloud-native-application-platforms?e=48754805"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;2026년 Gartner® Magic Quadrant™의 클라우드 네이티브 애플리케이션 플랫폼 부문&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 리더로 선정된 이유를 알아보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;지금 바로&lt;/span&gt;&lt;a href="http://cloud.run/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;cloud.run&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에서 서버리스 애플리케이션의 미래를 만들어 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;sup&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;1. Gartner 보고서:&lt;/span&gt;&lt;/span&gt;&lt;a href="https://www.gartner.com/interactive/cc/8353849" rel="noopener" target="_blank"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt; &lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Critical Capabilities for Container Management, 2026년 9월 8일&lt;/span&gt;&lt;/span&gt;&lt;/a&gt;&lt;/sup&gt;&lt;/p&gt;
&lt;p&gt;&lt;sup&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner, Gartner Magic Quadrant의 컨테이너 관리 부문, Dennis Smith 외, 2026년 9월 2일&lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner, Critical Capabilities for Container Management, Tony Iams, Wataru Katsurashima, Lucas Albuquerque, Dennis Smith, Bhuvie Chhabra, 2026년 9월 8일. &lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;Gartner 및 Magic Quadrant는 Gartner, Inc. 및/또는 그 계열사의 상표입니다.&lt;/span&gt;&lt;/span&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;&lt;span style="vertical-align: super;"&gt;면책 조항: Gartner는 자사 간행물에 설명된 어떤 회사, 공급업체, 제품 또는 서비스도 보증하지 않으며 기술 사용자에게 최고 등급의 공급업체 또는 기타 지정된 공급업체만 선택하도록 권장하지 않습니다. Gartner 간행물은 Gartner의 비즈니스 및 기술 인사이트 조직의 의견을 담고 있으며, 사실을 진술하는 것으로 해석해서는 안 됩니다. Gartner는 이 간행물과 관련하여 상품성 또는 특정 목적에 대한 적합성 보증을 비롯한 모든 명시적, 묵시적 보증을 부인합니다.&lt;/span&gt;&lt;/span&gt;&lt;/sup&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Wed, 07 Oct 2026 04:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</guid><category>Cloud Run</category><category>GKE</category><category>Serverless</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>Google, 2026년 Gartner Magic Quadrant의 컨테이너 관리 부문에서 리더로 선정</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/2026-gartner-magic-quadrant-for-container-management/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Mark Lohmeyer</name><title>VP &amp; GM, AI &amp; Computing Infrastructure</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Drew Bradstock</name><title>VP Product Management, Orchestration &amp; Kubernetes</title><department></department><company></company></author></item><item><title>더욱 탄력적인 GKE: Scale-to-zero, 비용 절감, 워크로드 응답성 유지</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;진정한 탄력성은 오랫동안 클라우드 네이티브 엔지니어링의 궁극적인 목표였습니다. Kubernetes가 리소스 관리에 혁신을 가져온 것은 맞지만 일괄 프로세서, 이벤트 기반 작업자, 개발 환경과 같이 산발적으로 실행되는 워크로드의 경우 작업을 기다리는 동안에도 컴퓨팅 리소스를 소비하여 비용이 늘어납니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 Google Kubernetes Engine(GKE) 1.37에서 이 과제에 정면으로 맞서 &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;0으로 축소하고 0에서 확장&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;할 수 있는 네이티브 방식을 채택했습니다. 새로운&lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;기능 모음을 사용하면 워크로드를 복제본 0개로 완전히 축소하여 리소스 소비를 멈출 수 있습니다. 수요가 다시 발생할 경우 GKE 용량 버퍼에서 이러한 워크로드를 쉽고 빠르게 다시 시작할 수 있어 인프라 낭비를 줄일 수 있습니다. 이는 단순히 비용을 절감하는 것이 아니라 워크로드 준비 상태에서 상시 가동 인프라의 비용을 분리한다는 의미가 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-video"&gt;



&lt;div class="article-module article-video "&gt;
  &lt;figure&gt;
    &lt;a class="h-c-video h-c-video--marquee"
      href="https://youtube.com/watch?v=t4g6l4s1L1s"
      data-glue-modal-trigger="uni-modal-t4g6l4s1L1s-"
      data-glue-modal-disabled-on-mobile="true"&gt;

      
        

        &lt;div class="article-video__aspect-image"
          style="background-image: url(https://storage.googleapis.com/gweb-cloudblog-publish/images/2_HqRKA2X.max-1000x1000.png);"&gt;
          &lt;span class="h-u-visually-hidden"&gt;Scale To &amp;amp; From Zero on GKE using HPA&lt;/span&gt;
        &lt;/div&gt;
      
      &lt;svg role="img" class="h-c-video__play h-c-icon h-c-icon--color-white"&gt;
        &lt;use xlink:href="#mi-youtube-icon"&gt;&lt;/use&gt;
      &lt;/svg&gt;
    &lt;/a&gt;

    
  &lt;/figure&gt;
&lt;/div&gt;

&lt;div class="h-c-modal--video"
     data-glue-modal="uni-modal-t4g6l4s1L1s-"
     data-glue-modal-close-label="Close Dialog"&gt;
   &lt;a class="glue-yt-video"
      data-glue-yt-video-autoplay="true"
      data-glue-yt-video-height="99%"
      data-glue-yt-video-vid="t4g6l4s1L1s"
      data-glue-yt-video-width="100%"
      href="https://youtube.com/watch?v=t4g6l4s1L1s"
      ng-cloak&gt;
   &lt;/a&gt;
&lt;/div&gt;

&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;진화: HPA 기반 Scale-to-zero와 KEDA 비교&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;수년 동안 선택적 Kubernetes 구성요소인&lt;/span&gt;&lt;a href="https://keda.sh/" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Kubernetes Event-Driven Autoscaling(KEDA)&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;이 Scale-to-zero를 위한 솔루션으로 사용되었습니다. KEDA는 강력하지만 환경에 복잡성을 더합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt; &lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table style="width: 100.032%;"&gt;&lt;colgroup&gt;&lt;col style="width: 16.8327%;"/&gt;&lt;col style="width: 36.6645%;"/&gt;&lt;col style="width: 46.455%;"/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p style="text-align: center;"&gt;&lt;strong style="vertical-align: baseline;"&gt;기능&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p style="text-align: center;"&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE Scale-to-zero&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p style="text-align: center;"&gt;&lt;strong style="vertical-align: baseline;"&gt;KEDA 기반 설정&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;운영 반복 업무&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;관리형 서비스, 추가 구성요소 없음&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;&lt;code&gt;ScaledObject&lt;/code&gt; CRD 및 오퍼레이터 관리 필요&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;구성&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;네이티브 HPA 및 CRD(최소한의 YAML)&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;대규모 Fleet의 경우 YAML이 10,000줄을 초과할 수 있음&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;지연 시간&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;내부 신호 경로에서 반응 시간 단축&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: middle; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;폴링 간격과 홉 수로 인해 콜드 스타트 지연 증가&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;p&gt; &lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 컨트롤 플레인에 Scale-to-zero 기능을 직접 내장하여 부가기능 오퍼레이터와 수천 줄의 구성이 필요하지 않습니다. 로직이 '사이드카 관리'에서 워크로드의 네이티브 속성으로 전환됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;작동 방식: AutoscalingMetric 및 KEP-2021을 사용한 HPA&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 내 Scale-to-zero 구현은 2가지 중요한 구성요소의 통합으로 가능해졌습니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AutoscalingMetric을 사용한 HPA:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; Google Cloud Managed Service for Prometheus에서 외부 신호를 직접 읽을 수 있도록 지원하는 관리형 측정항목 신호 파이프라인입니다. AutoscalingMetric이 포함된 HorizontalPodAutoscaler(HPA)는 어댑터의 복잡성 없이 Pub/Sub, Cloud Monitoring 또는 부하 분산기 신호의 측정항목이 자동 확장 처리에 도달할 수 있는 통합된 고성능 경로를 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;KEP-2021:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; HPA에서 &lt;/span&gt;&lt;code&gt;minReplicas: 0&lt;/code&gt;을 지원하는&lt;a href="https://kubernetes.io/blog/2026/09/02/kubernetes-v1-37-hpa-scale-to-zero-beta/" rel="noopener" target="_blank"&gt; Kubernetes Enhancement Proposal&lt;/a&gt;을 기반으로 하는 이 메커니즘을 통해 측정항목이 기준점 아래로 떨어지면 HPA가 모든 포드를 중지할 수 있습니다. 또한 측정항목이 대기 중인 작업을 나타내는 즉시 HPA가 배포를 재가동할 수 있습니다.&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;첫 번째 Scale-to-zero 워크로드 구성&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;네이티브 Scale-to-zero를 구현하려면 측정항목 정의와 HPA라는 두 가지 기본 객체가 필요합니다. 다음 예시에서는 Pub/Sub 구독에서 전송되지 않은 메시지 수를 기준으로 워커를 확장합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;측정항목 소스 정의&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;code style="vertical-align: baseline;"&gt;AutoscalingMetric&lt;/code&gt;&lt;span style="vertical-align: baseline;"&gt; CRD를 사용하여 외부 Cloud Monitoring 측정항목을 클러스터에 매핑합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;apiVersion: autoscaling.gke.io/v1beta1\r\nkind: AutoscalingMetric\r\nmetadata:\r\n  name: my-autoscalingmetric\r\nspec:\r\n  metrics:\r\n  - promql:\r\n      name: pubsub-undelivered\r\n       query: &amp;gt;\r\n          {\r\n            &amp;quot;pubsub.googleapis.com/subscription/num_undelivered_messages&amp;quot;,\r\n            subscription_id=&amp;quot;my-subscription&amp;quot;\r\n          }&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e80eb10&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h4&gt;&lt;span style="vertical-align: baseline;"&gt;minReplicas: 0으로 HPA 구성&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;HPA에서 측정항목을 참조하고 최소 복제본을 명시적으로 0으로 설정합니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-code"&gt;&lt;dl&gt;
    &lt;dt&gt;code_block&lt;/dt&gt;
    &lt;dd&gt;&amp;lt;ListValue: [StructValue([(&amp;#x27;code&amp;#x27;, &amp;#x27;apiVersion: autoscaling/v2\r\nkind: HorizontalPodAutoscaler\r\nmetadata:\r\n  name: worker-hpa\r\nspec:\r\n  scaleTargetRef:\r\n    apiVersion: apps/v1\r\n    kind: Deployment\r\n    name: worker-deployment\r\n  minReplicas: 0\r\n  maxReplicas: 50\r\n  metrics:\r\n  - type: External\r\n    pods:\r\n      metric:\r\n        name: autoscaling.gke.io|my-autoscalingmetric|pubsub-undelivered\r\n      target:\r\n        type: AverageValue\r\n        averageValue: 10&amp;#x27;), (&amp;#x27;language&amp;#x27;, &amp;#x27;&amp;#x27;), (&amp;#x27;caption&amp;#x27;, &amp;lt;wagtail.rich_text.RichText object at 0x7fd44e80fc50&amp;gt;)])]&amp;gt;&lt;/dd&gt;
&lt;/dl&gt;&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이제 외부 측정항목을 기반으로 워크로드를 0으로 축소하거나 0에서 확장할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Scale-to-zero 기능의 구현은 GKE에서 Cloud Monitoring의 외부 측정항목을 지원하면서 가능해졌습니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/autoscale-using-metrics#define-custom-metrics-promql"&gt;&lt;code style="text-decoration: underline; vertical-align: baseline;"&gt;AutoscalingMetric&lt;/code&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 커스텀 리소스를 확장하면 복잡한 서드 파티 어댑터 없이도 Google Managed Service for Prometheus에서 측정항목을 쿼리할 수 있습니다. 지연 시간이 줄고 보안이 간소화되며 네이티브 Scale-to-zero 워크로드를 구성하기 위한 핵심 기반이 제공됩니다. 이 통합에 대해 자세히 알아보려면&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/ko/products/containers-kubernetes/native-support-for-prometheus-metrics-in-gke?e=0&amp;amp;hl=ko"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE의 외부 측정항목에 대한 기본 지원&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 관한 블로그 게시물을 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;용량 버퍼를 사용한 시작 지연 시간 관리&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;0에서 확장할 때 가장 큰 문제는 콜드 스타트입니다. 콜드 스타트란 GKE가 노드를 프로비저닝하고 컨테이너가 이를 가져와 시작하기까지 걸리는 시간을 의미합니다. 이때&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-standby-buffers-speed-up-autoscaling-for-less-spend"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GKE 용량 버퍼&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 유용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;용량 버퍼는 풀링된 웜 용량 역할을 합니다. 모두 0으로 축소될 수 있는 여러 워크로드에서 공유 가능한 소량의 웜 컴퓨팅 리소스를 유지함으로써 GKE는 HPA가 0에서 1로 증가하는 즉시 포드가 리소스를 확보할 수 있도록 보장합니다. 이렇게 하면 새로운 GKE 노드가 가동될 때까지 60~90초 동안 기다릴 필요가 없으므로 분 단위의 지연 시간 없이 즉시 시작할 수 있으며 워크로드 비용도 전혀 발생하지 않습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;용량 버퍼에는 활성 및 대기라는 두 가지 유형이 있습니다. 작은 활성 버퍼로 0으로 축소된 수백 개의 워크로드를 처리할 수 있습니다. 각 워크로드가 복제본을 유지하는 대신, 활성 버퍼가 전체 클러스터를 처리하는 와일드 카드 용량 역할을 합니다. 규모가 더 크지만 활성 버퍼보다 저렴한 대기 버퍼는 클러스터에서 지속적인 부하가 발생할 때 활성 버퍼를 빠르게 다시 채워줍니다. 이 두 가지를 함께 사용하면 즉각적인 확장과 낮은 비용 유지 모두를 달성할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;향후 계획&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google은 GKE 탄력성을 위한 로드맵을 계속 확장하고 있습니다. 예를 들어 개발 환경을 오후 8시에 0으로 축소했다가 오전 7시에 다시 확장하고 싶다면 반복되는 확장을 더 세밀하게 제어하여 선제적으로 Scale-to-zero 기간을 정의할 수 있는 방법을 찾아보세요. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;지금 바로 Scale-to-zero 시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;유휴 리소스에 비용을 지불하는 시대는 끝났습니다. 이벤트 기반 워크로드와 산발적인 워크로드를 위해 GKE의 네이티브 Scale-to-zero 기능을 사용 설정하면 시작 성능을 저하시키지 않으면서 비용을 절감할 수 있습니다. Scale-to-zero를 시작하려면 다음 단계를 따르세요.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;수요가 변동하고 유휴 기간이 있는 &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/optimize-workload-resource-utilization"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;워크로드를 식별&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/autoscale-using-metrics#define-custom-metrics-promql"&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;AutoscalingMetric&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;을 구성하고&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/tutorials/scale-to-from-zero-hpa"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;minReplicas를 0으로 설정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;합니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 또는 워크로드에&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/capacity-buffer"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;용량 버퍼&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 추가하여 빠른 응답 시간을 유지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;자세한 내용은&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/tutorials/scale-to-from-zero-hpa"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;HPA를 사용하여 GKE 워크로드를 0으로 축소하고 0에서 확장하기&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 문서를 확인하세요.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Tue, 06 Oct 2026 19:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities/</guid><category>GKE</category><category>Containers &amp; Kubernetes</category><media:content height="540" url="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_K6jThop.max-600x600.png" width="540"></media:content><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>더욱 탄력적인 GKE: Scale-to-zero, 비용 절감, 워크로드 응답성 유지</title><description></description><image>https://storage.googleapis.com/gweb-cloudblog-publish/images/1_K6jThop.max-600x600.png</image><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-adds-native-scale-to-zero-capabilities/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Eyal Yablonka</name><title>Product Manager, Google Kubernetes Engine</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Scott Funkenhauser</name><title>Senior Software Engineer, Google Kubernetes Engine</title><department></department><company></company></author></item><item><title>거버넌스가 기본 제공되는 AI 지원 EKS에서 GKE로의 마이그레이션을 위한 GKE 에이전트형 마이그레이션 소개</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-agentic-migration/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-agentic-migration?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;많은 기업이 가장 중요한 워크로드와 AI 기반 워크로드를 실행하기 위해 Google Kubernetes Engine(GKE)을 표준 플랫폼으로 채택하는 추세입니다. 높은 처리량의 데이터 액세스를 위한 Cloud Storage FUSE부터 커스텀 컴퓨팅 클래스(CCC)와 고급 GPU 슬라이싱에 이르기까지 GKE는 최신 애플리케이션에 필요한 확장성과 효율성을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;하지만 복잡한 Kubernetes 환경을 AWS EKS에서 GKE로 마이그레이션하는 작업은 그동안 엔지니어들에게 매우 까다롭고 고된 여정이었습니다. 플랫폼팀은 무분별하게 뻗어 있는 코드형 인프라(IaC)를 수동으로 분석하고, 클라우드마다 다른 아키텍처의 차이를 직접 파악하며, 커스텀 변환 스크립트까지 빌드해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;엔지니어링 팀에서 변환 초안을 작성하기 위해 범용 LLM을 실험적으로 사용하는 경우가 많지만, 체계적이지 않은 임시 프롬프팅은 순식간에 운영상의 함정이 될 수 있습니다. 원시 모델은 존재하지 않는 리소스 속성을 할루시네이션하고, 중요한 네트워크 또는 ID 구성을 누락하며, 상호 의존적인 파일 간의 컨텍스트를 상실합니다. 플랫폼 엔지니어가 모델 오류를 감사하고, 해결하고, 디버깅하는 데 시간을 소비하면 결국 초기 속도 향상 효과가 상쇄되고 수동 반복 업무와 예측 불가능성이 발생합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;오늘 Google Cloud는 GKE 에이전트형 마이그레이션의 오픈소스 출시 소식을 발표하게 되어 기쁩니다. 이 도구는 불안정하고 일시적인 프롬프팅 방식 대신, 결정론적 가드레일로 보호되는 AI 지원 마이그레이션 파이프라인을 제공하는 전용 에이전트 플러그인입니다. &lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;“대기업 고객의 경우 클라우드 현대화의 가장 큰 장벽은 실행 위험과 예측 불가능성입니다. 컨텍스트를 잃고 구성을 할루시네이션하는 원시 채팅 프롬프트와 달리, Google의 GKE 에이전트형 마이그레이션은 생성형 AI의 속도와 기업에 필요한 결정론적 가드레일(정형 상태 지속성, 플랫폼팀과 앱팀 간의 멀티 페르소나 경계, 타협할 수 없는 인간 승인 게이트)을 결합합니다. 이를 통해 글로벌 엔지니어링 실무에 검증 가능하고 컴파일러 수준의 정교함을 갖춘 마이그레이션 팩토리를 제공하여, 배포 위험을 줄일 수 있습니다.- &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;라훌 슈리바스타바&lt;/strong&gt;&lt;strong style="vertical-align: baseline;"&gt;, &lt;/strong&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;Persistent 부사장&lt;/strong&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;인프라 마이그레이션의 과제&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;인프라 마이그레이션 여정에 대해 고객과 이야기를 나누다 보면, 공통적으로 몇 가지 거버넌스 관련 어려움을 듣게 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;자동화 신뢰 격차: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Kubernetes 구성을 수동으로 리팩터링하는 작업은 고통스러울 정도로 느릴 수 있습니다. 그러나 일반적인 AI 코딩 어시스턴트를 사용하면 감당할 수 없는 위험이 발생합니다. 표준 LLM은 인프라 코드에 할루시네이션을 일으키거나, 지원 중단된 API 필드를 사용하거나, 중요한 보안 규칙을 누락할 수 있습니다. '거의 정확한' 코드를 생성하는 것은 코드 작성의 병목 현상을 디버깅 단계로 옮기는 것에 불과합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;라이브 클러스터 변경 가능성의 위험(ClickOps): &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;기존 마이그레이션 도구는 라이브 클러스터에 직접 연결하고 API 호출을 통해 배포하는 경우가 많습니다. 이는 조직의 Git 저장소(신뢰할 수 있는 정보 소스)를 우회하고, CI/CD 파이프라인을 중단하며, 롤백을 매우 어렵게 만듭니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;사일로화된 핸드오프 병목 현상:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 마이그레이션은 몇 주에 걸쳐 장기적으로 진행되는 경우가 많습니다. 플랫폼 엔지니어가 시작 영역을 빌드하면 애플리케이션 개발자가 워크로드를 마이그레이션합니다. 표준 AI 도구는 핸드오프 과정에서 맥락을 잃습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;분산된 도구 모음: &lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;Velero와 같은 백업 도구는 재해 복구에 탁월하지만, AWS 관련 구성(예: ALB)을 Google Cloud에 맞게 변환하지 못하고 그대로 캡처합니다. 반면 리버스 엔지니어링 도구는 개발자의 원래 논리적 의도를 무시한 채 플랫 구성을 생성합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션 소개&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션은 LLM의 추론 기능과 엄격하고 결정론적인 도구를 결합하여 이러한 과제를 해결합니다. 에이전트 스킬과 로컬 모델 컨텍스트 프로토콜(MCP) 서버의 결합으로 설계된 이 도구는 AI를 활용하여 복잡한 AWS EKS IaC 및 Kubernetes 매니페스트를 GKE 시작 영역으로 직접 변환하며, 이 모든 과정은 자동화된 pull 요청을 통해 이루어집니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션의 차별화된 주요 기능은 다음과 같습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;1. 하이브리드 검증 — LLM에서 생성하고 결정론적으로 검증합니다. 위험한 IaC 할루시네이션에 대응하기 위해 LLM 작업자는 Terraform 및 Kubernetes YAML의 복잡한 작성을 처리하고, 서버는 워크로드 아이덴티티 주석 및 이미지 레지스트리와 같은 정확한 매핑을 위해 결정론적 변환을 실행합니다. 무엇보다 중요한 점은, 이렇게 AI가 생성한 변환 결과가 사용자에게 전달되기 전에 엄격한 결정론적 검증(예: terraform validate, Kubernetes 매니페스트 계약)을 반드시 거친다는 사실입니다. 이러한 접근 방식은 할루시네이션으로부터 안전성을 유지하는 동시에, 모든 과정을 휴먼인더루프(HITL) 승인 절차를 거치도록 제한하여 보안을 강화합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2. GitOps 기반 PR 워크플로: 플러그인은 변경사항을 라이브 클러스터에 직접 적용하지 않습니다. 대신 정보 소스를 읽고 대상 상태를 생성한 후 pull 요청을 엽니다. 이렇게 하면 모든 변경사항이 표준 휴먼인더루프(HITL) CI/CD 검토 프로세스를 거치게 됩니다. 더 이상 "ClickOps"는 필요 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;3. 변환과 전송의 안전한 분리: 플러그인은 아키텍처 변환의 지루한 로직을 자동화하지만, 의도적으로 스테이트풀(Stateful) 데이터를 전송하지는 않습니다. 가장 민감한 애셋을 보호하기 위해 플러그인은 Google Cloud의 Database Migration Service 또는 Storage Transfer Service와 같이 SLA가 지원되는 목적에 맞게 빌드된 도구를 사용하는 방법을 팀에 안내하는 컨텍스트 기반 런북을 생성합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;4. 멀티 페르소나 상태 관리: 마이그레이션은 팀의 노력으로 이루어집니다. 플러그인은 장기적으로 진행되는 마이그레이션 상태를 유지합니다.  이를 통해 안전한 비동기식 핸드오프가 가능해집니다. 플랫폼 엔지니어가 기초가 되는 기준 시작 영역을 설정하면, 앱 개발자는 각자의 로컬 머신에서 독립적으로 작업공간에 참여하여 권한이 격리된 폴더 내에서 개별 워크로드를 자유롭게 변환할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;작동 방식: 마이그레이션 수명 주기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션의 내부 작동 방식을 살펴보면, 실행 가능한 함수로 구성된 마이그레이션 상태 그래프를 활용해 체인을 따라 컨텍스트를 체계적으로 전달합니다. 오픈소스 에이전트 플러그인으로 패키징되어 설치할 커스텀 CLI 바이너리나 관리할 중앙 컨트롤 플레인이 없습니다. 팀은 기존 개발 하네스를 통해 협업하여 검증된 pull 요청과 실행 가능한 런북을 소스 저장소에 직접 제공할 수 있습니다. 다음과 같은 이점을 제공합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;심층 EKS 저장소 탐색:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 플러그인이 소스 Git 저장소를 클론하거나 EKS 클러스터의 실시간 스캔을 수행하고, 소스 매니페스트를 프로그래매틱 방식으로 색인 생성하고, 종속 항목을 매핑하고, 인벤토리를 빌드합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;평가 및 차단 요소 거버넌스:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 아키텍처 비호환성을 식별하는 준비 보고서를 생성합니다. 설계를 진행하려면 모든 차단 요소에 담당자와 목표 해결 날짜가 지정되어야 합니다. 플랫폼 엔지니어는 변환이 시작되기 전에 마이그레이션 경계를 승인합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;시작 영역 설계:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 플러그인은 명시적인 플랫폼 결정(예: GKE Autopilot과 GKE Standard 비교)을 기반으로 기본 Google Cloud Terraform 모듈(VPC, 서브넷, GKE 클러스터, 조직 정책)을 스캐폴딩합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 지원 클라우드 변환:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 플러그인은 AWS IRSA를 워크로드 아이덴티티로 변환하고, ALB 인그레스를 게이트웨이 API에 매핑하며, Karpenter 노드 클레임을 GKE 노드 자동 프로비저닝(NAP) 또는 커스텀 컴퓨팅 클래스(CCC)로 전환하는 등 클라우드별 특화된 전환 작업을 처리합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;오프라인 검증&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;: 생성된 모듈과 매니페스트는 오프라인에서 컴파일되고 검증됩니다(terraform validate, 매니페스트 구조 검사, 출력 계약). &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;pull 요청을 통한&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;배포:&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 최종 구성이 로컬에서 검증되면 검토를 위한 PR이 생성됩니다. &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 에이전트형 마이그레이션은 분리된 리팩터링 작업에 불과했던 클라우드 마이그레이션을 예측 가능하고 AI 지원을 받으며 검토까지 가능한 GitOps 워크플로로 혁신합니다. &lt;/span&gt;&lt;strong style="vertical-align: baseline;"&gt;GKE로의 여정을 가속화할 준비가 되셨나요?&lt;/strong&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;GitHub의 GKE 에이전트형 마이그레이션 저장소&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 별표표시하고 클론해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://github.com/gke-labs/gke-agentic-migration/tree/main/docs/onboarding-guide.md" rel="noopener" target="_blank"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;온보딩 가이드&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 참고하여 샘플 EKS 저장소에서 플러그인을 직접 실행해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;a href="https://cloud.google.com/communities"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;Google Cloud 커뮤니티&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;에 가입하여 의견을 나누고 궁금한 점을 질문하며 함께 참여해 보세요.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;&lt;/div&gt;</description><pubDate>Mon, 05 Oct 2026 22:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-agentic-migration/</guid><category>GKE</category><category>Cloud Migration</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>거버넌스가 기본 제공되는 AI 지원 EKS에서 GKE로의 마이그레이션을 위한 GKE 에이전트형 마이그레이션 소개</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-agentic-migration/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sunny Hwang</name><title>Product Manager, GKE</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Hamed Seifoddini</name><title>Engineering Manager, GKE</title><department></department><company></company></author></item><item><title>멀티 클러스터 GKE Inference Gateway를 통한 오버헤드 1% 미만의 전역 AI 라우팅</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;AI 인프라에 대한 수요가 역대 최고 수준입니다. 전 세계적인 가속기 부족으로 인해 엔지니어링팀은 단 하나의 데이터 센터에서 필요한 모든 컴퓨팅 용량을 확보할 수 있는 경우가 거의 없습니다. 컴퓨팅 용량은 여기저기 흩어져 있는 클러스터에서 조달해야 하며, 종종 대양을 사이에 두고 멀리 떨어져 있는 경우도 있습니다. 동시에 워크로드의 요구사항도 점점 더 커지고 있습니다. 즉, 오늘날 장기간 실행되는 에이전트형 워크로드는 대개 10만~80만 개 이상의 토큰으로 구성된 컨텍스트 윈도우를 가지며, 이는 이전 세대의 AI 트래픽보다 더 빠르게 가속기 메모리를 사용합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 환경에서는 '비용 대비 인텔리전스'를 극대화하는 것이 목표입니다. 하지만 단편화되고 균형이 맞지 않는 인프라는 이러한 작업을 수행하기에 적합하지 않은 경우가 많습니다. 이로 인해 고가의 가속기가 유휴 상태로 방치되는 반면, 다른 곳에서는 요청이 큐에서 대기하는 상황이 발생하기 때문입니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 격차를 해소하기 위해 전 세계에 분산되어 있는 컴퓨팅 용량이 단일 진입점 뒤에서 단일 풀처럼 작동하도록 하는 계층화된 라우팅 아키텍처를 빌드했습니다. 에지에서는&lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/multi-cluster-gke-inference-gateway-helps-scale-ai-workloads"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;가 전역, 멀티 리전 트래픽 분산 및 고가용성에 중점을 둡니다. 그 아래에서는 LLM-d 라우터가 사용률을 높게 유지하는 복잡한 메모리 인식 예약 알고리즘을 처리합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 아키텍처는 의도적으로 런타임, 모델, 가속기에 구애받지 않도록 설계되어 서빙 프레임워크, 모델 제품군, GPU 또는 TPU 하드웨어 전반에서 작동합니다. 추상적인 결과가 아닌 구체적인 결과를 얻기 위해 최근에 미국과 유럽에 분산되어 있는 17,000개의 컴퓨팅 노드로 구성된 멀티 리전 GKE 배포 환경에서 프로덕션 수준의 전역 요청 라우팅을 대규모로 관리하는 작업을 벤치마킹했습니다. 이 배포 환경에서는 SGLang을 사용하여 선도적인 전문가 혼합(MoE) 파운데이션 모델을 제공했습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과 3개의 클러스터로 확장하자 과중한 멀티 클라이언트 동시 실행 상황에서도 99.9%의 성공률을 유지하면서 처리량이 선형에 가깝게 증가했습니다. 또한 멀티 클러스터 GKE Inference Gateway를 통해 트래픽을 라우팅했을 때 발생하는 오버헤드가 1% 미만으로 줄어 로컬 클러스터를 직접 호출할 때와 비교하여 99.5%의 처리량을 달성했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 기능의 작동 방식, 벤치마크 결과에 대한 자세한 내용, 분산형 추론 배포 환경에 미치는 영향에 대해 알아보려면 계속 읽어보세요.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;3개 리전, 1개 엔드포인트&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;배포는 us-east5(구성 클러스터), us-west8, europe-west4 등 지리적 리전 세 곳에 있는 3개의 GKE 클러스터에 걸쳐 이루어졌습니다. 하지만 클라이언트의 입장에서는 이러한 지역이 전혀 존재하지 않습니다. 요청은 단일 전역 가상 IP에 전달되며, Gateway가 각 요청을 처리할 클러스터를 실시간으로 결정합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이러한 결정이 무작위로 이루어지지 않고 스마트하게 이루어지도록 하려면 원격 분석이 필요합니다. 멀티 클러스터 부하 분산기는 네트워크 계층에서 기존의 라운드 로빈 라우팅 방식 대신 실시간 애플리케이션 신호를 기반으로 트래픽을 라우팅하도록 구성됩니다. 구체적으로 살펴보면 엔드포인트 선택 도구 프록시(EPP)가 기본 추론 엔진에 의해 노출되는 KV 캐시 토큰 사용률을 읽고 이를 부하 분산기의 측정항목으로 내보냅니다. 부하 분산기는 이 측정항목을 기반으로 과부하 상태인 리전이 확인되면 트래픽을 다음 정상 리전으로 분산시킵니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_Ab2Qxsv.max-1000x1000.jpg"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
        &lt;figcaption class="article-image__caption "&gt;&lt;p data-block-key="das7s"&gt;멀티 클러스터 GKE Inference Gateway 토폴로지. 구성 클러스터는 라우팅 구성을 보유하지만 요청 경로 외부에 위치하고, 각 대상 클러스터는 자체 EPP를 실행하고 KV 캐시 사용률을 부하 분산기에 다시 보고합니다.&lt;/p&gt;&lt;/figcaption&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;분산형 LLM 엔진은 표준 웹 앱과 다르게 작동합니다. 일반적인 추론 엔진의 분산 모드(예: 여러 노드에 걸친 텐서 병렬 처리)에서는 마스터(rank-0) Pod만 API를 제공합니다. GKE는 트래픽을 리더 Pod로만 전달하도록 이미 표준 서비스 선택기와 LeaderWorkerSet(LWS)를 사용하여 로컬 라우팅을 처리합니다. 멀티 클러스터 GKE Inference Gateway 또한 이 파운데이션 모델과 통합됩니다. 즉, 전역 트래픽을 올바른 리전별 서비스로 라우팅하여 별도의 추가 설정 없이도 리전 간 부하 분산이 기본 멀티 노드 토폴로지를 유지하도록 지원합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그 결과 서로 격리되어 있는 3개의 리전별 데이터 센터가 하나의 통합된 전역 가속기 Fleet처럼 작동하기 시작하며, 모델이 실제로 수행하는 작업에 따라 장애 조치와 부하 분산이 이루어집니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;라우팅 오버헤드 측정 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;전역 라우팅 등급에 대해 모든 팀이 가장 먼저 던지는 질문은 거의 항상 '리전 간 기능을 위해 처리량을 어느 정도 포기해야 하는가?'입니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;벤치마크 결과는 이에 대한 명확한 답을 제시합니다. 즉, 멀티 클러스터 GKE Inference Gateway를 배포하여 가속기 Fleet을 극대화한다고 해서 반드시 처리량을 포기해야 하는 것은 아닙니다. Gateway를 통해 트래픽을 라우팅했을 때 발생하는 오버헤드가 1% 미만으로 줄어 로컬 클러스터를 직접 호출할 때와 비교하여 99.5%의 처리량을 달성했습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_EHxlS3Z.max-1000x1000.png"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이것이 바로 전체적인 균형입니다. 전역 부하 분산의 모든 이점을 사실상 비용 부담 없이 누릴 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;리전 간 선형 확장 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;더 큰 시험대는 규모입니다. 모든 클라이언트 요청이 단일 리전(us-east5)에서 발생했음에도 불구하고 미국과 유럽에 걸쳐 클러스터를 1개에서 3개로 늘리자 Gateway에 상당한 부담이 가해졌습니다. Gateway가 이러한 거리적 제약으로 인해 부하를 효율적으로 분산하지 못한다면 하드웨어가 추가되더라도 처리량은 정체될 것입니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;그러나 실제로는 처리량이 컴퓨팅 용량에 거의 정확히 비례하여 증가했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt; &lt;/p&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt;&lt;table style="width: 90.2501%;"&gt;&lt;colgroup&gt;&lt;col style="width: 45.3769%;"/&gt;&lt;col style="width: 18.5301%;"/&gt;&lt;col style="width: 18.0924%;"/&gt;&lt;col style="width: 17.9465%;"/&gt;&lt;/colgroup&gt;
&lt;tbody&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;Fleet 토폴로지 &lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;요청 &lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;처리량&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;토큰 &lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;처리량&lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt;성공률&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong style="vertical-align: baseline;"&gt; &lt;/strong&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 1개(us-east5-a) &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;0.72 req/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2,898 tok/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;99.87%&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 2개(+ us-west8-a) &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;1.40 req/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;6,380 tok/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;99.95%&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;클러스터 3개(+ europe-west4- b) &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;2.10 req/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;8,457 tok/s &lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;td style="vertical-align: top; border: 1px solid #000000; padding: 16px;"&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;99.90%&lt;/span&gt;&lt;/p&gt;
&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div align="left"&gt;
&lt;div style="color: #5f6368; overflow-x: auto; overflow-y: hidden; width: 100%;"&gt; &lt;/div&gt;
&lt;/div&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/3_iKOndNB.max-1000x1000.png"
        
          alt="3"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;3개의 클러스터로 확장하자 과중한 멀티 클라이언트 동시 실행 상황에서도 99.9%의 성공률을 유지하면서 처리량이 선형에 가깝게 증가했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;메모리 인식 라우팅의 실제 작동 방식 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;라운드 로빈 부하 분산은 모든 요청을 동일하게 처리하므로 LLM 요청에는 적합하지 않습니다. 모든 요청은 동일하지 않기 때문입니다. 과중한 프롬프트는 GPU 컴퓨팅 코어를 포화 상태로 만들고, 긴 생성 작업은 메모리 대역폭에 부담을 주며, 긴 컨텍스트 대화는 엔진이 새로운 작업을 예약할 수 없을 때까지 VRAM을 서서히 소모합니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;여기서 메모리 대역폭에 대한 부담은 이 배포 환경을 위해 선택된 라우팅 신호에서 비롯되었습니다. 라우팅 플레인은 추론 엔진의 기본 토큰 사용량 측정항목을 Gateway의 KV 캐시 신호에 매핑하여 17,000개에 달하는 전체 Fleet에서 메모리 부족을 실시간으로 파악할 수 있게 되었습니다. (워크로드에 따라 Gateway는 큐 깊이 또는 실행 중인 동시 실행 상태와 같은 다른 신호를 기반으로 라우팅할 수도 있습니다.) &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;실제 프로덕션 부하 상황에서 기본 리전이 고대역폭 메모리(HBM) 한도에 가까워지자 Gateway는 클러스터가 40% KV 캐시 사용률 기준을 넘는 순간 포화도를 감지한 후, 자동으로 오버플로를 다음 정상 리전으로 라우팅하기 시작했습니다. 운영자의 개입은 전혀 필요하지 않았습니다. 여러 리전에서 실행하는 데 따르는 복잡성이 사용자에게 전혀 영향을 미치지 않았습니다. &lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;성과&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 GKE Inference Gateway 설정은 실시간 KV 캐시 사용률을 기반으로 트래픽을 라우팅하여 전 세계에 분산되어 있는 컴퓨팅 용량을 하나의 통합 엔진으로 효과적으로 풀링합니다. 이 배포 환경에서는 라우팅 오버헤드가 거의 발생하지 않는 상태에서 리전 세 곳에서 처리량이 선형에 가깝게 증가하는 결과가 나타났습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이는 곧 '비용 대비 인텔리전스'를 극대화하는 결과로 이어집니다. 즉, 자본을 낭비하지 않고 Fleet에 추가하는 모든 가속기에서 거의 완벽하게 비례하는 성능을 이끌어내는 것입니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;팀에 미치는 영향 &lt;/strong&gt;&lt;/h3&gt;
&lt;p style="text-align: justify;"&gt;&lt;span style="vertical-align: baseline;"&gt;분산형 추론 배포 환경을 자체적으로 빌드할 계획이라면 이 작업에서 얻은 5가지 교훈을 주목해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;더 스마트한 부하 분산은 투자 대비 효과를 충분히 발휘합니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 라운드 로빈 라우팅은 메모리 또는 컴퓨팅 부족을 확인할 수 없기 때문에 고가의 GPU 용량을 낭비합니다. 실시간 애플리케이션 신호를 기반으로 라우팅하면 단편화된 리전별 클러스터를 하나의 효율적인 Fleet으로 전환할 수 있습니다. 이는 하드웨어가 활용되지 못한 채 방치되는 것과 부족한 컴퓨팅 용량을 90% 이상 활용하는 것의 차이입니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 워크로드는 병목 현상을 변화시킵니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 컨텍스트 윈도우가 매우 큰 장기 실행 에이전트는 컴퓨팅 용량이 고갈되기 훨씬 전에 메모리를 소진합니다. 라우팅 계층에서 메모리 부족을 감지하지 못하면 VRAM이 가득 찬 상태에서도 컴퓨팅 용량이 활용되지 못한 채 방치됩니다. KV 캐시 사용률을 퍼스트 클래스 라우팅 신호로 활용해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;AI 트래픽은 웹 시대의 가정을 무너뜨립니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 기존의 부하 분산기는 1초 미만의 트랜잭션에 맞게 조정되어 있지만 LLM 요청은 몇 분 동안 실행될 수 있습니다. AI 규모의 지연 시간을 고려하여 연결 한도와 제한 시간을 미리 계획하지 않으면 프로덕션 환경에서 연결이 중단될 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;라우팅 계층은 네이티브 서빙 패턴과 통합되어야 합니다&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;. 분산형 LLM 엔진은 마스터-워커 토폴로지를 채택하고 있어 특정 Pod만 트래픽을 처리할 수 있습니다. Gateway를 LeaderWorkerSet(LWS)과 같은 네이티브 Kubernetes 구성과 페어링하면 별도의 추가 설정 없이도 전역 라우팅이 로컬 Pod 토폴로지를 유지하므로 팀에서 커스텀 프록시 인프라를 빌드할 필요가 없습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: disc; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;대규모 파운데이션 모델 빌더의 경우 개방형의 이식 가능한 스택을 선택해야 합니다.&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt; 최첨단 규모로 운영되는 팀의 경우 가장 심각한 용량 단편화 문제에 직면하게 되므로 가용 용량이 있는 리전이라면 어디서든 컴퓨팅 리소스를 찾아야 합니다. GKE의 LLM-d와 같은 개방형의 이식 가능한 추론 스택을 사용하면 서빙 아키텍처를 단일 클러스터, 리전 또는 맞춤형 인프라에 고정할 필요 없이 컴퓨팅 용량이 있는 곳이라면 어디서나 활용할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;다음 단계 &lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway를 통해 분산형 가속기 효율성을 극대화하고 전역적인 리전 간 부하 분산을 설정할 준비가 되셨나요? &lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;직접 배포하기:&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/setup-multicluster-inference-gateway"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway 설정&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;아키텍처 이해하기:&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/about-multi-cluster-inference-gateway"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;멀티 클러스터 GKE Inference Gateway 소개&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;span style="vertical-align: baseline;"&gt;이 게시물에서 다룬 리전 간 스필오버 동작에 대해 자세히 알아보기:&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/concepts/about-elastic-cross-region-high-availability"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;탄력적인 리전 간 고가용성 소개&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt; 및&lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/configure-elastic-cross-region-high-availability"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;탄력적인 리전 간 고가용성 구성&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;&lt;/div&gt;</description><pubDate>Mon, 05 Oct 2026 22:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway/</guid><category>GKE</category><category>AI infrastructure</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>멀티 클러스터 GKE Inference Gateway를 통한 오버헤드 1% 미만의 전역 AI 라우팅</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gpu-and-tpu-utilization-with-multi-cluster-gke-inference-gateway/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Fisayo Feyisetan</name><title>Product Manager, Google Kubernetes Engine</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>Sina Chavoshi</name><title>Software Engineer, Google Kubernetes Engine</title><department></department><company></company></author></item><item><title>GKE 포드 스냅샷으로 AI 워크로드를 더 빠르고 효율적으로 확장하세요</title><link>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-pod-snapshots/</link><description>&lt;div class="block-paragraph_advanced"&gt;&lt;p&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 &lt;/span&gt;&lt;a href="https://cloud.google.com/blog/products/containers-kubernetes/gke-pod-snapshots?e=0&amp;amp;hl=en"&gt;&lt;span style="font-style: italic; text-decoration: underline; vertical-align: baseline;"&gt;영문 원본&lt;/span&gt;&lt;/a&gt;&lt;span style="font-style: italic; vertical-align: baseline;"&gt;을 참고해 주시기 바랍니다.&lt;/span&gt;&lt;/p&gt;
&lt;hr/&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;최신 AI 워크로드를 실행할 때는 성능과 비용 문제가 자주 충돌하곤 합니다. 대규모 언어 모델(LLM) 같은 워크로드는 방대한 파일을 로드하며, 코드를 즉시 실행해야 하는 AI 에이전트 수천 개를 제공하기도 합니다. 각 구성요소가 전체 데이터 로드 프로세스를 통해 '콜드' 상태로 시작하는 경우, 이 모든 프로비저닝에 작업을 수행하는데 시간이 오래 걸립니다. 따라서 많은 조직은 확장 요구사항을 충족하기 위해 인프라를 과도하게 프로비저닝해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 문제를 해결하기 위해 Google Cloud에서는 CPU 및 GPU 메모리를 포함한 워크로드의 실행 상태를 저장하고 필요에 따라 복원할 수 있는 새로운 기능인 Google Kubernetes Engine(GKE) 포드 스냅샷을 도입했습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 포드 스냅샷을 사용하면 AI 추론 시작 시간을 최대 89% 단축하여 파라미터 모델 700억 개를 단 37초 만에, 80억 개를 단 15초 만에 로드할 수 있습니다. 이러한 빠른 속도 덕분에 인프라를 수요 증가 속도에 맞춰 신속하게 확장하여, 과도한 프로비저닝의 필요성을 크게 줄일 수 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/1_7paztIh.max-1000x1000.jpg"
        
          alt="1"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;콜드 스타트가 유발하는 높은 비용 — 다시 시작하는 대신 재개하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;콜드 스타트 문제는 AI에만 국한되지 않습니다. 게임 서버부터 복잡한 Java 모놀리식 애플리케이션에 이르는, 상당한 초기화 시간이 필요한 모든 애플리케이션에서 발생하는 문제입니다. 하지만 AI 워크로드에서는 콜드 스타트 문제가 특히 심각합니다. 추론 서버는 먼저 초기화를 수행한 다음 기가바이트 단위의 모델 가중치를 다운로드하여 GPU 메모리에 로드해야 하는데, 이 프로세스는 몇 분 정도 걸릴 수 있습니다. 또한 코드 실행 및 컴퓨터 사용 도구를 비롯한 많은 에이전트 AI 워크로드에는 요청별로 격리된 샌드박스를 사용해야 하며, 이러한 샌드박스는 신속하게 시작되어야 하고 유휴 상태일 때는 일시 중지되어야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;두 시나리오 모두에서 시작 지연 시간이 발생하면 사용자 경험이 훼손되고 트래픽 급증 시 빠른 자동 확장 기능이 제대로 작동하지 않게 됩니다. 따라서 많은 엔지니어는 애플리케이션 수준에서 상태를 신속하게 복구하기 위해 값비싼 인프라를 과도하게 구축하거나 정교한 커스텀 시스템을 구축해야 합니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;대기 시간 없는 AI 추론 확장&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;생성형 AI의 경우, GKE 포드 스냅샷은 모델 로딩 시 발생하는 선형 확장성 문제를 해결합니다. 일반적으로 클러스터에 새로 추가하는 모든 복제본은 모델 가중치를 개별적으로 다운로드하여 가속기 메모리에 로드해야 합니다. 수백억 개의 파라미터가 있는 많은 모델에서는 이 단계가 시작 시간의 대부분을 차지합니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;포드 스냅샷을 사용하면 초기 스냅샷을 생성할 때 이 초기화를 한 번만 수행하면 됩니다. GKE는 CPU 및 GPU 메모리를 포함하여 완전히 로드된 상태를 캡처하여 이를 처리량이 높은 Cloud Storage에 유지합니다. 워크로드를 수직 확장해야 하는 경우에는 새 복제본이 이 상태에서 직접 복원되므로 초기화 단계를 완전히 건너뛸 수 있습니다. 당사의 벤치마크에서 이 접근 방식은 llama3-70b와 같은 대규모 모델의 시작 지연 시간을 최대 89%까지 줄였습니다. 이러한 속도를 활용하면 플랫폼팀은 비용이 많이 드는 오버프로비저닝 전략에서 주문형 자동 확장으로 전환하여, 서비스 수준 목표를 달성하면서도 유휴 GPU 비용을 크게 줄일 수 있습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;
&lt;div class="block-image_full_width"&gt;






  
    &lt;div class="article-module h-c-page"&gt;
      &lt;div class="h-c-grid"&gt;
  

    &lt;figure class="article-image--large
      
      
        h-c-grid__col
        h-c-grid__col--6 h-c-grid__col--offset-3
        
        
      "
      &gt;

      
      
        
        &lt;img
            src="https://storage.googleapis.com/gweb-cloudblog-publish/images/2_prQa1Yb.max-1000x1000.jpg"
        
          alt="2"&gt;
        
        &lt;/a&gt;
      
    &lt;/figure&gt;

  
      &lt;/div&gt;
    &lt;/div&gt;
  




&lt;/div&gt;
&lt;div class="block-paragraph_advanced"&gt;&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;에이전트형 워크플로 및 샌드박스 최적화&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 포드 스냅샷은 에이전트가 코드 실행과 컴퓨터 사용을 격리된 샌드박스에 위임하는 에이전트형 워크플로에도 뚜렷한 이점을 제공합니다. 신뢰할 수 없는 LLM 생성 코드와 명령어를 격리한다는 것은 사용자 또는 개별 워크플로당 하나의 샌드박스를 사용한다는 의미입니다. 이러한 시나리오에서는 시작 지연 시간과 유휴 샌드박스 모두로 인해 상당한 오버프로비저닝과 사용률 저하가 발생할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;포드 스냅샷은 이러한 두 가지 문제를 모두 해결합니다.&lt;/span&gt;&lt;/p&gt;
&lt;ol&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;시작 지연 시간을 개선하고 싶다면&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, 초기 에이전트 샌드박스 환경의 스냅샷을 한 번 캡처한 다음 나중에 새 샌드박스를 빠르게 초기화하는 데 사용하면 됩니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li aria-level="1" style="list-style-type: decimal; vertical-align: baseline;"&gt;
&lt;p role="presentation"&gt;&lt;strong style="vertical-align: baseline;"&gt;유휴 샌드박스를 줄이고 싶다면&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;, 유휴 상태일 때 샌드박스를 정지하여 전체 컴퓨팅 리소스를 캡처하면 됩니다. 나중에 환경이 필요하면 거의 즉시 재개할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;이 접근 방식은 당사 고객에게 막대한 성공을 가져다주고 있습니다. 예를 들어 Codeway에서 빌드한 AI 기반 사진 편집 플랫폼인 Retake는 GPU 워크로드에서 심각한 성능 병목 현상을 겪었습니다. 하지만 포드 스냅샷을 도입한 덕분에 복잡한 커스텀 캐싱 레이어를 대체하고 시작 시간을 몇 초로 수준으로 단축할 수 있었습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p style="padding-left: 40px;"&gt;&lt;span style="vertical-align: baseline;"&gt;"수백만 명의 사용자에게 맞춤형 모델을 제공하려면, Retake에는 A3 H100 GPU에서 미세 조정 학습과 실시간 추론을 모두 수행할 수 있는 대규모 통합 파이프라인이 필요합니다.” 처음에는 컴파일된 아티팩트를 위해 복잡한 커스텀 캐싱 레이어를 설계했는데, 이를 통해 시작 시간을 1분으로 단축할 수 있었습니다. 하지만 이 솔루션은 상당한 유지보수 오버헤드를 추가했을 뿐만 아니라, 자동 확장을 적극적으로 수행하는 기능은 여전히 제한되었습니다. 우리는 이러한 복잡성을 GKE 포드 스냅샷으로 대체하여 &lt;/span&gt;&lt;strong style="font-style: italic; vertical-align: baseline;"&gt;시작 지연 시간을 단 8초로 단축&lt;/strong&gt;&lt;span style="vertical-align: baseline;"&gt;했습니다. 초기화 페널티가 제거됨에 따라, 이제 특정 미세 조정 또는 추론 작업을 위해 H100을 즉시 동적으로 가동하고 작업이 끝나면 바로 종료하여 유휴 GPU 비용을 대폭 줄이고 코드베이스를 간소화할 수 있게 되었습니다." - 아흐메트 푸르칸 초마크, Codeway 리드 DevOps 엔지니어&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;어떤 워크로드도 처리할 수 있는 유연한 구성&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;Google Cloud는 시작 성능을 개선하고 기존 Kubernetes 워크플로에 자연스럽게 통합되도록 포드 스냅샷을 설계했습니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/reference/crds/podsnapshot"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;포드 스냅샷 CRD&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 사용하여 새로운 선언적 정책을 정의하기만 하면 포드 스냅샷을 워크로드에 쉽게 적용할 수 있습니다. 이 정책을 사용하면 스냅샷을 생성할 포드와 데이터를 저장할 위치를 정의하고, 엔드 투 엔드 스토리지 수명 주기와 관리를 처리할 수 있습니다. &lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;워크로드의 어느 단계에서든 스냅샷을 생성할 수 있습니다. 워크로드 시작 시 워크로드 신호를 사용하거나 포드의 수명 주기 중에 온디맨드 트리거를 사용하여 스냅샷을 생성하면 됩니다. 스토리지 및 복원 동작을 더욱 세밀하게 제어하고, 비용 최적화를 위해 스냅샷 보존 기간을 설정하고, 마지막으로 생성된 스냅샷에서 복원하는 기본 동작을 선택하거나, 새 포드 배포 중에 명시적 스냅샷을 지정할 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;GKE 포드 스냅샷의 주요 사용 사례는 AI 추론과 에이전트 샌드박스이지만, 이 기능은 워크로드에 구애받지 않습니다. 이 기능을 활용하면 복잡한 Java 애플리케이션, 게임 서버, 레거시 모놀리식 애플리케이션 같이 초기화 단계가 긴 모든 애플리케이션의 실행 속도를 높일 수 있습니다.&lt;/span&gt;&lt;/p&gt;
&lt;h3&gt;&lt;strong style="vertical-align: baseline;"&gt;시작하기&lt;/strong&gt;&lt;/h3&gt;
&lt;p&gt;&lt;span style="vertical-align: baseline;"&gt;지금 바로 GKE 포드 스냅샷을 이용해 시작 지연 시간을 최적화할 수 있습니다. &lt;/span&gt;&lt;a href="https://docs.cloud.google.com/kubernetes-engine/docs/how-to/agent-sandbox-pod-snapshots"&gt;&lt;span style="vertical-align: baseline;"&gt; &lt;/span&gt;&lt;span style="text-decoration: underline; vertical-align: baseline;"&gt;문서&lt;/span&gt;&lt;/a&gt;&lt;span style="vertical-align: baseline;"&gt;를 확인하여 시작하는 방법을 확인하세요. 여러분의 의견을 기다리겠습니다.&lt;/span&gt;&lt;/p&gt;&lt;/div&gt;</description><pubDate>Thu, 01 Oct 2026 07:00:00 +0000</pubDate><guid>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-pod-snapshots/</guid><category>GKE</category><category>Containers &amp; Kubernetes</category><og xmlns:og="http://ogp.me/ns#"><type>article</type><title>GKE 포드 스냅샷으로 AI 워크로드를 더 빠르고 효율적으로 확장하세요</title><description></description><site_name>Google</site_name><url>https://cloud.google.com/blog/ko/products/containers-kubernetes/gke-pod-snapshots/</url></og><author xmlns:author="http://www.w3.org/2005/Atom"><name>Brandon Royal</name><title>Senior Product Manager</title><department></department><company></company></author><author xmlns:author="http://www.w3.org/2005/Atom"><name>David Porter</name><title>Staff Software Engineer</title><department></department><company></company></author></item></channel></rss>