컴퓨팅

클릭에서 클러스터로: Intel TDX를 통해 확장되는 Confidential Computing

Fri, 29 Aug 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 8월 30일 Google Cloud 블로그(영문)에 게재되었습니다.

프라이버시를 보호하는 기밀 컴퓨팅(Confidential Computing)은 저희가 5년 전에 Confidential 가상 머신(VM)을 처음 선보인 이래로 많은 발전을 이루었습니다. 사용 중인 데이터를 보호할 수 있는 이 기술은 데이터가 저장 및 전송 중일 때의 암호화를 넘어선 보안 격차를 강화합니다.

그 이후로 고객들은 Confidential Computing을 사용하여 환자 의료 데이터를 보호하고, GDPR 및 Schrems II의 개인정보 보호 지침을 준수하여 미국-유럽 데이터 전송을 수행하며, HPC(고성능 컴퓨팅) 워크로드를 안전하게 실행해 왔습니다.

하드웨어 기반의 TEE(신뢰 실행 환경)에서 워크로드를 격리함으로써, Confidential Computing은 고객들이 가장 민감한 정보를 퍼블릭 클라우드에서 안심하고 처리할 수 있게 해줍니다.

Confidential Computing의 발전의 일환으로, 작년에 Intel TDX(Trust Domain Extensions)를 활용한 기밀 VM을 도입하여 더욱 강력한 보안 기능을 추가했습니다. Intel TDX는 VM 내에 격리된 신뢰 도메인(TD)을 생성하고, 하드웨어 확장 기능을 사용하여 메모리를 관리 및 암호화하여 클라우드 워크로드를 보호하며, 검증을 위한 하드웨어 기반 원격 증명(remote attestation)을 제공합니다.

구글 클라우드는 크게 확장되고 정식 출시된 Intel TDX 기반 서비스들을 소개합니다. 여기에는 Confidential GKE 노드, 기밀 공간(Confidential Space), Confidential GPU, 그리고 고객들이 Confidential Computing을 사용할 수 있는 더 많은 리전 및 영역이 포함됩니다.

클릭 한 번으로 Confidential VM 생성

이제 Google Cloud Console은 Google Compute Engine(GCE) 고객에게 Intel TDX를 위한 새로운 인터페이스를 제공하며, 코드 변경이 필요 없습니다. 시작하려면 다음 단계를 따르세요.

GCE의 인스턴스 생성 페이지에서 시작합니다.
‘보안’ 탭으로 이동하여 Confidential VM 서비스 아래의 사용 설정(Enable)을 클릭합니다.
드롭다운 메뉴에서 Intel TDX를 선택하고 확인(Confirm)을 클릭합니다.

이렇게 간단한 방법으로 Confidential VM을 만들 수 있습니다.

Google Cloud 콘솔에서 Intel TDX를 사용하여 새로운 기밀 VM을 생성

더 많은 리전 및 영역에서 기밀 컴퓨팅 활용

Intel TDX를 활용한 기밀 VM은 처음에는 3개 리전(9개 영역)에서 지원되었습니다. 늘어나는 수요에 맞춰, C3 머신 시리즈에 대한 Intel TDX 지원을 10개 리전(21개 영역)으로 확장했으며, 앞으로 더 많은 리전 및 영역을 추가할 계획입니다. 전체 목록은 여기에서 확인할 수 있습니다. 리전 가용성 및 확장성은 매우 중요하므로, 고객 계정팀이 고객의 용량 수요를 충족할 수 있도록 조기 계획 수립을 도와드립니다.

Intel TDX를 활용한 Confidential GKE Node 정식 출시

Confidential GKE Nodes는 Confidential VM을 기반으로 구축되었으며, Google Kubernetes Engine(GKE) 클러스터 및 노드 풀에 하드웨어 기반 보호 기능을 제공하여 컨테이너화된 워크로드가 메모리 내에서 암호화되도록 보장합니다. 오늘부터 Confidential GKE Nodes는 GKE Standard 및 GKE Autopilot에서 Intel TDX를 활용하여 정식으로 제공됩니다.

C3 머신 시리즈의 Intel TDX를 활용한 기밀 GKE 노드는 CLI, API, UI, Terraform을 통해 GKE Standard에서 생성할 수 있습니다. 기밀 설정은 코드 변경 없이 클러스터 수준 또는 노드 풀 수준에서 설정할 수 있습니다. 자세한 내용은 여기에서 확인할 수 있습니다.

C3 머신 시리즈의 Intel TDX를 활용한 Confidential GKE Nodes는 GKE Autopilot에서도 생성할 수 있습니다. 이는 맞춤형 컴퓨팅 클래스를 사용하여 활성화할 수 있습니다. GKE에서 컴퓨팅 클래스는 자동 확장 이벤트 중에 워크로드를 실행할 노드를 프로비저닝하는 데 GKE가 사용하는 일련의 노드 속성으로 구성된 프로필입니다. 시작하려면 문서를 확인하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7f49612c8700>), ('btn_text', ''), ('href', ''), ('image', None)])]>

Intel TDX를 활용한 기밀 공간(Confidential Space) 정식 출시

마찬가지로 Confidential VM을 기반으로 구축된 당사의 Confidential Space 서비스는 내부자 위협 해결, 공동 머신러닝 학습 및 비공개 생성형 AI 추론 지원, 민감한 데이터에 대한 다자간 협업 촉진 등 여러 일반적인 문제에 대한 강력한 솔루션입니다. 다음은 고객들이 Confidential Space을 활용하여 구축한 몇 가지 예시입니다.

기밀 매칭: 고객들은 Google Ads 측정 및 잠재고객 솔루션을 위해 자체 퍼스트 파티 데이터를 안전하게 연결할 수 있었습니다.
Symphony: 기밀 클라우드를 통해 SaaS 기업이 고도의 규제가 적용되는 금융 산업에서 권한 있는 내부 관계자로부터 고객 데이터를 격리하는 것을 보장할 수 있음을 보여주었습니다
Duality: 의료, 금융 서비스 및 공공 부문에서 광범위한 사용 사례에 대한 개인정보를 보호하는 학습 솔루션을 제공했습니다
Flare: 블록체인에서 검증 가능한 AI 혁신을 주도했습니다

이전에는 기밀 공간이 AMD 기반 기술 및 하드웨어(N2D, C2D, C3D, C4D 머신 시리즈)에서만 사용 가능했지만, 이제 Intel 기반 기술 및 하드웨어에서도 사용할 수 있습니다. 이는 하드웨어 신뢰점(root of trust)을 통한 증명 보장을 원하는 고객과 Intel의 C3 머신 시리즈에 중점을 둔 고객에게 이상적입니다.

또한, Intel TDX를 활용한 기밀 공간은 RTMR(runtime measurement registers)에 측정값이 기록되며, 이 측정값은 Google Cloud Attestation에 의해 검증됩니다. 참고로, Intel TDX를 활용한 기밀 VM에서도 이제 RTMR이 채워집니다. 기밀 공간의 이점은 NCC Group의 최신 독립 보안 평가에서 강조되었습니다.

NVIDIA H100 GPU를 활용한 기밀 VM 및 기밀 GKE 노드 정식 출시

사용 중인 데이터를 보호하면서 성능과 보안을 모두 원한다면, 가속기 최적화 A3 머신 시리즈에서 NVIDIA H100 GPU를 활용한 Confidential VM 및 Confidential GKE Node가 이제 정식으로 제공됩니다. 이 서비스들은 Google Cloud 최초의 기밀 GPU를 제공하며, 보안 컴퓨팅에 대한 수요를 충족하기 위해 사용 편의성에 중점을 둡니다. 또한, CPU에 Intel TDX를, GPU에 NVIDIA Confidential Computing을 활성화하여 데이터 집약적인 AI 및 ML 워크로드로 보안을 확장합니다. 이제 모델 전반에 걸쳐 추론 및 학습 과정에서 데이터를 성능 저하 없이 안전하게 보호할 수 있습니다.

NVIDIA H100 GPU를 활용한 Confidential VM은 a3-highgpu-1g 머신 유형으로 europe-west4-c, us-central1-a, and us-east5-a 세 가지 영역에서 사용할 수 있습니다. 대부분의 AI 및 ML 워크로드에 대해 코드 변경이 필요 없습니다. 가격에 대한 자세한 내용은 여기를 참조하십시오. NVIDIA H100 GPU를 활용한 Confidential GKE Node는 GKE Standard와 GKE Autopilot(맞춤형 컴퓨팅 클래스를 통해) 모두에서 정식으로 제공됩니다. 시작하려면 여기를 클릭하세요.

또한, NVIDIA H100 GPU를 활용한 Confidential Space도 미리 보기로 제공됩니다.

Intel, 독립 증명을 위한 무료 등급 제공

Intel의 증명 검증 서비스인 Intel Tiber Trust Authority가 이제 무료 등급을 제공합니다. Google Cloud 기밀 VM 및 기밀 공간은 모두 Intel Tiber Trust Authority와 타사 증명 서비스로 통합되어 있었지만, 이제 Intel Tiber Trust Authority는 무료 등급(유료 지원 선택 가능)을 제공하여 모든 사용자가 보안 증명에 더 쉽게 접근할 수 있도록 하고 있습니다.

Confidential VM 및 Confidential Space 고객은 Intel Tiber Trust Authority를 사용하여 더 강력한 권한 분리 보안 보장을 얻을 수 있습니다. 자세히 알아보려면 여기를 클릭하세요.

고객 후기

"Super Protocol, Google Cloud, 그리고 NVIDIA의 공동 노력 덕분에 이제 클라우드 경계 없이 기밀 AI를 구현하는 새로운 가능성의 장이 열렸습니다. NVIDIA H100 GPU 기반의 A3 기밀 VM이 Super의 분산 인프라 및 마켓플레이스에 통합되면서, 기업들은 어떤 환경에서든 민감한 AI 및 데이터를 안전하게 실행하고, 수익화하며, 협업할 수 있습니다. 이를 통해 Google Cloud 고객들은 신뢰를 공유하거나, 수동으로 협의하거나, 타협할 필요 없이 다른 클라우드의 파트너들과 원활하게 협업할 수 있습니다. 더 넓은 시장에서는 A3 인스턴스 규모가 전 세계적인 접근을 가속화하며, Super는 기밀 컴퓨팅에 대한 전문 지식 없이도 완전 자동화된 방식으로 기밀성, 검증 가능성, 그리고 자율성을 보장합니다. 우리는 고객과 파트너가 어디에 있든 작동하도록 구축된 기밀 AI의 다음 장을 열게 되어 매우 기쁩니다." - Super Protocol 창립자 겸 CEO, Nukri Basharuli

"Google Cloud와 협력하여 기밀 컴퓨팅이 활성화된 GPU 솔루션을 검증하게 되어 자랑스럽습니다. 이는 성능이나 확장성 저하 없이 AI 및 머신러닝 워크로드의 민감한 데이터를 보호하는 데 큰 진전입니다. 기밀 컴퓨팅을 통해 조직은 클라우드 제공업체와 조직 내부자 및 내부 위협으로부터 민감한 데이터와 모델을 보호하면서 클라우드에서 민감한 워크로드를 처리할 수 있습니다. 그러나 생성형 AI 및 에이전트형 AI 사용 사례의 경우, CPU만 보호하는 것으로는 충분하지 않습니다. CPU와 GPU 모두 상호 신뢰를 바탕으로 기밀 모드로 실행되어야 합니다. Google Cloud의 새로운 서비스를 통해 Anjuna는 이제 Intel TDX와 NVIDIA H100 GPU를 기밀 모드로 활용하는 기밀 컨테이너를 출시할 수 있습니다. 이는 데이터, 구성, 비밀 및 코드가 모든 신뢰할 수 없는 엔티티로부터 종단간 보호되도록 보장하여 민감한 데이터에 대한 최첨단 보안을 제공합니다." - Anjuna Security CTO, Steve Van Lare

"전 세계적으로 데이터 처리가 그 어느 때보다 세 배나 빠르게 성장하고 6개월마다 두 배로 증가함에 따라, 클라우드 컴퓨팅의 미래는 신뢰를 기반으로 구축되어야 합니다. Google과의 협력을 통해 Modelyo는 NVIDIA H100 GPU가 탑재된 A3 머신 시리즈의 기밀 VM을 활용하여 기밀 컴퓨팅을 원활하고 직관적이며 완전히 통합된 클라우드 경험으로 전환합니다. 이를 통해 우리는 상호 연결된 환경 전반에 걸쳐 종단간 관리형 솔루션을 제공하며, 조직이 모든 단계에서 데이터가 손쉽게 보호된다는 것을 알고 자신 있게 혁신할 수 있도록 지원합니다." - Modelyo CEO, Benny Meir

기밀 컴퓨팅 시작하기

민감한 워크로드에 추가적인 보호 및 개인정보 보호 계층을 더하려면, 지금 Confidential VM 및 Confidential GKE Node 문서를 확인하세요

Ironwood TPU 및 AI 하이퍼컴퓨터의 새로운 혁신 기술 소개

Thu, 01 May 2025 18:22:00 +0000

* 본 아티클의 원문은 2025년 4월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날의 혁신은 실험실이나 설계도에서 탄생하는 것이 아니라 AI 인프라를 기반으로 이루어집니다. AI 워크로드에는 새롭고 고유한 요구사항이 있습니다. 이러한 요구사항을 충족하려면 성능과 효율성을 대규모로 달성할 수 있도록 하드웨어와 소프트웨어를 정교하게 조합해야 하며, 필요에 따라 이러한 인프라에 액세스할 수 있는 사용 편의성과 유연성을 확보해야 합니다. Google Cloud는 이를 위해 AI 하이퍼컴퓨터를 활용합니다.

AI 하이퍼컴퓨터는 Google이 10년 이상 쌓아온 AI 전문성을 바탕으로 개발한 통합형 슈퍼컴퓨팅 시스템으로 Google Cloud에서 실행되는 거의 모든 AI 워크로드를 뒷받침합니다. Vertex AI를 사용할 때 내부에서 실행되며, AI 하이퍼컴퓨터의 성능 최적화 하드웨어, 개방형 소프트웨어, 유연한 소비 모델에 직접 액세스해 인프라를 세밀하게 제어할 수 있습니다. 이러한 모든 기능은 AI 워크로드의 학습 및 서빙을 위한 더 많은 인텔리전스를 일관되게 저렴한 가격으로 제공하도록 설계되었습니다. 이러한 통합 시스템 접근 방식은 시장에서 차별화되는 요소이며, Gemini Flash 2.0이 GPT-4o에 비해 달러당 24배, DeepSeek-R1에 비해 5배 높은 인텔리전스를 달성할 수 있는 이유 중 하나입니다¹.

오늘 Google Cloud는 AI 워크로드에 대해 비용 대비 최고의 인텔리전스를 제공하도록 종합적으로 설계된 AI 하이퍼컴퓨터 스택 전반의 새로운 혁신을 소개합니다.

성능 최적화 하드웨어의 발전

Google Cloud는 다양한 컴퓨팅, 네트워킹, 스토리지 옵션을 제공하기 위해 성능 최적화 하드웨어 포트폴리오를 지속적으로 확장하고 있습니다.

7세대 TPU인 Ironwood: 추론을 위해 설계된 Ironwood는 이전 세대인 Trillium에 비해 5배 더 큰 최대 컴퓨팅 용량과 6배 더 큰 고대역폭 메모리(HBM) 용량을 제공합니다. Ironwood는 256개 칩 또는 9,216개 칩의 두 가지 구성으로 제공되며, 각각 단일 수직 확장 포드로 사용할 수 있습니다. 더 큰 포드는 42.5엑사플롭의 놀라운 컴퓨팅 성능을 제공합니다. Ironwood는 Trillium에 비해 전력 효율이 2배 더 높아 와트당 가치가 훨씬 더 높습니다. 개발자는 PyTorch와 JAX 전반에 걸쳐 최적화된 스택을 통해 Ironwood에 액세스할 수 있습니다. 이 획기적인 TPU에 대한 자세한 내용은 여기에서 확인하세요.

A4 및 A4X VM: Google Cloud는 A4 및 A4X VM과 함께 NVIDIA B200 및 GB200 NVL72 GPU를 모두 제공하는 최초의 하이퍼스케일러입니다. 지난달 Google Cloud는 NVIDIA GTC에서 A4 VM(NVIDIA B200)의 정식 버전을 발표했으며, A4X VM(NVIDIA GB200)은 현재 프리뷰 버전으로 제공되고 있습니다. A4 및 A4X에 대한 자세한 내용은 여기에서 확인하세요.

네트워킹 강화: AI 워크로드에 필요한 지연 시간이 매우 짧은 환경을 지원하기 위해 Google Cloud의 새로운 400G Cloud Interconnect 및 Cross-Cloud Interconnect는 기존 100G Cloud Interconnect 및 Cross-Cloud Interconnect보다 최대 4배 더 많은 대역폭을 제공해 온프레미스 또는 기타 클라우드 환경에서 Google Cloud에 대한 연결을 제공합니다. 자세한 내용은 여기를 클릭해 오늘 게시된 네트워킹 블로그 내용을 확인하세요.

Hyperdisk Exapools: 하이퍼스케일러 가운데 AI 클러스터당 가장 높은 성능과 용량을 갖춘 블록 스토리지로, 얇게 프로비저닝된 단일 풀에서 최대 엑사바이트 수준의 블록 스토리지 용량과 초당 수 테라바이트의 처리량을 프로비저닝할 수 있습니다.

Rapid Storage: 최적의 활용을 위해 기본 스토리지를 TPU 또는 GPU와 함께 코로케이션할 수 있는 새로운 Cloud Storage 영역 버킷입니다. Cloud Storage 리전별 버킷보다 최대 20배 빠른 임의 읽기 데이터 로드를 제공합니다.

Cloud Storage Anywhere Cache: 기존 리전별 버킷과 함께 작동해 선택한 영역 내에서 데이터를 캐싱하는 강력한 일관성을 갖춘 새로운 읽기 캐시입니다. Anywhere Cache는 데이터를 가속기에 가깝게 유지해 지연 시간을 70% 단축함으로써 실시간 반응형 추론 상호작용을 지원합니다. 자세한 내용은 여기를 클릭해 스토리지 혁신 블로그를 참고하세요.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 인프라를 체험할 수 있는 $300 무료 크레딧 제공'), ('body', <wagtail.rich_text.RichText object at 0x7f49612433d0>), ('btn_text', '무료 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/compute'), ('image', None)])]>

학습 및 추론을 위한 개방형 소프트웨어 기능

하드웨어의 진정한 가치는 공동 설계된 소프트웨어를 통해 실현됩니다. AI 하이퍼컴퓨터의 소프트웨어 레이어는 AI 실무자와 엔지니어가 PyTorch, JAX, vLLM, Keras와 같은 개방형의 인기 ML 프레임워크와 라이브러리를 통해 더 빠르게 작업할 수 있도록 지원합니다. 인프라팀은 배포 시간을 단축하고 비용 효율적으로 리소스를 활용할 수 있게 됩니다. Google Cloud는 AI 학습과 추론을 위한 소프트웨어에서 상당한 진전을 이루었습니다.

Pathways on Cloud: Google DeepMind에서 개발한 Pathways는 Google의 내부 대규모 학습 및 추론 인프라를 지원하는 분산 런타임으로, 이제 Google Cloud에서 처음으로 제공됩니다. 추론을 지원하기 위해 분할 서빙과 같은 기능이 포함됩니다. 분할 서빙은 별도의 컴퓨팅 단위에서 추론 워크로드의 사전 입력 및 디코딩 단계를 동적으로 확장할 수 있도록 하며, 각 단계가 독립적으로 확장되어 지연 시간이 매우 짧고 처리량이 높습니다. 이 기능은 처리량이 높고 지연 시간이 짧은 추론 라이브러리인 JetStream을 통해 고객에게 제공됩니다. 또한 Pathways는 탄력적 학습을 지원해 학습 워크로드가 장애 발생 시 자동으로 축소되고 복구 시 수직 확장되며, 동시에 연속성을 유지합니다. Pathways 아키텍처의 추가 사용 사례를 비롯해 Pathways on Cloud에 대해 자세히 알아보려면 이 문서를 확인하세요.

높은 성능과 안정성으로 모델 학습

학습 워크로드는 수천 개의 노드에서 실행되는 고도로 동기화된 작업입니다. 단일 노드의 성능 저하만으로도 전체 작업이 중단될 수 있으며, 이는 출시 지연과 비용 증가로 이어질 수 있습니다. 클러스터를 빠르게 프로비저닝하려면 근접한 특정 모델 아키텍처에 맞게 조정된 VM이 필요합니다. 또한 노드 장애를 예측하고 신속하게 문제를 해결하며, 장애 발생 시 워크로드 연속성을 보장할 수 있는 기능도 필요합니다.

GKE용 Cluster Director 및 Slurm용 Cluster Director. Cluster Director(기존 Hypercompute Cluster)를 사용하면 물리적으로 함께 배치된 VM, 타겟팅된 워크로드 배치, 고급 클러스터 유지보수 제어, 토폴로지 인식 예약을 통해 가속기 그룹을 단일 단위로 배포하고 관리할 수 있습니다. 오늘 Google Cloud는 올해 말에 출시될 Cluster Director의 새로운 업데이트를 발표합니다.

Slurm용 Cluster Director는 Slurm 클러스터를 프로비저닝하고 운영하기 위한 간소화된 UI와 API를 갖춘 완전 관리형 Slurm 제품입니다. 여기에는 안정적이고 반복 가능한 배포를 위해 사전 구성된 소프트웨어를 사용한 일반적인 워크로드의 청사진이 포함됩니다.
360° 관측 가능성 기능에는 클러스터 사용률, 상태, 성능을 모니터링하는 대시보드와 AI 상태 예측, 낙오 항목 감지와 같은 고급 기능이 포함되며, 개별 노드 수준에서 장애를 선제적으로 감지하고 해결합니다.
자동화된 전체 상태 점검 등 작업 연속성 기능을 통해 Fleet를 지속적으로 모니터링하고 비정상 노드를 선제적으로 교체합니다. 결과적으로 다단계 체크포인팅을 통해 더 빠른 저장 및 검색이 가능해져 성능이 저하된 클러스터에서도 중단 없는 학습이 가능합니다.

GKE용 Cluster Director가 출시되면 새로운 Cluster Director 기능이 기본적으로 지원됩니다. Slurm용 Cluster Director는 GPU와 TPU를 모두 지원하며 몇 달 내로 출시될 예정입니다. 등록하여 사전 체험판을 이용하세요.

규모와 상관없이 효율적으로 추론 워크로드 실행

지난해 AI 추론은 급격히 발전했습니다. 더 길고 가변성이 높은 컨텍스트 윈도우로 인해 상호작용이 더욱 정교해지고 있으며, 추론 및 다단계 추론으로 인해 컴퓨팅 수요가 점차 학습에서 추론 시간으로(테스트 시간 확장) 이동하고 그에 따라 비용도 증가하고 있습니다. 최종 사용자를 위한 유용한 AI 애플리케이션을 지원하려면 현재와 미래의 상호작용을 효율적으로 지원할 수 있는 소프트웨어가 필요합니다.

GKE의 AI 추론 기능 발표: Inference Gateway 및 Inference Quickstart

GKE Inference Gateway는 지능형 확장 및 부하 분산 기능을 제공하여 생성형 AI 모델 인식 확장 및 부하 분산 기법으로 요청 예약 및 라우팅을 처리할 수 있도록 지원합니다.
GKE Inference Quickstart를 사용하면 AI 모델과 원하는 성능을 선택할 수 있으며 GKE가 이에 맞게 적절한 인프라, 가속기, Kubernetes 리소스를 구성해 줍니다.

두 기능 모두 현재 프리뷰 버전으로 제공되며, 두 기능을 함께 사용하면 다른 관리형 및 오픈소스 Kubernetes 제품에 비해 서빙 비용을 30% 이상 줄이고 지연 시간을 60% 줄이며 처리량을 최대 40%까지 높일 수 있습니다.

TPU용 vLLM 지원: vLLM은 빠르고 효율적인 추론 라이브러리로 잘 알려져 있습니다. 이제 vLLM을 사용해 TPU에서 손쉽게 추론을 실행하고, 소프트웨어 스택을 변경하지 않고도 몇 가지 구성만 변경하여 TPU의 가격 대비 성능 이점을 누릴 수 있습니다. vLLM은 Compute Engine, GKE, Vertex AI, Dataflow에서 지원됩니다. 또한 GKE 커스텀 컴퓨팅 클래스를 사용하면 동일한 vLLM 배포 내에서 TPU와 GPU를 함께 사용할 수 있습니다.

더욱 유연한 소비

동적 워크로드 스케줄러(DWS)는 가속기에 저렴한 비용으로 쉽게 액세스할 수 있도록 지원하는 리소스 관리 및 작업 예약 플랫폼입니다. 오늘 Google Cloud는 DWS 가속기 지원 확대를 발표합니다. TPU v5e, Trillium, A3 Ultra(NVIDIA H200), A4(NVIDIA B200) VM을 flex-start 모드를 통해 프리뷰 버전으로 지원하며, 이달 말에는 TPU에 대한 캘린더 모드 지원이 제공될 예정입니다. 또한 flex-start 모드에서는 리소스를 즉시 프로비저닝하고 동적으로 확장할 수 있는 새로운 프로비저닝 방법을 지원하므로 장기 실행 추론 워크로드와 더 다양한 범위의 학습 워크로드에 적합합니다. 이는 모든 노드를 동시에 프로비저닝해야 하는 flex-start 모드의 큐 프로비저닝 방법과는 별도로 제공됩니다.

Next '25에서 AI 하이퍼컴퓨터에 대해 알아보기

최신 소식을 놓치지 마세요. 이벤트 웹사이트에서 모든 발표와 심층 분석을 만나보세요. 컴퓨팅 및 AI 인프라의 다음 단계를 시작으로 다음 세션을 확인해 보세요.

_{1. arXiv (LMArena), Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, Wei-Lin Chiang, Lianmin Zheng, Ying Sheng, Anastasios 1 Nikolas Angelopoulos, Tianle Li, Dacheng Li, Hao Zhang, Banghua Zhu, Michael Jordan, Joseph E. Gonzalez, Ion Stoica, 2024. 2025년 3월 19일 기준 정보입니다. 이 벤치마크는 모델 출력 품질(인간 검토자가 판단)을 출력 생성에 필요한 가격/100만 토큰과 비교하여 효율성을 비교합니다. 여기서 '인텔리전스'란 모델 출력 품질에 대한 인간의 인식을 의미합니다.}

인스턴트 스냅샷: Compute Engine 워크로드의 오류와 손상 방지

Mon, 17 Mar 2025 10:57:00 +0000

* 본 아티클의 원문은 2024년 8월 31일 Google Cloud 블로그(영문)에 게재되었습니다.

여러분이 애플리케이션 관리자이고 1시간의 유지보수 동안 애플리케이션 업그레이드를 수행해야 하는데 갑자기 업그레이드에 실패했다고 생각해 보세요. 이런 상황에서는 롤백 절차를 시작하게 됩니다. 일반적인 롤백 과정에서는 정기적인 스냅샷을 바탕으로 몇 분간 복구를 진행하게 되는데, 작업 완료에 필요한 시간은 복원할 데이터양에 따라 달라집니다. 애플리케이션의 사전 업그레이드 복제본을 바탕으로 복원하는 방법도 있지만 이는 유지 비용이 많이 든다는 단점이 있습니다.

유지보수 기간을 더 여유롭게 확보하고 롤백 시간도 예측할 수 있으며 비용 효율적이면서도 디스크 크기에 구애받지 않는 아주 빠른 복구 솔루션이 있다면 어떨까요?

오늘 소개해 드릴 Compute Engine의 인스턴트 스냅샷은 필요에 따라 신속하게 복원 가능하도록 거의 즉각적인 고빈도 특정 시점 디스크 체크포인트를 제공합니다.

인스턴트 스냅샷은 몇 초 단위의 목표 복구 시간(RPO)과 수십 초 단위의 복구 시간 목표(RTO)를 제공합니다. Google Cloud는 단 몇 초면 복구가 가능한 고성능 체크포인트를 제공하는 유일한 하이퍼스케일러입니다. 타사 하이퍼스케일러를 사용할 경우 워크로드가 최대 성능으로 복구되기까지 수십 분 또는 몇 시간이 걸릴 수 있지만 인스턴트 스냅샷으로 복구를 진행하면 Compute Engine 워크로드가 최대 디스크 성능으로 즉시 실행됩니다.

Compute Engine의 인스턴트 스냅샷을 사용해 복구를 진행하려면 핵심 인프라에 아무 문제가 없어야 하며 데이터를 이전 상태로 롤백해야 합니다. 일반적인 사용 사례는 다음과 같습니다.

사용자 오류, 애플리케이션 소프트웨어 장애, 파일 시스템 손상을 신속하게 복구합니다.
데이터베이스 워크로드 등을 위한 백업 인증 워크플로에서 주기적인 스냅샷을 생성한 뒤 즉시 복원하여 데이터 일관성 검사를 실행합니다.
예정된 유지보수에 실패한 경우 신속한 롤백이 가능하도록 애플리케이션 업그레이드 전에 복원 지점을 설정합니다.

위 사용 사례 외에도 인스턴트 스냅샷을 사용하면 다음과 같은 이점이 있습니다.

개발자 생산성 개선: 빠른 개발 주기에서 빌드 시간이 길거나 코드가 복잡한 경우 실수로 인한 오류가 발생하거나 빌드에 실패하면 작업을 완료하는 데 걸리는 시간이 늘어납니다. 인스턴트 스냅샷을 사용하면 외부 백업에 의존하지 않아도 빠른 복원이 가능합니다.
백업 전 상태 확인: 수행한 백업이 사용 가능하고 원하는 상태인지 확인할 수 있습니다. 장기 백업을 시작하기 전에 인스턴트 스냅샷을 사용해 디스크를 검사하고 클론하여 예비 머신에서 확인할 수 있습니다.
백업 빈도 증가: 인스턴트 스냅샷을 사용하면 긴 백업 시간을 기다릴 여유가 없는 대용량의 비즈니스 크리티컬 데이터베이스를 더 자주 백업할 수 있습니다.

인스턴트 스냅샷의 주요 특징

Compute Engine 인스턴트 스냅샷은 기존 스냅샷에 비해 더 많은 이점을 가지고 있습니다.

인플레이스 백업: 인스턴트 스냅샷은 영역 디스크 또는 리전 디스크에 생성되며 소스 디스크 및 미디어 유형과 동일한 위치에 저장됩니다. 다시 말해 SDD 또는 HDD 유형의 디스크에서 생성된 인스턴트 스냅샷은 동일한 디스크에 저장됩니다. 인스턴트 스냅샷은 생성 시 고정 요금이 부과되며 사용하는 스토리지가 늘어남에 따라 추가 요금이 책정됩니다.
신속성 및 증분성: 인스턴트 스냅샷은 몇 초면 생성되며 각 인스턴트 스냅샷에는 이전 인스턴트 스냅샷이 생성된 이후 변경된 증분 데이터 블록만 저장됩니다. 스냅샷 생성 빈도가 훨씬 높기 때문에 백업 스냅샷보다 더 자주 스냅샷을 생성할 수 있습니다.
빠른 디스크 복원: 단 몇 초면 각 인스턴트 스냅샷을 새 디스크에 복원할 수 있습니다. 이러한 새 디스크는 스냅샷과 동일한 영역에 위치하며 해당 디스크 유형을 상속합니다.
백업 또는 보관 파일로 변환 가능: 장기 지리적 중복 스토리지를 위한 보조 접속 지점으로 인스턴트 스냅샷을 옮길 수 있습니다.

인스턴트 스냅샷의 실행 방식

인스턴트 스냅샷은 초기 체크포인트와 비교하여 변경된 데이터만 저장하기 때문에 몇 초면 생성이 가능합니다.

따라서 위 예시에서도 인스턴트 스냅샷 생성 시 체크포인트가 만들어지지만 이 디스크의 세 번째 블록에 새 데이터를 덮어쓸 때만 데이터가 저장됩니다. 여기에서 블록 6 및 7에 데이터를 쓴 것처럼 데이터를 추가한 경우에도 체크포인트에 추가 스토리지가 필요하지 않습니다.

스토리지를 아주 효율적으로 사용할 수 있을 뿐 아니라 성능 효율성 또한 탁월한 셈입니다. 인스턴트 스냅샷 생성 시 기본 디스크의 성능에 아무 영향을 미치지 않으며, 앞서 언급했듯이 단 몇 초면 인스턴트 스냅샷을 만들고 복원할 수 있습니다.

표준 변경 관리 및 유지보수 과정에서 이와 같은 스토리지와 성능, 비용 효율성을 갖춘 인스턴트 스냅샷을 사용하면 워크로드를 더욱 쉽고 효율적으로 보호할 수 있습니다.

스냅샷 유형 비교

다음과 같은 인스턴트 스냅샷의 여러 가지 성능 특성 개요에서 표준 백업 스냅샷과의 차이점을 살펴보세요.

사용 사례

애플리케이션 관리자인 Maya는 영구 디스크 볼륨에 호스팅된 소프트웨어를 업그레이드해야 합니다. 이 작업에 주어진 유지보수 기간은 단 1시간입니다. 유지보수 기간이 끝난 후 볼륨에 새 소프트웨어가 포함되어 있으면 업그레이드에 성공한 것이며, 업그레이드에 실패할 경우 유지보수 기간이 시작되기 직전과 정확히 동일한 상태, 즉 롤백 상태가 됩니다.

정기적인 스냅샷과 인스턴트 스냅샷 사용 시 Maya의 워크플로가 어떻게 달라지는지 비교해 보세요.

지금 바로 사용하기

인스턴트 스냅샷은 거의 즉각적인 온디바이스 특정 시점 백업을 제공하여 신속한 복원과 고빈도 백업을 지원합니다. 또한 애플리케이션 업그레이드 기간을 최적화하고 외부 백업에 드는 시간을 절약하는 데 도움이 되며 업그레이드 실패 또는 사용자 오류 발생 시 빠른 복원을 가능하게 합니다.

Persistent Disk 인스턴트 스냅샷을 활용하는 방법은 인스턴트 스냅샷 문서 페이지를 참조하세요.

블록 스토리지 성능을 훨씬 간단하게 계획하고 관리하는 방법

Mon, 17 Mar 2025 05:20:00 +0000

* 본 아티클의 원문은 2024년 9월 4일 Google Cloud 블로그(영문)에 게재되었습니다.

2024년 초 Google Cloud는 블록 스토리지 용량을 간편하게 관리하고 총소유비용(TCO)을 절감하는 데 도움이 되는 Hyperdisk Storage Pool의 고급 용량 정식 버전을 발표했습니다. 이제, 이와 동일한 수준의 혁신을 블록 스토리지 성능에 제공할 Hyperdisk Storage Pool의 고급 성능 유형을 소개합니다. 이제 애플리케이션이 데이터를 읽고 씀에 따라 Hyperdisk Storage Pool이 동적으로 할당하는 IOPS와 처리량을 종합적으로 프로비저닝하여 리소스 사용률을 높이고 성능 계획 및 관리를 대폭 간소화할 수 있습니다.

Google Cloud 콘솔에서 지금 바로 고급 성능 스토리지 풀을 시작할 수 있습니다. 고급 성능 스토리지 풀은 Google Cloud에서 제공하는 Hyperdisk 블록 스토리지 제품군의 일부로, 여기에서 자세히 알아보실 수 있습니다.

난제: 적절한 양의 성능 리소스 프로비저닝하기

많은 고객이 모든 블록 스토리지 성능 리소스를 활용하는 일과 워크로드를 성공적으로 처리하기 위해 필요한 리소스를 확보하는 일 사이에서 균형을 이루는 데 어려움을 느끼고 있습니다. 이러한 상황의 근본 원인은 '피크의 합'이라고도 하는 문제에서 찾을 수 있습니다. 고객은 워크로드의 성능이 저하되지 않게 하기 위해 그동안의 관찰을 바탕으로 블록 스토리지를 최대 성능으로 프로비저닝하는 경우가 많지만, 대부분의 경우 디스크가 소비하는 성능은 이보다 훨씬 적습니다. 이는 디스크의 성능 사용률이 만성적으로 낮다는 의미입니다. 이러한 현상은 아래와 같이 시각화할 수 있습니다.

고급 성능 스토리지 풀을 통해 40~50% 더 낮은 TCO 달성하기

Google Cloud는 이 문제를 해결하기 위해 Hyperdisk Storage Pool의 고급 성능 유형을 마련했습니다. 고급 성능 스토리지 풀을 사용하면 워크로드의 성공적인 처리와 높은 성능 사용률 사이에서 고민할 필요가 없습니다. Hyperdisk Storage Pool의 고급 성능 유형에서는 사용자가 성능을 종합적으로 프로비저닝하고, 스토리지 풀이 필요에 따라 풀 내 디스크 전반에 리소스를 지능적으로 배포합니다. 이때 디스크의 작동 방식을 변경하지 않아도 되므로 애플리케이션이 정상적으로 실행됩니다. 애플리케이션의 성공적인 실행이나 리소스 효율성을 타협하는 일 없이 간편하게 성능 니즈를 계획하고 TCO를 절감할 수 있습니다.

몇 가지 워크로드 예시를 통해 Hyperdisk Storage Pool의 고급 성능 유형으로 어떻게 TCO를 낮출 수 있는지 알아보겠습니다. 최대 25,000IOPS(예: 모든 사용자가 동시에 로그인할 경우)가 필요하지만 안정적인 상태에서는 10,000IOPS가 필요한 엔터프라이즈 애플리케이션 제품군과 최대 75,000IOPS(예: 분기 보고서 제출 마감일인 경우)가 필요하지만 안정적인 상태에서는 35,000IOPS가 필요한 데이터베이스 워크로드가 있다고 가정해 보겠습니다. 풀 외부에서 이러한 워크로드의 성능 사용률은 40~45%일 겁니다. 안정적인 상태에서의 성능은 프로비저닝된 성능의 절반 수준이기 때문입니다. 하지만 Hyperdisk Storage Pool 고급 성능 유형의 동적 리소스 할당을 사용하면 이러한 워크로드를 약 80%의 사용률로 실행할 수 있으며, 고객은 워크로드를 변경할 필요 없이 프로비저닝해야 하는 성능 리소스를 대폭 줄이고 TCO를 40~55% 절감할 수 있습니다.

블록 스토리지 성능 간소화 및 계획

고급 성능 스토리지 풀은 성능 리소스를 프로비저닝하는 방법을 근본적으로 혁신합니다. 지금까지 인프라 관리자는 낮은 사용률을 감수하고 성능을 최적화하는 방안과 애플리케이션 오류의 리스크를 감수하고 효율성을 최적화하는 방안 중 하나를 선택해야 했습니다. 즉, 각 볼륨의 성능을 적극적으로 관리하고 반복적인 관리 업무를 감당해야 했습니다.

Hyperdisk 고급 성능 스토리지 풀은 블록 스토리지 성능 관리를 간단하게 만들어 줍니다. 고급 성능 스토리지 풀의 디스크 IOPS와 처리량은 '씬 프로비저닝'됩니다. 다시 말해, 디스크 수준에서 성능을 프로비저닝할 때 리소스를 소비하지 않으며 풀에 풀 내 디스크의 최대 5배에 달하는 IOPS 및 처리량을 프로비저닝할 수 있습니다. 그러면 더 이상 각 디스크의 성능 니즈를 정확하게 예측할 필요가 없으므로 배포를 계획하기가 쉬워지며, 각 디스크에 할당된 IOPS와 처리량을 적극적으로 관리하지 않아도 되기 때문에 높은 효율성을 달성하게 됩니다. 필요한 만큼 높은 성능을 갖춘 디스크를 간단히 만들고, 필요할 때 고급 성능 스토리지 풀이 리소스를 할당하도록 할 수 있습니다.

고급 성능 스토리지 풀을 초기에 이용한 REWE 같은 고객은 그 가치를 직접 경험했습니다.

"REWE에서는 배포를 계획할 때 애플리케이션의 성능 급증을 예측해야 한다는 고충이 있었습니다. 스토리지 리소스의 성능 사용률을 적극적으로 관리하는 일은 더 어려웠죠. 고급 성능 스토리지 풀 덕분에 이 두 문제를 모두 해결할 수 있었습니다. 인프라에 고급 성능 풀을 도입하여 TCO와 반복 업무를 줄일 수 있게 되어 정말 후련합니다." – Jan Rundshagen, REWE 인프라 관리자

시작하기

Hyperdisk Storage Pool을 만드는 것과 동일한 워크플로를 통해 Hyperdisk 고급 성능 스토리지 풀을 시작할 수 있습니다. Google Cloud 콘솔에 로그인하고 Compute Engine으로 이동해 스토리지를 찾으세요. 그런 다음 스토리지 풀을 만들고 볼륨 유형(균형 또는 처리량)과 고급 성능을 선택하고 풀에 필요한 전체 용량과 성능을 설정합니다. 풀에 새 Hyperdisk 볼륨을 만드는 데에서 시작하면 기존 스토리지 풀처럼 풀의 용량을 공유하는 것은 물론 리소스 전반에 동적으로 성능을 공유할 수 있다는 또 다른 이점이 있습니다.

고급 성능 스토리지 풀을 통해 애플리케이션의 성능 효율성을 달성하고 관리하는 방식을 근본적으로 개선할 수 있기를 바랍니다. Hyperdisk 고급 성능 스토리지 풀은 현재 여러 리전과 영역에 출시되고 있습니다. 지금 바로 Google Cloud 콘솔에서 고급 성능 스토리지 풀 사용을 시작하거나 관련 문서에서 고급 성능 스토리지 풀을 만들고, 사용하고, 관리하는 방법을 자세히 알아보세요.

Google Cloud 6세대 TPU, Trillium 정식 버전 출시 발표

Thu, 16 Jan 2025 05:33:00 +0000

* 본 아티클의 원문은 2024년 12월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

텍스트, 이미지와 같은 다양한 형식을 처리할 수 있는 대규모 AI 모델이 등장하면서 인프라 측면에서 고유한 과제도 생겨났습니다. 이러한 모델은 학습, 파인 튜닝, 추론을 효율적으로 처리하기 위해 막대한 컴퓨팅 성능과 특수한 하드웨어가 필요합니다. Google은 10여 년 전에 증가하는 AI 워크로드 수요에 대응하기 위해 커스텀 AI 가속기인 Tensor Processing Unit(TPU)을 개발하기 시작하면서 멀티모달 AI를 위한 기반을 마련했습니다.

Google Cloud는 올해 6세대이자 현존하는 가장 강력한 TPU인 Trillium을 발표했습니다. 이제 Trillium이 Google Cloud 고객에게 정식 버전으로 출시됩니다.

Google Cloud는 Trillium TPU를 사용하여 역대 가장 강력한 Google AI 모델인 새로운 Gemini 2.0을 학습시켰습니다. 이제 기업과 스타트업 모두 이와 동일한 인프라의 강력한 성능, 효율성, 지속 가능성을 활용할 수 있습니다.

Trillium TPU는 성능에 최적화된 하드웨어, 개방형 소프트웨어, 선도적인 ML 프레임워크, 유연한 소비 모델로 구성된 통합 시스템을 활용하는 획기적인 슈퍼컴퓨터 아키텍처인 Google Cloud AI Hypercomputer의 핵심 구성요소입니다. Google은 Trillium TPU의 정식 버전 출시에 따라 AI Hypercomputer의 개방형 소프트웨어 레이어에도 중요한 개선 사항을 적용하고 있습니다. 이러한 개선 사항에는 AI 학습, 튜닝, 서빙 전반에서 대규모로 최고의 가성비를 달성하기 위한 JAX, PyTorch, TensorFlow 등 인기 있는 프레임워크와 XLA 컴파일러의 최적화 등이 포함됩니다. 또한 대용량 호스트 DRAM을 사용하는 호스트 오프로딩과 같은 기능(고대역폭 메모리, 즉 HBM 보완)은 효율성의 수준을 한 차원 높입니다. AI Hypercomputer를 사용하면 초당 13페타비트의 바이섹션 대역폭을 갖추고 Jupiter 네트워크 패브릭당 100,000여 개의 전례 없는 Trillium 칩 배포로 최대한의 가치를 끌어낼 수 있으며, 이를 통해 단일 분산 학습 작업을 수십만 개의 가속기로 확장할 수 있습니다.

이미 AI21 Labs와 같은 고객사는 Trillium을 사용하여 고객에게 효과적인 AI 솔루션을 더 빠르게 제공하고 있습니다.

“AI21은 Mamba 및 Jamba 언어 모델의 성능과 효율성을 개선하기 위해 지속적으로 노력하고 있습니다. v4부터 오랜 기간 TPU를 사용해 온 입장에서 볼 때 Google Cloud Trillium의 기능은 매우 놀라운 수준입니다. 규모, 속도, 비용 효율성에서 큰 발전을 이루었습니다. 앞으로 Trillium은 정교한 차세대 언어 모델 개발을 앞당기는 데 핵심이 되어 AI21이 더욱 강력하고 접근성 높은 AI 솔루션을 고객에게 제공하도록 지원할 것입니다." - Barak Lenz, AI21 Labs CTO

이전 세대 대비 Trillium의 주요 개선 사항은 다음과 같습니다.

학습 성능 4배 이상 개선
추론 처리량 최대 3배 증가
에너지 효율성 67% 향상
칩당 최대 컴퓨팅 성능의 유의미한 4.7배 증대
고대역폭 메모리(HBM) 용량 두 배 증가
칩 간 상호 연결(ICI) 대역폭 두 배 증가
단일 Jupiter 네트워크 패브릭에 10만 개의 Trillium 칩
달러당 학습 성능 최대 2.5배 개선, 달러당 추론 성능 최대 1.4배 개선

이러한 개선을 통해 Trillium은 다음을 포함한 광범위한 AI 워크로드에서 뛰어난 성능을 발휘합니다.

AI 학습 워크로드 확장
밀집형 및 전문가 망(MoE) 모델을 포함한 LLM 학습
추론 성능 및 컬렉션 예약
임베딩을 많이 사용하는 모델
우수한 학습 및 추론 가성비 제공

이러한 각 워크로드에서 Trillium의 성능을 살펴보겠습니다.

AI 학습 워크로드 확장

Gemini 2.0과 같은 대용량 모델을 학습시키기 위해서는 방대한 데이터와 계산이 필요합니다. Trillium의 선형에 가까운 확장 기능을 통해 이러한 모델을 훨씬 더 빠르게 학습시킬 수 있습니다. 256칩 포드 내 고속 칩 간 상호 연결과 Google Cloud의 첨단 Jupiter 데이터 센터 네트워킹을 통해 연결된 다수의 Trillium 호스트 전반에 워크로드가 효과적이고 효율적으로 분산됩니다. 이를 위해 TPU 멀티슬라이스 및 대규모 학습을 위한 풀 스택 기술이 사용되며, Trillium의 확장 기능은 호스트 어댑터에서 네트워크 패브릭에 이르는 동적 데이터 센터 전체 오프로드 시스템인 Titanium을 통해 더욱 최적화됩니다.

Trillium은 3,072개의 칩이 있는 12개의 포드 배포로 확장 효율성 99%를 달성하며, 데이터 센터 네트워크 전반에서 작동하면서 gpt3-175b를 선행 학습시키는 경우에도 6,144개의 칩이 있는 24개의 포드에서 94%의 확장 효율성을 보여줍니다.

그림 1. 소스 데이터: Google 벤치마크 및 MLPerf™ 4.1. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다.

위 그래프에서는 4슬라이스 Trillium-256 칩 포드를 기준으로 사용하지만 1슬라이스 Trillium-256 칩 포드를 기준으로 사용하더라도 24개의 포드로 확장 시 90%가 넘는 확장 효율성을 얻을 수 있습니다.

Google Cloud의 테스트 결과, Llama-2-70B 모델 학습에서 Trillium은 99%의 확장 효율성을 보이며 4슬라이스 Trillium-256 칩 포드에서 36슬라이스 Trillium-256 칩 포드로 선형에 가깝게 확장한다는 점이 입증되었습니다.

그림 2. 소스 데이터: 4k 시퀀스 길이에서 MaxText 참조 구현을 사용한 Google 벤치마크. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다.

Trillium TPU는 이전 세대에 비해 훨씬 더 높은 확장 효율성을 보입니다. 아래 그래프는 Google Cloud의 테스트 결과, 동일한 규모(총 피크 FLOPS)의 Cloud TPU v5p 클러스터와 비교 시 12포드 규모에서 Trillium의 확장 효율성이 99%임을 보여줍니다.

그림 3. 소스 데이터: Trillium(프리뷰)과 v5p에서 gpt3-175b 학습 작업을 진행한 MLPerf™ 4.1의 학습 종료 결과. 2024년 11월 기준: Trillium과 Cloud TPU v5p의 약한 확장 비교. v5p-4096 및 4xTrillium-256은 배율 측정의 기준으로 간주됩니다. n x Trillium-256은 단일 ICI 도메인에서 256개의 칩이 있는 n개의 Trillium 포드에 해당합니다. v5p-n은 단일 ICI 도메인에서 n/2개의 v5p 칩에 해당합니다.

밀집형 및 전문가 망(MoE) 모델을 포함한 LLM 학습

Gemini와 같은 LLM은 본질적으로 강력하고 복잡하며 수십억 개의 파라미터가 있습니다. 이러한 밀집형 LLM을 학습시키려면 막대한 컴퓨팅 성능과 공동 설계된 소프트웨어 최적화가 필요합니다. Trillium은 이전 세대 Cloud TPU v5e와 비교해 Llama-2-70b 및 gpt3-175b와 같은 밀집형 LLM의 학습 속도를 최대 4배 앞당깁니다.

그림 4. 소스 데이터: v5e 및 Trillium에서 단계 시간 실행에 대한 Google 벤치마크

밀집형 LLM 외에, 전문가 망(MoE) 아키텍처를 사용하는 LLM 학습이 갈수록 인기를 끌고 있습니다. 이 방식에서는 각각 다른 AI 작업 측면에 특화된 여러 '전문가' 신경망이 사용됩니다. 학습 중 이러한 전문가를 관리하고 조율하는 작업은 단일 모놀리식 모델 학습보다 더 복잡합니다. Trillium은 이전 세대 Cloud TPU v5e와 비교해 MoE 모델의 학습 속도를 최대 3.8배 앞당깁니다.

그림 5. 소스 데이터: v5e 및 Trillium에서 단계 시간 실행에 대한 Google 벤치마크

또한 Trillium TPU는 Cloud TPU v5e에 비해 호스트 동적 랜덤 액세스 메모리(DRAM)가 3배 더 많습니다. 이를 통해 일부 계산을 호스트로 오프로드하여 성능 및 굿풋을 대규모로 극대화할 수 있습니다. Trillium의 호스트 오프로딩 기능은 모델 FLOPS 사용률(MFU)로 측정 시 Llama-3.1-405B 모델 학습에서 50% 넘게 성능을 개선합니다.

추론 성능 및 컬렉션 예약

추론 시점에서 다단계 추론의 중요성이 커지면서 늘어난 컴퓨팅 수요를 효율적으로 처리할 수 있는 가속기가 필요해졌습니다. Trillium은 추론 워크로드를 크게 개선하여 더 빠르고 효율적인 AI 모델 배포를 지원합니다. 실제로 Trillium은 이미지 확산 및 밀집형 LLM을 위한 Google Cloud 최고의 TPU 추론 성능을 자랑합니다. Google Cloud의 테스트 결과, Cloud TPU v5e와 비교할 때 Stable Diffusion XL의 상대 추론 처리량(초당 이미지 수)은 3배 넘게, Llama2-70B의 상대 추론 처리량(초당 토큰 수)은 2배 가까이 높은 것으로 나타났습니다.

Trillium은 오프라인과 서버 추론, 두 가지 사용 사례 모두에서 가장 성능이 우수한 TPU입니다. 아래 그래프는 Cloud TPU v5e에 비해 오프라인 추론에서 상대 처리량(초당 이미지 수)은 3.1배, Stable Diffusion XL 서버 추론에서 상대 처리량은 2.9배 더 높은 것을 보여줍니다.

그림 6. 소스 데이터: MaxDiffusion 참조 구현을 사용한 오프라인 및 온라인 SDXL 사용 사례의 초당 이미지 수에 대한 Google 벤치마크

더 나은 성능 외에 Trillium은 새로운 컬렉션 예약 기능도 제공합니다. 이 기능은 컬렉션에 여러 개의 복제본이 있는 경우 Google의 예약 시스템에서 지능적으로 작업 예약에 관한 의사 결정을 내려 추론 워크로드의 전체적인 가용성과 효율성을 높입니다. 이는 Google Kubernetes Engine(GKE)을 통한 방법을 포함하여 단일 호스트 또는 다중 호스트 추론 워크로드를 실행하는 여러 TPU 슬라이스를 관리하기 위한 방법을 제공합니다. 이러한 슬라이스를 하나의 컬렉션으로 그룹화하면 수요에 맞추어 복제본의 수를 간단히 조정할 수 있습니다.

임베딩을 많이 사용하는 모델

3세대 SparseCore가 추가된 Trillium은 임베딩을 많이 사용하는 모델의 성능을 2배, DLRM DCNv2의 성능을 5배 높여줍니다.

SparseCore는 임베딩 사용량이 많은 워크로드를 위해 적응력이 더 높은 아키텍처 기반을 제공하는 Dataflow 프로세서입니다. Trillium의 3세대 SparseCore는 분산 수집, 희소 구간 합, 파티셔닝과 같은 동적이고 데이터 종속적인 작업의 속도를 높이는 데 효과적입니다.

우수한 학습 및 추론 가성비 제공

Trillium은 세계 최대의 AI 워크로드를 학습시키는 데 필요한 절대적인 성능과 규모 외에, 달러당 성능도 최적화하도록 설계되었습니다. 현재 Trillium은 Llama2-70b, Llama3.1-405b와 같은 밀집형 LLM 학습에서 Cloud TPU v5e에 비해 달러당 최대 2.1배, Cloud TPU v5p에 비해 달러당 최대 2.5배 더 높은 성능을 보입니다.

Trillium은 비용 효율적인 방식으로 대규모 모델의 병렬 처리를 지원하는 데 효과적입니다. 연구원과 개발자가 전보다 훨씬 더 낮은 비용으로 견고하고 효율적인 이미지 모델을 제공할 수 있도록 설계되었습니다. Trillium에서 이미지 1,000개를 생성하는 데 드는 비용은 오프라인 추론에서 Cloud TPU v5e에 비해 27% 낮고, SDXL의 서버 추론에서 Cloud TPU v5e보다 22% 낮습니다.

그림 7. 소스 데이터: MaxDiffusion 참조 구현을 사용한 오프라인 및 온라인 SDXL 사용 사례의 초당 이미지 수에 대한 Google 벤치마크

한 차원 더 높은 AI 혁신

Trillium은 Google Cloud의 AI 인프라에서 있어 큰 도약이며, 다양한 AI 워크로드에서 놀라운 성능과 확장성, 효율성을 제공합니다. 세계 최고 수준의 공동 설계 소프트웨어를 기반으로 수십만 개의 칩으로 확장 가능한 Trillium을 사용하면 더 빠르게 혁신을 달성하고 더 우수한 AI 솔루션을 제공할 수 있습니다. 또한 Trillium은 탁월한 가성비를 통해 AI 투자에서 얻는 가치를 극대화하고자 하는 조직에 비용 효율적인 선택지입니다. AI 환경이 계속 발전함에 따라, Trillium은 기업에서 AI의 잠재력을 최대한 끌어내는 데 기반이 되는 첨단 인프라를 제공하기 위한 Google Cloud의 노력을 방증합니다.

앞으로 AI 혁신의 경계를 넓혀 나가는 데 Trillium과 AI Hypercomputer가 어떻게 활용될지 기대됩니다. 다음 발표 동영상에서 Trillium 시스템이 가장 까다로운 AI 워크로드의 속도를 어떻게 높이는지 확인해 보세요.

Trillium TPU에 대해 자세히 알아보려면 g.co/tpu 페이지로 이동하거나 영업팀에 문의하세요.

머신러닝으로 더 빨라지는 5세대 분산 컴퓨팅 시대의 도래

Thu, 14 Mar 2024 01:00:00 +0000

*본 아티클의 원문은 2024년 2월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

Editor’s note: 오늘은 ML, 시스템, Cloud AI 부문 부사장 겸 총괄 책임자인 Google 펠로우 Amin Vahdat의 의견을 들어보겠습니다. Amin은 2023년 워싱턴 대학교 Allen School의 특강 시리즈를 위한 기조 연설로 처음 이 내용을 발표했습니다. 이 게시물에서는 분산 컴퓨팅의 역사와 현재 상황, 그리고 차세대 컴퓨팅 서비스에 대해 기대할 수 있는 부분에 대한 Amin의 생각을 살펴봅니다.

지난 50년에 걸쳐 컴퓨팅과 통신은 용량과 효율성, 기능 측면에서 기하급수적인 성장을 이어가며 사회의 혁신을 이끌었습니다. 이 기간 동안 기술 커뮤니티는 CPU당 트랜지스터의 수를 5,000만 배 늘렸고 인터넷 규모는 4노드에서 53억 9,000만 노드로 성장시켰습니다.

그 자체로도 놀라운 발전이지만, 이러한 발전의 결과로 얻게 된 인간의 능력은 더욱 경이로운 수준에 이르렀으며 그중에는 이전까지 공상과학 소설에나 나왔을 법한 능력도 있습니다. 계속 진화하는 인간의 지식에 이제 거의 즉각적으로 액세스할 수 있습니다. 우리가 이해할 수 있는지가 관건일 뿐 그 외에는 한계가 없습니다. 실시간 언어 번역을 통해 인간 의사소통의 근본적인 장벽을 허물고 있습니다. 감지 기술과 네트워크 속도가 이에 상응하는 수준으로 발전하면서 원거리에서도 의미 있는 상호작용을 지원하는 홀로그래픽 프로젝션 기술을 실시간으로 구현할 수 있게 되었습니다. 컴퓨팅 역량의 이 같은 폭발적인 발전은 당대의 가장 어려운 과학 및 엔지니어링 과제를 해결하고 있는 차세대 AI 시스템을 움직이는 근간이 되고 있기도 합니다. 이러한 시스템은 예를 들어 단백질의 3D 구조를 거의 즉각적으로, 원자 단위의 정확도로 예측하거나 첨단 텍스트 이미지 변환 (text-to-image diffusion)기술을 구현하여 사용자의 프롬프트에 맞는 실사 수준의 고품질 출력을 제공할 수 있습니다.

기반이 되는 기술 발전의 속도를 유지하는 일은 쉽지 않습니다. 우리는 10~15년마다 근본적인 과제에 직면하는데, 인프라 효율성과 규모의 기하급수적인 성장을 유지하고 이를 통해 완전히 새로운 범주의 서비스를 가동하기 위해서는 근원적인 발명과 혁신으로 이 과제를 해결해야 합니다. 마치 1,000개의 요소가 모두 갈수록 더 어려운, 극복해야 할 새로운 근본적인 한계를 드러내면서 혁신의 기회를 창출하는 것과 같습니다. 컴퓨팅에 대한 근본적인 수요가 끝없이 높아지고 있는 지금이 바로 그러한 분수령의 순간, 즉 한 세대에 한 번 있을까 말까 한 과제에 직면하는 순간이자 놀라운 발전 속도를 유지하고 가속할 수 있는 기회의 순간입니다.

컴퓨팅의 역사를 간단히 돌아보면 각각 컴퓨팅의 '세대'를 나름대로 정의할 수 있는 중대한 전환의 시기가 지금까지 4번 있었습니다. 이제 5세대 컴퓨팅을 정의하고 이끌어야 할 분명한 필요성을 지적하는 역사적 분류 체계가 있습니다. 5세대 컴퓨팅은 데이터 중심의, 선언적이고 결과 지향적인 소프트웨어 정의 컴퓨팅으로 사람들에게 선제적으로 인사이트를 제공하는 데 중점을 둡니다. 과거의 각 세대가 그 이전까지 상상할 수 없었던 일상을 만들었다면, 이번 5세대는 지식과 기회에 대한 접근을 범용화하는 가장 큰 변화를 가져올 것입니다. 그러나 이를 위해서는 여러 스택에 걸쳐 컴퓨팅에서 본질적으로 가장 어려운 몇 가지 과제를 극복해야 합니다.

먼저 0세대부터 돌아보겠습니다. 순수주의자들은 그보다 수천 년 더 과거까지 거슬러 올라가야 한다고 주장할 수 있고 그 말도 일리가 있지만, 이 글에서는 1947년부터 1969년 사이에 일어나 현대적인 컴퓨팅과 통신의 토대를 마련한 컴퓨터 과학의 획기적이고 근본적인 발전부터 시작해 보겠습니다.

1947년: 바딘, 브래튼, 쇼클리가 최초의 작동하는 트랜지스터를 발명함
1948년: 섀넌이 모든 네트워크 통신의 기반인 정보 이론을 발표함
1949년: 컴퓨터에 저장된 프로그램이 작동 가능해짐
1956년: 수준 높은 프로그래밍 언어가 발명됨
1964년: 다양한 하드웨어 세대에 걸쳐 공통된 명령 집합 아키텍처가 등장함
1965년: 무어의 법칙(집적 회로당 트랜지스터 수가 18~24개월마다 두 배로 증가한다는 법칙)이 발표됨
1967년: 멀티 사용자 운영체제에서 보호되는 리소스 공유 기능을 제공함
1969년: 현대 인터넷의 기반인 ARPANET이 등장함

0세대의 끝에서 이러한 혁신은 현대적 컴퓨팅의 기반을 마련했습니다. 즉, 안정적인 명령 집합 아키텍처를 실행하는 집적 회로 기반의 컴퓨터 4대, 그리고 패킷 교환식 인터넷에 연결된 멀티 사용자 시간 공유 운영체제입니다. 얼핏 대단치 않아 보이는 이 기준이 이후 이어지는 세대에서의 기하급수적인 발전을 위한 토대가 되었습니다.

1세대에서 컴퓨터 네트워크는 주로 비동기식으로 사용되었습니다. 네트워크를 통해(예를 들어 FTP를 통해) 데이터를 전송하고, 이 데이터로 작업을 수행한 다음, 결과를 돌려보내는 식이었습니다.

주요 발전 사항: SQL, FTP, 이메일, 텔넷(telnet)
컴퓨터 간 상호작용 시간: 100밀리초
특징:
• 대역폭은 낮고, 지연 시간은 높은 네트워크
• 고가의 컴퓨터 간에 쌍방 상호작용은 거의 없음
• 사람과의 문자 키 입력 상호작용
• 오픈소스 소프트웨어의 등장
혁신: 개인용 컴퓨터

2세대에 이르러서는 네트워크 속도의 향상, 개인용 컴퓨터/워크스테이션의 보편화, 광범위하고 상호 운용 가능한 프로토콜(IP, TCP, NFS, HTTP) 덕분에 동기식의 투명한 컴퓨팅과 통신이 널리 확산되었습니다.

주요 발전 사항: 리모트 프로시저 호출, 클라이언트/서버 컴퓨팅, LAN, 리더 선출 및 합의
컴퓨터 간 상호작용 시간: 10밀리초
특징:
• 10Mbps 네트워크
• TCP/IP 덕분에 인터넷 아키텍처가 전역적으로 확장
• 완전한 32비트 CPU가 단일 칩에 탑재
• 여러 컴퓨터 간의 공유 리소스
혁신: 월드 와이드 웹(WWW)

3세대에서는 HTTP와 WWW의 진정한 혁신이 네트워크 컴퓨팅의 대중화를 이끌면서 개인 컴퓨팅의 한계를 돌파했습니다. 인터넷의 지속적이고 기하급수적인 발전과 전 세계 사용자의 니즈에 발맞춰 나가는 과정에서 현대 컴퓨팅의 많은 설계 패턴이 이 시기에 확립되었습니다.

3세대를 이끈 동력 중 하나는 단일 CPU 코어의 최대 클록 주파수를 본질적으로 제한했던 데나드 스케일링의 종말이었습니다. 이러한 한계로 인해 업계에서는 멀티코어 아키텍처를 도입하게 되었고 비동기식, 멀티 스레드, 동시 실행 개발 환경으로 전환해야 했습니다.

주요 발전 사항: HTTP, 3계층 서비스, 대규모 클러스터, 웹 검색
컴퓨터 간 상호작용 시간: 1밀리초
특징:
• 100Mbps~1Gbs 네트워크
• 자율 시스템/BGP
• 복잡한 앱이 더 이상 단일 서버에 맞지 않아 다수의 서버로 확장
• 웹 색인 생성 및 검색, 인구 규모의 이메일
혁신: 클러스터 기반 인터넷 서비스, 모바일 우선 설계, 멀티스레딩, 명령어 수준 병렬 처리

4세대는 보편적인 이동통신 기기를 통해 수십억 명의 사람들이 사용할 수 있는 전 세계적 규모의 서비스를 구현했습니다. 이와 함께 머신러닝의 르네상스는 더 많은 실시간 제어와 인사이트를 이끌어냈습니다. 이 모든 것의 근간은 방대한 데이터 세트를 실시간으로 처리하는, 고속 네트워크로 상호 연결된 대규모 상용 컴퓨터 클러스터였습니다.

주요 발전 사항: 전역적인 모바일 데이터 범위, 전 세계적인 규모의 서비스, 동영상의 보편화
컴퓨터 간 상호작용 시간: 100마이크로초
특징:
• 10~100Gbps 네트워크, 플래시
• CPU 소켓당 여러 개의 코어
• 여러 LAN에 걸쳐 확장되는 인프라(예: GFS, MapReduce, Hadoop)
• 모바일 앱, 전역적인 모바일 데이터 범위
혁신: 주류 머신러닝, 특수한 컴퓨팅 하드웨어를 손쉽게 사용 가능, 클라우드 컴퓨팅

이제 5번째 세대로 전환했으며, 이 세대는 두 가지 상반된 추세의 중첩을 특징으로 합니다. 우선, ASIC당 트랜지스터 수는 계속해서 기하급수적인 속도로 증가하는 반면 클록 속도는 정체되어 있으며 각 트랜지스터의 비용도 거의 일정하게 유지되고 있습니다. 이 두 가지 모두 더 작은 피처 크기를 달성하기 위해 필요한 복잡성과 투자 비용의 증가로 인해 제약을 받고 있습니다. 이는 모든 컴퓨팅, DRAM, 스토리지, 네트워크 인프라의 비용 개선 또는 성능 효율로 정규화된 성능이 일정 수준에 머무르고 있음을 의미합니다. 이와 동시에 보편적인 네트워크 범위, 광범위하게 배포된 센서, 막대한 데이터가 필요한 머신러닝 애플리케이션으로 인해 원시 컴퓨팅 인프라에 대한 수요가 기하급수적으로 증가하고 있습니다.

주요 발전 사항: 머신러닝, 생성형 AI, 개인 정보 보호, 지속 가능성, 사회적 인프라
컴퓨터 간 상호작용 시간: 10마이크로초
특징:
• 200Gbps~1+Tb/s 네트워크• 전력 효율적인 고속 무선 네트워크를 어디서나 사용 가능
• 갈수록 전문화되는 가속기: TPU, GPU, 스마트 NIC
• 소켓 수준의 패브릭, 광학 기술, 연합형 아키텍처
• 연결된 공간, 차량, 어플라이언스, 웨어러블 등
혁신: 수많은 혁신이 예상됨

컴퓨팅 설계 및 조직에 대한 근본적인 혁신이 없다면 컴퓨팅 인프라에 대한 사회적 수요를 충족하는 기술 커뮤니티의 능력은 흔들리게 될 것입니다. 이러한 한계를 극복하기 위한 새로운 아키텍처와 함께 새로운 하드웨어, 그리고 갈수록 비중이 커지는 소프트웨어 아키텍처가 컴퓨팅의 5번째 세대를 정의하게 될 것입니다.

이 5번째 컴퓨팅 세대에 어떤 혁신이 이루어질지 예측할 수는 없지만 이전의 각 세대에 걸쳐 보안과 안정성을 개선하면서 규모와 효율성, 가격 대비 성능이 100배 이상 향상되었다는 점은 분명합니다. 규모와 용량에 대한 수요가 계속해서 증가하고 있기 때문에 무어의 법칙과 데나드 스케일링이라는 순풍이 없다면 이러한 성과를 달성하기는 어려울 것입니다. 다만 다음과 같은 폭넓은 움직임이 나타날 것으로 예상됩니다.

선언적 프로그래밍 모델: 전용 프로세서에서 순차적으로 코드를 실행하는 폰 노이만 모델은 수십년 동안 개발자들에게 매우 유용했습니다. 그러나 분산 및 멀티 스레드 컴퓨팅의 부상으로 추상화가 깨지면서 현대의 명령형 코드 대부분은 비동기성, 이기종성, 꼬리 지연 시간, 낙관적 동시 실행, 장애를 관리하기 위해 방어적이고 종종 비효율적인 구조에 집중하게 되었습니다. 앞으로도 복잡성은 계속 증가할 것이므로 의도, 사용자, 비즈니스 로직에 집중하는 새로운 선언적 프로그래밍 모델이 필요합니다. 이와 동시에, 실행 흐름을 관리하고 변화하는 배포 조건에 대응하는 작업은 갈수록 정교해지는 컴파일러와 ML 기반 런타임에 위임해야 합니다.
하드웨어 세분화: 이전 세대에서는 CPU, 메모리, 스토리지, 네트워킹이 균형을 이룬 시스템을 사용한 범용 서버 아키텍처가 데이터 센터 전반의 워크로드 니즈를 효율적으로 충족할 수 있었습니다. 그러나 전문적인 컴퓨팅 니즈와 ML 학습, 추론, 동영상 처리에 맞게 설계하는 경우 스토리지, 메모리 용량, 지연 시간, 대역폭, 통신을 위한 요구사항이 상충하게 되고 이로 인해 이기종 설계가 급격히 확산됩니다. 범용 컴퓨팅 성능이 매년 1.5배씩 개선되었을 때는 워크로드의 10%에 대해 5배의 개선을 추구한다는 것은 복잡성을 감안할 때 타당하지 않았습니다. 그러나 지금은 이러한 개선을 더 이상 무시할 수 없습니다. 이 간극을 해소하기 위해서는 구성 가능한 하드웨어 ASIC 및 메모리 유닛을 몇 년이 아닌 몇 개월 내에 설계, 확인, 검증, 배포하기 위한 새로운 접근 방법이 필요합니다.
소프트웨어 정의 인프라: 기반 인프라가 더 복잡해지고 더 분산되면서 메모리부터 CPU에 이르기까지 여러 가상화 계층이 개별 애플리케이션에 대해 단일 서버 추상화를 유지해 왔습니다. 인프라가 계속해서 수평 확장되고 더욱 이기종화됨에 따라 이러한 추세는 향후 세대에도 계속될 것입니다. 하드웨어 세분화, 선언적 프로그래밍 모델, 수천 개의 서버로 구성된 분산 컴퓨팅 환경의 필연적인 결과로 가상화는 개별 서버의 한계를 넘어 단일 서버, 여러 서버, 스토리지/메모리 배열, 클러스터에서 분산 컴퓨팅을 포함하도록 확장되며, 때에 따라서는 최종 결과를 효율적으로 제공하기 위해 캠퍼스 전체의 리소스를 한데 모으게 될 것입니다.
검증 가능한 보안 컴퓨팅: 지난 세대에서는 컴퓨팅을 효율적으로 유지해야 할 필요성으로 인해 의도하지 않게 보안과 안정성을 희생시켰습니다. 그러나 사람들의 일상이 갈수록 온라인으로 옮겨가면서 개인과 기업, 정부를 불문하고 개인 정보 보호와 기밀 유지에 대한 필요성도 급격히 증가하고 있습니다. 정부 정책을 준수하기 위해서뿐만 아니라 갈수록 증가하는 ML 생성 콘텐츠의 계보를 투명하게 공개하기 위해서도 데이터 주권, 즉 데이터(파생된 데이터까지)의 물리적인 위치를 제한해야 할 필요성이 점점 더 높아질 것입니다. 기본 성능에 얼마간의 희생이 따르더라도 이를 가장 중요한 요구사항이자 제약조건으로 여겨야 합니다.
지속 가능성: 컴퓨팅의 처음 3개 세대에서는 고정 전력 대비 기하급수적인 성능 개선이 이루어졌습니다. 4세대에 이르러 데나드 스케일링이 끝나면서 컴퓨팅과 관련된 전 세계 전력 소비량이 빠르게 증가했고, 이러한 증가분의 일부는 이전의 온프레미스 설계에 비해 전력 효율성이 2~3배 더 높은 클라우드 호스팅 인프라로의 전환을 통해 상쇄되었습니다. 또한 클라우드 제공업체들은 탄소 중립을 먼저 달성한 다음 무탄소 전원으로 전환하기 위한 광범위한 작업에 착수했습니다. 그러나 5세대에서는 데이터와 컴퓨팅에 대한 수요가 계속 증가할 것이며, 그 속도도 더 빨라질 가능성이 높습니다. 따라서 전력 효율성과 탄소 배출이 가장 중요한 시스템 평가 측정항목이 될 것입니다. 특히 인프라 구축과 제공의 수명 주기 전체에 걸친 내재 탄소에 대해 더 나은 가시성과 최적화가 필요하게 됩니다.
알고리즘 혁신: 기하급수적인 성능 향상이라는 순풍으로 인해 이제까지 소프트웨어의 효율성 개선이 무시되는 경우가 많았습니다. 기반 하드웨어 구성요소의 개선 속도가 느려지면서 앞으로는 소프트웨어와 알고리즘 기회로 초점이 옮겨갈 것입니다. 연구에 따르면 시스템 코드에는 소프트웨어 최적화를 2~10배 개선할 기회가 많다고 합니다. 이와 같은 소프트웨어 최적화 기회를 효율적으로 파악하고, 그에 따른 혜택을 프로덕션 시스템에 대규모로 원활하게 안정적으로 전달하기 위한 기법을 개발하는 일이 중요한 기회가 될 것입니다. 최근 코딩 LLM의 혁신을 활용하여 이 작업을 부분적으로 자동화하면 5세대의 큰 촉진제가 될 것입니다.

결국 5세대에서 가장 중요한 것은 MIPS당 비용, DRAM GB당 비용, Gb/s당 비용 등 낮은 수준의 구성요소별 측정값보다는 전체적인 사용자-시스템 효율성(초당 유용한 응답 수)이 될 것입니다. 또한 효율성 단위도 단순히 단위 비용당 성능으로 측정되는 것이 아니라 전력 소비와 탄소 배출을 명시적으로 반영하고 보안과 개인 정보 보호를 주 측정항목으로 사용하면서 사회의 의존도가 갈수록 높아지는 인프라에 대한 신뢰성 요구사항을 반영하게 될 것입니다. 종합적으로 보면 차세대 인프라를 제공하기 위한 아직 활용되지 않은 기회가 많이 있습니다.

하드웨어와 소프트웨어 전반에 분산 인프라의 수평 확장 효율성을 10배 이상 높일 수 있는 기회
소프트웨어 정의 인프라를 통해 애플리케이션 균형점, 즉 컴퓨팅, 가속기, 메모리, 스토리지, 네트워크와 같은 다양한 시스템 리소스 간의 비율을 맞추는 데 있어 또 다른 10배의 기회
기존의 획일적인 범용 컴퓨팅 아키텍처 대비 차세대 가속기 및 세그먼트별 하드웨어 구성요소에서 10배 이상의 기회
마지막으로, 정량화하기 어렵지만 개발자 생산성을 향상시키는 동시에 대폭 개선된 안정성과 보안을 제공하기 위한 절대적으로 중요한 기회

이러한 추세를 종합해 보면 지금은 차세대 인프라 서비스를 정의하고 차세대 컴퓨팅 서비스를 실현할 또 다른 극적인 1,000배의 효율성 향상을 목전에 둔 시점입니다. 그리고 이것은 아마도 멀티모달 모델과 생성형 AI의 혁신을 중심으로 이루어질 가능성이 높습니다. 차세대 컴퓨팅의 의미를 정의, 설계, 배포할 기회는 자주 오지 않습니다. 이 5번째 세대의 구조적 변화는 아마도 역사상 가장 큰 기술적 변화와 과제를 수반할 것입니다. 이에 대응하기 위해서는 컴퓨팅의 초창기 시절부터 지금까지는 볼 수 없었던 수준의 책임감과 협업, 비전이 필요할 것입니다.

Google Cloud로 데이터 디스크를 제대로 그리고 쉽게 마이그레이션하는 방법

Mon, 18 Dec 2023 01:00:00 +0000

*본 아티클의 원문은 2023년 11월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터 디스크 마이그레이션은 한 스토리지 기기에서 다른 스토리지 기기로 데이터를 전송하는 프로세스입니다. 실제 기기나 가상 머신 간에 데이터를 이동하거나 온프레미스 솔루션에서 클라우드 기반 플랫폼으로 전환하는 작업도 여기에 포함될 수 있습니다. 데이터 디스크 마이그레이션의 궁극적인 목표는 데이터 무결성, 보안 또는 접근성의 저하 없이 원활하게 전환하는 것입니다. 이 블로그 게시물에서는 Google Cloud 마이그레이션 센터에 내장된 Migrate to Virtual Machines를 사용해 쉽고 빠르게 데이터 디스크를 Google Cloud로 마이그레이션하는 방법을 설명합니다.

데이터 디스크 마이그레이션이 중요한 이유

최신 OS로 업그레이드: 지원되지 않는 운영체제는 공식 업데이트, 보안 패치, 기술 지원이 더이상 제공되지 않기 때문에 심각한 위협이 됩니다. 이로 인해 시스템이 사이버 위협, 호환성 문제, 규정 미준수에 취약해지며, 혁신이 저해되고 기능이 저하됩니다.
디스크 마이그레이션에는 지원되지 않는 오래된 운영체제에서 지원되는 최신 운영체제로 데이터를 전송하는 작업이 포함됩니다.
현대화: 기술이 발전하면서 오래된 스토리지 기기에서 병목 현상이 발생해 성능과 용량이 제한될 수 있습니다. 데이터 디스크 마이그레이션으로 보다 효율적인 최신 하드웨어를 활용할 수 있습니다.
데이터 보호: 오래된 스토리지 기기는 장애 및 데이터 손실에 더 취약합니다. 데이터를 최신 플랫폼으로 마이그레이션하면 이러한 위험을 완화하고 안전을 보장하는 데 도움이 됩니다.
성능 향상: 최신 스토리지 기술은 대체로 개선된 읽기 및 쓰기 속도를 제공하므로 시스템 성능이 향상되고 애플리케이션 액세스 시간이 단축됩니다.
확장성: 데이터 디스크 마이그레이션을 통해 스토리지 인프라를 용이하게 확장할 수 있습니다. 따라서 효율성 저하 없이 데이터 수요 증가에 대응할 수 있습니다.

Google Cloud 디스크 마이그레이션

Google Cloud에서는 마이그레이션 센터에 직접 Migrate to Virtual Machines를 통합하여 디스크 마이그레이션의 부담을 줄여 드립니다. 디스크 마이그레이션을 위한 이 강력하고도 효과적인 솔루션은 클라우드 마이그레이션 기술을 활용하여 클라우드 환경과의 호환성에 관계없이 OS 디스크 또는 데이터 디스크를 원활하게 마이그레이션해 줍니다. 운영체제 업데이트나 하드웨어 업그레이드와 같은 과제에 직면했을 때 적용할 수 있는 최상의 솔루션입니다.

유연성과 개방성을 위한 Google Cloud의 지속적인 노력이 반영된 Migrate to Virtual Machines는 VMware 및 기타 클라우드 서비스 제공업체들을 포함한 늘어나는 마이그레이션 소스들과 연결합니다. 예를 들어 기존 Linux 배포판이나 이전 Windows 버전(W2003, W2008, W2012)에서 실행되는 광범위한 가상 머신을 관리한다고 생각해 보세요. 바로 이런 경우에 Migrate to Virtual Machines의 디스크 마이그레이션 기능이 지닌 강점이 발휘됩니다. 소스 워크로드 디스크를 선택적으로 마이그레이션한 후 지원되는 운영체제에 연결하여 워크로드 인프라를 효과적으로 현대화할 수 있습니다.

작동 방식

디스크 마이그레이션 프로세스의 단계는 다음과 같습니다.

먼저 디스크를 마이그레이션할 VM을 온보딩해야 합니다.

다음 예시는 로컬 VMware 데이터 센터에서 호스팅되는 VM입니다. 이 VM을 선택해 GCP 마이그레이션 서비스에 온보딩합니다.

그런 다음 복제를 시작할 수 있습니다.

VM이 마이그레이션 서비스에 온보딩되는 즉시 소스 VM의 디스크에서 Google Cloud에 있는 Persistent Disk 볼륨으로 데이터 복제를 시작할 수 있습니다. 데이터 복제는 최종 컷오버(cutover)를 수행하거나 마이그레이션을 삭제할 때까지 백그라운드에서 계속 진행되는 프로세스입니다.

Monitoring도 활용할 수 있습니다.

VM을 클릭해 디스크 복제 상태, 예상 완료 시간, 기타 디스크 마이그레이션 관련 세부정보를 확인할 수 있는 상세 뷰를 열어 자세한 내용을 살펴보세요.

복제가 진행되는 동안 미리 디스크의 대상(target) 세부정보를 설정할 수 있습니다. 호스팅 프로젝트(리전 및 영역), 디스크 유형 등 마이그레이션된 디스크의 설정을 구성하세요.

그러면 시간을 절약할 수 있고 컷오버 날짜가 다가올 때 서두르지 않아도 됩니다.

복제 주기를 조정하여 점진적 변경사항의 누적 데이터 피크와 동기화되도록 할 수도 있습니다.

요약

Migrate to Virtual Machines 디스크 마이그레이션 기능은 모든 소스 VM에서 Google Cloud 디스크 스토리지로 컴퓨팅 디스크를 원활하게 마이그레이션할 수 있는 새로운 기능입니다. 이 기능은 Migrate to Virtual Machines의 원활한 에이전트리스 마이그레이션 기능을 활용하므로 소스 워크로드가 중단되지 않으며 정기적인 복제 주기 및 빠른 컷오버 시간과 같은 이점을 제공합니다.

이 기능은 개별 디스크 수준으로 마이그레이션 정밀도를 높이므로 워크로드를 다른 운영체제로 손쉽게 전환하거나 전체 데이터 스토어를 새 플랫폼으로 전송하는 등 혁신적으로 사용할 수 있습니다.

시작할 준비가 되셨나요? 마이그레이션 센터에서 Migrate to Virtual Machines가 포함된 마이그레이션 및 현대화를 위한 Google Cloud의 중앙 집중식 엔드 투 엔드 허브를 살펴보세요. 아직 확신이 생기지 않는다면 마이그레이션 센터에 대한 이 3분 길이의 동영상을 시청하거나 Google Cloud의 무료 IT 탐색 및 평가를 신청하여 귀사의 IT 환경을 정확히 파악하고 성공적인 마이그레이션 방법을 알아보세요.

멀티슬라이스를 사용하여 AI 학습을 최대 수만 개의 Cloud TPU 칩으로 확장하는 방법

Fri, 10 Nov 2023 06:00:00 +0000

가장 큰 규모의 생성형 AI 모델은 수천억 개 이상의 파라미터와 수조 개의 토큰을 사용하여 학습합니다. 이러한 모델의 경우 학습 을 몇 주 이내로 완료하기 위해서는 수십 EFLOPS(10^18FLOPS)의 AI 슈퍼컴퓨팅이 필요합니다. 이 성능을 달성하기 위해서는 수만 개의 가속기가 병렬적으로 작동해야 합니다. 그러나 대부분의 대규모 분산학습 솔루션에는 정교한 코딩과 튜닝 등의 수작업이 요구되어, 범용적이지 못하며 학습 성능을 선형적으로 향상시키기 어렵게 만듭니다.

Google Cloud는 이 문제를 해결하기 위해 이번 주 Google Cloud Next에서 멀티슬라이스 기술을 발표했습니다. 멀티슬라이스는 최대 수만 개의 Cloud 텐서 처리 장치(TPU) 칩에 걸쳐 모델 학습을 쉽고 비용 효율적으로 확장할 수 있게 해주는 풀 스택 대규모 학습 기술입니다. 지금까지는 모델 학습시 칩 간 상호 연결(ICI)을 통해 연결되는 TPU 칩들의 묶음인 슬라이스를 최대 하나만 사용할 수 있었습니다. 이는 한 개의 슬라이스 내에 연결가능한 최대 TPU v4 칩은 3,072개 이므로 Cloud TPU를 이용한 분산 학습시 한번에 활용가능한 최대 칩 수는 3,072개 였음을 의미합니다. 그러나멀티슬라이스를 활용하면 Cloud TPU를 이용한 분산 학습 시 한 번에 두 개 이상의 슬라이스를 병렬적으로 연결할 수 있습니다. 이 때 서로 다른 포드에 위치하는 슬라이스 간에는 데이터 센터 네크워킹(DCN)을 통해 통신합니다.

한 포드의 슬라이스가 멀티슬라이스 구성을 통해 다른 포드의 슬라이스와 통신합니다.

요약하면, 멀티슬라이스는 다음과 같은 이점을 제공할 수 있습니다.

단일 슬라이스에서 최대 수만 개의 칩이 포함된 다중 슬라이스까지 선형에 가까운 성능 확장 으로 대규모 모델 학습 용이
코드를 거의 수정하지 않고 간단한 설정으로 개발자 생산성 향상
자동 컴파일러 최적화를 활용하여 시간 절약
TPU v4에 비해 LLM 학습에 최대 2배 더 높은 가격 대비 성능을 제공하는 TPU v5e를 통해 비용 효율성 극대화
TPU v5e 및 TPU v4를 각각 사용하는 8칩 ICI 도메인 시스템에 비해 최대 2~24배 더 높은 피크 FLOPS 예산에 액세스

“멀티슬라이스 Cloud TPU v5e를 포함한 Google Cloud의 차세대 AI 인프라는 가격 대비 성능 측면에서 자사 워크로드에 놀라운 이점을 제공할 것입니다. 향후 Google Cloud에서 차세대 AI를 구축하게 되기를 기대합니다.”—Tom Brown, Co-Founder, Anthropic

멀티슬라이스의 작동 방식

멀티슬라이스 구성으로 배포되는 경우 각 슬라이스 내의 TPU 칩은 고속 ICI를 통해 통신합니다. 또한 서로 다른 슬라이스 내의 TPU 칩들은 Google Cloud의 Jupiter 데이터 센터 네트워크를 통해 통신합니다. 예를 들어 Data Parallelism 학습 시 Activation 값들은 단일 슬라이스 내에서의 통신인 ICI를 통해 계속 전달되지만 경사하강은 DCN을 통해 일어납니다.

멀티슬라이스를 사용한 Data Parallelism

멀티슬라이스 기술은 단일 포드 내 슬라이스간 연결과 서로 다른 포드 내 슬라이스간의 연결을 모두 지원하여 다양한 병렬화 기법에 적용할 수 있습니다. Dense Decoder와 Diffusion Model을 포함한 대부분의 모델 학습에는 Data Parallelism(DP)만으로 충분하지만, 그 이상의 거대 모델이나 대규모 데이터를 위해 멀티슬라이스에서는 Fully Sharded Data Parallelism(FSDP), Model Parallelism(MP), Pipeline Parallelism(PP)까지 모두 도 지원합니다. 고급 최적화 및 샤딩 전략에 대한 더 자세한 내용은 멀티슬라이스 사용자 가이드를 참조하세요.

개발자는 슬라이스 간 DCN 통신을 위해 추가적인 코드를 작성할 필요가 없습니다. XLA 컴파일러가 최대 성능을 위한 코드 변환 및 최적화를 자동으로 수행해줍니다.

2배 이상 더 높은 시스템 규모 달성

소프트웨어의 확장은 하드웨어에 의해 제한됩니다. 가속기에서 구동되는 소프트웨어 시스템은 FLOPS 예산까지만 확장이 가능합니다. 그 이상의 확장은 통신 병목 현상으로 인해 성능이 제한됩니다. 즉, 효과적인 확장을 위해서는 하드웨어 시스템 자체가 확장을 지원해야 합니다. Cloud TPU 시스템의 대규모 ICI 도메인은 통신 병목 현상 없이 8칩 ICI 도메인을 사용하는 기존 시스템보다 최대 24배 더 높은 최대 FLOPS를 달성하는 데 도움이 됩니다.

이것을 더 잘 이해하려면 ICI 도메인의 개념을 이해해야합니다. 하드웨어 가속기에서 고속 ICI로 연결할 수 있는 최대 칩 수를ICI 도메인이라고 합니다. TPU v4 포드의 ICI 도메인은 3,072칩이고, TPU v5e 포드의 경우에는 256칩 입니다.

P를 확장할 수 있는 최대 FLOPS로 정의해 보겠습니다. DP 및 FSDP를 사용하는 Dense LLM의 ICI 도메인 당 최소 배치 크기는 DCN의 Arithmetic Intensity와 같습니다. 이러한 모델의 경우 DCN의 Arithmetic Intensity는 칩당 DCN 대역폭에 대한 칩당 FLOPS의 비율로 근사할 수 있습니다. 그러면 P는 다음과 같습니다.

이는 총 피크 FLOPS 관점에서 시스템의 최대 규모는 칩당 사용 가능한 DCN 대역폭, ICI 도메인의 크기 및 글로벌 배치 크기에 의해 결정된다는 것을 보여줍니다.

통신 병목 현상이 없는 상황에서 ICI 도메인 크기가 시스템의 최대 규모에 미치는 영향을 알아보기 위해 모델을 32M 크기의 전역배치로 학습하는 시스템들의 예시를 살펴보겠습니다.

기본적으로 8칩 ICI 도메인이 있는 시스템이 기존의 고속 DCN 기술을 사용하여 400Gbps/칩의 속도로 DCN을 통해 통신한다고 가정해 보겠습니다.

여기서 이 시스템이 성능 저하 없이 실현할 수 있는 가장 높은 총 피크 FLOPS는 P₈ = 12.8 EFLOPS 입니다.

TPU 포드는 더 높은 ICI 도메인 값을 가지므로 DCN을 통해 전송되는 바이트당 Arithmetic Intensity를 증가시킬 수 있습니다. ICI 도메인당 256칩과 칩당 25Gbps의 DCN 대역폭을 갖춘 TPU v5e 포드의 경우 P₂₅₆ = 25.6 EFLOPS 입니다.

ICI 도메인당 3,027칩과 칩당 25Gbps의 DCN 대역폭을 갖춘 TPU v4 포드의 경우 P₃₀₇₂ = 307.2 EFLOPS 입니다.

따라서, TPU v5e 시스템과 TPU v4 시스템은 8칩 ICI 도메인 및 칩당 400Gbps의 DCN 대역폭을 갖춘 시스템에 비해 각각 최대 2배, 24배 더 큰 규모를 달성할 수 있게 해줍니다.

“Google DeepMind 및 Research는 멀티슬라이스 구성을 활용하여—TPU v4와 비슷한 탁월한 확장 효율성으로—수천 개의 TPU v5e 칩 위에서 LLM 사용 사례를 위한 모델을 포함한 여러번의 모델 학습을 성공적으로 수행했습니다. ”—Jeff Dean, Chief Scientist, Google

TPU v5e의 경우 최대 수만 개의 칩까지 선형에 가깝게 확장

멀티슬라이스 성능을 단일 슬라이스 성능과 비교하기 위해, 피크 FLOPS에서 작동하는 시스템의 이론상 최대 처리량 대비 관측된 처리량(초당 토큰 수)의 비율로 정의되는 지표인 Model FLOPS Utilization (MFU)을 사용할 수 있습니다.

멀티슬라이스 구성으로 다중 슬라이스를 사용하는 TPU 학습 시에도 컴파일러 최적화를 통해 단일 슬라이스를 사용하는 학습 시와 동일한 MFU Rate을 달성할 수 있습니다. 다음은 몇 가지 예입니다.

역전파와 중첩되는 FSDP의 경사 감소
통신 토폴로지를 기반으로 기존 집합체를 해체하는 특수 계층 구조 집합체

또한 다른 가속기와 달리 TPU 칩은 스로틀링 없이 피크 FLOPS를 유지할 수 있으므로 더 높은 FLOPS와 MFU Rate을 달성할 수 있습니다.

멀티슬라이스 구성을 통해 수천억 개의 파라미터로 구성된 생성형 AI 모델을 학습시킬 수 있으며, TPU v4에서 수십억 개의 파라미터를 갖는 모델 학습 시 최대 58.9% MFU를 보여줍니다.

사용되는 포드 수가 증가함에 따라 배치 크기가 증가하는 현상을 의미하는 약한 확장(Weak Scaling) 으로 TPU v5e¹에서 GPT-3 175B의 학습 성능을 측정한 결과, 선형에 가까운 성능 확장 추세를 보입니다.

멀티슬라이스 구성을 통한 v5e의 선형에 가까운 확장

사용하기 쉬운 Cloud TPU의 멀티슬라이스

분산학습을 위한 통신 레이어를 직접 관리하는 일은 복잡하므로 개발자 생산성을 저하시킬 수 있습니다. 멀티슬라이스는 최적화된 소프트웨어 스택을 이용해 분산학습을 위한 확장 과정을 단순화합니다. 따라서 사용자는 복잡한 인프라 관리보다 AI 모델 학습 자체에 집중할 수 있으며, 이로 인해 대규모 학습 시에도 우수한 개발자 경험을 제공합니다. 멀티슬라이스 구성시에도 단일 슬라이스를 활용한 학습시와 동일한 프로파일링 및 오케스트레이션 도구를 사용하여 설정에 걸리는 시간을 단축할 수 있습니다.

Cloud TPU 멀티슬라이스는 네트워크, 런타임, 스케줄러, 프레임워크 및 오케스트레이션 기능을 풀스택으로 제공합니다

GSPMD를 사용하면 샤딩 축을 조작하여 Tensor Parallelism, Data Parallelism, FSDP Parallelism 간의 전환을 통해 2개의 슬라이스에서 2,000개의 슬라이스까지 확장할 수 있습니다. 멀티슬라이스 워크로드를 위해 개량된 런타임과 인프라를 통해 JAX 및 PyTorch 모델의 DCN을 통한 모델 샤딩을 가능케 했습니다.

멀티슬라이스로 DCN에 대한 새로운 샤딩 차원 도입

GSPMD 용어인 mesh는 모델의 행렬 연산을 분산처리할 수 있는 디바이스들의 논리적인 묶음을 의미합니다:

code_block: <ListValue: [StructValue([('code', 'dcn_parallelism = [config.dcn_data_parallelism, config.dcn_fsdp_parallelism, config.dcn_tensor_parallelism]\r\nici_parallelism = [config.ici_data_parallelism, config.ici_fsdp_parallelism, config.ici_tensor_parallelism]\r\n\r\nif multi_slice_env:\r\n mesh = mesh_utils.create_hybrid_device_mesh(ici_parallelism, dcn_parallelism)\r\nelse:\r\n mesh = mesh_utils.create_device_mesh(ici_parallelism)'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f49762e26a0>)])]>

아래의 테이블은 DCN을 분산의 축으로 두개의 슬라이스에서 Data Parallelism을 설정하는 예시입니다.

이러한 유형의 분산학습을 위한 설정시 필요한 값을 찾는 과정은 매우 간단합니다. dcn_parallelism 변수와 icn_parallelism 변수의 곱이 전체 칩 수와 동일하게 설정해주면 됩니다.

또한 XLA 컴파일러는 기반이 되는 하이브리드 DCN/ICI 네트워크 토폴로지를 이해하여 자동으로 적절한 계층 구조 집합체를 삽입하고, 나아가 단일 슬라이스 작업을 멀티슬라이스 계층 구조 집합체로 변환하여 컴퓨팅 통신 중첩을 개선할 수도 있습니다.

AllReduce 작업을 예를 들어 보겠습니다. XLA 컴파일러는 자동으로 이를 3단계 계층 구조 집합체로 분해합니다.

XLA 컴파일러는 AllReduce를 계층 구조 집합체로 자동으로 분해합니다.

“멀티슬라이스 학습은 획기적입니다. 멀티슬라이스 덕분에 데이터 센터 네트워킹(DCN)을 통해ML 워크로드를 여러 슬라이스에 걸쳐 손쉽게 확장할 수 있었습니다. JAX XLA는 이를 쉽게 설정할 수 있게 해주었으며 높은 성능을 제공했습니다.”—Myle Ott, Co-founder, Character AI

멀티슬라이스는 JAX 및 PyTorch 프레임워크를 지원합니다. JAX 및 PyTorch 모델을 위한 컴파일러 외에도 멀티슬라이스를 위한 높은 성능의 LLM인 MaxText와 프레임워크인 PAX가 같이 제공됩니다. 이를 통해 Python 및 JAX로 작성된 다수의 검증된 예제 코드로부터 시작할 수 있습니다. PAX는 거대 모델의 학습을 위한 프레임워크로, 완전히 커스터마이즈 된 학습 및 실험이 가능하며, 업계 최고의 입증된 MFU Rate을 제공합니다. MaxText는 fork 및 적은 수준의 커스터마이즈를 위한 미니멀한 프레임워크입니다. 멀티슬라이스 구동을 위해서는 단일 슬라이스에서 구동되는 코드에 DCN을 통한 샤딩만 추가로 설정해주면 됩니다.

고성능 네트워킹

멀티슬라이스는 Google의 Jupiter 데이터 센터 네트워크를 통해 AllReduce, Broadcast, Reduce, AllGather 및 ReduceScatter 집단 통신 작업을 지원합니다. 2022년 8월에 보고된 바와 같이 Jupiter는 이전 세대의 Google 데이터 센터 네트워크에 비해 흐름 완료를 10% 줄이고, 처리량을 30% 개선하고, 전력 사용량을 40% 줄이고, capex를 30% 절감하며, 다운타임은 50배나 줄였습니다.³

손쉬운 관리

멀티슬라이스 작업을 관리하기 위한 옵션은 두 가지입니다. Compute Engine Queued Resource CLI 및 API를 사용하는 옵션, 그리고 Google Kubernetes Engine(GKE)을 통한 옵션입니다.

슬라이스 컬렉션을 한번에삭제하거나 생성할 수 있게 해주는 특수 옵션도 있습니다. 또한 빠른 복구를 통해 개별 슬라이스가 중단되더라도 작업을 신속하게 다시 시작할 수 있습니다.

안정성과 내결함성

개발 슬라이스에 장애가 발생한다 해도 모델 학습 작업은 이전 체크포인트에서 자동으로 다시 시작됩니다. 멀티슬라이스를 GKE와 함께 사용하면 장애 복구 환경이 더욱 개선됩니다. yaml 파일의 필드 하나만 변경하면 오류 발생 시 자동 재시도가 구현되도록 할 수 있습니다.

“Google Cloud의 TPU 멀티슬라이스를 통해 곧바로 상당한 생산성 및 효율성 개선 효과를 볼 수 있었고, 덕분에 언어 모델 학습을 안정적으로 확장할 수 있었습니다. 대규모 생성형 언어 AI 모델을 구축한다면 멀티슬라이스를 권장합니다."—Emad Mostaque, CEO, Stability AI

시작하기

멀티슬라이스는 효율적인 대규모 AI 모델 학습을 지원하도록 만들어졌습니다. AI 워크로드를 확장하려면 하드웨어와 소프트웨어가 상호 조화롭게 작동해야 합니다. Google Cloud는 평소 AI 개발 생산성을 가장 중시해 왔습니다. 이번에 Cloud TPU v4와 새로 발표된 Cloud TPU v5e에서 미리보기로 멀티슬라이스를 사용할 수 있다는 소식을 전하게 되어 기쁩니다.

더 자세히 알아보고 Cloud TPU를 멀티슬라이스와 함께 사용해 보려면 Google Cloud 계정 담당자에게 문의하세요(PAX 및 MaxText 사용).

^{1. Google internal data as of August, 2023
2. Google internal data as of August, 2023
3. Google internal data as of August, 2023}

예정된 대형 이벤트 시기의 Compute Engine 을 확보하는 방법

Wed, 08 Nov 2023 06:00:00 +0000

*본 아티클의 원문은 2023년 9월 15일 Google Cloud 블로그(영문)에 게재되었습니다.

세일즈 프로모션, 연말연시 쇼핑 기간, 게임 출시, 회계 연도 결산 등 예정된 중요한 대형 이벤트에 앞서 클라우드 용량을 확보하는 방법이 궁금하지 않으셨나요? 아니면 Compute Engine에 온보딩하거나, 머신 제품군 또는 클라우드 리전을 마이그레이션하거나, GPU 기반 가속기 또는 메모리 최적화 머신에 대한 액세스를 보호하는 등의 작업을 수행하기 위해 컴퓨팅 용량이 필요할 것으로 계획하셨을 겁니다. 이제 Compute Engine에서 공개 프리뷰 버전으로 출시된 새로운 Future Reservations 기능으로 미래의 작업일에 맞춰 컴퓨팅 용량을 손쉽게, 안정적으로 요청할 수 있습니다.

Compute Engine의 Future Reservations을 활용하면 Google Cloud 콘솔, API 또는 CLI를 통해 용량을 요청하고, 계획되어 있거나 예상되는 이벤트 확장에 필요한 용량을 확보할 수 있습니다. Future Reservations은 다음과 같은 이점을 제공합니다.

요청하는 용량을 확실하게 보장 - 사용자의 요청을 사전에 감지하므로 필요한 시기에 용량을 안정적으로 확보할 수 있습니다. Google Cloud는 이 요청을 바탕으로 사용자를 위한 리소스를 예약하며 온디맨드 요청보다 이 요청을 우선하여 처리합니다. 미리 계획을 세우고 사전에 Future Reservations을 생성하면 비즈니스에 중요한 이벤트가 가까이 다가옴에 따라 생길 수 있는 우려사항을 줄일 수 있습니다.
셀프서비스 기능 - 사용자와 팀원들이 콘솔, API 또는 CLI를 통해 Future Reservations을 직접 생성하므로 어디에 어떤 용량이 언제까지 필요한지 정확하게 지정할 수 있으며, Google Cloud에서는 해당 요청에 대한 승인을 제공합니다. 이에 따라 여러 팀의 필요 사항을 통합한 다음 계정팀에 이를 전달하는 과정에서 발생할 수 있는 지연이나 오류를 줄일 수 있습니다.
인프라 오버헤드 감소 - Future Reservations은 기존에 실행 중인 VM에 적용이 가능하며, 승인이 완료되면 지정된 향후 시작 시간에 맞춰 해당하는 프로젝트에 추가적인 예약을 자동으로 생성합니다. 이 프로세스 덕분에 중요한 이벤트에 앞서 인프라팀이 수동으로 예약을 생성하지 않아도 되므로 작업에 드는 시간과 비용이 절감됩니다.

다음은 온디맨드 예약과 Future Reservations의 주요 차이점을 요약한 자료입니다.

Future Reservations에 대한 고객의 의견

“Future Reservations은 [NVIDIA A100s 기반의] A2 VM에 대한 안전한 액세스를 지원합니다... 우리는 Future Reservations을 활용해 용량과 관련된 위험을 줄이고 작업 일정의 변동성도 줄일 수 있었습니다. Future Reservations 기능 덕분에 중요한 작업 일정을 맞추기 위해 용량을 미리 조정하는 데 드는 시간과 비용을 절약할 수 있었습니다. 셀프서비스가 가능하다는 점과 용량 요청에 대한 답변을 바로 받아볼 수 있다는 점이 특히 좋았습니다. 덕분에 작업 시간을 엄청나게 줄일 수 있었습니다. 그야말로 혁신적인 기능입니다.” - 마티유 툴레몽, PhotoRoom 선임 머신러닝 엔지니어

“공개 베타 제품을 일부 국가에 처음으로 출시하는 데 리소스를 집중할 수 있도록 Future Reservations을 활용하여 용량 계획을 수립했습니다. Future Reservations을 사용해 대규모 용량 관리를 위한 양질의 환경을 마련할 수 있었으며, 모든 용량을 한 번에 요청하는 과정에서 일관된 지원을 통해 하드웨어 리소스를 점진적으로 확보해 나갈 수 있었습니다. 이 시스템은 당사와 고객 모두에게 효과적일 뿐 아니라, 컴퓨팅 예약에서 비롯되는 운영 오버헤드를 대폭 줄여주어 출시가 성공적으로 이루어졌는지 확인하는 데 더욱 집중할 수 있게 되었습니다.” - 엘리 트란-존슨, Anthropic 선임 시스템 엔지니어

Future Reservations 이해하기

Future Reservations은 단순히 향후 시작 시간에 시작되도록 예약하는 온디맨드 예약이 아닙니다. 그보다는 Google Cloud의 검토를 거치는 용량 요청이라고 할 수 있습니다. 승인이 완료되면 Future Reservations은 프로젝트에 예약을 자동 생성하여 용량을 제공하며, 해당 예약 시간에 결제 주기가 시작됩니다.

Future Reservations 요청은 향후 시작 시간에 어느 영역에서 어느 머신 유형에 대해 총 몇 개의 VM을 사용할 것인지, 또한 종료 시간은 언제인지를 지정하여 생성할 수 있습니다. Future Reservations 요청에 들어가는 기간이 길수록 승인 가능성도 더 높아집니다. 자세한 내용은 이 문서를 참조하세요.

Future Reservations을 이용하려면 해당 영역에 대한 머신 유형의 총 VM 개수를 지정해야 하며, 기존 사용량이나 예약이 있는 경우 모두 이 용량에 포함하여 제공합니다. 시작 시간에 사용량이 이미 지정된 양에 도달한 경우, 새로운 용량만큼 늘어나는 것이 아니라 예약에서 해당 사용량을 포함하여 용량을 제공합니다.

종료 날짜 또는 향후 날짜에 예약을 삭제하도록 자동 삭제를 설정하거나, 원하는 기간만큼 예약을 계속 유지할 수도 있습니다. 또한 Future Reservations을 다른 프로젝트와 공유되도록 지정하여 선택한 프로젝트 간에 용량을 공유할 수도 있습니다.

Future Reservations 요청을 제출하면 검토와 승인을 위해 Google Cloud로 전달됩니다. 제출된 요청은 해당 요청이 다른 약정을 제대로 충족하는지 확인하기 위해 검토를 거칩니다. 요청이 승인된 후 '제한 기간', 즉 요청을 업데이트하거나 삭제할 수 없는 기간 동안 Google Cloud에서 사용자의 니즈를 충족할 수 있는 용량을 예약하는 데 필요한 필수 단계를 시작합니다.

이벤트 일정이 가까워짐에 따라 처음 생각했던 것보다 VM이 더 많이 필요하다는 것을 깨닫거나 다른 머신 유형이 필요하다는 사실을 알게 될 수도 있습니다. 마찬가지로 승인이 완료된 후 제한 기간 동안에도 사용자는 승인된 Future Reservations에 대해 변경을 요청할 수 있습니다. 변경 요청 역시 검토를 거치게 되며, 변경 지원에 따른 영향을 고려해 승인 여부가 결정됩니다. 요청된 변경이 거부되는 경우, 이전에 승인된 Future Reservations이 계속 적용됩니다.

Future Reservations에 승인된 용량을 제공하기 위해 Google Cloud는 온디맨드 예약 탭에 생성되어 있는 예약을 프로젝트에 제공합니다. 온디맨드 예약에서 생성된 예약은 Future Reservations 생성 과정에서 지정한 프리픽스를 찾는 방식으로 찾을 수 있습니다.

지금 바로 Future Reservations 시작하기

비즈니스에 중요한 이벤트를 관리하는 일은 까다로울 수 있습니다. 이제 Future Reservations을 활용하면 미리 계획을 수립하여 걱정 거리를 줄일 수 있습니다. Future Reservations을 통해 셀프서비스 및 예측 가능한 방식으로 필요할 때 간편하게 용량을 확보할 수 있도록 도와드리고자 합니다. Future Reservations의 사용 방법과 시작하는 방법에 관한 자세한 내용은 이 문서를 참조하세요.

Firestore에 PITR(point-in-time recovery) 및 예약 백업 추가

Thu, 02 Nov 2023 06:00:00 +0000

*본 아티클의 원문은 2023년 9월 9일 Google Cloud 블로그(영문)에 게재되었습니다.

Firestore에 두 가지 새로운 재해 복구 기능인 PITR(point-in-time recovery)과 예약 백업의 출시 소식을 전하게 되어 기쁩니다. 이러한 기능은 인적 오류와 재해로부터 데이터를 보호합니다.

Firestore의 자동 및 중복 데이터 백업에 추가된 이 기능 덕분에 서비스는 0 RPO와 0 RTO를 보여주는 장애 백업 조치를 통해 SLA 가용성을 최대 99.999% 보장할 수 있습니다.

PITR(point-in-time recovery)은 지난 7일간의 데이터 버전들을 제어 및 쿼리하고 필요한 데이터를 데이터베이스에 다시 직접 작성할 수 있는 기능을 제공하여 실수로 데이터를 삭제하거나 작성하지 못하도록 보호합니다.

예약 백업을 사용하면 매일 또는 매주 선택한 주기로 전체 데이터베이스를 콜드 스토리지에 백업할 수 있습니다. 이러한 백업은 동일한 프로젝트의 새 데이터베이스로 복원하는 데 사용할 수 있습니다.

PITR(point-in-time recovery) 예시 살펴보기

PITR(point-in-time recovery)을 사용 설정하는 상황을 가정해 보겠습니다. Google Cloud 콘솔에서 이 기능을 사용 설정하는 방법은 다음과 같습니다.

PITR(point-in-time recovery)을 사용 설정하려면 'Disaster recovery(재해 복구)' 페이지로 이동한 후 'EDIT' 아이콘을 선택합니다.

'Enable point-in-time recovery' 체크박스를 선택한 후 'SAVE'를 클릭합니다.

현재 'Disaster recovery(재해 복구)' 페이지에는 'Earliest version time(가장 초기 버전)' 및 'Retention period(보관 기간)'이 포함됩니다.

상기의 스텝을 따라오면 이제 PITR(point-in-time recovery)이 사용 설정되어 데이터 저장을 시작합니다. 자세한 내용은 문서를 참조하세요

예약 백업 예시 살펴보기

이제 gcloud 명령어를 사용하여 일일 및 주간 백업 일정을 생성하고 백업 생성을 확인하는 방법을 알려 드리겠습니다.

준비 작업은 다음과 같습니다.

gcloud를 최신 버전으로 업그레이드
백업을 관리할 프로젝트에 대해 'gcloud config set project <project-id>'를 실행

일일 백업 일정을 만들려면 'backups schedules create' 명령어를 사용합니다. 다음은 일일 백업 일정 생성의 예시입니다.

code_block: <ListValue: [StructValue([('code', "$ gcloud alpha firestore backups schedules create --database=''(default)'' --retention='7d' --recurrence='daily'"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f4960b0a550>)])]>

주간 백업 일정을 만들려면 'backups schedules create' 명령어를 사용합니다. 주간 백업 일정 생성의 예시는 다음과 같습니다.

code_block: <ListValue: [StructValue([('code', "$ gcloud alpha firestore backups schedules create --database='testdb' --retention='14w' --recurrence=’weekly’ --day-of-week=’MON’"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f4976f7b7f0>)])]>

백업 일정이 성공적으로 생성되었는지 확인하려면 'backup schedules list' 명령어를 사용합니다.

code_block: <ListValue: [StructValue([('code', '$ gcloud alpha firestore backups schedules list'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f4976f7bc10>)])]>

다음 단계

이러한 기능을 설정하고 구성하는 방법에 관한 자세한 내용은 PITR(point-in-time recovery) 및 예약 백업 문서를 확인하세요.

^{본문 작성에 도움을 주신 Firestore Product Manager Lead이신 Minh Nguyen님께 감사의 말을 전합니다.}

대규모 AI 추론을 가속화하는 Cloud TPU v5e

Wed, 25 Oct 2023 06:00:00 +0000

*본 아티클의 원문은 2023년 9월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

AI에 최적화된 Google Cloud의 인프라는 비즈니스가 최첨단 AI 모델의 추론을 학습시키고, 미세 조정하고, 실행하는 작업을 더욱 빠르게, 보다 대규모로, 더 낮은 비용으로 실현할 수 있게 해 주었습니다. Cloud TPU의 추론을 프리뷰 버전으로 발표하게 되어 기쁩니다. 새로운 Cloud TPU v5e는 최첨단의 최신 대규모 언어 모델(LLM) 및 생성형 AI 모델 등 다양한 AI 워크로드에 비용 효율적인 고성능 추론을 지원합니다.

새로운 모델이 공개되고 AI가 보다 정교해짐에 따라 비즈니스에는 더욱 강력하고 비용 효율적인 컴퓨팅 옵션이 필요합니다. AI 우선 기업인 Google은 수십억의 사용자와 Google의 클라우드 고객이 이용하고 있는 YouTube, Gmail, Google 지도, Google Play, Android 등의 Google 제품이 요구하는 글로벌 규모와 성능에 맞추기 위해 AI에 최적화된 인프라를 구축했습니다.

LLM과 생성형 AI의 혁신에는 AI 모델을 학습시키고 제공하는 데 막대한 양의 연산이 필요합니다. Google은 이와 같이 증가하는 연산 수요를 효율적인 비용으로 충족할 수 있도록 Cloud TPU v5e를 맞춤 설계하여 빌드하고 배포했습니다.

AI 추론 워크로드 가속화를 고려한다면 Cloud TPU v5e는 훌륭한 선택지입니다.

비용 효율성: TPU v4에 비해 추론에서 달러당 최대 2.5배 뛰어난 성능과 최대 1.7배 짧은 지연 시간을 보여줍니다.
확장성: 8개 TPU 형태가 다양한 규모의 LLM 및 생성형 AI 모델에서 최대 2조 개 매개변수를 지원합니다.
다목적성: 강력한 AI 프레임워크 및 조정 지원을 제공합니다.

이 블로그에서는 TPU v5e를 AI 추론에 효과적으로 활용할 수 있는 방법을 자세히 알아보겠습니다.

추론에서 달러당 최대 2.5배 뛰어난 성능과 최대 1.7배 짧은 지연 시간

각 TPU v5e 칩은 int8 작업을 초당 최대 393조 개까지(TOPS) 제공하므로 복잡한 모델에서도 빠른 예측이 가능합니다. 하나의 TPU v5e 포드는 초고속 링크를 통해 네트워크로 연결된 256개의 칩으로 구성됩니다. 각 TPU v5e 포드는 초당 최대 100,000조 int8 작업 또는 100페타옵스의 컴퓨팅 성능을 제공합니다.

Google은 Cloud TPU 추론 소프트웨어 스택을 최적화하여 이와 같은 강력한 하드웨어를 최대한 활용할 수 있도록 했습니다. 추론 스택은 TPU를 위한 고효율 코드를 생성하는 Google의 AI 컴파일러인 XLA를 활용하여 성능과 효율성을 극대화합니다.

int8 양자화를 비롯한 하드웨어와 소프트웨어 최적화의 결합 덕분에 Cloud TPU v5e는 Llama 2, GPT-3, Stable Diffusion 2.1과 같은 최첨단 LLM 및 생성형 AI 모델에서 Cloud TPU v4에 비해 달러당 최대 2.5배 뛰어난 추론 성능을 달성할 수 있게 되었습니다.

Google 내부 데이터. 2023년 8월. 단일 칩 처리량으로 정규화. 정밀도: Llama 2 7B, 13B, 70B, GPT-J 6B: int8; GPT-J 175B, Stable Diffusion 2.1: bf16.

Cloud TPU v5e가 TPU v4에 비해 최대 1.7배 지연 시간 단축:

Google 내부 데이터. 2023년 8월. 정밀도: Llama 2 7B, 13B 및 70B: int8; GPT-3 175B: bf16.

Google Cloud 고객은 Cloud TPU v5e에서 추론을 실행해 왔으며, 일부 고객은 특정 워크로드에서 더 빠른 속도를 경험하기도 했습니다.

AssemblyAI는 고객이 음성 인식 및 이해에 사용할 수 있는 수십 개의 AI 모델과 매일 2,500만 회 이상의 추론 호출을 제공합니다.

“Cloud TPU v5e는 자사의 프로덕션 모델에서 추론을 실행하는 데 시장의 경쟁 솔루션보다 달러당 최대 4배 뛰어난 성능을 일관되게 제공해 주었습니다. Google Cloud 소프트웨어 스택은 최고 수준의 성능과 효율성을 달성하는 데 최적화되어 있으며, 가장 진화한 형태의 AI 및 ML 모델을 가속화하려는 목적으로 빌드된 TPU v5e 하드웨어를 최대한 활용합니다. 강력한 성능과 다목적성을 겸비한 이 하드웨어와 소프트웨어의 조합은 솔루션 구현 시간을 대폭 단축해 주었습니다. 커스텀 커널을 직접 조정하는 데 몇 주를 소요하는 대신 몇 시간 안에 모델이 우리의 추론 성능 목표를 초과 달성하도록 최적화할 수 있었습니다.” – 도미닉 도나토, AssemblyAI 기술 부문 부사장

다양한 규모의 LLM 및 생성형 모델로 확장 가능

LLM 및 생성형 AI 모델은 그 규모와 연산 비용이 계속해서 증가하고 있습니다. 규모가 가장 큰 모델이라면 수백 개의 하드웨어 가속기를 통한 컴퓨팅과 메모리가 필요합니다. Cloud TPU v5e는 다양한 규모의 모델을 위한 추론을 지원합니다. 하나의 v5e 칩은 최대 130억 개 매개변수를 가진 모델을 실행할 수 있습니다. 이를 시작으로 최대 수백 개의 칩으로 확장이 가능하며, 최대 2조 개의 매개변수를 가진 모델까지 실행할 수 있습니다.

Google 내부 데이터. 2023년 8월. 배치 크기 = 1. 디코더 전용 언어 모델을 기반으로 하는 멀티 헤드 어텐션: 프리픽스 길이 = 2048, 디코딩 단계 = 256, 빔 크기 = 32(샘플용)

Gridspace는 Google Cloud TPU 인프라를 활용해 풀 스택 대화형 AI 플랫폼을 구동하며 실시간 대화형 ASR, LLM, 시맨틱 검색, 신경망 텍스트 음성 변환을 빌드하고 통합합니다.

“우리는 Google Cloud TPU를 정말 좋아합니다. 당사 벤치마크에서는 Google Cloud TPU v5e에서 학습 및 실행 시 AI 모델의 속도가 5배 증가한 것으로 나타났습니다. 또한 추론 측정항목 규모도 6배 향상되었습니다. 당사는 Google Cloud의 AI 인프라를 활용해 금융 서비스, 자본 시장, 의료 분야에 걸쳐 AI 모델을 1년에 수십억 개 대화로 확장했습니다. 당사의 Grace 봇은 Cloud TPU를 사용해 학습된 모델로 구동되며 GKE에서 대규모로 제공될 뿐 아니라 PCI, HITRUST, SOC 2 규정 준수를 지원합니다.” – 이원겸, Gridspace 머신러닝 부문 책임자

강력한 AI 프레임워크 및 조정 지원

PyTorch, JAX, TensorFlow를 비롯한 선도적인 AI 프레임워크는 Cloud TPU v5e에서의 추론을 위한 강력한 지원을 제공합니다. 이제 모델을 Clouod TPU에서 엔드 투 엔드로 학습시키고 제공할 수 있습니다. 다시 말해, 모델을 제공할 목적에 맞게 학습시킬 수 있습니다.

Google Cloud는 Cloud TPU에서 추론을 안정적이고 손쉽게 실행할 수 있는 많은 선택지를 제공합니다. GKE와 Vertex AI부터 Ray와 Slurm 같은 널리 사용되는 오픈소스 프레임워크까지, 개발 과정에 맞게 선호하는 방식으로 Google Cloud TPU를 활용할 수 있습니다.

지금 바로 추론에 Cloud TPU v5e를 사용해 보세요

Cloud TPU v5e는 LLM과 생성형 AI 모델을 위한 비용 효율적이고 확장 가능하며 안정적인 고성능 추론 플랫폼을 제공합니다. 여러 선도적인 AI 회사에서는 AI 모델을 대규모로 제공하는 데 Cloud TPU v5e를 활용하고 있습니다.

Cloud TPU에서 추론을 시작하려면 Google Cloud 계정 관리자 또는 Google Cloud 영업팀에 문의하세요.

고성능 컴퓨팅(HPC)을 위한 H3 컴퓨팅 최적화 VM 소개

Thu, 05 Oct 2023 06:00:00 +0000

고성능 컴퓨팅(HPC)은 과학 컴퓨팅, 엔지니어링 시뮬레이션, 기후 모델링, 재무 위험 분석, 신약 개발을 포함한 광범위한 응용 분야에서 개발을 촉진하고 제품을 시장에 더 빠르게 출시하는데 도움이 됩니다. 필요한 컴퓨팅 리소스에 적시에 액세스하여 더 많은 시나리오를 살펴보고 유용한 정보를 얻기까지의 시간을 단축하기 위해 Google Cloud를 채택하는 HPC 사용자가 증가하고 있습니다. Google은 고객 지원을 향상하고 워크로드에 최적화된 인프라 제공을 위한 노력을 강화하기 위해 HPC에 초점을 둔 새로운 H3 가상 머신 시리즈를 출시합니다. H3 시리즈는 특별히 HPC 워크로드에 맞게 설계된 Google 최초의 머신 시리즈입니다.

Intel의 4세대 Xeon 플랫폼(Sapphire Rapids)을 기반으로 하는 H3 VM 인스턴스는 HPC 사용자에게 더 저렴한 비용으로 더 나은 성능을 제공합니다. H3는 이전 세대 C2 인스턴스(Intel Cascade Lake 기반)에 비해 최대 3배 향상된 노드별 성능, 다중 노드 워크로드를 위한 개선된 확장성, 최대 2배 더 나은 가성비를 제공합니다. 이러한 개선을 통해 HPC 사용자는 연구 개발 속도를 높이면서도 비용을 절감할 수 있습니다. 현재 H3는 Compute Engine 및 Google Kubernetes Engine(GKE) 사용자에게 공개 미리보기(Public Preview)로 제공되며, 광범위한 HPC 워크로드를 지원하기 위해 88개의 코어(SMT 비활성)와 352GB 메모리를 제공합니다.

특화된 HPC VM 머신 시리즈

H3는 HPC 고객을 위한 Google 포트폴리오 제품군을 강화하며 Intel 4세대 Xeon 플랫폼의 성능을 HPC 사용 사례에 맞게 확장합니다. H3 머신 시리즈는 C2 및 C2D VM이 포함된 Google의 컴퓨팅 최적화 머신 제품군에 속합니다. H3는 HPC에 최적화된 Google의 인프라 제품을 확장하며 컴퓨팅, 네트워킹, 스토리지 분야의 최신 혁신 기술을 단일 플랫폼에서 제공합니다. 그 결과 고객은 분자 동역학, 전산 지구과학, 기후 예측, 프런트엔드 및 백엔드 EDA, 전산 유체역학과 같은 다양한 HPC 워크로드에서 성능 개선을 경험할 수 있습니다.

H3 VM 머신 시리즈를 위한 네트워킹은 Google의 3세대 VM을 가동하는 Google 커스텀 Intel Infrastructure Processing Unit(IPU)을 기반으로 구축됩니다. Google의 IPU에는 오프로드된 네트워킹 스택 및 프로그래밍 가능한 패킷 처리 엔진이 포함되므로 높은 수준의 네트워킹 성능, 격리(isolation), 보안이 가능합니다. H3 VM은 200Gbps의 지연 시간이 짧은 기본 네트워킹(Google의 이전 세대 VM에 비해 2배 향상)을 제공하므로 긴밀하게 결합된 분산 컴퓨팅 및 네트워크 집약적인 워크로드에 이상적입니다. 또한 H3 머신은 압축 배치(compact placement)를 지원하며 대용량의 고밀도 풀에 배포되어 지연 시간과 네트워크 잡음을 줄이고 HPC 애플리케이션 확장성을 향상시킵니다.

“금융 서비스와 생명과학을 포함한 여러 주요 업종에서는 가장 까다로운 컴퓨팅 문제를 해결하기 위해 점점 더 HPC 기술을 활용하고 있습니다. Intel과 Google Cloud는 이와 같이 증가하는 수요를 충족하기 위해 파트너 관계를 맺고 Intel 컴퓨팅과 IPU의 최신 혁신 기술을 단일 플랫폼으로 결합한 특화된 HPC VM 인스턴스를 생산하고 있습니다. 확장 가능한 4세대 Xeon 프로세서가 제공하는 워크로드 가속 기능을 갖춘 H3는 업계 최고의 가성비를 자랑하는 HPC 워크로드용 플랫폼입니다.” - 리사 스펠만, Intel Xeon 제품 및 솔루션 그룹 부문 법인 부사장 겸 총괄 책임자

가격과 성능

Google은 업계 표준 벤치마크를 기준으로 H3의 성능 개선을 테스트했습니다. 아래 결과는 H3 VM이 이전 세대 VM에 비해 더 빠르고 효율적으로 결과를 생성할 수 있음을 보여줍니다. Google은 기상 예측(WRF), 분자 동역학(LAMMPS, Quantum Espresso), 자동차 충돌 시뮬레이션(Ansys LS-DYNA 및 Altair Radioss), 전산 유체역학(OpenFOAM)을 포함한 잘 알려진 여러 HPC 벤치마크를 기준으로 H3의 전체 서버 노드를 C2와 비교 테스트했습니다.

그 결과 H3 VM은 다양한 HPC 워크로드에서 이전 세대 C2 머신에 비해 최대 3배 더 우수한 성능을 제공하는 것으로 나타났습니다.

H3는 긴밀하게 결합된 다중 노드 워크로드에 최적화되었습니다. WRFv3 기상 예측 테스트에서 H3는 높은 병렬 효율성을 유지하면서도 C2 대비 최대 2배 더 많은 코어 수로 확장 가능한 것으로 확인되었습니다. 예를 들어 WRFv3 2.5km 기상 예측에서는 90%의 효율성으로 4,000개 이상의 코어까지 확장할 수 있었습니다. 이는 동일한 워크로드에서 C2보다 2배 더 많은 수입니다.

Google은 성능 향상 외에도 H3의 비용 효율성을 높여 Compute Engine 포트폴리오에서 HPC 워크로드를 위한 최상의 가성비를 제공합니다. H3 VM은 C2 VM에 비해 최대 2배 개선된 가성비를 제공합니다. 기상 예측(WRFv3) 테스트에서 H3는 C2에 비해 50% 더 낮은 비용으로 최대 3배 더 빠르게 결과를 도출했습니다.

고객과 파트너의 평가

"Altair는 H3의 Radioss 워크로드 시뮬레이션 런타임이 C2에 비해 최대 3배 줄어든 것으로 확인된 초기 테스트 결과에 고무되었습니다. Google Cloud Platform에서 런타임이 크게 단축된 것은 양사의 공동 고객을 위한 엔지니어링 생산성 증대에 도움이 될 것입니다.” - 에릭 르퀴니우, Radioss Development 및 Altair Solver 수석 부사장

“Rescale의 고객은 Google Cloud가 제공하는 최신 고성능 컴퓨팅(HPC) 기술의 혜택을 누릴 수 있는 다양한 종류의 까다로운 애플리케이션을 활용합니다. Google Cloud가 HPC 고객의 고유한 니즈를 충족하는 H3 VM 제품군을 출시한 것은 정말 반가운 소식입니다. 최신 Intel 4세대 프로세서, 고용량 메모리, 짧은 네트워킹 지연 시간이라는 특성이 결합된 새로운 H3 VM은 전산 유체역학, 유한 요소 분석, 분자 동역학과 같은 다양한 핵심 HPC 워크플로에서 C2 머신에 비해 최대 3배 우수한 성능을 제공합니다.” - 물리안토 푸르트, Rescale HPC 엔지니어링 부문 VP

“GCP H3 인스턴스를 사용한 결과 C2에 비해 50% 저렴한 작업 비용으로 CAE 워크로드에서 코어당 최대 25%의 성능이 향상되었습니다. 덕분에 TotalCAE는 고객에게 GCP의 CAE 워크로드에 대해 최대 2.5배 더 높은 가성비와 확장성을 제공할 수 있습니다.” - 로드니 마크, TotalCAE CEO

"여러 노드에서 실행할 때 새로운 H3 머신 시리즈가 2.5배 이상의 성능 향상과 약 50~70%에 달하는 상당한 작업 비용 절감 효과를 제공하는 것을 확인했습니다. H3의 가성비 수준은 수치 기상 예측 업계의 리더들이 필수적으로 고려해야 할 요소가 되었습니다." - 매튜 샥스티드, Parallel Works 사장

"제품의 복잡성이 증가하고 설계 주기가 단축됨에 따라 엔지니어들은 혁신을 강화하고 그 속도를 높이기 위해 고성능 컴퓨팅(HPC)으로 구동되는 클라우드 기반 시뮬레이션을 수행해야 합니다. Google Cloud는 4세대 Intel Xeon 확장 가능 프로세서에 기반한 새로운 H3 인스턴스를 출시하여 HPC 수요에 대응하고 있습니다. H3의 높은 메모리 대역폭과 짧은 네트워크 지연 시간 덕분에 C2 인스턴스에 비해 Ansys LS-DYNA 워크로드의 성능이 2.4배 향상되었습니다.” - 윔 슬랙터, Ansys 파트너 프로그램 책임자

“AirShaper는 고정 비용으로 CFD 시뮬레이션을 제공합니다. 코어가 증가하고 빠를수록 확장 문제 등으로 인해 전체 비용이 상승하기 마련입니다. 하지만 H3를 사용하면 전체 비용을 낮추면서도 시뮬레이션 시간을 절반으로 단축할 수 있습니다." - 우터 레메리, Airshaper CEO

“일반적인 HPC 벤치마크를 사용해서 Google Cloud의 새로운 H3 HPC 인스턴스를 테스트한 결과 기존의 유사한 물리적 HPC 시스템보다 성능이 우수하다는 것을 확인했습니다. 사용 경험이 원활하고 간편했으며, HPC 고객이 H3를 도입하도록 돕게 되어 기쁩니다." - 칼레드 엘 암라위, Brightskies CEO

지금 H3 VM 시작하기

H3 VM은 현재 US-central1(아이오와) 및 Europe-west4(네덜란드) 리전에서 사용할 수 있습니다. H3 인스턴스 사용을 시작하려면 해당 리전에 대해 Google Cloud 콘솔에서 새로운 VM 또는 GKE 노드 풀을 생성할 때 컴퓨팅 최적화 머신 제품군에서 H3를 선택하세요. H3 VM 머신 시리즈에 대해 자세히 알아보고 Google Cloud 영업 담당자에게 추가 정보를 문의하세요.문의하기 | Google Cloud

^{출처: Google 내부 데이터, 2023년 7월}

Google Cloud의 혁신 중심 인프라

Wed, 24 Aug 2022 00:38:00 +0000

* 본 아티클의 원문은 2022년 7월 14일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날 여러 조직들은 핵심 프로세스를 더 효율적으로 만드는 일부터 고객에게 도달해 더 나은 서비스를 제공하기 위한 방법을 개선하고, 혁신의 거름이 되는 데이터에서 유용한 정보를 도출하기까지 클라우드를 사용해 목표 달성을 위한 새로운 방법을 개발하여 비즈니스의 완전한 혁신을 추구하고 있습니다.

클라우드 인프라는 모든 조직의 혁신 전략에서 핵심적인 부분을 차지합니다. Google Cloud의 주요 기능을 활용해 혁신할 수 있는 기회는 무궁무진합니다. 이러한 기능은 Google Cloud에서 솔루션을 빠르고 간단하게 빌드하는 역량에 장기적인 영향을 미칠 것입니다. Google은 데이터 관리와 머신러닝부터 보안, 지속 가능성에 이르기까지 기초로부터 가치를 창출하는 인프라 혁신에 집중적인 투자를 이어가고 있습니다. Google은 고객이 혁신을 통해 비즈니스 속도를 높일 수 있도록 인프라의 3가지 무척 중요한 속성에 초점을 맞추고 있습니다.

최적화: 고객은 구체적인 니즈를 충족하는 솔루션을 원합니다. 일반적인 워크로드, 업계 솔루션은 물론 고성능, 비용 절감, 성능과 비용의 균형 등의 특정한 결과에 따라 맞춤설정된 앱을 필요한 곳에서 빌드하고 실행하기를 원하는 것입니다. 고객의 워크로드가 Google Cloud에서 더 잘 실행되어야 하는 이유입니다.
혁신: 혁신은 비용 절감 및 편의를 위해 인프라를 클라우드로 '리프트 앤 시프트'하는 것만을 의미하지 않습니다. 혁신적인 인프라는 Google 최고의 AI 및 ML 기능을 통합하여 혁신을 가속화하면서도 가장 엄격한 보안, 주권, 규정 준수 요구사항을 충족합니다.
사용 편의성: 클라우드 플랫폼의 용도가 다양해지면 채택과 운영이 매우 복잡해질 수 있습니다. 하지만 사용하기 쉬운 클라우드 플랫폼으로 운영 부담을 줄일 수 있습니다. 종종 고객들이 Google Cloud에서는 복잡한 업무가 단순하게 느껴진다고 이야기하는데, 이는 사용 편의성을 염두에 두고 제작했기 때문입니다.

Google이 20년 넘게 기술 분야를 주도할 수 있었던 것은 혁신 문화와 고객에 대한 집중이 토대가 되었기 때문입니다. Google이 이러한 부문에 일으킨 새로운 혁신의 예를 몇 가지 소개합니다.

고객에게 가장 중요한 가치에 맞춰 최적화된 솔루션

가격 대비 성능 최적화부터 살펴보겠습니다. 작년에 Google은 수평 확장 워크로드의 비용 효율적인 성능에 최적화된 Tau VM을 출시했습니다. Tau T2D는 다른 주요 클라우드의 동급 VM에 비해 최대 42% 높은 가격 대비 성능을 제공하면서 성능과 총 소유 비용 측면에서 다른 모든 주요 퍼블릭 클라우드 제공업체를 뛰어넘었습니다.

오늘 Google은 Tau VM 제품군에 Arm 기반 머신을 추가하여 고객에게 더 많은 선택권을 제공한다는 소식을 발표했습니다. Ampere® Altra® Arm 기반 프로세서로 구동되는 T2A VM은 합리적인 가격에 우수한 단일 스레드 성능을 제공하여 수평 확장 클라우드 기반 워크로드에 이상적입니다. 이제 개발자는 워크로드를 테스트, 개발, 실행하는 데 최적의 아키텍처를 선택할 수 있게 되었습니다.

비용 최적화는 많은 Google 고객의 주요 목표입니다. 스팟 VM을 사용하면 파격적인 할인이 적용되는 유휴 머신 주기를 활용하여 주문형 가격에서 60% 보장 할인 및 최대 91% 할인을 받을 수 있습니다. 스팟 VM은 고성능 컴퓨팅, 빅데이터, 분석 부문의 일괄 작업과 내결함성 워크로드에 이상적입니다. 스팟 VM 가격의 변동성을 줄이고 예측 가능성을 높여달라는 고객 의견이 많이 접수되었습니다. Google은 고객 의견을 경청하여 가격에 반영했습니다. 그 결과, Google의 스팟 VM은 다른 주요 클라우드에 비해 가장 낮은 가격 변동성(가격 변동 월 1회)과 보다 높은 예측 가능성을 제공하고 있습니다.

글로벌 규모에 맞춘 최적화는 동영상 스트리밍을 비롯하여 오늘날 소비자의 까다로운 요구사항을 충족시키는 데 매우 중요합니다. 2022년 5월에 출시된 Media CDN은 몰입형 동영상 스트리밍 경험을 글로벌 규모로 제공하도록 최적화되었습니다. 1,300개가 넘는 도시에서 지원되는 Media CDN은 YouTube가 전 세계 20억 명 이상의 사용자에게 콘텐츠를 제공하기 위해 사용하는 것과 동일한 인프라를 활용합니다. U-NEXT, Stan 등의 고객이 Media CDN을 빠르게 도입하여 시청자들에게 최신 고품질 경험을 제공하고 있습니다.

분산 시스템 및 분산 작업자가 증가하고 필요한 곳 어디에서나 앱을 빌드하고 실행할 수 있게 되면서 또 다른 새로운 기회가 생겼습니다. 이제 Google Distributed Cloud로 Google Cloud 인프라 및 서비스를 온프레미스, 코로케이션 데이터 센터, 다양한 에지 환경 등을 포함한 여러 물리적 위치(또는 분산 환경)로 확장할 수 있게 되었습니다. Anthos가 모든 Google Distributed Cloud 제품 및 서비스를 지원하여 사용자가 선택하는 어떤 위치에서든 컨테이너화된 최신 애플리케이션을 빌드, 배포, 실행할 수 있는 공통 제어 영역을 제공합니다.

선택의 폭을 넓히기 위해 Google은 Google Distributed Cloud를 워크로드 및 사용 사례의 특정 요구사항을 해결하기 위한 여러 제품이 포함된 하드웨어, 소프트웨어, 서비스로 구성된 포트폴리오로 설계했습니다. 에지, 가상, 호스팅 제품 중에서 비즈니스 요구사항에 맞는 제품을 선택할 수 있습니다.

AI/ML 및 보안을 통한 혁신 주도

머신러닝 분야의 혁신 속도가 계속해서 빨라지고 있으며 Google은 오랫동안 이 분야에서 선구자 역할을 했습니다. Google 검색부터 YouTube, Google Play, Google 지도에 이르기까지 Google 제품이 최상의 가치를 제공하는 데 ML이 도움을 주었습니다. Google은 최고의 Google 기능을 고객에게 제공하기 위해 노력을 기울여 왔으며 JAX와 Cloud TPU v4는 이를 방증하는 좋은 예시입니다.

JAX는 Google 연구팀이 개발한 첨단 오프소스 ML 프레임워크입니다. 이 프레임워크는 ML 실무자에게 더 많은 유연성을 제공하여 모델을 최대 규모로 보다 손쉽게 확장할 수 있도록 설계되었습니다.

최근에는 새로운 ML 허브를 통해 모든 고객에게 Cloud TPU v4 포드를 제공하고 있습니다. Cloud TPU v4 포드 클러스터는 9엑사플롭스급의 최고 집계 성능을 제공하며 90%의 무탄소 에너지로 운영됩니다. 전 세계에서 가장 빠르고 효율적이며 지속 가능한 ML 인프라 허브 중 하나입니다. 연구원들은 Cloud TPU v4를 사용해 자연어 처리 모델과 추천자 모델을 비롯한 여러 정교한 모델을 학습시킬 수 있습니다. Cohere는 학습 시간이 70% 개선되었고 LG Research에서는 Cloud TPU v4를 사용해 대규모 멀티모달 3,000억 매개변수 모델을 학습시키는 등 많은 고객이 이미 그 혜택을 누리고 있습니다.

보안 측면에서는, 사이버 보안 위협이 증가함에 따라 모든 기업이 보안 태세를 재고하고 있습니다. Google은 안전하고 성능이 우수하며 안정적인 세계적 규모의 네트워크에 투자하는 한편 고객이 소프트웨어 공급망을 보다 안전하게 보호할 수 있도록 업계 전반의 프레임워크 및 표준을 정의하는 데 앞장서고 있습니다. 작년 Google에서는 SLSA(Supply-chain Levels for Software Artifacts)를 도입했습니다. SLSA는 소프트웨어 공급망 전반에서 아티팩트의 무결성을 보장하는 엔드 투 엔드 프레임워크이자 Google 내부에서 구현 중인 여러 프로세스의 오픈소스 버전입니다.

Google은 복잡한 구성이나 성능 저하 없이 보안을 실현하는 데 도전하고 있습니다. 이러한 노력의 일례로 컨피덴셜 VM을 들 수 있습니다. 컨피덴셜 VM의 경우 외부에서는 디버거를 사용하더라도 VM에서 수행되는 데이터나 작업을 볼 수 없는 신뢰할 수 있는 실행 환경에 데이터가 저장됩니다. 또 다른 예로는 Cloud Intrusion Detection System(Cloud IDS)이 있습니다. 이 제품은 ML 기반 위협 분석을 토대로 한 네트워크 위협 감지를 제공하며 매일 430만 개의 고유한 보안 업데이트를 통해 새로운 위협을 식별하기 위하여 하루 15조 개가 넘는 트랜잭션을 처리합니다. CyberRatings.org에서 가장 높은 평점인 AAA를 받은 Cloud IDS는 거의 모든 방어 회피를 차단하는 효과를 입증했습니다.

개발자 중심의 사용 편의성

Google은 고객이 혁신을 가속화할 수 있도록 사용하기 쉬운 도구로 혁신 여정을 간소화하는 데 우선순위를 두고 있습니다. 오늘 Google에서는 Batch 미리보기 버전을 선보입니다. 이 완전 관리형 작업 스케줄러는 고객이 단일 명령어로 수천 개의 일괄 작업을 실행하도록 지원합니다. 간단하게 설정할 수 있으며 요구 사항이 까다로운 MPI 라이브러리를 비롯한 처리량 지향 워크로드를 지원합니다. 작업이 자동 확장 가능한 리소스에서 실행되므로 개발자에게 가장 중요한 작업을 처리할 수 있는 시간 여유가 생깁니다. 이에 따라 유전체 염기서열 분석, 미디어 렌더링, 금융 리스크 모델링, 전자 설계 자동화 등의 HPC, AI/ML, 데이터 처리 워크로드를 실행하는 개발자 환경이 개선됩니다.

계속해서 더욱 쉽게 혁신을 이룰 수 있도록 최근에는 새로운 HPC Toolkit의 출시를 발표했습니다. Google Cloud의 이 오픈소스 도구를 사용하면 입증된 권장사항에 따라 반복 가능하고 즉시 사용이 가능한 HPC 클러스터를 몇 분 만에 간편하게 만들 수 있습니다. 여러 청사진은 물론 Slurm 스케줄러, Intel DAOS, DDN Lustre 스토리지와 같은 서드 파티 구성요소에 대한 폭넓은 지원도 제공합니다.

시스템 성능 및 인프라가 수행하는 작업에 대한 이해는 보안과 밀접한 관련이 있지만, 이를 잘 수행하려면 사용하기 쉬워야 합니다. Google에서 최근에 선보인 네트워크 분석기는 고객이 사후 대응 워크플로를 사전 예방 프로세스로 변환하고 VPC 네트워크 구성을 자동으로 모니터링하여 네트워크 및 서비스 다운타임을 줄이도록 도와줍니다. Network Intelligence Center의 일부인 네트워크 분석기는 Google Cloud 네트워크 관측 가능성, 모니터링, 문제 해결을 위한 단일 콘솔을 제공합니다.

지금까지 소개한 내용은 고객이 손쉽고 혁신적이며 최적화된 플랫폼에서 안전하게 혁신하고 온프레미스에서 에지, 클라우드로 확장할 수 있는 인프라를 제공하기 위한 Google Cloud의 노력을 보여주는 일부 사례에 불과합니다. Broadcom 및 Snap과 같은 고객이 Google Cloud의 유연한 인프라를 사용하여 어떻게 가장 큰 난관을 해결하고 있는지 자세히 알아보려면 오늘 방송되는 Infrastructure Spotlight 이벤트를 시청하세요.

새로운 Google Cloud HPC Toolkit으로 고성능 컴퓨팅 여정 가속화

Wed, 27 Jul 2022 00:00:00 +0000

* 본 아티클의 원문은 2022년 5월 28일 Google Cloud 블로그(영문)에 게재되었습니다.

Cloud HPC Toolkit 소개

고성능 컴퓨팅(HPC) 워크로드를 클라우드에서 실행하면 클러스터 전체를 몇 분 내에 만들고 해체할 수 있는 유연성을 포함해 여러 이점을 얻을 수 있습니다. 그러나 이 유연함에는 복잡함이 수반됩니다. 적절한 머신 구성을 선택하려면 어떻게 해야 할까요? 선호하는 스케줄러를 설치하려면 또 어떻게 해야 할까요? 선택한 파일 시스템은 어떻게 설정해야 할까요? 물론, 최상의 성능을 갖춰야 하며 쉽고 유연하고 반복 가능한 표준화된 프로세스도 구현해야 합니다.

Google Cloud에서 HPC를 간소화하려는 노력이 한 단계 발전하여 Cloud HPC Toolkit이 출시됩니다. 이 오픈소스 도구를 사용하면 입증된 권장사항을 기반으로 반복 가능한 턴키 HPC 클러스터를 손쉽게 만들 수 있습니다. Cloud HPC Toolkit을 사용하면 몇 분 만에 턴키 HPC 클러스터를 만들 수 있으므로 HPC가 더 쉬워집니다.

지난 몇 년간 Google Cloud는 HPC 워크로드 실행을 최적화하고 HPC 생태계 전반의 호환성을 보장하기 위해 노력해왔습니다. 이러한 노력이 큰 성과를 거두면서 Altair의 PBS Professional 및 Altair Grid Engine, Slurm(SchedMD에서 지원됨), IBM Spectrum LSF와 같이 널리 사용되는 작업 스케줄러를 배포하는 간단한 방법을 제공하고 있습니다. 또한 DDN과 협력하여 IO500에 등재된 Lustre 시스템 중 최고 점수를 획득한 시스템을 구축했습니다.

HPC Toolkit 기능

Google Cloud에서 HPC 환경 구성, 구축, 배포

HPC Toolkit은 구성 가능한 HPC 환경을 실현하는 모듈형 설계를 채택했습니다. 이를 통해 간단한 HPC 환경과 고급 HPC 환경을 모두 손쉽게 정의하고 배포할 수 있습니다. HPC 청사진은 Terraform 모듈, Packer 템플릿, Ansible 플레이북을 구성하는 고수준 YAML 형식 파일을 통해 HPC 환경의 인프라 및 소프트웨어 구성을 정의합니다. 기존 청사진으로 클러스터를 만들거나 필요에 맞게 수정할 수 있습니다. 청사진에서 단 몇 줄의 텍스트를 통해 손쉽게 구성을 수정하여 필요한 인프라와 작업에 필요한 업종별 도구를 프로비저닝할 수 있습니다.

HPC Toolkit에는 소규모의 기본 클러스터부터 높은 I/O 성능을 갖춘 클러스터까지 다양한 구성 예시 청사진이 포함되어 있습니다. 이러한 예시를 그대로 사용하여 HPC Toolkit 작동 방식을 익힐 수도 있고 수정하여 다른 구성을 만들 수도 있습니다.

HPC 모듈은 컴퓨팅, 스케줄러, 스토리지, 네트워킹을 포함하여 HPC 환경을 조합하기 위해 가져오는 구성요소입니다. 로컬에서 이러한 모듈을 개발하고 가져오거나, GitHub에서 자동으로 가져올 수 있습니다. 현재 Cloud HPC Toolkit은 다음과 같은 인프라, 솔루션, 모듈을 지원합니다.

컴퓨팅: 모든 VM 유형, GPU, HPC VM 이미지, 인스턴스 템플릿, 구성 가능한 SMT
스케줄러: Slurm
스토리지: Intel DAOS, DDN EXAScaler(Lustre), Filestore, 로컬 SSD, Persistent Disk
네트워크: 100Gbps(등급 1) 대역폭, 배치 그룹
Spack 및 Dell Omnia, Cloud Monitoring을 통한 기타 주요 기능

Cloud HPC Toolkit을 Intel® Select Solutions for Simulations and Modeling 청사진과 함께 사용하면 철저히 테스트되고 실제 환경에서의 성능에 최적화된 하드웨어-소프트웨어 구성을 자동으로 가동하여 추측의 개입 가능성을 없애는 부가적인 이점을 얻을 수 있습니다. Intel® Select Solutions for Simulations and Modeling 청사진에는 Intel® oneAPI HPC Toolkit(HPC 키트)이 포함됩니다. 이는 벡터화, 멀티스레딩, 다중 노드 동시 로드, 메모리 최적화 분야의 최신 기법을 활용하여 HPC 애플리케이션을 빌드, 분석, 최적화, 확장하는 작업을 간소화합니다. 여기에는 널리 사용되는 Intel® MPI Library 및 Intel® oneAPI Math Kernel Library도 포함됩니다.

또한 Google Cloud는 Altair의 PBS Professional과 Altair Grid Engine 스케줄러에 대한 지원을 포함하여 이후 버전에 출시될 기능과 통합을 위한 작업을 시작했습니다.

파트너 사례 소개

Intel

고성능 스토리지에 대한 수요는 HPC에서 가장 빠르게 증가하고 있습니다. DAOS(Distributed Asynchronous Object Storage)는 오픈소스 소프트웨어 정의 수평 확장 객체 저장소로, HPC 애플리케이션에 높은 대역폭, 짧은 지연, 높은 IOPS 스토리지 컨테이너를 제공합니다. DAOS의 사용은 AI와 HPDA에서 증가하고 있습니다. Google Cloud HPC Toolkit을 이용하면 GCP에서 DAOS를 훨씬 손쉽게 사용할 수 있습니다. 이제 Google HPC 사용자는 프로젝트의 규모에 관계없이 몇 분 내에 DAOS 임시 스토리지를 프로비저닝할 수 있습니다. DAOS를 객체 스토리지와 결합한 하이브리드 모델은 성능을 가속화하고 비용 효율성을 높입니다. 이제 DAOS가 Google Cloud 환경과 완전히 통합되며 Google이 새로 발표한 HPC Toolkit에 호스팅되어 완전 자동화된 환경을 제공합니다. “DAOS는 HPC의 미래입니다. Google Cloud에서 빠르고 간편하게 DAOS에 액세스할 수 있게 되었다고 오늘 발표된 소식은 일 년 넘게 진행된 기술 협업이 결실을 맺었음을 의미합니다." – 켈시 프랜티스, Intel 고성능 스토리지 부문 엔지니어링 책임자

AMD

클라우드 컴퓨팅은 고객의 가장 까다로운 워크로드에 대응해 확장성, 구현 용이성, 놀라운 가격 대비 성능을 실현합니다. 새로운 Google Cloud HPC Toolkit은 누구나 3세대 AMD EPYC™ 프로세서 기반의 C2D VM으로 HPC 환경을 만들 수 있도록 지원하여 배포가 한결 더 쉬워집니다. “HPC Toolkit은 복잡성을 완화하고 자동화를 개선하는 한편 클라우드에서 HPC의 오류를 줄여줍니다. 모든 고객을 위한 접근성을 높이기 위해 AMD 기반 가상 머신을 최적화하는 과정에서 Google Cloud와 협력하게 된 것을 기쁘게 생각합니다.” – 수레시 안다니, AMD 클라우드 비즈니스 개발 책임자

Altair

“Google과 전략적 기술 협업을 진행하게 되어 기쁩니다. Altair는 Altair PBS Professional과 Altair Grid Engine을 HPC Toolkit과 통합함으로써 Google Cloud에 대한 액세스를 간소화하고 HPC를 범용화하고 있습니다.” – 퓨시 파텔, 전략적 관계 부문 수석 부사장

NAG

NAG와 Google은 오늘 발표된 Google Cloud HPC Toolkit의 주요 구성요소 개발을 위해 작년 한 해 동안 협력했습니다. NAG는 Google과 긴밀한 파트너십을 통해 협력하면서 NAG® Cloud HPC Migration Services의 일환으로 GCP 고객을 위한 Cloud HPC Toolkit을 기반으로 최종 사용자 지원과 컨설팅 등의 추가 서비스를 제공합니다. “이제 Cloud HPC Toolkit을 사용하여 GCP에서 몇 분 만에 HPC 클러스터를 만들 수 있습니다.” – 아드리안 테이트, NAG CEO

Cloud HPC Toolkit 시작하기

기존 청사진(예: 기본 클러스터 또는 높은 I/O 성능을 갖춘 클러스터) 중 하나를 사용하여 지금 HPC Toolkit을 사용해 보거나 예시를 수정하여 자체 청사진을 만들어보세요. HPC 청사진 예시의 전체 목록은 Cloud HPC Toolkit GitHub 저장소를 참조하세요. HPC Toolkit 사용에 대한 자세한 내용은 HPC Toolkit 문서에서 확인할 수 있습니다. 여기에는Google의 빠른 시작 가이드도 포함됩니다. Cloud HPC Toolkit에 대한 의견이 있으시면 지원 채널을 통해 전달해 주세요. Google Cloud의 HPC 솔루션에 대한 자세한 내용은 HPC 솔루션 페이지에서 확인할 수 있으며 Google에 문의하여 알아볼 수도 있습니다.

클라우드 위 구름(cloud): Google Cloud에서 기상 예측

Tue, 12 Jul 2022 00:00:00 +0000

* 본 아티클의 원문은 2022년 3월 29일 Google Cloud 블로그(영문)에 게재되었습니다.

기상 예측과 기후 모델링은 세상에서 가장 복잡한 컴퓨팅이 요구되는 까다로운 작업에 해당합니다. 특히 시간에 매우 민감하고 수요가 높습니다. 주말 나들이객부터 대규모 산업형 농장 운영자에 이르기까지 모두가 최신의 기상 예측 정보를 원합니다. 기상 예보관은 의미 있는 예측을 적시에 제공하기 위해 일반적으로 온프레미스 데이터 센터에 호스팅된 고성능 컴퓨팅(HPC) 클러스터를 이용합니다. 이 온프렘 HPC 시스템은 막대한 자본을 투자해야 하고 장기간 많은 운영비가 발생합니다. 전력 소모가 심하고 구성의 대부분이 고정적이며 기본 컴퓨터 하드웨어의 교체 주기 역시 경직되어 있습니다.

클라우드를 이용할 경우 유연성 향상, 지속적인 하드웨어 업그레이드, 높은 안정성, 지리적으로 분산된 컴퓨팅과 네트워킹, '사용한 만큼 비용을 지불하는' 가격 모델 등 다양한 이점을 누릴 수 있습니다. 그 결과 클라우드 컴퓨팅을 이용하는 기상 예보관과 기후 모델러는 최신 하드웨어 및 소프트웨어 시스템을 사용하는 유연한 플랫폼에서 비용 효율적인 방식으로 정확한 결과를 시의적절하게 제공할 수 있게 됩니다. 이러한 접근은 기존의 기상 예측 방식과 크게 다르기 때문에 어려워 보일 수 있습니다. 이제 기상 예보관은 Google Cloud에서 Fluid Numerics의 새로운 WRF VM 이미지를 사용하여 손쉽게 WRF(Weather Research and Forecasting)를 실행하고 저렴한 비용으로 온프레미스 슈퍼 컴퓨터의 성능을 구현하는 데 도움을 얻을 수 있습니다. 이 솔루션을 사용하면 기상 예보관이 Google Cloud에서 WRF 시뮬레이션을 준비하고 실행하는 데 1시간이 채 걸리지 않습니다.

WRF 자세히 살펴보기

WRF(Weather Research and Forecasting)는 연구원과 운영 조직 모두 활발히 사용하는 오픈소스 기반의 수치형 기상 예측 모델링 시스템입니다. WRF가 주로 기상 및 기후 시뮬레이션에 사용되지만 화학적 상호작용, 산불 모델링 등 다양한 사용 사례를 지원하도록 WRF의 기능을 확장했습니다. WRF 개발은 1990년대 후반 미국 국립 대기 연구 센터(NCAR), 미국 해양대기청(NOAA), 미국 공군 및 해군 연구소(U.S. Air Force, Naval Research Laboratory), 오클라호마 대학교, 연방항공국의 협업을 통해 시작되었습니다. WRF 커뮤니티는 대기 연구와 운영 예측을 지원한다는 공동의 목표 아래 160여 개국의 48,000명이 넘는 사용자로 구성되어 있습니다.

Google Cloud WRF 이미지는 Google의 HPC 관련 MPI 권장사항을 토대로 빌드되지만 예외적으로 하이퍼스레딩이 기본적으로 사용 중지되고, Google Cloud에서 SchedMD의 Slurm-GCP 등의 다른 HPC 솔루션과 손쉽게 통합됩니다. 일반적으로 WRF 및 관련 종속 항목을 설치하는 데는 많은 시간이 소요됩니다. 새로운 WRF VM 이미지를 이용하면 WRF v4.2가 사전 설치된 확장 가능한 HPC 클러스터를 Codelab을 통해 빠르고 쉽게 배포할 수 있습니다. 이전에는 이 작업 전반에서 OpenMPI 4.0.2를 사용했습니다. Google은 Intel MPI로 성공적인 결과를 얻었으며 이 사례에서 추가적인 성능 개선의 여지가 있는지 조사하고자 합니다.

WRF 최적화

WRF 이미지 개발 과정에서 핵심은 성능과 비용을 고려하여 최적의 아키텍처와 빌드 설정을 결정하는 것이었습니다. Google이 이상적인 컴파일러와 적절한 CPU 플랫폼, 파일 IO 처리에 가장 적합한 파일 시스템을 선택하는 방법을 평가했으므로 이제 고객은 그럴 필요가 없습니다. 성능 평가의 테스트 사례로는 CONUS 2.5km 벤치마크를 사용했습니다.

아래의 CONUS 2.5km 런타임 및 비용 그림은 Google Cloud에서 사용 가능한 다양한 머신 유형을 대상으로 (수치화 프로세스를 통해) 480개 MPI 랭크를 사용한 2시간 예측에서 WRF를 시뮬레이션하는 데 필요한 런타임을 보여줍니다. 머신 유형별로 컴파일러, 컴파일러 최적화, 작업 어피니티를 달리 하여 여러 테스트를 진행하고 여기서 측정된 최저 런타임을 보여줍니다.

컴퓨팅 최적화된 c2 인스턴스의 런타임이 가장 짧은 것으로 확인되었습니다. Slurm 작업 스케줄러를 사용하면 작업 어피니티 플래그를 사용하여 컴퓨팅 하드웨어에 MPI 작업을 매핑할 수 있습니다. 각 머신 유형의 런타임과 비용을 최적화할 때는 WRF 실행을 위해 각 MPI 프로세스를 실제 코어(MPI 랭크당 vCPU 2개)에 매핑하는 srun –map-by core –bind-to core와 각 MPI 프로세스를 vCPU 1개에 매핑하는 srun –map-by thread –bind-to thread를 사용하는 사례를 비교했습니다. 코어별로 매핑하고 MPI 랭크를 코어에 바인딩하는 것은 하이퍼스레딩을 사용 중지하는 것과 유사합니다.

각 플랫폼에서 CONUS 2.5km의 시뮬레이션 비용과 런타임이 가장 이상적인 경우는 각 MPI 랭크가 각 vCPU에 구독될 때입니다. vCPU에 바인딩하는 경우 필요한 컴퓨팅 리소스가 실제 코어에 바인딩할 때의 절반에 불과하므로 시뮬레이션의 초당 비용이 줄어듭니다. CONUS 2.5km의 경우, MPI 랭크를 코어에 매핑하면 동일한 수의 MPI 랭크에 대해 런타임이 감소하는 결과가 나타났지만 성능상의 이점이 비용 절감 효과를 능가할 만큼 크지는 않습니다. 이런 이유로 WRF-GCP 솔루션은 기본적으로 하이퍼스레딩을 사용 중지하지 않습니다.

이상적인 컴파일러를 선택하면 런타임과 시뮬레이션 비용을 더욱 절감할 수 있습니다. 아래 그림(CONUS 2.5km 컴파일러 비교)은 GCC 10.30, GCC 11.2.0, Intel® OneAPI® 컴파일러(v2021.2.0)를 사용하여 8개 c2-standard-60 인스턴스에 대해 실행한 WRF CONUS 2.5km 벤치마크에 대한 시뮬레이션 런타임을 보여줍니다. 어떤 방식을 사용하든 WRF는 수준 3 컴파일러 최적화와 Cascade Lake 대상 아키텍처 플래그를 사용하여 빌드됩니다. WRF를 Intel® OneAPI® 컴파일러로 컴파일하면 WRF 시뮬레이션 속도가 GCC 빌드보다 47% 더 빨라지므로 동일한 하드웨어에서 약 68%의 비용으로 실행할 수 있습니다. 이 작업에는 MPI 구현으로 각 컴파일러와 함께 OpenMPI 4.0.2가 사용되었습니다. 다른 애플리케이션의 경우 Intel MPI 2018에서 양호한 성능이 확인되었으므로 이 구현과 다른 MPI 구현에서 성능을 비교하는 조사를 실시하려고 합니다.

MPI 랭크 수가 증가하면 WRF의 파일 IO가 심각한 병목 현상을 유발할 수 있습니다. 최적의 파일 IO 성능을 얻으려면 WRF에서 병렬 파일 IO를 사용하고 Lustre와 같은 병렬 파일 시스템을 이용해야 합니다.

아래에서는 파일 IO 활동의 속도 향상을 NFS 파일 시스템의 직렬 IO와 비교하여 보여줍니다. 이 예에서는 MPI 랭크 수가 960개인 조건에서 c2-standard-60 인스턴스에 대해 CONUS 2.5km 벤치마크를 실행합니다. WRF의 파일 IO 전략을 병렬 IO로 변경할 경우 파일 IO 시간이 60배 빨라집니다.

또한 Fluid Numerics의 오픈소스 Lustre Terraform 코드형 인프라에서 배포된 Lustre 병렬 파일 시스템을 사용하여 IO 속도를 높이고 시뮬레이션 비용을 절감합니다. Lustre는 Google Cloud Marketplace의 DDN EXAScaler 솔루션 지원을 통해서도 이용할 수 있습니다. 이 경우 Lustre OSS(Object Storage Service) 인스턴스에 4개의 n2-standard-16 인스턴스를 사용하고 각 로컬 SSD는 3TB입니다. Lustre MDS(Metadata Server)는 n2-standard-16 인스턴스이고 1TB의 PD-SSD 디스크를 사용합니다. Lustre 파일 시스템을 클러스터에 마운트한 후 파일 IO가 4개 OSS 인스턴스에 분산될 수 있도록 Lustre 스트라이프 수를 4로 설정합니다. IO에 대해 Lustre 파일 시스템을 사용하도록 전환하여 파일 IO를 193배 가속화합니다. 이는 직렬 IO를 지원하는 1개 NFS 서버보다 몇 배 더 빠른 수치입니다.

컴퓨팅 리소스를 추가하고 MPI 랭크 수를 늘리면 시뮬레이션 실행 시간이 줄어듭니다. 이상적으로는 완벽한 선형 확장으로 MPI 랭크 수를 두 배로 늘리면 시뮬레이션 시간이 절반으로 단축되게 됩니다. 하지만 MPI 랭크를 추가하면 통신 오버헤드가 늘어나므로 시뮬레이션당 비용이 증가할 수 있습니다. 통신 오버헤드는 문제를 더 많은 머신에 골고루 분산하기 위해 필요한 통신의 양이 늘어나기 때문에 발생합니다.

MPI 랭크 수를 순차적으로 두 배씩 늘려 일련의 모델 예측을 실행하는 방법으로 CONUS 2.5km 벤치마크에 대해 WRF의 확장성을 평가할 수 있습니다. 아래에는 MPI 랭크 수를 480개에서 1,920개로 변경하면서 Lustre 파일 시스템을 사용하여 c2-standard-60 인스턴스에 대해 실행한 2시간 예측이 나와 있습니다. 이 모든 실행에서는 MPI 랭크 수가 증가함에 따라 각 시뮬레이션의 전용 vCPU 수도 증가하도록 MPI 랭크가 vCPU에 결속되어 있습니다. 많은 HPC 워크로드는 동시 멀티스레딩(SMT)이 사용 중지된 상태에서 실행하는 것이 가장 좋지만 CONUS 2.5km의 경우에는 SMT를 사용 설정한 상태에서 성능이 가장 우수한 것으로 확인됩니다. 따라서 본 실행에서는 MPI 랭크 수가 vCPU의 총 수와 동일합니다.

여기에 나와 있는 CONUS 2.5km 런타임 및 비용 확장 그림에서는 MPI 랭크 수와 컴퓨팅 리소스 양이 최소한 1,920개 랭크까지 증가하는 과정에서는 런타임(파란색 막대)이 감소한다는 것을 알 수 있습니다. MPI 랭크를 480개에서 960개로 전환하면 런타임이 줄고 속도가 약 1.8배 빨라집니다. 1,920개 MPI 랭크로 다시 두 배로 늘린 경우에는 속도가 추가적으로 1.5배 증가하는 데 그쳤습니다. 이렇게 MPI 랭크 증가 대비 속도 증가분이 줄어드는 추세를 통해 MPI 랭크가 증가할수록 MPI 오버헤드가 커지는 것을 알 수 있습니다.

최적의 사례 결정

WRF와 같이 긴밀하게 결합되는 대부분의 MPI 애플리케이션에서 이러한 확장 동작이 나타나며 MPI 랭크가 증가할수록 확장 효율성은 감소합니다. 따라서 총 소유 비용(TCO)을 고려할 때는 성능 대비 확장과 더불어 비용 대비 확장을 평가해야 합니다. 다행히 Google Cloud에서는 초 단위로 요금이 청구되므로 이러한 분석을 더 쉽게 수행할 수 있습니다. 위 그림과 같이 두 번째로 코어 수를 두 배를 늘린 경우인 960개에서 1,920개로 늘린 경우에는 속도가 1.5배 더 빨라지지만 비용도 32% 증가합니다. 상황에 따라 추가 비용을 감수할 만큼 이러한 빠른 처리가 필요한 경우가 있을 수 있습니다.

WRF를 빠르게 시작하고 CONUS 2.5km 벤치마크를 실험하고 싶은 고객을 위해 Google은 이 배포를 Terraform 스크립트로 캡슐화하고 관련 Codelab도 마련했습니다.

Google Cloud의 고성능 컴퓨팅 서비스에 대한 자세한 내용은 https://cloud.google.com/hpc에서 확인할 수 있으며 Google 파트너 Fluid Numerics에 대한 자세한 내용은 https://www.fluidnumerics.com을 참조하세요.

Google Cloud, 90% 무탄소 에너지로 운영되는 세계 최대 규모의 Cloud TPU v4 기반 일반 공개 ML 허브 출시

Tue, 31 May 2022 03:00:00 +0000

* 본 아티클의 원문은 2022년 5월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

Google 검색과 YouTube 같은 Google 제품에서 볼 수 있는 최첨단 기능은 커스텀 머신러닝(ML) 가속기인 Tensor Processing Unit(TPU)을 토대로 실현된 것입니다. 이 가속기를 Google Cloud 고객에게 Cloud TPU로 제공하고 있습니다. ML 역량, 성능, 확장성에 대한 고객 요구가 그 어느 때보다도 빠르게 증가하고 있습니다. 차세대 인공지능(AI)의 근본적인 발전을 위해 오늘 Google은 미리보기 버전의 Cloud TPU v4 포드 기반 Google Cloud 머신러닝 클러스터를 발표했습니다. 이는 세계에서 가장 빠르고 가장 효율적이며 지속 가능한 ML 인프라 허브 중 하나입니다.

Cloud TPU v4 포드 기반의 Google Cloud ML 클러스터를 사용하면 연구원과 개발자가 AI의 최전방에서 정교한 모델을 학습시킴으로써 혁신적인 대규모 자연어 처리(NLP), 추천 시스템, 컴퓨터 비전 알고리즘 등의 워크로드를 지원할 수 있습니다. 9 엑사플롭스급의 최고 집계 성능을 제공하는 Cloud TPU v4 포드 클러스터는 누적 컴퓨팅 성능 측면에서 세계 최대의 공공 활용 ML 허브이며 90%의 무탄소 에너지로 운영됩니다.

"IT 의사 결정권자 2,000명을 대상으로 실시한 최근 설문조사에 따르면 부적절한 인프라 기능이 AI 프로젝트 실패의 근본 원인으로 작용하는 경우가 많은 것으로 나타났습니다. 목적에 맞게 빌드된 기업용 AI 인프라의 중요성이 커짐에 따라 Google은 오클라호마에서 9 엑사플롭스급의 집계 컴퓨팅 성능을 제공하는 새로운 머신러닝 클러스터를 출시했습니다. 90% 무탄소 에너지로 운영되는 것으로 보고된 세계 최대 규모의 일반 공개 ML 허브라고 생각합니다. 이는 지속 가능성을 염두에 두고 AI 인프라를 혁신하려는 Google의 지속적인 노력을 보여줍니다." - 맷 이스트우드, IDC 연구 부문 수석 부사장

가능성 확장

Google I/O 2021에서 Cloud TPU v4를 발표한 뒤 Google은 Cloud TPU v4 포드 사전 체험판을 Cohere, LG AI연구원, Meta AI, Salesforce Research를 포함한 주요 AI 연구팀 여러 곳에 제공했습니다. 연구팀은 체험판에 만족하며 그 장점으로서 빠른 상호 연결 및 최적화된 소프트웨어 스택을 통해 제공되는 TPU v4의 뛰어난 성능과 확장성, 새로운 TPU VM 아키텍처로 자체 대화형 개발 환경을 설정할 수 있는 능력, JAX, PyTorch 또는 TensorFlow를 아우르며 원하는 프레임워크를 사용할 수 있는 유연성을 꼽았습니다. 이러한 특성 덕분에 연구팀에서는 우수한 성능 및 탄소 효율성을 바탕으로 대규모 최첨단 ML 모델을 학습시키며 AI의 한계를 뛰어넘고 있습니다.

Cohere에서는 언어 생성, 분류, 검색을 위한 API를 포함한 최첨단 자연어 처리(NLP) 서비스를 구축합니다. 이러한 도구는 Cohere가 JAX를 사용하여 Cloud TPU로 처음부터 학습시키는 일련의 언어 모델을 기반으로 합니다. Cloud TPU v3 포드에서 Cloud TPU v4 포드로 전환한 결과, 초대형 모델의 학습 시간이 70% 개선되어 연구원들이 반복 작업을 빠르게 수행하고 고객에게 더 높은 품질의 결과를 제공할 수 있게 되었습니다. 탄소 발자국의 혁신적인 절감 또한 Cloud TPU v4 포드의 만족도를 높인 주요 요인이었습니다. 에이단 고메즈, Cohere CEO 겸 공동 설립자

LG AI연구원은 TPU v4가 상용화되기 전부터 전략적 연구 파트너로서 테스트에 참여해 3,000억 개 매개변수 규모의 초거대 AI인 LG EXAONE을 학습시켰습니다. 멀티모달 기능을 갖춘 LG EXAONE은 TPU v4와 6,000억 개 이상의 토큰 텍스트 코퍼스 및 2억 5,000만 개가 넘는 이미지로 구성된 방대한 데이터를 사용해 학습하여 커뮤니케이션, 생산성, 창의성 등의 측면에서 인간 전문가를 뛰어넘는 것을 목표로 하고 있습니다. TPU v4의 성능은 동급 최고의 컴퓨팅 아키텍처를 능가했을 뿐만 아니라 고객 중심 지원에서도 기대 이상이었습니다. Google과 협력하게 된 것을 매우 기쁘게 생각하며 더 나은 삶을 위해 AI를 발전시킨다는 궁극적인 비전을 달성할 수 있도록 전략적 파트너십을 굳건히 이어갈 것입니다. 배경훈 박사, LG AI연구원 원장

더 크고 혁신적인 모델을 수용하면서도 모델의 학습 속도를 높이는 것을 목표로 TPU v4 테스트를 수행하기 시작했습니다. PyTorch, XLA, TPU v4 기반 시스템 사용을 통해 컴퓨터 비전 연구의 한계를 뛰어넘을 수 있기를 기대합니다. 롱항 후, Meta AI 연구 과학자

TPU v4 사전 체험판을 사용한 덕분에 간단한 영어 프롬프트를 실행 가능한 코드로 전환하는 160억 개의 매개변수를 갖춘 자동 회귀 언어 모델인 CodeGen 프로젝트의 대화형 AI 프로그래밍에 혁신을 가져올 수 있었습니다. 학습 샘플 수에 비례하도록 모델 매개변수의 수를 조정하면 모델 성능이 뚜렷하게 향상된다는 경험적 관찰을 토대로 이 모델을 거대한 크기로 만들었습니다. 이러한 현상은 '눈금 바꿈 법칙'으로 알려져 있습니다. TPU v4는 이러한 유형의 수평 확장 ML 학습을 위한 탁월한 플랫폼으로서 다른 유사 AI 하드웨어 대안에 비해 상당한 성능상의 이점을 제공합니다. 에릭 네이캄프, Salesforce 연구 과학자

또한 TPU v4를 통해 Google 연구팀은 2개의 TPU v4 포드로 학습시켜 최근 출시한 PaLM(Pathways Language Model)을 포함하여 언어 이해, 컴퓨터 비전, 음성 인식 등 여러 분야에서 혁신을 이룰 수 있었습니다.

“고급 AI 하드웨어의 접근성을 높이기 위해 몇 년 전 TPU Research Cloud(TRC) 프로그램을 출범하여 전 세계 수천 명의 ML 연구원에게 TPU를 무료로 액세스할 수 있는 기회를 제공했습니다. 그 결과, 'AI를 사용한 페르시아어 시 쓰기'부터 '컴퓨터 비전 및 행동 유전학을 사용하여 수면과 운동으로 유발된 피로감의 구분'에 이르기까지 다양한 주제를 다룬 수백 편의 논문과 오픈소스 GitHub 라이브러리가 발표되었습니다. Cloud TPU v4 출시는 Google 연구팀과 TRC 프로그램 모두에게 중요한 이정표입니다. AI를 좋은 일에 사용하기 위해 전 세계 ML 개발자들과 오랜 시간 협업하게 된 것을 매우 기쁘게 생각합니다.” - 제프 딘, Google 연구 및 AI 부문 수석 부사장

지속 가능한 ML 혁신

이 모든 연구가 무탄소 에너지를 토대로 한다는 사실이 Google Cloud ML 클러스터의 가장 특별한 점 중 하나입니다. 지속 가능성을 위한 노력의 일환으로 Google은 2017년부터 데이터 센터 및 클라우드 리전의 연간 에너지 소비량을 100% 재생 에너지로 대체하고 있습니다. Google은 2030년까지 기업 전반에서 매일 매시간 무탄소 에너지(CFE)로 운영하는 것을 목표로 합니다. ML 클러스터가 구축된 Google 오클라호마 데이터 센터는 동일한 그리드 내에서 매시간 90% 무탄소 에너지로 운영하면서 이 목표를 향해 순조롭게 나아가고 있습니다.

직접적인 클린 에너지 공급 외에도 이 데이터 센터는 Power Usage Efficiency(PUE) 지수 1.10을 달성하며 세계에서 가장 에너지 효율적인 데이터 센터 중 한 곳이 되었습니다. 더불어 TPU v4 칩은 최대 전력에서 지원하는 최고 와트당 FLOPS 영역에서 TPU v3의 3배에 달하는 성능과 뛰어난 에너지 효율성을 제공합니다. 이렇게 우수한 클린 전력이 공급되는 데이터 센터에서 에너지 효율적인 ML관련 하드웨어를 운영하며 동시에 Cloud TPU v4는 3가지 주요 권장사항을 통하여 에너지 사용량 및 탄소 배출량을 현저하게 줄일 수 있는 방법을 제안합니다.

독보적인 확장성과 가격 대비 뛰어난 성능

최고의 ML팀과 협업하면서 지속 가능성 외에 확장성과 가격 대비 성능이 또 다른 두 가지 주요 쟁점이라는 사실을 확인했습니다. 오클라호마의 ML 클러스터는 모델 학습에 필요한 용량을 업계 최고 수준의 청정 클라우드에서 우수한 가격 대비 성능으로 제공합니다. Cloud TPU v4는 이러한 문제를 해결하는 데에 있어 중추적인 역할을 합니다.

확장성: 각 Cloud TPU v4 Pod는 호스트별로 업계 최고의 초당 6테라비트(Tbps) 대역폭에 버금하는 초고속 상호 연결 네트워크를 통해 연결된 4,096개 칩으로 이루어져 있어 대규모 모델의 빠른 학습이 가능합니다.

가격 대비 성능: 각 Cloud TPU v4 칩은 Cloud TPU v3보다 2.2배 높은 최고 FLOPS를 지원하며 달러당 최고 FLOPS는 1.4배 더 우수합니다. 또한 Cloud TPU v4는 수천 개의 칩을 통해 수직 확장되어 ML 모델 학습 시 매우 높은 FLOPS 사용률을 달성합니다. 시스템을 비교할 때 최고 FLOPS를 기준으로 사용하는 경우가 많지만, 실제로 모델 학습 효율성을 결정하는 것은 규모에 따른 지속적인 FLOPS입니다. Cloud TPU v4은 높은 네트워크 대역폭과 컴파일러 최적화 덕분에 다른 시스템보다 월등히 우수합니다. 따라서 이를 기반으로 FLOPS 사용률을 높이면 학습 시간이 짧아지고 비용 효율이 탁월해질 것입니다.

칩 특성	Cloud TPU v3	Cloud TPU v4
칩당 최고 컴퓨팅	123테라플롭(bf16)	275테라플롭(bf16 또는 int8)
HBM2 용량 및 대역폭	32GiB, 900GB/초	32GiB, 1,200GB/초
측정된 최소/평균/최대 전력	123/220/262W	90/170/192W
TPU Pod 크기	칩 1,024개	칩 4,096개
상호 연결 토폴로지	2D 토러스	3D 토러스
포드당 최고 컴퓨팅	126페타플롭(bf16)	1.1엑사플롭(bf16 또는 int8)
포드당 올리듀스 대역폭	340TB/초	1.1PB/초
포드당 바이섹션 대역폭	6.4TB/초	24TB/초

표 1: Cloud TPU v4 Pod는 큰 발전을 이룬 FLOPS, 상호 연결, 에너지 효율성을 통해 최첨단 성능을 제공합니다.

4개의 칩(TPU VM 1개)부터 수천 개의 칩에 이르는 구성으로 Cloud TPU v4 Pod 슬라이스를 사용할 수 있습니다. 전체 포드보다 작은 이전 세대 TPU의 슬라이스에는 토러스 링크('랩어라운드 연결')가 없었지만 64개 이상의 칩으로 구성된 모든 Cloud TPU v4 Pod 슬라이스에는 3차원 모두에 토러스 링크가 있어 집합 통신 작업에 더 높은 대역폭을 제공합니다.

또한 Cloud TPU v4는 단일 기기에서 TPU v3의 16GiB에서 향상된 32GiB 메모리를 전부 사용하도록 지원하고, 최대 2배 더 빠른 임베딩 가속화를 제공하여 대규모 추천 모델 학습 성능을 개선해 줍니다.

가격 책정

Cloud TPU v4 Pod 액세스 권한은 평가(주문형), 선점형, 약정 사용 할인(CUD) 옵션으로 제공됩니다. 자세한 내용은 이 페이지를 참조하세요.

지금 시작하기

Google 서비스를 지원하는 최첨단 ML 인프라를 모든 사용자에게 제공하게 되어 기쁩니다. 커뮤니티에서 어떻게 Cloud TPU v4에 조합된 업계 최고의 확장성, 성능, 지속 가능성, 비용 효율성을 활용하여 가지고 올 차세대 ML 혁신이 매우 기대가 됩니다.

AI 워크로드에 Cloud TPU v4 Pod를 사용할 준비가 되셨나요? Google Cloud 계정 관리자에게 문의하거나 이 양식을 작성하세요.

오픈소스 ML 연구에 Cloud TPU를 이용해 보고 싶나요? TPU Research Cloud 프로그램을 확인하세요.

감사의 말씀

이번 출시가 가능하도록 도움을 주신 Cloud TPU 엔지니어링 및 제품팀에 감사의 말씀을 전합니다. 이 블로그 게시물을 위해 도움을 주신 소프트웨어 엔지니어인 제임스 브래드베리, 아웃바운드 제품 관리자인 바이바브 싱, 제품 관리자인 아루쉬 셀반에게도 감사의 말씀 전합니다 .

Compute Engine 사용: 주요 사용자 질문에 대한 답변

Tue, 22 Mar 2022 00:00:00 +0000

* 본 아티클의 원문은 2021년 8월 19일 Google Cloud 블로그(영문)에 게재되었습니다.

Compute Engine을 사용하면 Google 인프라에서 가상 머신(VM)을 만들고 실행하여 대규모 컴퓨팅 클러스터를 쉽게 실행할 수 있습니다.

30일 동안 가장 많이 조회된 Compute Engine 문서 페이지의 내부 목록을 검토하여 사용자가 어떤 주제를 반복적으로 살펴보는지 알아봤습니다. Compute Engine에 관해 가장 자주 묻는 질문 4가지를 순서대로 소개합니다.

1. 머신 계열의 유형

Compute Engine에서는 니즈에 맞는 머신을 선택할 수 있습니다. 소규모 용도부터 대규모 사용 사례에 이르는 특정 워크로드에 맞춰 최적화된 사전 정의된 가상 머신(VM) 구성을 선별한 집합 중에서 선택하거나 커스텀 머신 유형 기능을 사용하여 니즈에 따라 맞춤설정된 머신 유형을 만들 수도 있습니다.

Compute Engine 머신은 다음과 같은 머신 계열로 분류됩니다.

범용: 다양한 표준 및 클라우드 기반 워크로드에 최고의 가성비를 제공합니다.
컴퓨팅 최적화: 광고 게재 또는 미디어 트랜스코딩 등의 컴퓨팅 집약적인 워크로드에 가장 높은 코어당 성능을 제공합니다.
메모리 최적화: SAP HANA 또는 인메모리 데이터 분석 등의 메모리 집약적인 워크로드에 다른 계열보다 많은 코어당 컴퓨팅 및 메모리를 제공합니다.
가속기 최적화: 머신러닝(ML) 또는 고성능 컴퓨팅(HPC) 등의 가장 까다로운 워크로드에 맞춰 설계되었습니다.

문서에서 각 머신 계열 카테고리를 자세히 알아보세요.

2. 고급 방법을 사용하여 VM에 연결하는 방법

일반적으로 Google Cloud Console과 gcloud 명령줄 도구를 사용해 Linux VM 인스턴스에 연결하는 것이 좋습니다. 하지만 타사 도구를 사용하고 싶어 하거나 대체 연결 구성이 필요한 고객도 있습니다.

이러한 경우 표준 연결 옵션보다 니즈를 더 효과적으로 충족하는 방법이 몇 가지 있습니다.
타사 도구(예: Windows PuTTY, Chrome OS Secure Shell 앱이나 MacOS 또는 Linux 로컬 터미널)를 사용해 인스턴스에 연결
외부 IP 주소가 없는 인스턴스에 연결
루트 사용자로 인스턴스에 연결, 서비스 계정으로 인스턴스 간 수동 연결하고 명령어 실행

문서에서 Linux VM 연결을 위한 고급 방법을 알아보세요.

3. OS 로그인을 설정하는 방법

OS 로그인에서는 IAM 역할 및 권한을 사용해 VM에 대한 액세스와 권한을 관리할 수 있습니다.

OS 로그인은 여러 인스턴스 또는 프로젝트에서 사용자를 관리할 때 권장되는 방식입니다. OS 로그인에서 제공하는 기능은 다음과 같습니다.

자동 Linux 계정 수명 주기 관리
광범위한 권한을 부여할 필요가 없는 Google IAM을 사용한 세부적인 승인
무단 액세스를 방지하는 자동 권한 업데이트
Active Directory(AD) 및 경량 디렉터리 액세스 프로토콜(LDAP)에서 기존 Linux 계정 가져오기

OS 로그인에 2단계 인증을 설정하여 추가 보안 레이어를 적용하거나, 조직 정책을 설정하여 조직 액세스를 관리할 수도 있습니다.

문서에서 OS 로그인을 구성하여 인스턴스에 연결하는 방법을 알아보세요.

4. 메타데이터에서 SSH 키를 관리하는 방법

Compute Engine에서는 공개 SSH 키 메타데이터를 수정하여 SSH 키와 로컬 사용자 계정을 수동으로 관리할 수 있습니다.

다음을 사용하여 공개 SSH 키를 인스턴스 및 프로젝트 메타데이터에 추가할 수 있습니다.

Google Cloud Console gcloud 명령줄 도구
Google Cloud 클라이언트 라이브러리의 API 메서드

문서를 읽고 메타데이터에서 로컬 사용자 계정과 SSH 키를 수동으로 관리하는 방법을 알아보세요.

찾으시는 질문이 여기에 없나요? Compute Engine 문서에서 모든 권장 가이드, 튜토리얼, 리소스를 확인해 보세요.

연간 결산: Google Cloud 인프라의 발전

Thu, 20 Jan 2022 00:00:00 +0000

* 본 아티클의 원문은 2021년 12월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

2021년은 전 세계 고객에게 새로운 과제와 성공을 동시에 안겨준 해였습니다. 삶이 일상으로 돌아갈 것으로 기대했지만 결국 그렇지 못했습니다. 불확실성에도 불구하고 고객이 클라우드 인프라를 주요 동력으로 삼아 비즈니스를 운영하는 시간, 장소, 방식에 대규모 혁신을 도입한 것을 지켜보는 것은 무척 흥미로운 경험이었습니다.

IDC에 따르면 '2024년까지 50%에 달하는 조직이 클라우드 기반 기술을 비롯한 관리형 서비스가 제공하는 추상화를 기반으로 빌드된 애플리케이션을 사용하여 위치에 상관없이 일관성을 유지할 전망'입니다.¹⁾ 지난 1년간 Google은 이를 현실화하기 위한 첫 단계로 많은 고객과 협력한 것을 영광스럽게 생각합니다.

2021년에 Google Cloud 인프라가 어떻게 발전했고 새해에 지향하는 방향은 무엇인지 자세히 살펴보겠습니다.

독립적인 전문가가 선두 제품으로 인정하는 Google Cloud

Google Cloud는 Gartner Magic Quadrant의 클라우드 인프라 및 플랫폼 서비스 부문에서 4년 연속으로 업계 선두 제품으로 선정되었습니다.

The Forrester Wave는 AI 인프라 부문에서 Google을 최고 업체로 선정하여 미래의 AI 중심 세상에 대비한 Google의 투자가 적절했음이 입증되었습니다.

또한 Google Cloud는 HPC Wire로부터 클라우드 부문에서 HPC를 가장 잘 활용한 제품으로 인정받아 에디터스 초이스 어워즈를 수상했습니다.

더 쉬워진 엔터프라이즈 애플리케이션 마이그레이션

Google Cloud는 기업의 혁신 여정을 돕기 위해 클라우드에서 엔터프라이즈 애플리케이션에 대한 지원을 확대하는 데 주력했습니다. The Home Depot는 SAP를 Google Cloud로 마이그레이션한 성공 스토리에 대해 발표하면서 올바른 프로세스와 강력한 파트너십의 중요성을 강조했습니다. Google Cloud는 SAP 애플리케이션을 사용하는 다른 기업을 위해 Filestore Enterprise도 출시했습니다. 이 솔루션은 SLA로 지원되는 99.99%의 리전별 가용성을 제공합니다.

Google 파트너인 NetApp은 Google Cloud와의 통합을 강화하여 Windows 기반 애플리케이션 마이그레이션을 보다 쉽고 빠르게 수행하고 워크로드를 현대화할 수 있는 유연한 배포 옵션을 제공합니다. 또한 Cisco, Palo Alto Networks, VMware와 같은 기업이 Google의 새로운 Network Connectivity Center 파트너로 추가됨에 따라 고객이 점진적으로 마이그레이션을 진행할 때 모든 네트워킹 리소스를 한곳에서 간편하게 연결할 수 있습니다.

클라우드로의 마이그레이션을 고려하는 고객을 위해 Forrester가 엔터프라이즈 애플리케이션을 클라우드로 마이그레이션할 때의 경제적 효과에 대해 자세히 분석했습니다. (스포일러 경고: 여러 기업에서 상당한 비용 절감 및 성능 이점을 경험하고 있습니다.) Google Cloud은 기업이 가장 크고 복잡한 애플리케이션이 Google Cloud에서 원활하고 안전하게 실행되리라 신뢰하는 것을 무척 중요하게 생각하며 올해 더 많은 엔터프라이즈 애플리케이션을 지원할 수 있도록 진전을 이룬 것에 대해 기쁘게 생각합니다.

또한 고객이 VMware 워크로드를 클라우드로 더 간편하게 마이그레이션할 수 있도록 Google Cloud VMware Engine을 전 세계 12개 리전으로 확대 제공하고 네트워킹, 규정 준수, 확장에 다수의 새로운 기능을 추가했습니다. Mitel과 Carrefour 같은 고객은 VMware 자산을 Google Cloud로 마이그레이션하여 Google 서비스로 애플리케이션을 혁신하면서 온프레미스에서 실행할 때와 비교해 민첩성을 향상하고 비용을 최대 45%까지 절감하며 에너지 비용을 약 35% 절약할 수 있었습니다.

고성능 컴퓨팅(HPC)의 경우 HPC에 최적화된 VM 이미지와 SchedMD, Slurm, Altair PBSPro 같은 스케줄러와의 향상된 통합 등의 기능을 지속적으로 추가했습니다.

새로운 비용 및 성능 옵션

실시간 광고, 동적 전자상거래, 게임 등에 고성능 컴퓨팅을 사용하는 고객에 대한 지원을 확대하기 위해 새로운 VM 제품군인 Tau VM을 출시했습니다. Tau VM은 주요 퍼블릭 클라우드 공급업체에서 제공하는 범용 VM에 비해 절대적인 성능은 56%, 가격 대비 성능은 42% 더 높습니다. 이미 Nylas와 같은 회사가 Tau VM을 최대한 활용하기 위해 다른 클라우드 플랫폼에서 Google Cloud로 전환했습니다.

Google Cloud가 이뤄낸 발전은 Tau VM에 국한되지 않습니다. 높은 수준의 내결함성과 더욱 우수한 비용 효율성을 원하는 고객을 위해 Spot VM을 선보였습니다. Google Cloud의 유휴 용량에 액세스하여 애플리케이션을 최저가로 실행할 수 있는 기능입니다. Spot VM을 사용하면 주

문형 VM 가격보다 60~91% 할인된 가격으로 비용을 절감할 수 있습니다.

또한 최고 성능의 임시 블록 스토리지인 6TB 및 9TB 로컬 SSD 옵션을 추가했습니다. 범용 N2 Compute Engine VM에 연결하면 달러당 IOPS를 향상시킬 수 있습니다.

분산 클라우드를 통해 고객에게 한층 더 다가가기

수년 동안 업계는 기업에 클라우드 마이그레이션을 권장해왔지만 모든 워크로드를 즉시 또는 완전히 퍼블릭 클라우드로 마이그레이션할 수 있는 것은 아닙니다. 이를 가로막는 요인으로는 업종별 또는 지역별 규정 준수 및 데이터 주권 요구사항, 짧은 지연 시간 또는 로컬 데이터 처리 요구사항, 애플리케이션을 다른 서비스와 가까운 곳에서 실행해야 하는 필요성 등이 있습니다.

지난 10월에 Google Cloud는 분산 클라우드 전략을 확장하고 Google Distributed Cloud를 발표했습니다. Google Cloud 인프라 및 서비스를 데이터 센터 및 에지로 확장하는 완전 관리형 하드웨어 및 소프트웨어 솔루션 포트폴리오입니다. 비공개 데이터 센터, 에지 등 고객의 위치와 상관없이 지원할 수 있는 역량을 갖추게 된 의미 있는 진전이며, 2022년에 이 기능을 통해 고객에게 어떤 도움을 제공할지 기대가 큽니다.

상시 데이터 보호 및 보안

2021년에 Google Cloud는 고객의 데이터 보호 역량을 향상하는 데 보탬이 되고자 많은 노력을 기울였습니다. Actifio 인수 효과를 배가하기 위해 Google Cloud와 Actifio 간의 보다 긴밀한 통합을 가능케하는 여러 버전을 출시했습니다. 컨테이너화된 애플리케이션을 사용하는 고객을 대상으로 한 Backup for GKE 출시로 큰 도약을 이루었습니다. 특히 GKE 사용자를 위한 이 새로운 옵션을 통해 고객이 서비스 수준 목표를 보다 쉽게 달성하고, 일반적인 백업 및 복구 작업을 자동화하며, 규정 준수 및 감사 용도로 보고서를 표시할 수 있게 되어 기쁩니다.

또한 이중 리전 버킷에 대한 커스텀 리전 선택과 같은 데이터 보호 기능으로 Cloud Storage를 개선했습니다. 기존 Google Cloud에서는 고객에게 이중 리전 쌍을 할당하여 선택하도록 했습니다. 이번 출시에서는 규제 또는 규정 준수 요구사항을 충족하거나 앱 성능을 최적화할 수 있는 고유한 리전 쌍을 고객이 직접 선택할 수 있습니다. 이중 리전 버킷용 Turbo Replication도 출시했습니다. 이는 주요 클라우드 제공업체 최초로 제공하는 기능으로 서비스수준계약에 따라 리전 간에 데이터 100%를 15분 이내에 복제합니다.

보안은 Google Cloud에서 중요시하는 핵심 분야로, Palo Alto Networks와 협력하여 업계 최고의 Intrusion Detection System(IDS) 솔루션을 Google Cloud에서 기본적으로 제공합니다. 최근 Apache Log4j 취약점이 발견됨에 따라 Google Cloud는 Cloud IDS를 자동으로 업데이트하여 악의적인 이용 시도를 감지하고 고객 환경을 신속하게 보호할 수 있도록 했습니다. 아울러 Cloud Armor와 reCAPTCHA Enterprise를 통합하여 볼륨 공격을 방지하는 동급 최강의 봇 및 사기 관리 솔루션을 제공합니다. Cloud Armor는 Cloud 부하 분산기 및 Cloud CDN과 함께 배포되어 네트워크 에지에서 Google Cloud로 들어오는 트래픽에 보안 이점을 제공합니다.

더 쉬워진 애플리케이션 빌드 및 관리

개발자는 인프라를 구성, 관리, 확장하기보다 코드에 집중하기를 원합니다. 이를 위해 Google

Cloud는 Private Service Connect와 같은 새로운 서비스로 네트워킹을 간소화하는 노력을 기울였습니다. 이 서비스를 사용하면 네트워크의 모든 언더레이를 구성하지 않고도 VPC를 안전하게 애플리케이션과 서비스에 연결할 수 있습니다. 하이브리드 환경에서 워크로드를 더 쉽게 실행할 수 있도록 BYOIP를 도입함에 따라 고객이 IP 주소를 변경할 필요가 없어졌습니다. 또한 Cloud 부하 분산기를 향상하여 고급 트래픽 관리, 리전 및 하이브리드 앱 배포를 통해 온프렘과 클라우드 워크로드 간의 트래픽 부하를 분산했습니다. 아울러 개발자가 더 쉽게 네트워킹할 수 있도록 IPv6, DNS 정책 관리자, Cloud Domains, GKE 게이트웨이 컨트롤러, eBPF 데이터 영역, 서비스 디렉터리를 도입했습니다.

Google Cloud는 효율적인 2일 차 작업을 위해 가시성과 관측 가능성에 지속적으로 투자하고 있습니다. Network Intelligence Center에 연결 테스트 모듈 내 동적 연결 가능성, 네트워크 토폴로지의 상호 연결 및 VPN 시각화, 방화벽 통계 모듈이 추가되었습니다. 방화벽 통계 모듈은 방화벽 규칙에 가시성을 제공하여 의도된 바에 따라 적절하게 사용되고 있는지 확인할 수 있도록 도와줍니다.

올해 새로 출시된 제품은 아니지만 개발자들은 Cloud Storage를 사용하여 스토리지를 간편하게 설계할 수 있어 마음에 든다는 의견을 계속 전달하고 있습니다. 이중 리전 버킷을 얼마나 간편하게 구성할 수 있는지 확인해 보세요. 결과적으로 개발자는 대륙을 단일 버킷처럼 취급하여 애플리케이션 프로그래밍 모델을 대폭 간소화할 수 있습니다. 이 기능은 주요 퍼블릭 클라우드 공급업체 중 Google Cloud에서만 제공됩니다.

가장 지속가능성이 높은 클라우드를 고객에게 계속 제공

Google에서 많은 투자를 하고 점점 더 많은 조직에서 중요하게 여기고 있는 또 다른 분야는 바로 지속가능성입니다. 많은 클라우드 제공업체가 지속가능한 미래에 대한 비전을 가지고 있으며 다수의 업체가 2025년 또는 2030년까지 전력 사용량 100%를 재생 에너지로 대체한다는 목표를 추진하고 있습니다. Google은 이미 2017년에 전력 사용량의 100%를 재생 에너지로 대체했습니다. 즉, 현재 하이퍼스케일 클라우드 제공업체로서는 유일하게 100% 재생 에너지를 사용하고 있으며 데이터 센터의 에너지 효율이 데이터 센터 평균치의 2배에 달합니다.

또한 새로운 탄소 발자국 도구와 같은 여러 새로운 기능을 발표했습니다. 여러분과 같은 고객을 포함한 모든 Google Cloud 사용자는 Google Cloud에서 사용하는 서비스와 관련된 총 이산화탄소 배출량을 확인할 수 있습니다. 이를 통해 지속가능성 목표를 충족하는 데이터 센터를 선택하고 인프라 및 애플리케이션과 관련된 전체 배출량을 줄일 수 있습니다. Google Cloud는 미래를 위한 몇 가지 핵심 목표를 세웠습니다. 자세한 내용은 전체 지속가능성 요약을 참조하세요.

고객에 대한 감사 인사

2021년 Google Cloud는 인프라를 구축하기 위해 많은 노력을 기울였습니다. 하지만 훌륭한 고객과의 파트너십이 없었다면 어떤 결실도 얻지 못했을 것입니다. 올해 고객들이 들려주신 모든 흥미로운 사례 중에서 하나를 고르기는 어렵지만 몇 가지를 소개해 드리겠습니다. Pega는 다운타임 없이 SAP 애플리케이션을 Google Cloud로 마이그레이션했습니다. PayPal은 비전략적인 데이터 센터를 닫고 비용을 크게 절감했습니다. Wix는 Google Cloud 네트워크를 사용하여 하루 수천만 건의 요청을 처리했습니다.

2021년을 되돌아 보면 Google Cloud 인프라가 진화하여 고객의 혁신 여정을 지원할 수 있었다는 사실에 자부심을 느낍니다. 2022년에도 고객과 협력을 지속하여 가장 까다로운 문제를 함께 해결해 나가기를 기대합니다.

Google의 미래 비전에 대한 자세한 내용이 궁금하신가요? Google Cloud Next ‘21에서 Google Cloud의 CEO 토마스 쿠리안이 발표한 내용을 들어보세요.

^{1) IDC FutureScape: Worldwide Cloud 2022 Predictions}

새로운 Cloud TPU VM을 통해 TPU에서 더욱 쉬워진 ML 모델 학습

Thu, 19 Aug 2021 00:00:00 +0000

* 본 아티클의 원문은 2021년 6월 2일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘 새로운 Cloud TPU VM을 발표하게 되어 매우 기쁩니다. 새로운 Cloud TPU VM은 TPU 호스트 머신에 직접 액세스하여 업계를 대표하는 Google의 TPU 하드웨어를 그 어느 때보다 더 쉽게 사용할 수 있도록 지원합니다. Cloud TPU에서 TensorFlow, PyTorch, JAX를 더 효율적으로 개발 및 배포할 수 있도록 새롭게 향상된 사용자 경험을 누려보시기 바랍니다. Cloud TPU VM을 사용하면 네트워크를 통해 원격으로 Cloud TPU에 액세스할 필요없이 각 TPU 호스트 머신에 고유한 대화형 개발 환경을 설정할 수 있습니다.

이제 단일 TPU VM을 사용하여 ML 모델을 한 줄씩 작성하고 디버그할 수 있습니다. 또한 Cloud TPU Pod 슬라이스에서 이 모델을 확장하여 매우 빠른 TPU 교차점을 이용할 수 있게 됩니다. 직접 만든 모든 TPU VM에 루트 액세스할 수 있으므로 TPU 가속기와 밀접한 루프 상태에서 코드를 설치하고 실행할 수 있습니다. 로컬 스토리지를 사용하고, 입력 파이프라인에서 커스텀 코드를 실행하고, 연구와 프로덕션 워크플로에 Cloud TPU를 더 간편하게 통합할 수 있습니다.

Cloud TPU와 TensorFlow, PyTorch, JAX의 통합은 물론, VM에서 새로운 libtpu 공유 라이브러리를 통해 통합을 직접 작성할 수도 있습니다.

“TPU VM에 직접 액세스하게 되면서 TPU에서 빌드할 수 있는 범위가 완전히 바뀌고 개발자 경험과 모델 성능이 크게 향상되었습니다.”

- 에이단 고메즈, Cohere 공동 설립자 겸 CEO

새로운 Cloud TPU 아키텍처 자세히 알아보기

지금까지 Cloud TPU에는 원격으로만 액세스할 수 있었습니다. 일반적으로 하나 이상의 VM을 만들면 이 VM은 gRPC를 사용하여 네트워크를 통해 Cloud TPU 호스트 머신과 통신했습니다.

이전의 네트워크 연결 Cloud TPU 시스템 아키텍처

이와 달리 Cloud TPU VM은 아래 그림과 같이 TPU 가속기에 직접 연결된 TPU 호스트 머신에서 실행됩니다.

새로운 Cloud TPU VM 시스템 아키텍처

새로운 Cloud TPU 시스템 아키텍처는 더 간단하고 유연합니다. 사용성과 관련된 주요 이점과 더불어 더 이상 TPU에 액세스하기 위해 코드가 데이터센터 네트워크를 왕복 이동할 필요가 없으므로 성능 향상도 기대할 수 있습니다. 그뿐만 아니라 비용도 크게 절감할 수 있습니다. 이전에는 Cloud TPU Pod 슬라이스의 원격 호스트에 데이터를 제공하기 위해 강력한 Compute Engine VM이 여러 개 필요했지만 이제 Cloud TPU 호스트에서 직접 데이터 처리를 실행할 수 있으므로 추가 Compute Engine VM이 필요하지 않습니다.

고객 의견

사전 체험판 고객이 2020년 10월부터 Cloud TPU VM을 사용해 왔으며 그 이후에는 연구원과 엔지니어로 구성된 여러 팀에서 이를 집중적으로 사용하고 있습니다. 다음은 고객의 평가입니다.

알렉스 배런은 Gridspace의 머신러닝 책임 엔지니어입니다. Gridspace는 음성 통화를 실시간으로 관찰, 분석하고 100% 자동화하는 제품을 즉시 사용 가능한 형태로 제공합니다. 특히 USAA, Bloomberg, Square에서 Gridspace의 소프트웨어를 기반으로 고객의 음성 문의를 처리하고 있습니다.

“Gridspace는 방대한 음성 및 언어 모델의 학습에 JAX와 Cloud TPU VM을 사용해 왔습니다. Gridspace 최대의 고객센터 고객은 이러한 모델을 기반으로 고급 분석과 자동화 기능을 실행합니다. 동일한 크기의 TPU에서 학습을 실행할 경우, 이전 Cloud TPU와 비교해 즉시 속도가 2배 향상되고 코드 변경 없이 32개 호스트 v3-256으로 확장할 수 있었습니다. Cloud TPU VM의 성능과 사용 편의성에 매우 만족하고 있으며 앞으로도 계속 사용하기를 기대합니다.”
- 알렉스 배런

제임스 타운센드는 런던 소재 UCL 퀸 스퀘어 신경학 연구소의 연구원입니다. 제임스의 팀은 Cloud TPU VM에서 JAX를 사용하여 의료 이미징에 딥 러닝을 적용해 왔습니다.

“Google Cloud TPU VM 덕분에 복잡한 구현 과정을 최소화하면서 연구 결과를 빠르게 확장할 수 있었습니다. 모델을 단일 TPU 기기에 구현하고 디버깅하는 단계에서 여러 기기와 호스트(포드 규모)를 대상으로 학습하는 단계까지 매끄럽게 진행됩니다. 이러한 규모에서 이렇게 손쉽게 적용할 수 있는 사용 편의성은 판도를 바꿀 만한 연구 잠재력을 선사하는 특별한 장점입니다. 노력의 결실을 보게 되어 매우 기쁩니다.”
- 제임스 타운센드

패트릭 폰 플라텐은 Hugging Face의 연구 엔지니어입니다. Hugging Face는 자연어 처리(NLP) 기술의 오픈소스 제공업체이자 널리 사용되는 Transformers 라이브러리를 만든 기업입니다. Hugging Face의 연구원과 엔지니어는 단 몇 줄의 코드로 최신 NLP 모델을 이용할 수 있습니다.

“Hugging Face에서는 최근 Transformers 라이브러리에 TensorFlow, PyTorch와 더불어 JAX를 통합했습니다. 이를 통해 NLP 커뮤니티는 Cloud TPU VM에서 BERT와 같은 인기 NLP 모델을 효율적으로 학습시킬 수 있게 되었습니다. 이제 하나의 v3-8로 최대 2,048개의 배치 크기를 사용해 기본 크기 BERT 모델을 사전 학습시키는 데 하루가 채 걸리지 않습니다. Hugging Face는 Cloud TPU VM에 손쉽게 액세스하게 되면 소규모 스타트업과 교육 기관을 비롯하여 훨씬 다양한 NLP 커뮤니티에서 대규모 언어 모델의 사전 학습이 가능해질 것이라고 생각합니다.”
- 패트릭 폰 플라텐

벤 왕은 언어 및 다중 모달 애플리케이션을 위한 Transformer 기반 모델을 연구하는 독립 연구원입니다. 벤은 Cloud TPU VM에서 대규모 변환기를 학습시키고 Ray를 통해 여러 Cloud TPU VM에 대한 학습을 조정하는 오픈소스 코드를 공개했습니다.

“Cloud TPU VM과 JAX의 통합은 TPU에 고성능 직접 액세스를 제공합니다. 또한 Ray를 사용하여 선점 TPU Pod 슬라이스에 파이프라인 병렬 학습을 설정하는 등 획기적인 학습 설정을 유연하게 구축할 수 있습니다.”
- 벤 왕

케노 피셔는 Julia 프로그래밍 언어의 핵심 개발자이자 Julia Computing의 공동 설립자로, 과학 모델링과 시뮬레이션에 머신러닝을 적용하는 팀을 이끌고 있습니다. 케노는 Julia의 기존 TPU 백엔드를 비롯해 Julia 컴파일러의 중요한 부분을 만든 인물입니다.

“새로운 TPU VM은 클라우드에서 TPU의 사용성을 향상시키는 엄청난 진보입니다. TPU 하드웨어를 직접 이용하게 되면서 더 이상 중간 네트워크 연결 대역폭과 지연 시간의 제약을 받지 않습니다. Julia의 연구는 머신러닝 모델과 호스트 머신에서 실행되는 과학적 시뮬레이션을 직접 연결하는 경우가 많기 때문에 매우 중요한 의미가 있습니다.”

- 케노 피셔

Julia팀은 새로운 libtpu 공유 라이브러리를 사용하여 2세대 Cloud TPU 통합을 연구하고 있습니다. 최신 소식을 받아보려면 여기에서 신청하세요.

마지막으로, 쉬레스타 바수 말리크는 기존 양자 컴퓨터 시뮬레이션과 대규모 양자 화학 계산을 수행하도록 TPU를 조정한 Sandbox@Alphabet팀의 제품 관리자입니다.

“Google Cloud TPU VM과 1개부터 2,048개까지 원활하게 확장 가능한 TPU 코어 덕분에 팀에서는 가장 강력한 기존 양자 회로 시뮬레이터 중 하나를 빌드할 수 있었습니다. 이 시뮬레이터는 1조 개의 복소 진폭을 조정해야 하는 40큐비트 파동 함수를 진화시킬 수 있습니다. 그뿐만 아니라 TPU 확장성은 팀이 최대 500,000오비탈에 이르는 거대 분자의 양자 화학 계산을 수행할 수 있는 토대였습니다. Cloud TPU에 매우 만족합니다.”

- 쉬레스타 바수 말리크

가격 책정 및 가용성

이제 Cloud TPU VM을 us-central1 및 europe-west4 리전에서 미리보기를 거쳐 이용할 수 있습니다. 단일 Cloud TPU 기기와 Cloud TPU Pod 슬라이스를 사용할 수 있고 TPU v2 또는 TPU v3 가속기 하드웨어를 선택할 수 있습니다. Cloud TPU VM은 선점형 서비스 형태로 TPU 호스트 머신 단위로 시간당 $1.35에 제공됩니다. 자세한 가격 책정 정보는 여기에서 확인하세요.

지금 시작하기

서비스가 제공되는 모든 리전에서 Cloud TPU 및 Cloud TPU Pod를 사용하여 JAX, PyTorch, TensorFlow 기반의 ML 모델을 빠르게 설정 및 운영하고 학습을 시작할 수 있습니다. 시작하려면 다음 문서를 확인하세요.

Google Cloud로 칩 설계 시간을 단축하여 지연 없이 제공

Mon, 09 Aug 2021 01:37:00 +0000

* 본 아티클의 원문은 2021년 5월 28일 Google Cloud 블로그(영문)에 게재되었습니다.

클라우드는 엔드 투 엔드 칩 설계 흐름의 속도를 높이는 입증된 방법을 제공합니다. 이전 블로그에서는 클라우드에 내재된 탄력성을 살펴보면서 더 많은 컴퓨팅 리소스에 액세스하여 어떻게 프론트엔드 시뮬레이션 워크로드를 확장할 수 있는지 확인했습니다. 클라우드의 또 다른 이점은 강력한 최신 글로벌 인프라에 액세스할 수 있다는 점입니다. 온프레미스 환경이 지속적인 수요를 충족하는 역할을 충실하게 수행하기는 하지만, 전자 설계 자동화(EDA) 도구의 업그레이드 빈도(6~9개월에 한 번)는 일반적인 온프레미스 데이터 센터 인프라의 업그레이드 빈도(3~5년에 한 번)에 비해 훨씬 더 높습니다.

즉, EDA 도구가 적절한 인프라에 액세스할 수 있다면 훨씬 더 우수한 성능을 제공할 수 있는 것입니다. 이는 특히 설계 프로세스의 특정 단계에서 유용합니다.

물리적 확인 워크로드를 예로 들어 보겠습니다. 물리적 확인은 일반적으로 칩 설계 프로세스의 마지막 단계에 해당합니다. 간단히 설명하면 이 프로세스는 파운드리가 제공한 프로세스 설계 키트(PDK)를 기준으로 한 설계 규칙 확인(DRC)으로 구성됩니다. 이 프로세스는 물리적 합성 프로세스에서 생산된 레이아웃이 제조를 위해 파운드리(내부 또는 기타)에 전달할 준비가 되었는지를 확인합니다. 물리적 확인 워크로드에는 고급 노드를 위해 메모리 용량이 큰(1TB 이상) 머신이 필요한 경우가 많습니다. 이러한 컴퓨팅 리소스에 액세스할 수 있게 되면 더 많은 물리적 확인을 동시에 실행하고, 테이프 아웃(즉, 제조를 위해 전달)되는 설계에 대해 안심할 수 있습니다.

물리적 확인과 대비되는 또 다른 워크로드로, 기능 확인 워크로드가 있습니다. 앞서 설명한 물리적 확인 프로세스와 달리 기능 확인은 일반적으로 설계의 초기 단계에서 수행되며 머신에 필요한 메모리 용량도 훨씬 더 적습니다. 또한 기능 확인(특히 동적 확인)은 설계 주기에서 가장 많은 시간을 차지합니다(컴퓨팅 가용성으로 직결됨). 대부분의 설계팀에서 추구하는 확인 시간의 단축이라는 목표는 적절한 규모의 컴퓨팅 리소스의 가용성에 따라 좌우되는 경우가 많습니다.

확인(기능 확인과 물리적 확인 모두 해당)을 위한 간헐적이고 다양한 인프라 요구사항은 온프레미스 데이터 센터를 운영하는 조직에 문제가 될 수 있습니다. 온프레미스 데이터 센터는 사용률을 극대화하기 위해 최적화되는데, 이것이 최고의 도구 성능을 제공하기 위해 적절한 크기의 컴퓨팅에 액세스하는 문제를 직접적으로 해결하지는 않습니다. IT 및 컴퓨터 이용 설계(CAD) 부서에서 적절한 하드웨어를 추가로 프로비저닝하기로 결정하더라도, 온프레미스에서 새 하드웨어를 프로비저닝하고 획득하고 설정하는 프로세스는 가장 현대화된 조직에서도 보통 몇 개월이 걸립니다. 대부분의 시간에는 온프레미스 클러스터를 사용하도록 허용하되 필요에 따라 클라우드 리소스에 대한 원활한 액세스를 제공하는 '하이브리드' 흐름이 이상적입니다.

하이브리드 칩 설계의 작동 체계

향상된 컴퓨팅에 대한 즉각적인 액세스를 제공하는 하이브리드 환경을 활용하는 것만으로도 일반적인 확인 워크플로를 개선할 수 있습니다. 설명을 위해 프론트엔드 시뮬레이션 워크플로를 선택하여 온프레미스 및 클라우드 클러스터를 복제하는 환경을 설계했습니다. 또한 몇 가지 요소를 추가로 조정해서 환경을 간소화했습니다(아래에서 설명). 간소화된 설정은 GitHub 저장소에서 제공되므로 직접 사용해볼 수 있습니다.

모든 하이브리드 칩 설계 흐름에서 몇 가지 중요한 고려사항이 있습니다.

온프레미스 인프라와 클라우드 간의 연결: 클라우드로의 연결 설정은 이 흐름에서 가장 기본적인 측면 중 하나입니다. 또한 지난 몇 년간 이 분야에 대한 이해도가 크게 높아졌으며 대부분의 설정에서 안전한 고가용성 연결이 실제로 사용되고 있습니다.
이 튜토리얼에서는 온프레미스 클러스터와 클라우드 클러스터를 클라우드의 서로 다른 네트워크 두 개로 나타내며 이 클라우드에서 모든 트래픽은 두 네트워크 간에 전달될 수 있습니다. 실제 환경의 네트워크 구성은 아니지만 기본적인 연결 모델을 설명하는 데는 충분합니다.
라이선스 서버 연결: 대부분의 칩 설계 흐름에서는 EDA 공급업체의 도구를 활용합니다. 일반적으로 이러한 도구에는 라이선스가 적용되므로 도구를 사용하려면 유효한 라이선스가 부여된 라이선스 서버가 필요합니다. 라이선스 서버에 연결할 때 발생하는 지연 시간이 허용 가능한 수준이라면 하이브리드 흐름에서 라이선스 서버를 계속 온프렘에 둘 수 있습니다. 지연 시간을 단축하기 위해 클라우드의 Compute Engine VM(특히 단독 테넌트 노드)에 라이선스 서버를 설치할 수도 있습니다. 라이선스 서비스를 클라우드에 재호스팅할 수 있는지 여부는 EDA 공급업체에 문의하세요.
이 튜토리얼에서는 오픈소스 도구(Icarus Verilog Simulator)를 사용하므로 라이선스 서버가 필요하지 않습니다.
데이터 소스 식별 및 데이터 동기화: EDA 작업 실행에서 세 가지 중요한 측면은 EDA 도구 자체, 도구가 실행되는 인프라, 도구 실행을 위한 데이터 소스입니다. 도구는 크게 변화하지 않으며 클라우드 인프라에 설치할 수 있습니다. 반면 데이터 소스는 주로 온프레미스에서 생성되며 정기적으로 업데이트됩니다. 설계를 설명하는 SystemVerilog 파일, 테스트벤치 또는 레이아웃 파일 등이 여기에 해당합니다. 온프레미스과 클라우드 간에 데이터를 동기화하여 패리티를 유지하는 것이 중요합니다. 또한 프로덕션 환경에서 고성능 동기화 메커니즘을 유지하는 것도 중요합니다.
이 튜토리얼에서는 온프레미스에서 일반적으로 사용되는 것과 비슷한 파일 시스템 계층 구조를 클라우드에 생성합니다. 도구를 호출하기 전에 최신 입력 파일을 전송합니다.
워크로드 스케줄러 구성 및 작업 제출 투명성: 일괄 작업을 활용하는 대부분의 환경은 작업 스케줄러를 사용하여 컴퓨팅 팜에 액세스합니다. 이상적인 환경에서는 비용과 성능 간에 균형을 맞추고, 시스템에 매개변수를 빌드하여 작업 스케줄러에 대한 예측 및 처방적 래퍼를 실현합니다(아래 그림 참고)
이 튜토리얼에서는 오픈소스 SLURM 작업 스케줄러 및 자동 확장 클러스터를 사용합니다. 편의를 위해 튜토리얼에는 작업 제출 에이전트를 포함하지 않습니다.

Kubernetes와 같은 다른 클라우드 기반 일괄 처리 환경에서는 워크로드 관리를 위한 추가 옵션도 제공할 수 있습니다.

여기서 온프레미스 네트워크의 이름은 ‘onprem’이며 클라우드 클러스터의 이름은 ‘burst’입니다. 온프레미스 및 버스트 클러스터의 특성은 아래에 나와 있습니다.

설정 후 단일 타일 및 2개 타일 구성에 대해 OpenPiton 회귀를 실행했습니다. 아래에서 결과를 볼 수 있습니다.

'burst' 클러스터에서 실행된 회귀가 'onprem'에서 실행된 회귀와 비교해 평균 30% 더 빨랐기 때문에 확인 완료와 물리적 확인에 소요된 시간도 단축되었습니다. 사용한 명령어에 대한 자세한 내용은 저장소에서 찾을 수 있습니다.

TTM(time to market) 단축을 위한 하이브리드 솔루션

물론 온프레미스 데이터 센터는 칩 설계에서 앞으로도 중추적인 역할을 할 것입니다. 하지만 달라진 부분도 있습니다. 클라우드 기반의 고성능 컴퓨팅은 칩 설계 프로세스 중에 온프레미스 데이터 센터를 확장할 수 있는 실용적이고 확실한 기술임이 입증되었습니다. 하이브리드 칩 설계 흐름을 성공적으로 활용하는 기업은 엔지니어링팀의 급변하는 요구에 보다 적절하게 대처할 수 있습니다. Google Cloud에서의 실리콘 설계에 대해 자세히 알아보려면 Google Cloud를 통한 칩 설계 프로세스 가속화 백서를 참고하세요.

컴퓨팅

클릭에서 클러스터로: Intel TDX를 통해 확장되는 Confidential Computing

클릭 한 번으로 Confidential VM 생성

더 많은 리전 및 영역에서 기밀 컴퓨팅 활용

Intel TDX를 활용한 Confidential GKE Node 정식 출시

Intel TDX를 활용한 기밀 공간(Confidential Space) 정식 출시

NVIDIA H100 GPU를 활용한 기밀 VM 및 기밀 GKE 노드 정식 출시

Intel, 독립 증명을 위한 무료 등급 제공

고객 후기

기밀 컴퓨팅 시작하기

Ironwood TPU 및 AI 하이퍼컴퓨터의 새로운 혁신 기술 소개

인스턴트 스냅샷: Compute Engine 워크로드의 오류와 손상 방지

인스턴트 스냅샷의 주요 특징

인스턴트 스냅샷의 실행 방식

스냅샷 유형 비교

사용 사례

지금 바로 사용하기

블록 스토리지 성능을 훨씬 간단하게 계획하고 관리하는 방법

난제: 적절한 양의 성능 리소스 프로비저닝하기

고급 성능 스토리지 풀을 통해 40~50% 더 낮은 TCO 달성하기

블록 스토리지 성능 간소화 및 계획

시작하기

Google Cloud 6세대 TPU, Trillium 정식 버전 출시 발표

AI 학습 워크로드 확장

밀집형 및 전문가 망(MoE) 모델을 포함한 LLM 학습

추론 성능 및 컬렉션 예약

임베딩을 많이 사용하는 모델

우수한 학습 및 추론 가성비 제공

한 차원 더 높은 AI 혁신

머신러닝으로 더 빨라지는 5세대 분산 컴퓨팅 시대의 도래

Google Cloud로 데이터 디스크를 제대로 그리고 쉽게 마이그레이션하는 방법

데이터 디스크 마이그레이션이 중요한 이유

Google Cloud 디스크 마이그레이션

작동 방식

요약

멀티슬라이스를 사용하여 AI 학습을 최대 수만 개의 Cloud TPU 칩으로 확장하는 방법

멀티슬라이스의 작동 방식

2배 이상 더 높은 시스템 규모 달성

TPU v5e의 경우 최대 수만 개의 칩까지 선형에 가깝게 확장

사용하기 쉬운 Cloud TPU의 멀티슬라이스

고성능 네트워킹

손쉬운 관리

안정성과 내결함성

시작하기

예정된 대형 이벤트 시기의 Compute Engine 을 확보하는 방법

Future Reservations에 대한 고객의 의견

Future Reservations 이해하기

지금 바로 Future Reservations 시작하기

Firestore에 PITR(point-in-time recovery) 및 예약 백업 추가

PITR(point-in-time recovery) 예시 살펴보기

예약 백업 예시 살펴보기

다음 단계

대규모 AI 추론을 가속화하는 Cloud TPU v5e

추론에서 달러당 최대 2.5배 뛰어난 성능과 최대 1.7배 짧은 지연 시간

다양한 규모의 LLM 및 생성형 모델로 확장 가능

강력한 AI 프레임워크 및 조정 지원

지금 바로 추론에 Cloud TPU v5e를 사용해 보세요

Expanding our AI-optimized infrastructure portfolio: Introducing Cloud TPU v5e and announcing A3 GA

고성능 컴퓨팅(HPC)을 위한 H3 컴퓨팅 최적화 VM 소개

특화된 HPC VM 머신 시리즈

가격과 성능

고객과 파트너의 평가

지금 H3 VM 시작하기

Generally Available: C3 VMs with 4th Gen Intel Xeon and industry-leading price-performance

Google Cloud의 혁신 중심 인프라

고객에게 가장 중요한 가치에 맞춰 최적화된 솔루션

AI/ML 및 보안을 통한 혁신 주도

개발자 중심의 사용 편의성

새로운 Google Cloud HPC Toolkit으로 고성능 컴퓨팅 여정 가속화

Cloud HPC Toolkit 소개

HPC Toolkit 기능

파트너 사례 소개

Cloud HPC Toolkit 시작하기

클라우드 위 구름(cloud): Google Cloud에서 기상 예측

WRF 자세히 살펴보기

WRF 최적화

최적의 사례 결정

Google Cloud, 90% 무탄소 에너지로 운영되는 세계 최대 규모의 Cloud TPU v4 기반 일반 공개 ML 허브 출시

가능성 확장

지속 가능한 ML 혁신