시스템

속도, 규모, 안정성: 25년간 발전해 온 Google 데이터 센터 네트워킹

Thu, 16 Jan 2025 02:02:00 +0000

* 본 아티클의 원문은 2024년 10월 31일 Google Cloud 블로그(영문)에 게재되었습니다.

로마는 하루아침에 이루어지지 않았습니다. Google의 네트워크도 마찬가지입니다. 25년의 세월 동안 Google Cloud는 아주 놀라울 정도로 큰 규모와 기술적인 정교함을 갖춘 네트워크 인프라를 빌드했습니다.

Google 네트워크 인프라가 초기에는 비교적 단순했기 때문에 더욱 놀라운 발전이라고 할 수 있습니다. 하지만 사용자층과 서비스 수요가 급증하면서 전례 없는 규모의 데이터와 트래픽을 처리할 수 있고 시간이 지나면서 변화하는 워크로드에 따라 동적 트래픽 패턴에 적응할 수 있는 네트워크가 필요하다는 걸 깨달았습니다. 이는 수많은 엔지니어링 혁신과 획기적인 발전을 수놓아 온 25년간의 여정의 원동력이 되었으며, 궁극적으로 초당 13페타비트의 바이섹션 대역폭으로 확장할 수 있는 현재의 5세대 Jupiter 데이터 센터 네트워크 아키텍처로 이어지는 성과를 이루었습니다. 이 데이터 속도는 네트워크를 통해 전 세계 인구 80억 명이 동시에 1.5Mbps로 영상 통화를 할 수 있는 수준입니다.

현재 Google Cloud는 전 세계에 수백 개의 Jupiter 패브릭을 배포했으며 동시에 수백 개의 서비스, 수십억 명의 일일 활성 사용자, Google Cloud의 모든 고객, 세계 최대 규모의 머신러닝 학습 및 서빙 인프라를 지원하고 있습니다. 차세대 데이터 센터 네트워크 인프라를 살펴보면서 Google Cloud의 여정에 대해 더 자세히 이야기해 보겠습니다.

aside_block: <ListValue: [StructValue([('title', '$300로 Google Cloud 네트워킹을 사용해 보세요'), ('body', <wagtail.rich_text.RichText object at 0x7f5324b4dc10>), ('btn_text', '무료로 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectpath=/products?#networking'), ('image', None)])]>

기본 원칙

Google Cloud 네트워크는 다음의 몇 가지 핵심 원칙에 기반하여 진화하였습니다.

어디서나 무엇이든: Google Cloud의 데이터 센터 네트워크는 동일한 네트워크 패브릭 내에서 10만 개 이상의 서버 어디에나 대규모 작업을 배치하고 필요한 스토리지 및 지원 서비스에 빠르게 액세스할 수 있도록 함으로써 효율성과 단순성을 지원합니다. 이러한 규모는 애플리케이션의 내부 및 외부 워크로드 성능을 개선하고 내부 단편화 문제를 해소합니다.
예측 가능하고 짧은 지연 시간: 대역폭 여유 공간을 프로비저닝하고 99.999%의 네트워크 가용성을 유지하며 엔드 호스트와 패브릭 협력을 통해 정체를 사전에 관리하여 일관된 성능을 우선으로 테일(tail) 지연 시간을 최소화합니다.
소프트웨어 정의 및 시스템 중심: 유연성과 민첩성을 제공하는 소프트웨어 정의 네트워킹(SDN)을 활용하여 전역 네트워크에서 격주로 수십 개의 새로운 기능을 검증하고 전 세계적으로 출시합니다.
점진적 진화와 동적 토폴로지: 점진적 진화는 네트워크를 전면적으로 중지하는 대신 세부적으로 수정하는 데 도움이 되며, 동적 토폴로지는 변화하는 워크로드 수요에 지속적으로 적응하는 데 도움이 됩니다. 광회선 교환과 SDN의 조합을 통해 물리적 인플레이스 업그레이드 및 단일 패브릭에서 여러 세대의 하드웨어와 호환되며 끊임없이 진화하는 이종 네트워크를 지원할 수 있습니다.
트래픽 엔지니어링 및 애플리케이션 중심 서비스 품질(QoS): 트래픽 흐름을 최적화하고 서비스 품질을 보장하여 각 애플리케이션의 니즈에 맞게 네트워크를 조정할 수 있습니다.

Google Cloud의 업무는 위의 원칙을 통합하는 데서 시작됩니다. 네트워크는 스토리지에서 AI까지 기타 모든 컴퓨팅 서비스에 안정성을 제공하는 기반입니다. 따라서 네트워크를 최대한 오래 안전하게 보호하고 장애 발생 시 영향을 최소화해야 합니다. 이러한 기본적인 책임을 수행하기 위해 Google Cloud는 전역 네트워크의 수백 개의 클러스터와 수백만 개의 포트에서 발생하는 모든 일시적 오류1를 엄격하게 정의하고 모니터링합니다. 자체 소프트웨어 정의 Jupiter 네트워크가 이전 버전의 데이터 센터 네트워크보다 50배 더 높은 안정성을 제공한다는 사실에서 알 수 있듯 Google Cloud의 안정성은 진화하고 있습니다.

2015년 - Jupiter, 최초의 페타비트 네트워크

Google Cloud는 영향력 있는 논문에서 Jupiter 데이터 센터 네트워크가 상용 스위치 실리콘, Clos 토폴로지 및 소프트웨어 정의 네트워킹(SDN)을 활용하여 총대역폭 1.3Pbps로 확장될 수 있음을 소개했습니다. 이 세대의 Jupiter는 Google 네트워킹팀이 자체 개발한 5세대 데이터 센터 네트워크의 결정체입니다. 연구 당시 Google 데이터 센터 한 곳에서 측정된 이 데이터 전송 속도는 전 세계 인터넷에 대해 추정한 총 IP 트래픽 데이터 속도보다 더 빨랐습니다.

2022년 - 초당 6페타비트 지원

2022년에 Google Cloud는 광회선 교환(OCS), 파장 분할 다중화(WDM), 확장성이 뛰어난 Orion SDN 컨트롤러가 긴밀히 통합되어 Jupiter 네트워크가 6Pbps 이상으로 확장되었다고 발표했습니다. 이 기술 덕분에 점진적인 네트워크 빌드, 성능 향상, 비용 절감, 전력 소비 절감, 동적 트래픽 관리, 원활한 업그레이드 등 다양한 발전을 이룰 수 있었습니다.

2023년 - 초당 13페타비트 네트워크

Google은 네트워크 코어에서 기본 400Gbps의 링크 속도를 지원하도록 Jupiter를 더욱 강화했습니다. Jupiter 네트워크의 기본 빌딩 블록(집계 블록이라고 함)은 현재 엔드 호스트와 데이터 센터의 나머지 부분 모두에 대해 400Gbps로 연결되는 포트 512개로 구성되며 블록당 양방향 비차단 대역폭이 204.8Tbps로 집계됩니다. 이러한 블록을 64개 지원하므로 총 바이섹션 대역폭은 64x204.8Tbps = 13.1Pbps입니다. 이 기술은 1년 넘게 Google 프로덕션 데이터 센터를 구동하는 데 사용되고 있으며 AI, 머신러닝, 웹 검색, 기타 데이터 집약적 애플리케이션의 급속한 발전을 이끌어 왔습니다.

2024년 이후 - AI 시대를 위한 궁극의 네트워킹

20년 이상 이어온 데이터 센터 네트워킹 분야의 혁신을 기념하면서 Google Cloud는 AI 시대를 준비하기 위해 차세대 네트워크 인프라의 방향을 계획하고 있습니다. 일례로, NVIDIA ConnectX-7 네트워킹이 탑재된 A3 Ultra VM의 출시를 앞두고 관련 네트워킹 인프라 요구사항에 대해 작업 중입니다. 이는 RoCE(RDMA over Converged Ethernet)를 통해 GPU 간 트래픽에 대해 서버당 3.2Tbps의 비차단을 지원하고 Google Cloud에서 NVIDIA GB200 NVL72를 기반으로 한 향후 제품을 제공할 수 있게끔 합니다.

Google Cloud는 향후 몇 년 동안 포트 단위 및 네트워크 전반에 걸쳐 네트워크의 규모와 대역폭을 크게 확장할 예정입니다. 또한 전송 및 정체 제어 스택과 같은 엔드 호스트 통합의 경계를 계속해서 확장하고 네트워크 단계를 간소화하여 더욱 엄격하게 테일 지연 시간을 단축하려고 합니다. 실시간 토폴로지 엔지니어링, 컴퓨팅 스택 및 스토리지 스택과의 보다 긴밀한 통합, 호스트 기반 부하 분산 기법의 지속적인 조정을 통해 네트워크 안정성을 더 강화하고 지연 시간을 더 줄일 수 있습니다. 이러한 혁신을 통해 Google Cloud의 네트워크는 전 세계 사용자의 삶을 풍요롭게 하는 혁신적인 애플리케이션 및 서비스의 근간이 되는 동시에 Google Cloud의 내부 서비스와 Google Cloud 제품을 구동하는 획기적인 AI 기능도 지원합니다.

앞으로 25년 동안 Google 네트워킹에 펼쳐질 미래를 기대하며 이러한 도전과제와 기회를 받아들이고자 합니다.

추가 자료

Jupiter의 성공: Google 데이터 센터 네트워크의 Clos 토폴로지와 중앙화된 제어 기술 10년, SIGCOMM ‘15 [자료]

상용 스위치 실리콘, Clos 토폴로지 및 소프트웨어 정의 네트워킹(SDN)을 활용한 첫 번째 Jupiter 데이터 센터 네트워크의 여정
2012년 프로덕션에 처음 배포됨

아폴로 계획: 데이터 센터 규모로 광회선 교환 도입, arxiv.org, 2022년 [자료]

2013년 프로덕션에 처음 배포됨

Orion: Google의 소프트웨어 정의 네트워킹 컨트롤 플레인. NSDI ‘21 [자료]

데이터 센터와 광역 통신망에 사용되는 Google의 확장 가능한 의도 기반 고성능 분산 SDN 플랫폼
2016년 프로덕션에 처음 배포됨

Jupiter의 발전: 광회선 교환과 소프트웨어 정의 네트워킹을 통한 Google의 데이터 센터 네트워크 혁신, SIGCOMM ’22 [자료]

배경 기술: OCS(2013년), Orion SDN(2016년), 200Gbps 네트워킹(2020년), 직접 연결 토폴로지(2017년), 동적 트래픽 엔지니어링(2018년), 동적 토폴로지 엔지니어링(2021년)

Swift: 데이터 센터 정체 제어에 간단하고 효과적인 지연, SIGCOMM ‘20 [자료]

Swift는 하드웨어 타임스탬프와 지연 목표를 갖춘 AIMD 제어를 사용하는 정체 제어 프로토콜로, 짧은 RPC에서는 흐름 완료 시간을 줄이고 긴 RPC에서는 처리량을 증가시켜 Google 데이터 센터에서 뛰어난 성능을 제공함
2017년 프로덕션에 처음 배포됨

PLB: 네트워크 부하 분산에 간단하고 효과적인 정체 신호, SIGCOMM ‘22 [자료]

Protective Load Balancing(PLB)은 네트워크 정체를 줄이고 혼잡한 연결 경로를 무작위로 변경하여 성능을 향상하는 단순하고 효과적인 호스트 기반 부하 분산 설계로, 패킷 재정렬을 최소화하기 위해 유휴 기간 후에 경로 변경을 선호함
2020년 프로덕션에 처음 배포됨

_{1. 데이터 센터 네트워크의 통계적으로 유의미한 상당수의 네트워크 흐름이 정의된 임곗값을 초과하여 완전히 또는 부분적으로 중단되는 시간입니다.}

머신러닝으로 더 빨라지는 5세대 분산 컴퓨팅 시대의 도래

Thu, 14 Mar 2024 01:00:00 +0000

*본 아티클의 원문은 2024년 2월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

Editor’s note: 오늘은 ML, 시스템, Cloud AI 부문 부사장 겸 총괄 책임자인 Google 펠로우 Amin Vahdat의 의견을 들어보겠습니다. Amin은 2023년 워싱턴 대학교 Allen School의 특강 시리즈를 위한 기조 연설로 처음 이 내용을 발표했습니다. 이 게시물에서는 분산 컴퓨팅의 역사와 현재 상황, 그리고 차세대 컴퓨팅 서비스에 대해 기대할 수 있는 부분에 대한 Amin의 생각을 살펴봅니다.

지난 50년에 걸쳐 컴퓨팅과 통신은 용량과 효율성, 기능 측면에서 기하급수적인 성장을 이어가며 사회의 혁신을 이끌었습니다. 이 기간 동안 기술 커뮤니티는 CPU당 트랜지스터의 수를 5,000만 배 늘렸고 인터넷 규모는 4노드에서 53억 9,000만 노드로 성장시켰습니다.

그 자체로도 놀라운 발전이지만, 이러한 발전의 결과로 얻게 된 인간의 능력은 더욱 경이로운 수준에 이르렀으며 그중에는 이전까지 공상과학 소설에나 나왔을 법한 능력도 있습니다. 계속 진화하는 인간의 지식에 이제 거의 즉각적으로 액세스할 수 있습니다. 우리가 이해할 수 있는지가 관건일 뿐 그 외에는 한계가 없습니다. 실시간 언어 번역을 통해 인간 의사소통의 근본적인 장벽을 허물고 있습니다. 감지 기술과 네트워크 속도가 이에 상응하는 수준으로 발전하면서 원거리에서도 의미 있는 상호작용을 지원하는 홀로그래픽 프로젝션 기술을 실시간으로 구현할 수 있게 되었습니다. 컴퓨팅 역량의 이 같은 폭발적인 발전은 당대의 가장 어려운 과학 및 엔지니어링 과제를 해결하고 있는 차세대 AI 시스템을 움직이는 근간이 되고 있기도 합니다. 이러한 시스템은 예를 들어 단백질의 3D 구조를 거의 즉각적으로, 원자 단위의 정확도로 예측하거나 첨단 텍스트 이미지 변환 (text-to-image diffusion)기술을 구현하여 사용자의 프롬프트에 맞는 실사 수준의 고품질 출력을 제공할 수 있습니다.

기반이 되는 기술 발전의 속도를 유지하는 일은 쉽지 않습니다. 우리는 10~15년마다 근본적인 과제에 직면하는데, 인프라 효율성과 규모의 기하급수적인 성장을 유지하고 이를 통해 완전히 새로운 범주의 서비스를 가동하기 위해서는 근원적인 발명과 혁신으로 이 과제를 해결해야 합니다. 마치 1,000개의 요소가 모두 갈수록 더 어려운, 극복해야 할 새로운 근본적인 한계를 드러내면서 혁신의 기회를 창출하는 것과 같습니다. 컴퓨팅에 대한 근본적인 수요가 끝없이 높아지고 있는 지금이 바로 그러한 분수령의 순간, 즉 한 세대에 한 번 있을까 말까 한 과제에 직면하는 순간이자 놀라운 발전 속도를 유지하고 가속할 수 있는 기회의 순간입니다.

컴퓨팅의 역사를 간단히 돌아보면 각각 컴퓨팅의 '세대'를 나름대로 정의할 수 있는 중대한 전환의 시기가 지금까지 4번 있었습니다. 이제 5세대 컴퓨팅을 정의하고 이끌어야 할 분명한 필요성을 지적하는 역사적 분류 체계가 있습니다. 5세대 컴퓨팅은 데이터 중심의, 선언적이고 결과 지향적인 소프트웨어 정의 컴퓨팅으로 사람들에게 선제적으로 인사이트를 제공하는 데 중점을 둡니다. 과거의 각 세대가 그 이전까지 상상할 수 없었던 일상을 만들었다면, 이번 5세대는 지식과 기회에 대한 접근을 범용화하는 가장 큰 변화를 가져올 것입니다. 그러나 이를 위해서는 여러 스택에 걸쳐 컴퓨팅에서 본질적으로 가장 어려운 몇 가지 과제를 극복해야 합니다.

먼저 0세대부터 돌아보겠습니다. 순수주의자들은 그보다 수천 년 더 과거까지 거슬러 올라가야 한다고 주장할 수 있고 그 말도 일리가 있지만, 이 글에서는 1947년부터 1969년 사이에 일어나 현대적인 컴퓨팅과 통신의 토대를 마련한 컴퓨터 과학의 획기적이고 근본적인 발전부터 시작해 보겠습니다.

1947년: 바딘, 브래튼, 쇼클리가 최초의 작동하는 트랜지스터를 발명함
1948년: 섀넌이 모든 네트워크 통신의 기반인 정보 이론을 발표함
1949년: 컴퓨터에 저장된 프로그램이 작동 가능해짐
1956년: 수준 높은 프로그래밍 언어가 발명됨
1964년: 다양한 하드웨어 세대에 걸쳐 공통된 명령 집합 아키텍처가 등장함
1965년: 무어의 법칙(집적 회로당 트랜지스터 수가 18~24개월마다 두 배로 증가한다는 법칙)이 발표됨
1967년: 멀티 사용자 운영체제에서 보호되는 리소스 공유 기능을 제공함
1969년: 현대 인터넷의 기반인 ARPANET이 등장함

0세대의 끝에서 이러한 혁신은 현대적 컴퓨팅의 기반을 마련했습니다. 즉, 안정적인 명령 집합 아키텍처를 실행하는 집적 회로 기반의 컴퓨터 4대, 그리고 패킷 교환식 인터넷에 연결된 멀티 사용자 시간 공유 운영체제입니다. 얼핏 대단치 않아 보이는 이 기준이 이후 이어지는 세대에서의 기하급수적인 발전을 위한 토대가 되었습니다.

1세대에서 컴퓨터 네트워크는 주로 비동기식으로 사용되었습니다. 네트워크를 통해(예를 들어 FTP를 통해) 데이터를 전송하고, 이 데이터로 작업을 수행한 다음, 결과를 돌려보내는 식이었습니다.

주요 발전 사항: SQL, FTP, 이메일, 텔넷(telnet)
컴퓨터 간 상호작용 시간: 100밀리초
특징:
• 대역폭은 낮고, 지연 시간은 높은 네트워크
• 고가의 컴퓨터 간에 쌍방 상호작용은 거의 없음
• 사람과의 문자 키 입력 상호작용
• 오픈소스 소프트웨어의 등장
혁신: 개인용 컴퓨터

2세대에 이르러서는 네트워크 속도의 향상, 개인용 컴퓨터/워크스테이션의 보편화, 광범위하고 상호 운용 가능한 프로토콜(IP, TCP, NFS, HTTP) 덕분에 동기식의 투명한 컴퓨팅과 통신이 널리 확산되었습니다.

주요 발전 사항: 리모트 프로시저 호출, 클라이언트/서버 컴퓨팅, LAN, 리더 선출 및 합의
컴퓨터 간 상호작용 시간: 10밀리초
특징:
• 10Mbps 네트워크
• TCP/IP 덕분에 인터넷 아키텍처가 전역적으로 확장
• 완전한 32비트 CPU가 단일 칩에 탑재
• 여러 컴퓨터 간의 공유 리소스
혁신: 월드 와이드 웹(WWW)

3세대에서는 HTTP와 WWW의 진정한 혁신이 네트워크 컴퓨팅의 대중화를 이끌면서 개인 컴퓨팅의 한계를 돌파했습니다. 인터넷의 지속적이고 기하급수적인 발전과 전 세계 사용자의 니즈에 발맞춰 나가는 과정에서 현대 컴퓨팅의 많은 설계 패턴이 이 시기에 확립되었습니다.

3세대를 이끈 동력 중 하나는 단일 CPU 코어의 최대 클록 주파수를 본질적으로 제한했던 데나드 스케일링의 종말이었습니다. 이러한 한계로 인해 업계에서는 멀티코어 아키텍처를 도입하게 되었고 비동기식, 멀티 스레드, 동시 실행 개발 환경으로 전환해야 했습니다.

주요 발전 사항: HTTP, 3계층 서비스, 대규모 클러스터, 웹 검색
컴퓨터 간 상호작용 시간: 1밀리초
특징:
• 100Mbps~1Gbs 네트워크
• 자율 시스템/BGP
• 복잡한 앱이 더 이상 단일 서버에 맞지 않아 다수의 서버로 확장
• 웹 색인 생성 및 검색, 인구 규모의 이메일
혁신: 클러스터 기반 인터넷 서비스, 모바일 우선 설계, 멀티스레딩, 명령어 수준 병렬 처리

4세대는 보편적인 이동통신 기기를 통해 수십억 명의 사람들이 사용할 수 있는 전 세계적 규모의 서비스를 구현했습니다. 이와 함께 머신러닝의 르네상스는 더 많은 실시간 제어와 인사이트를 이끌어냈습니다. 이 모든 것의 근간은 방대한 데이터 세트를 실시간으로 처리하는, 고속 네트워크로 상호 연결된 대규모 상용 컴퓨터 클러스터였습니다.

주요 발전 사항: 전역적인 모바일 데이터 범위, 전 세계적인 규모의 서비스, 동영상의 보편화
컴퓨터 간 상호작용 시간: 100마이크로초
특징:
• 10~100Gbps 네트워크, 플래시
• CPU 소켓당 여러 개의 코어
• 여러 LAN에 걸쳐 확장되는 인프라(예: GFS, MapReduce, Hadoop)
• 모바일 앱, 전역적인 모바일 데이터 범위
혁신: 주류 머신러닝, 특수한 컴퓨팅 하드웨어를 손쉽게 사용 가능, 클라우드 컴퓨팅

이제 5번째 세대로 전환했으며, 이 세대는 두 가지 상반된 추세의 중첩을 특징으로 합니다. 우선, ASIC당 트랜지스터 수는 계속해서 기하급수적인 속도로 증가하는 반면 클록 속도는 정체되어 있으며 각 트랜지스터의 비용도 거의 일정하게 유지되고 있습니다. 이 두 가지 모두 더 작은 피처 크기를 달성하기 위해 필요한 복잡성과 투자 비용의 증가로 인해 제약을 받고 있습니다. 이는 모든 컴퓨팅, DRAM, 스토리지, 네트워크 인프라의 비용 개선 또는 성능 효율로 정규화된 성능이 일정 수준에 머무르고 있음을 의미합니다. 이와 동시에 보편적인 네트워크 범위, 광범위하게 배포된 센서, 막대한 데이터가 필요한 머신러닝 애플리케이션으로 인해 원시 컴퓨팅 인프라에 대한 수요가 기하급수적으로 증가하고 있습니다.

주요 발전 사항: 머신러닝, 생성형 AI, 개인 정보 보호, 지속 가능성, 사회적 인프라
컴퓨터 간 상호작용 시간: 10마이크로초
특징:
• 200Gbps~1+Tb/s 네트워크• 전력 효율적인 고속 무선 네트워크를 어디서나 사용 가능
• 갈수록 전문화되는 가속기: TPU, GPU, 스마트 NIC
• 소켓 수준의 패브릭, 광학 기술, 연합형 아키텍처
• 연결된 공간, 차량, 어플라이언스, 웨어러블 등
혁신: 수많은 혁신이 예상됨

컴퓨팅 설계 및 조직에 대한 근본적인 혁신이 없다면 컴퓨팅 인프라에 대한 사회적 수요를 충족하는 기술 커뮤니티의 능력은 흔들리게 될 것입니다. 이러한 한계를 극복하기 위한 새로운 아키텍처와 함께 새로운 하드웨어, 그리고 갈수록 비중이 커지는 소프트웨어 아키텍처가 컴퓨팅의 5번째 세대를 정의하게 될 것입니다.

이 5번째 컴퓨팅 세대에 어떤 혁신이 이루어질지 예측할 수는 없지만 이전의 각 세대에 걸쳐 보안과 안정성을 개선하면서 규모와 효율성, 가격 대비 성능이 100배 이상 향상되었다는 점은 분명합니다. 규모와 용량에 대한 수요가 계속해서 증가하고 있기 때문에 무어의 법칙과 데나드 스케일링이라는 순풍이 없다면 이러한 성과를 달성하기는 어려울 것입니다. 다만 다음과 같은 폭넓은 움직임이 나타날 것으로 예상됩니다.

선언적 프로그래밍 모델: 전용 프로세서에서 순차적으로 코드를 실행하는 폰 노이만 모델은 수십년 동안 개발자들에게 매우 유용했습니다. 그러나 분산 및 멀티 스레드 컴퓨팅의 부상으로 추상화가 깨지면서 현대의 명령형 코드 대부분은 비동기성, 이기종성, 꼬리 지연 시간, 낙관적 동시 실행, 장애를 관리하기 위해 방어적이고 종종 비효율적인 구조에 집중하게 되었습니다. 앞으로도 복잡성은 계속 증가할 것이므로 의도, 사용자, 비즈니스 로직에 집중하는 새로운 선언적 프로그래밍 모델이 필요합니다. 이와 동시에, 실행 흐름을 관리하고 변화하는 배포 조건에 대응하는 작업은 갈수록 정교해지는 컴파일러와 ML 기반 런타임에 위임해야 합니다.
하드웨어 세분화: 이전 세대에서는 CPU, 메모리, 스토리지, 네트워킹이 균형을 이룬 시스템을 사용한 범용 서버 아키텍처가 데이터 센터 전반의 워크로드 니즈를 효율적으로 충족할 수 있었습니다. 그러나 전문적인 컴퓨팅 니즈와 ML 학습, 추론, 동영상 처리에 맞게 설계하는 경우 스토리지, 메모리 용량, 지연 시간, 대역폭, 통신을 위한 요구사항이 상충하게 되고 이로 인해 이기종 설계가 급격히 확산됩니다. 범용 컴퓨팅 성능이 매년 1.5배씩 개선되었을 때는 워크로드의 10%에 대해 5배의 개선을 추구한다는 것은 복잡성을 감안할 때 타당하지 않았습니다. 그러나 지금은 이러한 개선을 더 이상 무시할 수 없습니다. 이 간극을 해소하기 위해서는 구성 가능한 하드웨어 ASIC 및 메모리 유닛을 몇 년이 아닌 몇 개월 내에 설계, 확인, 검증, 배포하기 위한 새로운 접근 방법이 필요합니다.
소프트웨어 정의 인프라: 기반 인프라가 더 복잡해지고 더 분산되면서 메모리부터 CPU에 이르기까지 여러 가상화 계층이 개별 애플리케이션에 대해 단일 서버 추상화를 유지해 왔습니다. 인프라가 계속해서 수평 확장되고 더욱 이기종화됨에 따라 이러한 추세는 향후 세대에도 계속될 것입니다. 하드웨어 세분화, 선언적 프로그래밍 모델, 수천 개의 서버로 구성된 분산 컴퓨팅 환경의 필연적인 결과로 가상화는 개별 서버의 한계를 넘어 단일 서버, 여러 서버, 스토리지/메모리 배열, 클러스터에서 분산 컴퓨팅을 포함하도록 확장되며, 때에 따라서는 최종 결과를 효율적으로 제공하기 위해 캠퍼스 전체의 리소스를 한데 모으게 될 것입니다.
검증 가능한 보안 컴퓨팅: 지난 세대에서는 컴퓨팅을 효율적으로 유지해야 할 필요성으로 인해 의도하지 않게 보안과 안정성을 희생시켰습니다. 그러나 사람들의 일상이 갈수록 온라인으로 옮겨가면서 개인과 기업, 정부를 불문하고 개인 정보 보호와 기밀 유지에 대한 필요성도 급격히 증가하고 있습니다. 정부 정책을 준수하기 위해서뿐만 아니라 갈수록 증가하는 ML 생성 콘텐츠의 계보를 투명하게 공개하기 위해서도 데이터 주권, 즉 데이터(파생된 데이터까지)의 물리적인 위치를 제한해야 할 필요성이 점점 더 높아질 것입니다. 기본 성능에 얼마간의 희생이 따르더라도 이를 가장 중요한 요구사항이자 제약조건으로 여겨야 합니다.
지속 가능성: 컴퓨팅의 처음 3개 세대에서는 고정 전력 대비 기하급수적인 성능 개선이 이루어졌습니다. 4세대에 이르러 데나드 스케일링이 끝나면서 컴퓨팅과 관련된 전 세계 전력 소비량이 빠르게 증가했고, 이러한 증가분의 일부는 이전의 온프레미스 설계에 비해 전력 효율성이 2~3배 더 높은 클라우드 호스팅 인프라로의 전환을 통해 상쇄되었습니다. 또한 클라우드 제공업체들은 탄소 중립을 먼저 달성한 다음 무탄소 전원으로 전환하기 위한 광범위한 작업에 착수했습니다. 그러나 5세대에서는 데이터와 컴퓨팅에 대한 수요가 계속 증가할 것이며, 그 속도도 더 빨라질 가능성이 높습니다. 따라서 전력 효율성과 탄소 배출이 가장 중요한 시스템 평가 측정항목이 될 것입니다. 특히 인프라 구축과 제공의 수명 주기 전체에 걸친 내재 탄소에 대해 더 나은 가시성과 최적화가 필요하게 됩니다.
알고리즘 혁신: 기하급수적인 성능 향상이라는 순풍으로 인해 이제까지 소프트웨어의 효율성 개선이 무시되는 경우가 많았습니다. 기반 하드웨어 구성요소의 개선 속도가 느려지면서 앞으로는 소프트웨어와 알고리즘 기회로 초점이 옮겨갈 것입니다. 연구에 따르면 시스템 코드에는 소프트웨어 최적화를 2~10배 개선할 기회가 많다고 합니다. 이와 같은 소프트웨어 최적화 기회를 효율적으로 파악하고, 그에 따른 혜택을 프로덕션 시스템에 대규모로 원활하게 안정적으로 전달하기 위한 기법을 개발하는 일이 중요한 기회가 될 것입니다. 최근 코딩 LLM의 혁신을 활용하여 이 작업을 부분적으로 자동화하면 5세대의 큰 촉진제가 될 것입니다.

결국 5세대에서 가장 중요한 것은 MIPS당 비용, DRAM GB당 비용, Gb/s당 비용 등 낮은 수준의 구성요소별 측정값보다는 전체적인 사용자-시스템 효율성(초당 유용한 응답 수)이 될 것입니다. 또한 효율성 단위도 단순히 단위 비용당 성능으로 측정되는 것이 아니라 전력 소비와 탄소 배출을 명시적으로 반영하고 보안과 개인 정보 보호를 주 측정항목으로 사용하면서 사회의 의존도가 갈수록 높아지는 인프라에 대한 신뢰성 요구사항을 반영하게 될 것입니다. 종합적으로 보면 차세대 인프라를 제공하기 위한 아직 활용되지 않은 기회가 많이 있습니다.

하드웨어와 소프트웨어 전반에 분산 인프라의 수평 확장 효율성을 10배 이상 높일 수 있는 기회
소프트웨어 정의 인프라를 통해 애플리케이션 균형점, 즉 컴퓨팅, 가속기, 메모리, 스토리지, 네트워크와 같은 다양한 시스템 리소스 간의 비율을 맞추는 데 있어 또 다른 10배의 기회
기존의 획일적인 범용 컴퓨팅 아키텍처 대비 차세대 가속기 및 세그먼트별 하드웨어 구성요소에서 10배 이상의 기회
마지막으로, 정량화하기 어렵지만 개발자 생산성을 향상시키는 동시에 대폭 개선된 안정성과 보안을 제공하기 위한 절대적으로 중요한 기회

이러한 추세를 종합해 보면 지금은 차세대 인프라 서비스를 정의하고 차세대 컴퓨팅 서비스를 실현할 또 다른 극적인 1,000배의 효율성 향상을 목전에 둔 시점입니다. 그리고 이것은 아마도 멀티모달 모델과 생성형 AI의 혁신을 중심으로 이루어질 가능성이 높습니다. 차세대 컴퓨팅의 의미를 정의, 설계, 배포할 기회는 자주 오지 않습니다. 이 5번째 세대의 구조적 변화는 아마도 역사상 가장 큰 기술적 변화와 과제를 수반할 것입니다. 이에 대응하기 위해서는 컴퓨팅의 초창기 시절부터 지금까지는 볼 수 없었던 수준의 책임감과 협업, 비전이 필요할 것입니다.

Google Cloud에 접속하는 안전한 피어링 방법: 피어링 이중화

Mon, 07 Nov 2022 00:00:00 +0000

* 본 아티클의 원문은 2022년 10월 18일 Google Cloud 블로그(영문)에 게재되었습니다.

피어링은 일부 클라우드 고객에게 특히 복잡하고 미묘한 주제로 여겨지는 경우가 많습니다. 이번 블로그 포스팅은 피어링의 내부 작동 원리를 설명하고 전 세계 각지 피어링 접속점의 이중화(redundancy)를 요건으로 하는 피어링 정책 업데이트가 이용자와 고객의 안정성을 개선하는 데 어떻게 도움이 되는지 공유하고자 합니다. 이중화는 안정성을 향상시키는 방법으로 익히 잘 알려진 입증된 개념입니다. Google은 최근 인프라 및 피어링에 대한 상당한 투자를 통해 인터넷 콘텐츠가 이용자에게 도달할 수 있도록 지원하고 피어링을 보다 안전하게 만드는 방법에 대해 소개한 바 있습니다.

인터넷 상의 Google Cloud

Google Cloud 고객은 매일 Workspace를 사용해 동료와 협업하고 Google Cloud CDN을 활용해 전 세계 이용자에게 콘텐츠를 제공하며, Global Cloud Load Balancer를 배포해 Anycast IP를 활용하기도 합니다. 각 사례에는 공통점이 있습니다. 다양한 Google 제품이 피어링 방식으로 Google의 글로벌 네트워크를 전 세계 ISP에 연결해 이용자에게 도달한다는 점입니다.

인터넷 트래픽을 전달하는 피어링

피어링은 네트워크 간 물리적 광섬유 기반의 상호접속을 의미하며 전 세계 다양한 시설에서 이뤄지고 있습니다. Google과 인터넷서비스제공사업자(ISP) 간 네트워크 연결, 또는 Google과 클라우드 고객 간 네트워크 연결 등이 피어링에 해당합니다. 피어링을 하는 목적은 네트워크 간 퍼블릭 인터넷 트래픽을 교환해 비용과 성능을 최적화하는 것입니다. Google은 크고 작은 네트워크와 피어링할 수 있도록 전 세계 100개 이상의 시설에 네트워크를 구축했습니다. 이것은 Google이 모든 이용자에게 훌륭한 경험을 제공하고 ISP가 비용을 절감할 수 있도록 하며, 클라우드 고객이 Google 네트워크에 접속할 수 있는 여러 방법 중 하나입니다. 기업이 구글 클라우드에 접속하는 다른 여러 방법 중 피어링과 자주 혼동되는 방식이 있는데, 바로 온프레미스 환경과 구글 클라우드 간 프라이빗 접속을 제공하는 Dedicated Interconnect입니다.

전화, 컴퓨터, 데이터센터 등으로 유입되는 데이터를 ‘물’이라고 가정해보면 광섬유 케이블은 파이프라고 볼 수 있고, 피어링은 일종의 도시 상하수도 시스템으로 볼 수 있습니다. 수도 시스템이 집 배관까지 연결돼 있어야 하는 것처럼, Google의 글로벌 네트워크가 모든 유형의 Google 트래픽을 제공하기 위해서는 이용자 근처에 있는 ISP와 서로 연결되어야 합니다. 싱크대 수도꼭지에서 물이 나오는 것은 가정의 Wi-Fi에서 Google 서비스를 사용할 수 있는 것과 비슷한 개념입니다.

피어링 인프라

구글을 포함한 수천 개의 네트워크가 매일 전 세계에서 서로 피어링하고 있습니다. 피어링하는 네트워크 사이에는 트래픽 수요와 비용, 성능을 처리할 수 있는 위치 및 용량에 대해 상호 동의가 필요합니다. 그런데 전 세계에 굉장히 많은 네트워크가 존재하기 때문에 모든 네트워크가 서로 피어링하는 것은 실용적이지 않습니다. 따라서 대부분의 네트워크는 이용자가 인터넷 전체에 도달할 수 있도록 지원하는 IP 전송(IP transit) 방식을 유지하고 있습니다. IP 전송은 네트워크에 제공되는 유료 서비스로, 인터넷 전체에 도달하기 위해 잘 구축된 다른 네트워크를 중계해 트래픽을 ‘전송’하는 방식입니다. 이러한 전송은 피어링 연결을 사용할 수 없는 경우 장애 극복 기능(failover path) 역할을 겸하며, 인터넷 상의 모든 엔드포인트에 대한 보편적 연결 가능성을 보장하는 데 중요한 역할을 합니다. 전송 방식의 한 가지 잠재적 단점은 트래픽이 최종 이용자에게 도달하기 위해 간접적이고 비용이 많이 발생하는 경로를 통과할 수 있어, 피어링에 비해 성능이 저하될 수 있다는 것입니다. Google은 성능을 극대화할 수 있도록 모든 트래픽을 최적의 피어링 경로로 전달하는 것을 선호합니다.

피어링이 중단되었을 때

모든 유형의 물리적 인프라는 구성 요소가 오작동하거나 유지 관리를 위해 서비스를 중단해야 하는 경우가 발생할 수 있습니다. 피어링을 지원하는 인프라 역시 마찬가지입니다. 가동 중단 시간은 원인 및 수리에 소요되는 시간에 따라 며칠 또는 몇 주가 걸릴 수 있습니다. 이 기간 동안 Google에서 주고 받는 인터넷 트래픽은 장애 극복 기능 경로로 다시 라우팅됩니다. 때때로 이러한 경로는 같은 도시 안에 있는 다른 피어링 지점이 되기도 하고, 수백 또는 수천 마일 떨어진 다른 도시나 국가의 피어링으로 변경될 수도 있으며, 다른 피어링 연결이 아예 불가능한 경우 IP 전송 연결 방식으로 변경되는 경우도 있습니다. 대부분은 네트워크가 Google과 피어링되는 방법과 위치에 따라 결정됩니다. 트래픽이 의도한 피어링 연결에서 물리적으로 더 멀리 라우팅되고 IP 전송 연결이 트래픽 경로에 있는 경우 데이터 통신 지연 및 패킷 손실(packet loss) 등 지터(jitter) 현상이 증가할 가능성이 높아지며, 이는 곧 이용자 경험의 문제로 이어질 수 있습니다.

깊고 다양한 피어링 범위

수년에 걸쳐 우리는 모든 Google 서비스에서 최적의 이용자 경험을 보장하기 위해 물리적 이중화와 지리적 다원화 방식을 통해 ISP 및 클라우드 고객과의 피어링을 구축해 왔습니다. 이는 곧 전 세계 네트워크 및 고객과의 깊고 다양한 피어링 상호접속 범위를 의미합니다. Premium Network Tier, Cloud VPN, Workspace 등의 구글 클라우드 서비스는 피어링을 사용해 최종 이용자에게 도달하기 때문에 이러한 계획은 앞서 언급한 이용자 경험 문제를 방지하는 데 도움이 됩니다.

보다 안정적이고 예측 가능한 피어링 상호접속

모든 Google 이용자에게 안정적인 환경을 제공한다는 목표를 달성하기 위해 최근 피어링 정책을 업데이트하고 Google의 모든 프라이빗 피어링 연결 지점에 관해 동일한 대도시 지역 내 물리적 이중화를 갖추도록 했습니다. 이 업데이트로 Google과 ISP는 대부분의 상황에서 피어링 인프라 중단 및 유지보수 중에도 로컬에서 트래픽 교환을 지속할 수 있습니다. 이는 고객과 이용자에게 보다 예측 가능한 트래픽 흐름, 일관되고 안정적인 지연 시간, Google 서비스에 대해 전반적으로 보다 예측 가능한 경험을 제공하는 동시에 ISP의 비용을 절감해주는 보다 효과적인 피어링 가용성을 제공합니다. 애플리케이션 성능에 영향을 줄 수 있는 여러 가지 요소가 인터넷 상에 존재하지만, 이번 정책 업데이트는 피어링 인프라의 중단 및 유지 보수가 이용자 경험에 미치는 영향을 최소화하도록 설계되었습니다. 변경 사항에 대한 자세한 내용은 피어링 페이지에서 확인할 수 있습니다.

그림 A - 대도시 지역 피어링 이중화의 두 가지 예. 동일한 대도시 지역 내 피어링 이중화 링크(녹색)는 피어링 인프라의 유지 보수 또는 가동 중단 시간 동안 로컬에서 트래픽 교환을 유지하는 데 도움이 됩니다.

피어링 파트너 및 고객과의 협력

우리는 로컬에서 이중화된 피어링 상호접속을 구축할 수 있도록 기존 및 신규 Google Cloud 고객, ISP 파트너와 긴밀하게 협력하고 있습니다. 또한 많은 네트워크가 이 구성을 구축하는 데 어려움이 있다는 것을 알고 있으므로 이러한 구성을 하는 방법을 파악하고 있습니다. Google Cloud 고객 및 Google과 함께 이중화 토폴로지(topology)를 검토하는 데 관심있는 ISP는 Google에 문의 가능하며, Google의 피어링 모범 사례도 함께 참고해 주시기 바랍니다. 피어링 웹사이트에서 피어링에 대해 더 자세히 알아보고 Google에 피어링을 요청할 수 있습니다.