미디어 및 엔터테인먼트

미디어 및 엔터테인먼트 업종에서 생성형 AI가 가지는 의미

Wed, 17 Apr 2024 01:00:00 +0000

*본 아티클의 원문은 2023년 4월 19일 Google Cloud 블로그(영문)에 게재되었습니다.

디지털 시대는 미디어와 엔터테인먼트 분야의 기존 성공 공식을 뒤집고 새로운 기술로 콘텐츠 제작, 배포, 경험, 수익 창출 방식의 변화를 일으켰습니다. 시청자가 자신이 소비하는 콘텐츠에 대해 더 많은 선택권과 유연성, 권한을 갖게 되었으며, 오늘날의 미디어 기업은 지속적인 변화를 수용해 시대에 뒤처지거나 변화에 대한 유연성을 잃지 않도록 해야 합니다.

자연어로 사용자와 상호작용하고 이야기 개요, 보고서, 기타 텍스트 결과물부터 이미지, 동영상, 오디오 같은 멀티모달 콘텐츠에 이르기까지 새로운 데이터를 생성할 수 있는 유형의 인공지능인 생성형 AI가 새로운 변화의 물결을 불러오고 있습니다. 콘텐츠 제작과 창의성이 본질인 미디어 및 엔터테인먼트 업종에서 이 새로운 기술은 어떤 의미가 있을까요?

Google Cloud는 보다 효율적인 창작 방법부터 향상된 사용자 경험에 이르기까지 크리에이티브 업종에 거대한 기회가 창출되리라 예상합니다. 지금부터 자세히 살펴보겠습니다.

AI for media with Google Cloud

Google Cloud는 오랫동안 대규모 언어 모델(LLM) 및 기타 생성형 AI 기술을 활용해 왔습니다. Document AI와 같은 제품은 수년간 이러한 기술의 영향을 받았으며, 최근에는 비즈니스가 생성형 AI 기반 모델에 액세스하고 이를 조정할 수 있는 Vertex AI의 생성형 AI 지원을 발표했습니다. 개발자가 챗봇 및 기타 생성형 앱을 단 몇 분 만에 빌드할 수 있는 생성형 AI 앱 빌더도 있습니다.

Vertex AI로 파운데이션 모델 빌드, 조정, 배포하기

AI를 통해 글로벌 미디어 및 엔터테인먼트 고객의 개인화, 검색 및 추천, 예측 분석 등을 지원해 온 Google은 생성형 AI가 급부상하고 있는 현재 미디어 업계 리더, 기술 전문가, 크리에이터가 강력한 AI를 업무에 활용하기 위해 고려하고 준비하는 과정에 도움이 되는 몇 가지 아이디어를 소개하고자 합니다.

미디어 혁신을 바라보는 세 가지 관점

미디어 및 엔터테인먼트 업종은 점점 더 다양하고 복잡해지고 있으며, 오버더톱(OTT) 구독 스트리밍 서비스, 24시간 TV 채널, 스포츠 경기 생중계, 디지털 언론사, 전통적인 언론사, 짧은 형식의 사용자 생성 소셜 동영상 등 다양한 분야의 기업이 존재합니다. 미디어 업종의 이러한 부문 간 경계가 점점 더 모호해지고 있습니다. 이들 모두는 직간접적으로 수익을 창출할 수 있는 참여를 유도하는 시청자 경험을 위해 매력적인 콘텐츠를 제공하는 데 집중한다는 공통점이 있습니다.

이를 감안하여 Google에서는 미디어 및 엔터테인먼트 기업에 다음 세 가지 관점을 통해 생성형 AI와 같은 혁신적인 기술의 적용을 검토할 것을 제안합니다.

콘텐츠 제작, 프로덕션, 관리 개선
시청자 경험 향상 및 개인화
수익 창출 향상

콘텐츠 제작, 프로덕션, 관리 개선

생성형 AI는 콘텐츠 제작의 다양한 측면을 범용화하여 글, 일러스트레이션, 음향 효과, 특수 효과 등을 제작하는 새로운 방법을 열어줍니다. 최근 이 기술이 매우 빠르게 성숙해지면서 미디어 업계 일각에서는 생성형 AI가 창작 분야 일자리의 종말을 가져올 것이라는 우려를 나타내고 있습니다. Google은 사진, 오디오 녹음, 컴퓨터 생성 이미지가 기존 창작 방식을 쓸모없게 만들기보다 새로운 창작 방식을 지원했던 것과 같이, 생성형 AI 또한 새로운 형태의 표현을 가능하게 하고 익숙한 표현을 더욱 향상시킬 수 있는 잠재력이 있다고 생각합니다.

예를 들어 저널리스트는 생성형 AI를 사용하여 대량의 정보를 종합하고 분석함으로써 리서치의 속도를 높이고, 비광고 콘텐츠의 초안이나 요약본을 작성하는 데 도움을 받을 수 있습니다. 영화 및 텔레비전 제작자의 경우 이 기술을 활용하여 조명 및 색상과 같은 장면의 세부사항을 빠르게 조정하거나 보정하는 새로운 AI 기반 인터페이스를 통해 포스트 프로덕션 편집 과정을 더 빠르게 완료할 수 있습니다. 방송사는 생성형 AI를 사용하여 방대한 동영상 촬영분 라이브러리를 검색하고 원하는 영상에 액세스할 수 있으므로 더욱 매력적인 스토리를 전달하는 데 도움이 됩니다. 이처럼 잠재적 사용 사례는 무한합니다.

생성형 AI는 창작 분야 일자리의 종말을 불러오기보다는 작가, 아티스트, 편집자 등 많은 사람이 지루하고 반복적인 업무에서 벗어나 창의성에 더 많은 시간을 투자하도록 지원할 수 있습니다.

시청자 경험 향상 및 개인화

오늘날 소비자 대부분이 매우 낮은 비용으로 전환할 수 있으며, 이것이 전 세계의 모든 미디어 기업이 마주한 현실입니다. 이로 인해 기업들은 구독자 이탈을 줄이고 시청자가 경쟁 플랫폼을 선택하기 위해 자사의 콘텐츠 경험을 포기하지 않도록 마찰이 적고 매력적인 시청자 경험을 제공하는 데 투자해야 한다는 엄청난 압박을 받고 있습니다.

생성형 AI는 디지털 콘텐츠 플랫폼에서 더욱 강력한 검색 및 추천 기능을 지원하는 등 미디어 기업이 시청자의 참여를 유도하고 시청자 유지율을 높이는 데 도움을 줄 수 있습니다. 자연어에서 오디오 및 동영상 콘텐츠에 이르기까지 점점 더 다양화되는 멀티모달 기능을 통해 생성형 AI는 더욱 개인화된 시청자 경험을 제공할 수 있는 유리한 위치를 확보해 줍니다.

소비자들은 너무나도 방대한 온디맨드 콘텐츠 라이브러리를 제공하는 스트리밍 플랫폼에서 정작 볼 만한 콘텐츠를 찾을 수 없다는 '선택의 역설'로 인한 불만을 자주 호소합니다. 소비자가 콘텐츠 플랫폼에서 분위기, 특정 장면 유형, 출연진 조합, 수상 후보작 여부 등 거의 모든 것을 기준으로 볼 만한 TV 프로그램을 간단하게 찾을 수 있다면 어떨지 상상해 보세요. 이러한 미래는 머지않았습니다. 시청자가 감상할 개인화된 콘텐츠를 선별하고 조합하거나 심지어 제작할 수도 있는 생성형 AI의 잠재력을 생각해 보면 이러한 가능성은 빙산의 일각에 불과합니다.

수익 창출 향상

소비자의 콘텐츠 소비가 전통적인 극장 및 TV 프로그램에서 다양한 플랫폼, 기기, 콘텐츠 유형 전반의 디지털 서비스로 확대됨에 따라 미디어 기업은 수익을 유지하고 수익화 방식을 개선해야 하는 과제에 직면해 있습니다. 광고 및 구독 모델에 대한 기존의 경제학 관점과 접근 방식의 대부분은 충분한 ROI를 제공하지 못한다는 사실이 입증되고 있습니다.

생성형 AI는 시청자 경험을 통한 미디어 기업의 수익 창출을 개선하는 데 도움을 줄 잠재력이 있습니다. 앞서 언급한 것과 같이 개인화를 개선하여 이탈을 줄일 수 있으며 결과적으로 구독 및 광고 수익을 유지하고 늘리는 데 도움이 됩니다. 나아가 생성형 AI를 활용하여 광고의 타겟팅, 문맥, 개인 맞춤 수준을 개선하여 더 큰 광고 수익을 창출할 수 있습니다. 제품 사양, 메시지, 스타일, 색상 및 기타 수많은 특성을 개인화하여 즉시 생성되는 디스플레이 광고와 동영상 광고를 통해 참여도 및 클릭률(CTR)을 높임으로써 광고 CPM(1,000회 노출당 비용)을 높인다고 상상해 보세요.

앞으로의 전망

생성형 AI는 콘텐츠 제작, 참여, 수익 창출을 근본적으로 혁신할 수 있는 중요한 기회를 미디어 기업에 제공합니다. 여러 매력적인 서비스가 이미 시중에 나와 있지만 앞으로 더 많은 서비스가 등장할 것입니다.

Google Cloud는 AI와 관련해 심도 있는 경험과 전문성을 꾸준히 축적하고 있으며, 의미 있는 성과 달성을 지원하기 위해 업계와 협력하여 매력적이고, 사용 가능하고, 신뢰할 수 있고, 책임감 있는 AI 솔루션을 개발하기 위해 최선을 다하고 있습니다. 전 세계 미디어 생태계 전반의 고객 및 파트너와 함께 미래를 만들어갈 수 있어 뜻깊게 생각합니다. 이 파급력 있는 주제에 대해 더 자세히 알아보려면 Google Cloud AI 및 비즈니스 솔루션 부문 부사장 필립 모이어의 '생성형 AI에 대한 5가지 오해 바로잡기' 또는 Google의 생성형 AI를 위한 신뢰할 수 있는 테스터 프로그램을 살펴보세요.

Quilkin 소개: 게임 서버 통신을 위해 빌드된 오픈소스 UDP 프록시

Wed, 29 Sep 2021 00:00:00 +0000

* 본 아티클의 원문은 2021년 7월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

기존에 실시간 멀티플레이어 게임 전용 게임 서버는 한 게임에서 여러 플레이어의 통신과 게임플레이 동기화를 위해 맞춤 UDP 프로토콜을 사용했습니다. 이러한 통신은 모놀리식 게임 서버 및 클라이언트에 포함되어 커스텀 네트워크 물리 동기화, 보안, 액세스 제어, 원격 분석 및 측정항목과 같은 통신 프로토콜의 기술적 기능과 물리 시뮬레이션, AI 연산 등 고도의 컴퓨팅 요구사항을 결합하는 경우가 많습니다.

Embark Studios와 공동 개발한 Quilkin은 고성능 실시간 멀티플레이어 게임을 위해 맞춤 제작된 UDP 프록시입니다. 이 프록시의 목표는 두 가지입니다.

모놀리식 전용 게임 서버 및 클라이언트에서 보안, 액세스 제어, 원격 분석, 측정항목 등의 공통 기능을 가져옵니다.
이러한 공통 기능을 구성 및 설정 가능한 방식으로 제공하여 광범위한 멀티플레이어 게임에서 재사용할 수 있습니다.

이 재사용 가능한 기반 덕분에 게임 개발자가 공통된 요소 대신 멀티플레이어 통신 프로토콜을 빌드하는 게임별 요소에 더 많은 시간을 할애할 수 있습니다.

멀티플레이어 게임 서버 통신의 과제

빠른 속도의 멀티플레이 게임에서는 일반적으로 네트워크 물리 및 AI 시뮬레이션부터 클라이언트와 서버 간 통신에 이르기까지 모든 작업을 담당하는 모놀리식 전용 게임 서버의 메모리에서 게임플레이 세션의 전체 시뮬레이션이 진행됩니다.

게임의 전체 상태가 메모리에 상주하므로 각 클라이언트에서 플레이어가 이용하고 있는 전용 게임 서버에 직접 연결하는데 이로 인해 여러 가지 문제가 발생합니다.

각각의 전용 게임 서버가 단일 장애점이 됩니다. 다운되면 전체 게임 세션(경우에 따라 여러 세션)이 실패합니다. 이 때문에 악의적인 행위자의 표적이 됩니다.
게임 서버의 IP 및 연결 포트가 공개되어 게임 클라이언트에 노출되기 때문에 쉽게 발견되어 공격 대상이 됩니다.
게임 서버 시뮬레이션 및 네트워크 통신의 여러 측면이 동일한 프로세스에서 긴밀하게 연결되어 재사용과 모듈화가 어려워지고 성능 문제가 발생할 위험이 커집니다.

지난 몇 년간의 웹 기술과 모바일 기술을 살펴보면 이와 같은 몇 가지 과제를 공통적으로 안고 있음을 알 수 있습니다. 다행히 전용 서버 워크로드의 분산된 중복 조정을 유도하는 데 도움이 되는 솔루션이 있으며 그 중 하나가 바로 트래픽 프록시를 활용하는 것입니다.

Google Cloud에서 사용할 수 있는 것과 같이 지연 시간이 짧은 네트워크의 전용 게임 서버 앞에 멀티플레이어 UDP 트래픽용 프록시를 사용하면 다음과 같은 주요 과제를 해결할 수 있습니다.

안정성 강화. 프록시는 중복된 통신 진입점을 제공합니다. UDP 패킷을 원하는 수의 프록시에 전송하여 전용 게임 서버에 라우팅할 수 있습니다. 전용 게임 서버가 여전히 일반적인 단일 장애점이겠지만 프록시가 통신 레이어의 중복성과 잠재적 장애 조치를 개선해 줍니다.
보안 강화. 더 이상 전용 게임 서버의 IP 및 포트가 공개되지 않습니다. 게임 클라이언트가 프록시 풀의 하위 집합에 대한 가시성만 가질 수 있어 공격에 노출될 수 있는 영역이 제한됩니다.
확장성 강화. 통신 프로토콜, 측정항목, 통신 보안, 액세스 제어를 프록시로 이전할 수 있어 단일 프로세스를 분할하기 시작했습니다. 이로 인해 게임 서버의 처리 루프에서 게임 이외의 컴퓨팅이 제거됩니다.

그 결과, 성능을 고려함은 물론 악의적인 행위자에 대비한 부하 분산을 위해 프록시를 독립적으로 확장할 수 있어 전체 시스템의 복원력이 향상됩니다.

Quilkin 소개: Game Servers용 UDP 프록시

Embark Studios와 Google Cloud는 공동으로 Quilkin을 빌드하여 표준 오픈소스 솔루션을 제공하고 있습니다. 스톡홀름에 위치한 Embark Studios는 업계 경력자들로 구성된 (비교적) 신생 스튜디오입니다. Embark Studios는 대규모 실시간 멀티플레이어 게임 분야에서 많은 경험을 쌓아 Quilkin을 공동 개발하기에 완벽한 파트너였습니다.

Quilkin은 대규모 멀티플레이어 전용 게임 서버 배포에 사용하여 보안, 액세스 제어, 원격 분석 데이터, 측정항목 등을 지원하도록 특별히 설계된 투명하지 않은 오픈소스 UDP 프록시입니다.

Quilkin은 게임 클라이언트의 백그라운드는 물론 전용 게임 서버 앞에 사용되도록 설계되며 다음과 같은 주요 이점을 제공합니다.

난독화. UDP 데이터가 투명하지 않은 프록시로 처리되어 게임 아키텍처의 내부 상태가 악의적인 행위자에게 잘 드러나지 않습니다.
즉시 사용 가능한 측정항목. UDP 패킷 트래픽 및 통신 측정항목이 지원됩니다.
가시성. 구성 가능한 처리 필터 집합을 라우팅, 액세스 제어, 비율 제한 등에 적용할 수 있습니다.
유연성. 사용자가 원하는 시스템 통합 수준 또는 빌드할 커스텀 처리 필터에 따라 클라이언트/서버 변경이 필요 없는 독립 실행형 바이너리로 활용하거나 Rust 라이브러리로 사용할 수 있습니다.
호환성. 필요한 경우 Rust FFI를 통해 기존 C/C++ 코드베이스와 통합할 수 있습니다.
온보딩. 여러 통합 패턴이 지원되어 아키텍처 및 기존 플랫폼에 적합한 통합 수준을 선택할 수 있습니다.

지금까지는 자체 독점 기술을 구축할 리소스를 갖춘 대형 게임 스튜디오에서만 이러한 기능을 사용할 수 있었습니다.

Embark Studios는 게임 업계 종사자 모두에게 공평한 경쟁의 장을 마련하는 것이 중요하고 가치 있는 시도라고 생각합니다. Google Cloud와 협력하여 이 프로젝트를 시작한 이유가 바로 여기에 있습니다.

Embark는 오픈소스가 게임 산업의 미래이며 기업 간 개방적인 협업이 앞으로 나아가야 할 방향이라고 생각합니다. 그래야 규모를 불문하고 모든 스튜디오가 동일한 수준의 기술 역량을 갖출 수 있습니다.

루나 듀클로스, Embark Studios 기술 책임자

Google Cloud의 게임용 오픈소스 솔루션 포트폴리오에 최근 Quilkin이 추가되었다는 소식을 알려드리게 되어 기쁩니다. Quilkin은 게임 서버용 Agones, 랜덤 대결에 사용되는 Open Match, 지속성을 위한 Open Saves와 같은 기존 OSS 솔루션을 보완해 줍니다. 이러한 솔루션은 개방적인 통합 게임 생태계에서 함께 작동하도록 설계되었습니다. Ubisoft, Unity, 2K Games에 이어 최근에는 Embark Studios와 게임 분야에서 오픈소스 협업을 진행하게 된 것을 자랑스럽게 생각합니다. Google Cloud는 앞으로도 업계 및 커뮤니티의 파트너들과 긴밀히 협력하며 세계 최대 규모의 게임을 지원하는 세계적 수준의 솔루션을 제공할 것입니다.

롭 마틴, Google Cloud for Games 수석 설계자

Quilkin 시작하기

Quilkin은 위에 설명한 고급 배포 시나리오를 지원할 수 있지만 Quilkin을 시작하는 가장 쉬운 방법은 기존 전용 게임 서버의 사이드카로 배포하는 것입니다. 처음에는 몇 가지 이점이 제한적으로 제공될 수 있지만 UDP 통신에 대한 측정항목 및 원격 분석 데이터를 쉽게 얻을 수 있고 진입 장벽이 낮으며 시간이 지나면서 확장이 가능한 방법입니다.

Quilkin은 바이너리 및 컨테이너 이미지로 출시되지만 특정 호스팅 플랫폼에 의지하지 않으므로 이 예시에서는 Agones 및 Google Cloud Game Servers를 게임 서버 호스팅 플랫폼으로 사용합니다.

먼저 ConfigMap을 만들어 Quilkin의 정적 구성에 대한 yaml을 저장합니다. 그러면 포트 26001에 대한 연결을 수락하고 포트 26000의 Xonotic(오픈소스 멀티플레이어 FPS 게임) 전용 게임 서버로 라우팅합니다.

code_block: <ListValue: [StructValue([('code', 'apiVersion: v1\r\nkind: ConfigMap\r\nmetadata:\r\n name: quilkin-config\r\ndata:\r\n quilkin.yaml: | # quilkin configuration\r\n version: v1alpha1\r\n proxy:\r\n port: 26001\r\n static:\r\n endpoints:\r\n - address: 127.0.0.1:26000'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f9f6e680cd0>)])]>

그런 다음 Agones에서 제공하는 Xonotic 전용 게임 서버에 대한 예시 컨테이너를 가져와 다음과 같이 게임 서버의 Agones Fleet에서 Quilkin을 각 전용 게임 서버와 함께 사이드카로 실행합니다.

code_block: <ListValue: [StructValue([('code', 'apiVersion: "agones.dev/v1"\r\nkind: Fleet\r\nmetadata:\r\n name: xonotic-sidecar\r\nspec:\r\n replicas: 2\r\n template:\r\n spec:\r\n container: xonotic\r\n ports:\r\n - name: default\r\n containerPort: 26001\r\n container: quilkin\r\n health:\r\n initialDelaySeconds: 30\r\n periodSeconds: 60\r\n template:\r\n spec:\r\n containers:\r\n - name: xonotic\r\n image: gcr.io/agones-images/xonotic-example:0.8\r\n - name: quilkin # quilkin sidecar\r\n image: us-docker.pkg.dev/quilkin/release/quilkin:0.1.0\r\n volumeMounts:\r\n - name: config\r\n mountPath: "/etc/quilkin"\r\n livenessProbe:\r\n httpGet:\r\n path: /live\r\n port: 9091\r\n initialDelaySeconds: 3\r\n periodSeconds: 2\r\n volumes:\r\n - name: config\r\n configMap:\r\n name: quilkin-config'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f9f6e8e45b0>)])]>

적용한 후 실행 중인 GameServers의 클러스터를 쿼리하면 Quilkin을 제외하고는 모든 것이 동일하게 유지되어 있습니다. 시스템의 다른 부분에서는 트래픽을 가로챈다는 사실을 알아야 할 필요가 없으며 클라이언트나 서버 코드를 조정하지 않고도 Quilkin의 기능을 자유롭게 활용할 수 있습니다.

code_block: <ListValue: [StructValue([('code', '$ kubectl get gameservers\r\nNAME STATE ADDRESS PORT NODE AGE\r\nxonotic-sidecar-gdpgn-2pfkc Ready 34.95.106.201 7929 gke-0f7d8adc 25m\r\nxonotic-sidecar-gdpgn-c8bds Ready 34.95.106.201 7028 gke-0f7d8adc 25m'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f9f6e8e4760>)])]>

관심이 있으시다면 둘러보기를 살펴보세요. 둘러보기에서는 이 시나리오를 설명한 후 프로그램 변경 없이 UDP 패킷을 게임 클라이언트에서 서버로 압축하는 과정을 다룹니다.

다만 여기서 다루는 내용은 일부에 불과합니다. Quilkin에는 xDS 준수 Admin API, UDP 패킷을 조작하고 라우팅하는 여러 기존 필터 등도 포함되어 있습니다.

Quilkin의 미래

Quilkin은 아직 초기 단계로서 0.1.0 알파 버전이 출시되었을 뿐이지만 토대를 마련했다는 점에서 의의가 있습니다.

로드맵에 향상된 측정항목 및 원격 분석, 새로운 필터 및 필터 유형 등 다양한 기능이 계획되어 있습니다.

이 출시 버전을 사용해보고 싶다면 출시 페이지에서 바이너리 또는 컨테이너 이미지를 얻을 수 있습니다. 빠른 시작을 단계별로 수행하고 전용 게임 서버의 여러 통합 옵션을 검토해 보세요.

프로젝트에 참여하려면 다음 안내를 따르세요.

GitHub 저장소 확인
Discord 커뮤니티 참여
quilkin-discuss 메일링 리스트 등록
Twitter에서 팔로우

Embark Studios에서도 공지 블로그 게시물을 통해 자체 프로덕션 게임 백엔드 인프라에 대한 계획과 Quilkin 사용이 적합한 사례를 자세히 다루고 있습니다.

Google Cloud와 Embark Studios에서 이 프로젝트에 참여해 주신 모든 분들께 감사 드립니다. Quilkin의 미래가 매우 기대됩니다.

Open Saves 소개: 게임용 오픈소스 클라우드 기반 스토리지

Mon, 02 Aug 2021 02:52:00 +0000

* 본 아티클의 원문은 2021년 4월 30일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날 게이머가 지속적인 스토리라인의 일부가 되는 방식으로 참여할 수 있는 풍부한 몰입형 환경을 제공하는 게임이 많습니다. 이러한 지속적인 경험을 선사하기 위해서는 게임 데이터가 게이머의 요구에 맞게 확장될 수 있도록 수많은 스토리지 기술이 필요합니다. 게임 개발자는 저장, 인벤토리, 패치, 다시보기와 같은 다양한 유형의 데이터를 저장해야 할 뿐만 아니라 스토리지 시스템의 고성능, 가용성, 확장성, 비용 효율성을 유지해야 합니다.

Google이 2K와 협력하여 개발한 Google Cloud 기반의 Open Saves는 여러 스토리지 백엔드에서 사용할 수 있도록 특별히 제작된 새로운 단일 인터페이스입니다. 이제 개발팀은 Cloud Storage, Memorystore 또는 Firestore 등 사용할 스토리지 솔루션에 대한 기술적 결정을 내리지 않고도 게임 데이터를 저장할 수 있습니다.

“Open Saves는 심층적인 업계 지식과 Google의 규모가 모두 필요한 게임 솔루션 분야에서 최고의 개발자와 협업하려는 당사의 의지를 잘 보여주는 결과물입니다."라고 2K IT 및 보안 부문의 조 가르폴라 부사장은 말했으며 "Google Cloud와의 지속적인 협업을 기대합니다.”라고 덧붙였습니다.

게임 개발팀은 최적의 백엔드 스토리지 솔루션에 대한 걱정 없이 Open Saves에서 게임 데이터를 저장할 수 있으며 운영팀 역시 필요한 확장성과 스토리지 옵션에 집중할 수 있습니다. 실제 작동 방식은 다음과 같습니다.

게임 개발자는 Open Saves를 사용하여 다음과 같은 특성의 클라우드 기반 게임 스토리지 시스템을 실행할 수 있습니다.

단순성: Open Saves는 메타데이터, 구조화된 객체, 구조화되지 않은 객체의 모든 작업에 사용할 수 있는 적절하게 정의된 통합 gRPC 엔드포인트를 제공합니다.
속도: Open Saves는 기본 제공되는 캐싱 시스템을 통해 데이터 배치를 빈도 및 데이터 크기에 따라 최적화하여 소형 바이너리 객체에 대해서는 지연 시간을 단축하고 대형 객체에 대해서는 높은 처리량을 달성합니다.
확장성: Open Saves API 서버는 Google Kubernetes Engine 또는 Cloud Run에서 실행할 수 있습니다. 두 플랫폼 모두 초당 수십만 개의 요청을 처리하도록 확장할 수 있습니다. 또한 Open Saves는 Firestore 및 Cloud Storage에 데이터를 저장하며 수백 기가바이트의 데이터와 초당 최대 수백만 개의 요청을 처리할 수 있습니다.

Open Saves는 확장성을 염두에 두고 설계되었으며 온프레미스부터 클라우드 또는 하이브리드에 이르는 모든 인프라에서 실행되어 모바일, 콘솔, 멀티플레이어, 싱글플레이어 등 어떤 게임과도 통합될 수 있습니다. 이 서버는 Go로 작성되었지만 API를 gRPC로 정의하기 때문에 다양한 프로그래밍 언어를 사용해 클라이언트나 서버에서 연결할 수 있습니다.

다음 코드에서 볼 수 있듯이 Open Saves에 쓰기 및 읽기가 매우 간단합니다.

code_block: <ListValue: [StructValue([('code', '// To write\r\n record := &pb.Record{\r\n Key: uuid.New().String(),\r\n Tags: []string{"tag1", "tag2"},\r\n OwnerId: "owner",\r\n }\r\n createReq := &pb.CreateRecordRequest{\r\n StoreKey: storeKey,\r\n Record: record,\r\n }\r\n _, err := client.CreateRecord(ctx, createReq)\r\n if err != nil {\r\n t.Fatalf("CreateRecord failed: %v", err)\r\n }\r\n \r\n // To read\r\n getReq := &pb.GetRecordRequest{StoreKey: storeKey, Key: recordKey}\r\n response, err := client.GetRecord(ctx, getReq)\r\n if err != nil {\r\n t.Errorf("GetRecord failed: %v", err)\r\n }'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f9f6e61ad60>)])]>

Google은 2K Games와 협업하여 Open Saves를 활발하게 개발 중이며 GitHub에서 여러분의 참여를 기다리고 있습니다. 참여하는 방법에는 몇 가지가 있습니다.

Open Saves 서비스 설치 및 배포
API 참조 확인
개발 가이드를 읽고 참여
open-saves-discuss 메일링 리스트 가입

Google Cloud로 확장 가능한 데이터 기반 소셜 미디어를 구축한 ShareChat

Thu, 27 May 2021 00:00:00 +0000

* 본 아티클의 원문은 2021년 4월 20일 Google Cloud 블로그(영문)에 게재되었습니다.

편집자 주: 이번 게시글은 인도의 소셜 미디어 플랫폼인 ShareChat에 관한 내용입니다. ShareChat이 Google Cloud를 사용하여 성능과 앱 개발, 분석을 개선하고 수백만 명의 사용자에게 지역 콘텐츠를 제공한 사례를 소개합니다.

주요 공식 언어가 22가지이고 통용되는 지역 방언은 셀 수 없을 만큼 많은 국가에서 소셜 네트워크를 만들려면 어떻게 해야 할까요? ShareChat에서는 1억 6,000만 명이 넘는 월간 활성 사용자가 15가지 인도 언어로 동영상, 이미지, GIF, 노래 등을 공유하고 조회합니다. 2020년에 출시한 짧은 동영상 플랫폼인 Moj도 지원하는 월간 활성 사용자 수가 8,000만 명을 이미 넘어섰습니다.

익숙한 언어로 사람들과 소통

인도에서 모바일 데이터와 스마트폰의 가격이 저렴해지면서 인터넷 사용자층이 주로 농촌 지역에 거주하는 새로운 사용자층으로 크게 확대되고 있습니다. 하지만 이들 대부분은 영어를 사용하지 않기 때문에 콘텐츠와 정보 액세스 측면에서 언어의 역할이 매우 중요합니다. 인터넷을 처음 접하는 이들 사용자는 영어가 주 사용 언어인 다른 소셜 미디어 사이트에 가입하기보다는 더 익숙한 특정 언어 또는 방언으로 된 WhatsApp 그룹에 가입하는 쪽을 선택했습니다.

그에 따라 ShareChat은 사람들이 모국어로 의견을 공유하고, 일상을 기록하며, 새 친구를 사귈 수 있는 플랫폼을 구축하기 시작했습니다. 맞춤설정된 콘텐츠 뉴스피드를 사용하여 언어별 콘텐츠를 올바른 잠재고객에게 제공함으로써 콘텐츠와 사람 검색 과정을 간소화합니다.

폭발적으로 증가하는 데이터와 엄청난 양의 콘텐츠, 트래픽을 처리해야 하는 상황에서는 IT 인프라에 대한 의존도가 높을 수밖에 없습니다. 또한 대다수 사용자는 2G 네트워크를 사용해 게시, 조회하거나 좋아요 표시를 하고 서로 팔로우합니다. 당사의 플랫폼은 전국에 흩어져 각기 다른 네트워크를 사용하는 사람들에게 성능 저하 없이 최고의 경험을 제공해야 합니다.

미래 성장을 지원하는 최적의 클라우드 파트너

클라우드 환경을 기반으로 만들어진 ShareChat은 기존 클라우드 제공업체를 통해 대규모 고객층에 서비스를 제공할 수 있도록 시스템을 확장하는 방법을 이미 잘 알고 있었습니다. 하지만 다른 많은 기업처럼 예기치 않은 트래픽을 처리하고 저장용량 부족 사태를 방지하기 위해 컴퓨팅과 스토리지를 초과 프로비저닝하는 데는 어려움이 있었습니다. 현지 언어 콘텐츠에 대한 수요가 커지고 코로나19 위기 대응 방안으로 온라인 상호작용이 늘어나는 상황에서 동적으로 확장하고 필요에 따라 리소스를 할당하는 보다 효율적인 방법의 필요성을 깨달았습니다.

이러한 배경에서 Google Cloud는 당연한 선택이었습니다. 강력한 기술 포트폴리오를 비용 효율적으로 손쉽게 관리하게 해주는 기술을 우선시하는 기업과 파트너십을 통해 원하는 무엇이든 구축할 수 있는 역량을 갖추고 싶었습니다. 기술 혁신에 앞장서는 Google은 새 기능을 빠르게 수정 및 출시할 수 있는 효율적인 DevOps 파이프라인 구축을 비롯하여 애플리케이션을 빌드, 실행, 관리하는 데 필요한 모든 것을 제공했습니다.

Google Cloud팀과 논의를 시작할 때는 몇 가지 우려사항이 있었지만 시간이 지날수록 정보와 지원을 받으면서 가장 까다로운 문제를 처리하는 데 있어 도움이 되는 파트너는 바로 Google Cloud임을 알게 되었으며 결국 전체 인프라를 Google Cloud로 이전하기로 결정했습니다.

ShareChat에서는 수백만 명의 사용자를 지원하기 위해 Google Kubernetes Engine을 사용하여 배포 및 확장합니다. 반면 데이터 분석에는 관리형 데이터 클라우드 서비스를 조합하여 사용합니다. 예를 들어 데이터 파이프라인에는 Pub/Sub, 분석에는 BigQuery, 실시간 앱 제공 워크로드에는 Cloud Spanner, 색인 작성이 적은 데이터베이스에는 Cloud Bigtable 등을 사용합니다. 또한 신뢰할 수 있는 고품질 콘텐츠 전송을 짧은 지연 시간으로 사용자에게 배포하기 위해 Cloud CDN을 사용합니다.

ShareChat은 현재 기존 환경에서 사용했던 총 핵심 소비량의 절반 수준으로 기존 워크로드를 처리하고 있습니다.

모든 수준에서 더 나은 결과를 제공하는 Google Cloud

Google Cloud로 이전한 후 몇 가지 주요 부문에서 큰 성과가 나타났습니다.

사용자를 위한 다운타임 없는 마이그레이션

마이그레이션 당시 220개 테이블로 구성된 70테라바이트 이상의 데이터가 있었으며 이 중에는 약 500억 개 행으로 구성된 14테라바이트 크기의 데이터도 있었습니다. 데이터의 상호 종속성 때문에 서비스를 개별적으로 이전하는 것은 불가능한 옵션이었습니다.

마이그레이션하는 데이터가 이처럼 엄청난 양이었지만 당사 고객에게는 아무런 영향이 없기를 바랬습니다. 데이터가 동기화되지 않아 지연 시간이 늘어나면 메시지 전송에도 영향이 있을 수 있습니다. 예를 들어 메시지나 알림이 지연되어 사용자 경험에 대한 만족도가 떨어지고 ShareChat을 이탈하는 사람이 생기는 위험한 상황을 원하지 않았습니다.

이전을 위한 준비 작업으로 4개월이 넘는 기간 동안 개념 증명 클러스터를 실행하여 초당 백만 개 이상의 쿼리를 처리해야 하는 실제 시나리오에서 데이터베이스 성능을 테스트했습니다. 성능 테스트와 용량 분석을 위해 오픈소스 API 게이트웨이를 사용하여 기존 데이터 환경을 Google Cloud에 복제했습니다. Google Cloud를 통해 이전 클라우드 환경과 동일한 수준의 트래픽을 처리할 수 있을 것이라는 확신을 갖게 되자 바로 실행할 준비를 마쳤습니다.

래퍼를 사용하여 기존 애플리케이션 코드를 변경하지 않고 마이그레이션할 수 있었습니다. 5시간 만에 데이터 손실이나 다운타임 없이 6,000만 명의 사용자가 Google Cloud로 전부 마이그레이션되었습니다. 현재 ShareChat은 1억 6,000만 명의 사용자가 이용하는 플랫폼으로 성장했으며 Google Cloud가 계속해서 필요한 지원을 제공하고 있습니다.

예기치 않은 수요에 부응하기 위해 전 세계로 확장

ShareChat은 실시간 데이터를 토대로 메시지와 새로운 그룹, 사람들이 좋아하는 콘텐츠, 팔로우하는 사람 등 앱에서 일어나는 모든 일을 추적하여 ShareChat에서 모든 서비스가 원활하게 운영되도록 합니다. ShareChat 사용자가 하루에 작성하는 게시글이 수백만 개 이상이므로 대량의 데이터를 효율적으로 처리할 수 있는 시스템을 갖추는 것이 매우 중요합니다.

따라서 전역 일관성과 보조 색인에 적합한 Spanner로 마이그레이션하기로 결정했습니다. Spanner를 사용하면 레거시 NoSQL 데이터베이스와 달리 기존 테이블 또는 스키마 정의를 다시 생각할 필요 없이 확장하고 여러 장소에서 데이터 시스템을 동기화 상태로 유지할 수 있습니다. 또한 17개 색인이 있는 120개 이상의 테이블을 Cloud Spanner로 이전한 결과 비용이 30% 절감될 만큼 비용 효율적입니다.

Spanner는 데이터를 여러 위치에 실시간으로 원활하게 복제하므로 한 리전에서 장애가 발생해도 문서를 검색할 수 있습니다. 일례로 단 며칠 만에 트래픽이 갑자기 500% 증가한 경우가 있었는데 코드를 단 한 줄도 수정하지 않고 수평적으로 확장할 수 있었습니다. Moj 동영상 앱을 동시에 출시했을 때에도 단 한 건의 문제도 일으키지 않고 이 앱을 다른 리전으로 이전할 수 있었습니다.

개발 및 배포 간소화

ShareChat에서는 평균적으로 초당 80,000개의 요청(RPS)이 발생하며 이는 일일 70억 RPS에 이르는 엄청난 수치입니다. 따라서 일일 인기 주제에 관한 푸시 알림을 매일 전체 사용자층에 전송하는 동작으로 인해 단 몇 초 만에 130,000RPS로 급증하는 경우가 자주 있습니다.

Google Kubernetes Engine(GKE)을 사용하면 초과 프로비저닝하는 대신 수백만 인도인이 서로 인사를 주고받는 디왈리 같은 휴일을 비롯하여 예약된 일정 앞뒤로 트래픽 급증에 대비해 미리 확장할 수 있습니다.

또한 GKE로 마이그레이션한 덕분에 스크립트를 작성하여 배포를 자동화하고 시간을 절약하는 등 더욱 민첩한 업무 방식을 채택할 수 있었습니다. 컨테이너 기반 솔루션을 이미 사용하고 있었지만 전체 배포 유입경로에서 투명성과 노출 범위가 부족했습니다.

사이드카 프록시와 같은 Kubernetes 기능을 사용하면 코드를 변경하지 않고도 애플리케이션 로그인 등 주변 작업을 연결할 수 있습니다. Kubernetes 업그레이드가 기본적으로 관리되므로 유지보수에 대해 걱정할 필요 없이 더 중요한 업무에 집중할 수 있습니다. 클러스터와 노드가 최신 버전을 실행하도록 자동으로 업그레이드되고, 보안 위험을 최소화하며 언제든지 최신 기능에 액세스할 수 있습니다.

짧은 지연 시간 및 실시간 ML 예측

ShareChat 사용자의 대부분이 대도시 지역 외부에서 ShareChat에 액세스하고 있다고 해서 앱 로드 속도가 느리거나 메시지가 지연되는 것을 관대하게 기다려주는 것은 아닙니다. ShareChat은 사용자가 어디에 있든 우수한 성능의 경험을 제공하기 위해 노력합니다.

Cloud CDN을 사용하여 인도의 에지에 있는 다섯 곳의 Google Cloud PoP(Point of Presence) 위치에 데이터를 캐시하므로 최대한 가까이에서 사람들에게 콘텐츠를 제공하고 로드 속도를 높일 수 있습니다. Cloud CDN으로 이전한 이후 캐시 적중률이 90%에서 98.5%로 향상되어 캐시에서 콘텐츠 요청의 98.5%를 처리할 수 있게 되었습니다.

ShareChat은 전 세계를 무대로 확장해감에 따라 머신러닝을 이용해 다양한 언어의 콘텐츠로 새로운 사용자에게 도달하고자 합니다. 지역 언어로 된 실시간 데이터 세트를 처리하고 이 콘텐츠를 원하는 사람들을 정확하게 예측해 주는 새로운 알고리즘을 구축하려고 합니다. Google Cloud가 제공하는 인프라는 컴퓨팅 집약적인 워크로드를 처리하도록 최적화되어 있으므로 현재는 물론 앞으로도 유용할 것입니다.

신뢰할 수 있는 최고의 플랫폼 구축

ShareChat의 현재 시스템은 마이그레이션하기 전보다 더 우수한 성능을 갖추었지만 여기서 그치지 않고 지속적으로 새로운 기능을 구축하고 있습니다. Google의 데이터 클라우드는 원하는 것이 무엇이든 더욱 쉽고 빠르게 구축할 수 있는 유용한 서비스 생태계를 조성해 주었습니다.

Google Cloud와 파트너십을 통해 얻을 수 있었던 가장 큰 이점은 Google 엔지니어와의 소통할 수 있다는 점입니다. 문제가 되는 특정 명령문을 해결하거나 라이브러리 또는 코드 조각에서 특정 해결책을 찾으려는 경우 관련 담당팀에 바로 문의할 수 있습니다.

그 결과 확신을 가지고 진행할 수 있게 되었습니다. 문제 해결을 위한 효과적인 프로세스가 마련되어 있고 최적의 지원을 받을 수 있기 때문에 실제로 우수한 시스템을 구축할 수 있음을 확신할 수 있게 되었습니다.

(시각적) 스페이스 오디세이: Theta Labs가 동영상 스트리밍의 외적 한계에 도달한 방법

Wed, 28 Apr 2021 00:00:00 +0000

Theta Labs는 선도적인 분산형 동영상 스트리밍 플랫폼으로, P2P 대역폭 공유 분산원장 기술을 사용하여 실시간 스트림 환경을 혁신했습니다. 또한 Google Cloud의 데이터베이스 및 분석 솔루션 덕분에 블록체인 플랫폼의 활성 사용자층 증가에 대비하여 미리 확장할 수 있었습니다.

이러한 기능 때문에 더 많은 원격 시청자에게 도달하고, 더 많은 잠재고객에게 새로운 것을 발견할 기회를 제공할 수 있었으며, 미성년자 시청자에게 과학과 기술에 대한 관심을 심어 주려는 NASA의 주목을 받았습니다. NASA는 SpaceX 발사 및 기타 행사에 대한 원본 동영상 피드에 직접 액세스할 수 있는 몇 안 되는 동영상 서비스 중 하나로 Theta Labs를 선택했습니다.

아래에서 Theta Labs의 행성 간 스트리밍 미션을 눈으로 감상해 보세요. Theta Labs에서 완료한 작업, 문제를 극복하기 위해 사용한 기술, 달성한 성과를 확인하세요.

소개

Theta Labs는 사용자가 주도하며, 새 블록체인에 분산된 선도적인 분산형 동영상 스트리밍 플랫폼입니다. Theta는 코로나19 상황 속에서 NASA의 Women’s Equality Day(여성 평등의 날)를 방송하고 최신형 SpaceX 로켓 발사를 실시간 스트리밍했습니다.

업종

통념을 뒤집은 실시간 스트리밍 환경: Theta Labs는 고속 인터넷에 거의 또는 전혀 액세스할 수 없는 지역의 시청자에게 도달합니다. 블록체인 기반 P2P 기술은 사용자가 분산원장 기술을 사용하여 대역폭을 공유할 수 있게 해줍니다.

도전과제

많은 시청자에게 우주 발사 장면을 원활하게 실시간으로 스트리밍하려면 확장성, 안정성, 안전성을 갖춘 강력한 인프라가 필요합니다. Theta는 더 많은 사용자에게 도달하되, 이전에 지연 시간 및 고객 환경과 관련하여 문제를 유발했던 VM 한도에 도달하지 않도록 해야 했습니다.

“Google Cloud의 1,600개가 넘는 노드를 통해 사용자에게 전보다 훨씬 더 가까이 다가갈 수 있습니다.” - Theta Labs 전략 책임자 웨스 레빗

해결 방법

Google Cloud의 BigQuery, Dataflow, Pub/Sub, Firestore 같은 데이터베이스 및 분석 제품은 Theta Labs에 무제한 확장성과 성능을 제공하고 다음과 같은 기능을 지원했습니다.

스트리밍 시청률 데이터의 실시간 분석
실시간 스트림 이벤트 중에 지원해야 하는 동시 사용자 수 예측
수천 개 에지 노드의 인지도 점수를 예측하고 악의적인 행위자 또는 과소성능 해결
ETL 파이프라인에서 게시하는 주제의 리스너/구독자를 만들고 쿼리를 빠르게 실행하는 BigQuery 테이블에서 수집

이점

맞춤형 분석 스크립트를 BigQuery로 교체하여 엔지니어링 기간을 몇 시간 또는 며칠 단축하고 비용을 절감하면서 성능도 개선
데이터에서 유용한 정보를 더 빨리 획득하여 내부 팀은 물론 고객에게도 원활한 서비스 제공. Theta는 이제 파트너와 참여도 측정항목을 공유하여 더 많은 잠재고객에게 도달하도록 지원할 수 있습니다.
쿼리를 더 빨리 실행하여 시청률, 대역폭 기부, 실시간 스트림 중 인상적인 순간에 대한 완전히 새로운 결과 도출
6개월 이내에 Theta 마이그레이션을 완료하고 투자수익을 거의 즉시 실현

Google Cloud와의 파트너십을 통해 일반적으로 스트리밍 동영상에 액세스하는 데 문제가 있던 지역의 시청자에게도 도달할 수 있었습니다. Theta Labs 공동 창립자 겸 CTO 지이 롱

여기에서 BigQuery에 대해 자세히 알아보세요.