고객 사례

PayPal과 Google Cloud, 판매자를 위한 에이전트 커머스 솔루션 소개

Mon, 27 Oct 2025 16:30:00 +0000

* 본 아티클의 원문은 2025년 10월 28일 Google Cloud 블로그(영문)에 게재되었습니다.

오늘날의 소비자는 초기 제품 탐색부터 최종 구매에 이르기까지 원활하고 맞춤화된 쇼핑 여정을 요구합니다. 에이전트 AI의 등장으로 이제 판매자는 모든 고객 접점에서 실질적으로 도움을 주며 일관된 경험을 제공할 수 있는 기회를 갖게 되었습니다.

바로 이러한 이유로 PayPal과 Google Cloud는 커머스 혁신이라는 공동의 목표 아래, 에이전트 기반 쇼핑 경험을 현실로 구현할 새로운 솔루션을 발표하게 되어 기쁘게 생각합니다. 이 새로운 솔루션은 Google Cloud의 대화형 커머스 에이전트와 PayPal의 결제 기능을 결합합니다.

이 결합을 통해 판매자는 자체 디지털 환경에 에이전트 기반 커머스 환경을 신속하게 배포하여 소비자 참여, 개인화, 전환율을 늘릴 수 있었습니다. 판매자는 에이전트의 톤앤매너, 디자인, 고객 관계에 대한 완전한 통제권을 유지할 수 있습니다.

작동 방식

PayPal 에이전트는 개방형 Agent2Agent (A2A) 프로토콜을 통해 판매자의 에이전트와 안전하게 통신하며, A2A 및 신뢰, 책임성, 사기 방지 기능을 제공하는 Model Context Protocol (MCP)을 기반으로 빌드된 결제 레이어인 Agent Payments Protocol (AP2)과도 통합됩니다

A2A 프로토콜은 AI 에이전트가 조직 전반에서 서로 통신하고, 협업하고, 작업을 위임할 수 있도록 설계된 개방형 표준입니다. AP2는 디지털 사용자 인증 정보를 포함한 요구 사항을 제공하여 에이전트 트랜잭션을 보호합니다.

원활하고 간편한 쇼핑 여정: 에이전트 협업의 힘

이 새로운 서비스를 통해 판매자는 Google Cloud의 대화형 커머스 에이전트를 도입하거나 Google의 에이전트 개발 키트 (ADK)를 사용하여 자체 에이전트를 빌드할 수 있습니다. 이 대화형 커머스 에이전트는 브랜드 규정을 완벽하게 준수하며 판매자를 위한 지능형 영업 사원처럼 작동하도록 설계되었습니다. 이는 고객과 사람처럼 자연스러운 대화로 응대하며, 초기 구매 의도 파악 및 제품 탐색부터 구매 완료에 이르기까지 모든 과정을 안내합니다.

배포가 완료되면 판매자의 커머스 에이전트는 복잡한 요청을 이해하고, 관련 제품을 추천하며, 질문에 답하고, 쇼핑 여정 전반에 걸쳐 사용자를 개인적으로 지원합니다. 제품 탐색 및 선택 과정에서 판매자의 커머스 에이전트는 A2A를 통해 PayPal 에이전트와 연동하여 사용자 권한이 부여된 데이터를 기반으로 사용자의 쇼핑 내역에 대한 컨텍스트를 제공하고 제품 추천을 개선하는 데 도움을 줍니다.

고객이 결제할 준비가 되면 PayPal 에이전트는 AP2 프로토콜에 따라 대화형 인터페이스 내에서 원활하고 안전한 결제 환경을 제공합니다. 또한 PayPal 에이전트는 결제 수단을 추천하고 '선구매 후지불' 자격 여부도 확인할 수 있습니다. 소비자의 동의 하에, 판매자 에이전트는 PayPal 에이전트에 인증된 방식으로 연결되어 신뢰할 수 있는 환경에서 거래를 승인합니다.

소비자 신뢰를 핵심 가치로

에이전트 커머스는 막대한 기회를 제공하지만 동시에 제어, 위험, 사기에 대한 잠재적인 문제를 야기할 수도 있습니다. Google Cloud와 PayPal은 이러한 과제를 선제적으로 해결하고 있습니다.

AP2는 결제 수단에 구애받지 않는 개방형 프로토콜로, Google이 100개 이상의 업계 파트너와 협력하여 개발했습니다. AP2는 AI 에이전트가 사용자를 대신하여 거래할 수 있는 공통의 보안 언어를 제공하며, A2A 프로토콜과 MCP의 핵심 구조를 확장하여 안전하고 책임 소재가 명확하며 승인된 커머스를 위한 필수 기반을 마련합니다.

AP2는 금융 위임을 사용합니다. 이는 위변조가 불가능하고 암호화로 서명된 디지털 계약으로, 사용자 의도에 대한 검증 가능한 증거를 제공합니다. 이 권한 위임은 검증 가능한 디지털 자격 증명(VDC)에 의해 서명되어 부인 방지가 가능한 감사 추적을 생성합니다.

예를 들면 다음과 같습니다:

카트 위임: 사용자가 구매를 직접 승인할 때 사용되는 기본 인증 정보입니다. 카트 위임은 판매자가 생성하고 사용자가 암호화 방식으로 서명(일반적으로 기기를 통해)하여 특정 거래에 대한 승인을 보장합니다.
결제 위임: 결제 네트워크 및 발급사와 공유되는 별도의 VDC로, 거래의 에이전트 특성을 파악하여 네트워크와 발급사가 신뢰를 구축하고 위험을 평가하는 데 도움이 됩니다. 이 사용자 인증 정보에는 AI 에이전트 존재 여부와 트랜잭션 방식 (예: 사용자 현존 vs 사용자 부재)에 대한 신호가 포함되어 있습니다.

기본적으로 AP2는 신뢰할 수 있는 에이전트 주도 결제를 위한 핵심 기반을 제공하여 검증하고 명확한 거래 택임을 확립합니다. 행동을 추론하는 대신, 신뢰는 에이전트 에이전트 오류의 위험을 직접적으로 해결하는 사용자의 의도에 대한 결정적이고 부인 방지가 가능한 사용자의 의도 증명에 기반을 둡니다. 결제 맨데이트는 모든 거래의 근거가 되며, 결제 네트워크가 책임 소재 및 분쟁 해결을 위한 명확하고 공정한 원칙을 수립하는 데 도움이 되는 안전하고 변경 불가능한 감사 추적을 생성합니다.

예를 들어 PayPal의 AP2 규정 준수 에이전트를 사용하면 판매자는 사용자가 현존하여 결제를 승인했음을 보장받을 수 있습니다. API를 사용하는 대신 AP2를 사용하여 에이전트를 연결하므로 사용자, 판매자, 결제 제공업체 모두가 에이전트 주도 결제를 안심하고 시작할 수 있습니다.

오늘 발표를 통해 Google Cloud와 PayPal은 복잡한 프레임워크를 처음부터 빌드할 필요 없이 즉시 사용 가능한 솔루션을 제공하기 위해 협력하게 된 것을 자랑스럽게 생각합니다. 판매자는 이 솔루션을 통해 고객 경험과 관계에 대한 완전한 소유권을 유지할 수 있습니다. A2A 및 AP2 프로토콜을 사용하여 솔루션을 빌드함으로써 프로세스 전반에서 안전과 보안을 보장합니다.

자세한 내용은 Google Cloud 영업 담당자에게 문의하거나 여기를 클릭하여 Google Cloud에 문의하세요.

면책조항: 이 게시물에 표시된 동영상은 정보 제공 목적으로만 제공되며 미래 예측 진술, 전망, 가정을 포함하고 있습니다. 이러한 결과는 미래의 실적을 보장하지 않으며 실제 결과와 경험은 다를 수 있습니다.

위버스 컴퍼니, 차세대 데이터 플랫폼으로의 도약

Tue, 21 Oct 2025 15:00:00 +0000

팬덤 문화의 중심, 데이터로 숨 쉬다

전 세계 아티스트와 팬을 하나로 잇는 글로벌 슈퍼팬 플랫폼, 위버스(Weverse). 이곳에서는 매일 수억 건의 상호작용이 일어나고, 팬들의 열정과 아티스트의 메시지가 데이터가 되어 흐릅니다. 위버스컴퍼니에게 데이터는 단순한 기록이 아닌, 팬과 아티스트의 경험을 더욱 풍부하고 깊이 있게 만드는 핵심 동력입니다. 팬들이 무엇에 열광하는지, 아티스트가 어떤 콘텐츠로 소통할 때 가장 큰 울림을 주는지, 그 모든 해답이 데이터 속에 있습니다.

위버스컴퍼니는 이러한 데이터를 더욱 기민하게 활용하고, AI 기술을 통해 새로운 가치를 창출하며, 궁극적으로는 '넥스트 레벨'의 팬 경험을 제공하기 위한 중대한 결정을 내렸습니다. 바로 기존 데이터 플랫폼을 Google Cloud의 BigQuery로 전면 전환하는 대규모 프로젝트였습니다. 업계의 통상적인 예상 기간을 절반 이상 단축하며 단 8개월 만에 성공적으로 완수한 위버스컴퍼니의 담대한 혁신, 그 생생한 여정을 지금부터 자세히 들여다봅니다.

code_block: <ListValue: []>

변화의 기로에서: 왜 우리는 BigQuery를 선택해야만 했는가?

모든 혁신은 '왜?'라는 질문에서 시작됩니다. 위버스컴퍼니가 데이터 플랫폼 전환이라는 큰 변화를 결심하게 된 데에는 세 가지 명확한 이유가 있었습니다.

- 성장을 저해하는 비용 구조: 위버스 플랫폼이 폭발적으로 성장함에 따라 데이터의 양 또한 기하급수적으로 증가했습니다. 기존 플랫폼의 연간 운영 비용은 백만 달러를 훌쩍 넘어서며, 성장이 오히려 비용 부담으로 이어지는 딜레마에 직면했습니다. 미래 성장을 위해서는 더욱 합리적이고 예측 가능한 비용 구조를 갖춘 플랫폼이 절실했습니다.

- 장시간 소요되는 데이터 분석 환경: "이 쿼리, 언제 끝나요?" 데이터 분석가들 사이에서 흔히 나오던 이야기였습니다. 복잡한 데이터 마트 생성 작업은 440분 이상 소요되기 일쑤였고, 이는 빠르게 변화하는 팬덤 트렌드를 적시에 분석하고 대응하는 데 큰 제약이 되었습니다. 데이터 기반의 신속한 의사결정이 비즈니스의 핵심인 위버스에게 '속도'는 더 이상 타협할 수 없는 가치였습니다.

- AI 시대를 향한 마지막 퍼즐, 통합: 위버스컴퍼니는 이미 Google의 강력한 AI 기술과 위버스의 방대한 팬덤 데이터를 결합하여 새로운 가능성을 탐색하고 있었습니다. 하지만 물리적으로 분리된 데이터 플랫폼은 이러한 시너지를 창출하는 데 걸림돌이 되었습니다. 데이터 이동에 소요되는 시간과 비용 없이, 데이터가 있는 곳에서 바로 AI와 머신러닝을 활용할 수 있는 통합된 환경의 필요성이 그 어느 때보다 커졌습니다.

이 세 가지 과제를 모두 해결할 수 있는 최적의 솔루션으로 위버스컴퍼니는 주저 없이 Google BigQuery를 선택했습니다. 서버리스 아키텍처 기반의 뛰어난 비용 효율성, 압도적인 쿼리 처리 속도, 그리고 Vertex AI를 비롯한 Google Cloud의 다채로운 AI/ML 서비스와의 완벽한 호환성은 위버스가 꿈꾸는 데이터 플랫폼의 미래와 정확히 일치했습니다.

8개월간의 대장정: 계획하고, 실행하고, 마침내 이루어내다

데이터 플랫폼 마이그레이션은 달리는 자동차의 엔진을 교체하는 것과 같은 고난도의 작업입니다. 업계에서는 유사한 규모의 프로젝트에 평균 1년에서 1년 6개월을 예상합니다. 하지만 위버스컴퍼니의 'GCP 마이그레이션 TFT'는 체계적인 로드맵과 기민한 실행력으로 불과 8개월 만에 이 위대한 여정을 성공적으로 완수했습니다.

- 1단계 (2024년 11월): 설계도를 그리다 (POC 및 아키텍처 설계)
  모든 것은 개념 증명(POC)에서 시작되었습니다. BigQuery가 기존 워크로드를 충분히 감당하고, 성능과 비용 측면에서 명확한 이점을 제공하는지 검증했습니다. 수많은 테스트를 통해 확신을 얻은 후, 기존 데이터 파이프라인을 BigQuery 중심으로 재구성하는 상세한 아키텍처 설계를 완료했습니다. 이 단계에서 위험 요소를 미리 식별하고 대응 전략을 수립한 것이 프로젝트 전체의 안정성을 높이는 주춧돌이 되었습니다.

- 2단계 (2025년 2월): 기초를 다지다 (데이터 입수 및 마트 마이그레이션 준비)
  본격적인 데이터 이전을 위해, 위버스 플랫폼의 모든 데이터 소스로부터 BigQuery로 데이터를 안정적으로 수집하는 파이프라인을 구축했습니다. 동시에, 기존에 데이터환경에서 운영되던 수백 개의 데이터 마트 스키마와 ETL(Extract, Transform, Load) 로직을 BigQuery 환경에 맞게 전환하는 정교한 사전 작업을 진행했습니다.

- 3단계 (2025년 3월): 심장을 이식하다 (데이터 마트 마이그레이션)
  프로젝트의 가장 핵심적인 단계였습니다. 비즈니스 중요도와 의존성을 고려하여 데이터 마트를 그룹화하고, 단계적으로 마이그레이션을 진행했습니다. 기존 시스템의 중단 없이 새로운 시스템으로 데이터를 이전하고 검증하는 '제로 다운타임' 마이그레이션을 위해 팀의 모든 역량이 집중되었습니다.

- 4단계 (2025년 6월): 담금질을 하다 (테스트 및 최적화)
  모든 데이터 마트 이전을 완료한 후, 한 달간의 집중적인 테스트 및 최적화 기간을 가졌습니다. 이전된 데이터가 100% 정합성을 유지하는지, 모든 쿼리가 예상된 성능을 내는지, 비용은 계획대로 제어되고 있는지 꼼꼼하게 검증했습니다. 이 과정에서 발견된 병목 구간을 해결하고 쿼리를 최적화하며 시스템의 완성도를 최고 수준으로 끌어올렸습니다.

- 5단계 (2025년 7월 1일): 새로운 시대의 개막 (전체 시스템 오픈)
  마침내, BigQuery라는 새로운 심장을 장착한 위버스컴퍼니의 차세대 데이터 플랫폼이 성공적으로 가동을 시작했습니다.

숫자로 증명된 혁신: 무엇이 어떻게 달라졌나

BigQuery로의 전환은 단순한 인프라 교체가 아닌, 비즈니스의 모든 측면에 긍정적인 영향을 미치는 혁신이었습니다.

- 35%의 총 비용 절감, 혁신을 위한 투자로: 가장 즉각적인 성과는 비용 절감이었습니다. 2025년 예상 기준으로, 기존 대비 연간 약 35%의 비용 절감 효과가 기대됩니다. 이는 단순히 지출을 줄이는 것을 넘어, 절감된 예산을 새로운 AI 모델 개발, 데이터 분석가 양성 등 미래 가치를 창출하는 영역에 재투자할 수 있는 강력한 기반이 됩니다.

- 66% 빨라진 속도, 비즈니스의 가속 페달이 되다: 기존 440분이 걸리던 데이터 마트 생성 시간은 이제 150분이면 충분합니다. 66%의 시간 단축은 데이터 분석가들이 더 이상 데이터를 기다리는 데 시간을 낭비하지 않고, 분석과 인사이트 발굴이라는 본연의 업무에 집중할 수 있게 되었음을 의미합니다. 이는 곧 비즈니스의 의사결정 속도를 가속화하는 결과로 이어집니다.

- 데이터 일관성 확보, 신뢰의 반석을 놓다: 'snake_case'로 통일된 테이블 이름, 일관된 컬럼명 규칙, 'ODS는 UTC, 마트는 KST'로 표준화된 타임존. 사소해 보일 수 있는 이러한 변화는 데이터의 신뢰도를 극적으로 향상시켰습니다. 이제 모든 구성원이 동일한 기준으로 데이터를 이해하고 활용하게 됨으로써, 데이터 분석 결과의 품질과 활용성이 크게 증대되었습니다.

미래를 향한 위대한 첫걸음

위버스컴퍼니의 데이터 플랫폼 전환은 기술적인 성공을 넘어, 데이터를 통해 비즈니스의 미래를 어떻게 그려나갈 것인지에 대한 명확한 비전을 보여준 전략적인 이정표입니다. BigQuery라는 강력하고 유연한 심장을 갖게 된 위버스컴퍼니. 이제 데이터라는 무한한 가능성의 바다에서 팬과 아티스트에게 어떤 놀랍고 혁신적인 경험을 선사하게 될지, 위버스컴퍼니의 다음 행보를 주목해야 할 이유입니다.

위버스컴퍼니, AI의 눈으로 팬의 마음을 읽다

Tue, 21 Oct 2025 15:00:00 +0000

비정형 데이터, 숨겨진 보물창고를 열다

위버스(Weverse) 플랫폼에는 매일 수백만 개의 텍스트와 이미지가 팬들의 손을 통해 생성됩니다. 아티스트를 향한 응원의 메시지, 팬들끼리 나누는 소소한 대화, 직접 찍은 사진과 정성껏 만든 '움짤'까지. 이처럼 형태가 정해지지 않은 '비정형 데이터'는 팬들의 가장 생생한 목소리이자 숨겨진 니즈를 발견할 수 있는 보물창고와 같습니다. 하지만 엄청난 양과 예측 불가능한 형태로 인해, 기존의 정형 데이터 분석 방식으로는 그 가치를 온전히 파헤치기 어려웠습니다.

위버스컴퍼니는 Google BigQuery로의 성공적인 플랫폼 전환 이후, 이 비정형 데이터라는 거대한 보물창고를 열기 위한 새로운 열쇠를 손에 쥐었습니다. 바로 BigQuery에 내장된 강력한 머신러닝 기능, BigQuery ML(BQML)입니다. 위버스컴퍼니는 BQML, 특히 생성형 AI 모델을 활용하여 텍스트의 감정을 분석하고 이미지의 맥락을 이해하며, 이를 통해 완전히 새로운 차원의 콘텐츠 운영 혁신을 이루어내고 있습니다.

BQML이란 무엇인가? 데이터 분석가에게 날개를 달아주는 기술

전통적으로 머신러닝 프로젝트는 데이터 과학자와 엔지니어의 영역이었습니다. Python이나 R과 같은 프로그래밍 언어에 능숙해야 했고, 데이터를 별도의 머신러닝 플랫폼으로 옮겨 복잡한 모델링 작업을 거쳐야 했습니다. 이 과정은 많은 시간과 전문 인력을 필요로 했습니다.

BigQuery ML(BQML)은 이러한 패러다임을 완전히 바꾸었습니다. 데이터 분석가들이 가장 익숙한 언어인 SQL 쿼리만으로 BigQuery에 저장된 데이터 위에서 직접 머신러닝 모델을 훈련시키고, 예측을 수행하고, 평가까지 할 수 있게 해줍니다.

- 데이터 이동 불필요: 모든 작업이 BigQuery 내에서 이루어지므로, 보안과 속도에 유리합니다.
- SQL 기반의 간편함: 복잡한 코딩 없이, CREATE MODEL이라는 간단한 SQL 구문으로 모델을 생성할 수 있습니다.
- 최신 AI 모델 접근성: Google이 자랑하는 최신 생성형 AI 모델(Gemini 등)을 SQL 인터페이스를 통해 손쉽게 활용할 수 있습니다.

BQML은 데이터만 다룰 줄 알았던 분석가에게 'AI 모델 개발'이라는 강력한 날개를 달아주며, 데이터 활용의 민주화를 이끌고 있습니다.

위버스의 BQML 활용 사례: 더 안전하고 건전한 팬덤 문화를 위하여

위버스컴퍼니는 BQML을 플랫폼의 안전과 건전성을 강화하는 데 적극적으로 활용하고 있습니다. 특히 서비스 이용 약관(ToS)을 위반하는 유해 콘텐츠를 식별하고 대응하는 과정에서 BQML은 핵심적인 역할을 수행합니다.

사례 1: 유튜브 댓글 감성 분석으로 악성 콘텐츠 조기 경보
아티스트의 유튜브 채널에 달리는 수많은 댓글 중에는 아티스트의 명예를 훼손하거나 다른 팬들에게 불쾌감을 주는 악성 댓글이 숨어있습니다. 과거에는 담당자가 직접 댓글을 확인하거나, 특정 욕설 키워드를 기반으로 필터링하는 방식을 활용했습니다. 하지만 이 방식은 교묘한 표현이나 비꼬는 문장의 숨은 의도를 파악하기 어려웠습니다.
위버스컴퍼니는 BQML의 자연어 처리 모델을 도입하여 이 문제를 해결했습니다. ML.GENERATE_TEXT 함수를 활용한 간단한 SQL 쿼리로 모든 댓글의 감성(긍정, 부정, 중립)을 실시간으로 분석합니다. 이를 통해 부정적인 감정이 급증하는 영상을 조기에 발견하고, 잠재적인 이슈에 선제적으로 대응하는 '조기 경보 시스템'을 구축했습니다. 이는 운영 효율성을 높였을 뿐만 아니라, 아티스트를 보호하고 팬덤의 긍정적인 분위기를 지키는 데 크게 기여하고 있습니다.
사례 2: 이미지 분석으로 부적절 콘텐츠 자동 필터링
자유롭게 포스트를 작성하는 커뮤니티의 특성상, 폭력적이거나 선정적인, 또는 아티스트의 초상권을 침해하는 부적절한 이미지가 업로드될 위험이 존재합니다. 24시간 인력으로 모니터링하는 데는 제약이 있습니다.
위버스컴퍼니는 BQML의 이미지 분석 모델(Vertex AI Vision API 연동)을 활용하여 이 문제를 자동화했습니다. 사용자가 이미지를 업로드하는 순간, BQML 모델이 이미지를 분석하여 폭력성, 선정성 등 유해 가능성을 판단하고, 사전에 정의된 정책에 따라 자동으로 해당 콘텐츠를 숨기거나 관리자에게 알림을 보냅니다. 이를 통해 유해 콘텐츠의 노출을 최소화하고, 모든 팬들이 안심하고 즐길 수 있는 안전한 플랫폼 환경을 조성하고 있습니다.

왜 위버스에게 BQML은 최고의 선택이었나

수많은 AI 솔루션 중 위버스컴퍼니가 BQML을 핵심 도구로 선택한 이유는 명확합니다.

- SQL만 알면 AI 전문가가 됩니다: 낮은 진입 장벽
  위버스컴퍼니의 데이터 분석가들은 이미 SQL의 전문가들입니다. BQML 덕분에 이들은 새로운 프로그래밍 언어를 배우는 데 시간을 쏟을 필요 없이, 자신들의 핵심 역량인 SQL과 데이터 이해도를 바탕으로 직접 AI 모델을 구축하고 비즈니스 문제를 해결할 수 있게 되었습니다. 이는 AI 기술 도입의 문턱을 획기적으로 낮추었습니다.
- 아이디어에서 실행까지 하루면 충분해요: 압도적인 개발 속도
  데이터 준비부터 모델 학습, 배포까지 모든 과정이 BigQuery라는 단일 플랫폼에서 물 흐르듯 이어집니다. 데이터 과학자와 데이터 엔지니어, 분석가 간의 복잡한 협업 과정이 단순화되면서, 새로운 아이디어를 검증하고 실제 서비스에 적용하기까지의 시간이 수 주에서 단 며칠로 단축되었습니다.
- 데이터와 AI가 한 곳에: 완벽한 통합 환경
  데이터가 있는 곳에서 AI가 실행된다는 BQML의 철학은 위버스에게 가장 큰 매력이었습니다. 민감한 팬 데이터를 외부로 옮길 필요 없이 가장 안전한 환경에서 분석하고, 분석 결과를 다시 비즈니스 인텔리전스(BI) 툴이나 대시보드와 손쉽게 연동하여 전사적으로 공유할 수 있는 통합된 환경은 데이터 활용의 효율성을 극대화했습니다.

데이터를 넘어 마음을 이해하는 플랫폼으로

위버스컴퍼니의 BQML 도입은 단순히 새로운 기술을 적용한 것을 넘어, 데이터를 바라보는 관점을 바꾼 혁신입니다. 정형화된 수치를 넘어 팬들의 감정과 생각이라는 비정형 데이터 속에서 더 깊은 인사이트를 발견하고, 이를 통해 더욱 안전하고 즐거운 팬덤 경험을 제공해가고 있습니다.

앞으로 위버스컴퍼니는 BQML을 활용하여 사용자 이탈 예측, 콘텐츠 개인화 추천, 상품 수요 예측 등 더욱 다양한 영역으로 AI 활용을 확대해 나갈 계획입니다. Google Cloud의 혁신적인 AI 기술과 함께, 데이터를 넘어 팬의 마음을 먼저 이해하는 플랫폼으로 진화해 나갈 위버스컴퍼니의 미래를 기대해 주시기 바랍니다.

SUSE와 Google Cloud의 Confidential Computing 협업 방법

Wed, 23 Jul 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 7월 24일 Google Cloud 블로그(영문)에 게재되었습니다.

민감한 데이터를 보호하는 것은 워크로드를 클라우드로 이전하는 데 있어 중요한 부분입니다. 저장 데이터 암호화(encrypting data at rest)와 전송 데이터 암호화(in transit)는 표준 보안 관행이지만, 사용 중 데이터(data in use), 즉 메모리에서 활발하게 처리되는 동안의 데이터를 보호하는 것은 독특한 보안 및 프라이버시 문제를 야기할 수 있습니다.

사용 중인 데이터까지 보호하기 위해, 저희는 하드웨어 파트너와 협력하여 Confidential Computing을 개발했습니다. 이는 하드웨어 기반의 Trusted Execution Environments(TEEs)을 사용해 사용 중인 데이터를 호스팅 클라우드 제공업체로부터도 격리하고 보호합니다.

안전하고 신뢰할 수 있는 클라우드 환경을 구축하기 위해, 저희는 오픈 소스 및 안전한 엔터프라이즈 솔루션의 글로벌 리더인 SUSE와 파트너십을 맺었습니다. 저희는 함께 조직이 민감한 워크로드를 클라우드에서 실행할 수 있도록 하는 맞춤형 솔루션을 개발했으며, 이는 Google Cloud Confidential Virtual Machines(Confidential VMs)의 하드웨어 기반 보안과 SUSE Linux Enterprise Server(SLES)의 보안을 결합한 것입니다.

오늘, 저희는 SUSE Linux Enterprise Server가 이제 AMD SEV, AMD SEV-SNP 또는 Intel TDX 기술이 활성화된 Google Cloud Confidential VM을 지원한다고 발표하게 되어 기쁩니다. 이전에 SLES는 AMD SEV 및 AMD SEV-SNP 기반의 Confidential VM에서만 정식 출시되었지만, 이제 성능이 뛰어난 C3 머신 시리즈에서 실행되는 Intel TDX 기반의 Confidential VM에서도 정식 출시되었습니다. 이 새로운 제품은 고객에게 민감한 워크로드를 보호하기 위한 더 많은 선택권과 유연성을 제공하며, 게스트 운영 체제 이미지에 대한 Confidential VM 지원을 확장합니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7f829247a3d0>), ('btn_text', '무료로 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

Google Cloud는 보안에 대한 계층적 접근 방식을 강력하게 지지합니다. 이러한 맥락에서, SUSE Linux Enterprise Server(SLES)는 게스트 OS 계층을 강화하고, Confidential VM은 인프라 계층을 강화합니다. 또한, SLES의 포괄적인 보안 포트폴리오는 규정 준수, 위험 완화, 그리고 사이버 보안 모범 사례를 지원합니다.

규정 준수 요구사항 충족: SLES는 보안 기능을 통해 조직이 규제 요구사항을 충족하도록 돕습니다. SLES는 연방 정보 처리 표준(FIPS) 140-3 인증 암호화 모듈을 제공합니다.
보안 소프트웨어 공급망 인증 보장: SUSE는 Common Criteria Evaluation Assurance Level(EAL) 4+ 인증을 통해 평가된 보안 소프트웨어 공급망을 유지합니다. SUSE의 빌드 서비스는 Supply Chain Levels for Software Artifacts(SLSA) Level 4 [v. 0.1] 및 Level 3 [v. 1.0]을 따릅니다. Software Bill of Materials(SBOM) 자료는 SPDX 2.0 및 CycloneDX 형식으로 제공됩니다.
평가 노력 감소: 공급업체 인증을 갖춘 SLES를 활용하면 고객은 기존 인증을 참조함으로써 평가 프로세스를 간소화할 수 있습니다.
자동 강화: SLES에는 보안 기술 구현 가이드(STIG)를 준수하는 강화 프로세스를 YAST 또는 AutoYAST를 통해 설정 시 자동화하는 기능이 포함되어 있으며, 필요에 따라 조정할 수 있습니다.

Google Cloud Confidential VM 내에서 SLES를 함께 사용하는 것은 다음과 같은 여러 이점을 제공합니다.

보안 OS로 암호화 보완: SLES는 보안에 중점을 두고 인증을 받은 견고한 운영 체제를 신뢰할 수 있는 환경에 제공함으로써, 애플리케이션과 OS 모두 취약점에 덜 노출되도록 만듭니다.
무결성 및 신뢰성 지원: 고객은 하드웨어와 운영 체제가 모두 예상대로 작동하고 있다는 더 큰 확신을 가질 수 있습니다. Confidential VM은 원격 증명을 제공하여 VM의 신원과 상태를 확인할 수 있습니다. SLES와 같은 안전한 OS를 증명된 Confidential VM에서 실행하면 전반적인 데이터 및 코드 무결성을 지원할 수 있습니다.
Confidential Computing 기술 지원: 모든 Google Cloud Confidential Computing 유형(AMD SEV, AMD SEV-SNP, Intel TDX)에 걸쳐 일관되고 안전한 운영 체제를 제공함으로써, SLES는 민감한 클라우드 워크로드의 배포 및 관리를 간소화하는 데 도움이 됩니다.
민감한 환경에서의 규정 준수 강화: 규제 준수 요건으로 인해 높은 수준의 데이터 보호가 필요한 워크로드의 경우, Confidential VM에서 SLES를 실행하는 이 공동 보안 솔루션은 내부 감사인의 클라우드 마이그레이션 우려를 덜어줄 수 있습니다.
내부 및 외부 위협 대응: Confidential Computing은 주로 하이퍼바이저와 같은 외부 위협으로부터 보호하는 데 도움이 되지만, 보안 중심 OS인 SLES를 Confidential VM에서 실행하면 게스트 OS 자체의 잠재적인 내부 취약점에 대한 추가적인 보호 계층을 제공할 수 있습니다.
데이터 소유권 및 제어 강화: Confidential Computing은 데이터가 클라우드에서 처리되는 동안에도 고객이 데이터에 대한 제어권과 효과적인 소유권을 유지하고 있다는 기술적 보증을 제공합니다. 사용 중인 데이터를 암호화하고, 신뢰 실행 환경(TEE) 내에서 승인된 워크로드만이 접근하도록 제한함으로써 디지털 주권에 대한 더 강력한 확신을 얻을 수 있습니다.
실행 단계까지 제로 트러스트 확장: 이 솔루션은 CPU 메모리에서 데이터를 암호화함으로써, '결코 신뢰하지 않고, 항상 검증하라'는 Zero Trust 원칙을 데이터가 활발하게 처리되는 실행 단계까지 확장합니다. 이는 데이터가 실행 중인 상태를 포함하여 수명 주기 내내 안전하고 암호화된 상태를 유지하도록 보장하여 진정한 제로 트러스트 환경을 구축하는 데 도움이 됩니다.
클라우드 네이티브 워크로드를 위한 안전한 기반 마련: SLES가 안전한 기반을 제공하고 Google Cloud Confidential VM이 하드웨어 수준의 보호를 제공함으로써, 이 환경은 SUSE Cloud Native 솔루션과 함께 가장 민감한 클라우드 네이티브 애플리케이션을 위한 견고한 기반을 제공할 수 있습니다. 기본 컴퓨팅 리소스를 보호함으로써, 사용 중 데이터 보호를 더 높은 수준의 컨테이너화된 클라우드 네이티브 워크로드로 확장할 수 있습니다.

조직은 규제 및 기밀 애플리케이션을 Google Cloud로 자신 있게 이전할 수 있습니다. 데이터가 사용 중인 상태와 안전한 게스트 OS를 포함하여 전체 수명 주기 동안 보호되어 디지털 주권을 강화할 수 있다는 것을 알기 때문입니다.

클라우드에서 민감한 데이터를 보호하는 방법에 대해 더 자세히 알아보려면, 지금 바로 SLES가 설치된 Confidential VM을 생성해 보세요.

고객 경험 혁신을 실현하는 AI 에이전트와 차세대 Customer Engagement Suite

Thu, 01 May 2025 18:03:00 +0000

* 본 아티클의 원문은 2025년 4월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

모든 고객 상호작용이 원활하게 이루어지고 개인화되는 지속적인 경험으로 브랜드 충성도가 형성되는 미래를 상상해 보세요.

오늘날 AI 에이전트는 이미 비즈니스와 고객의 소통 방식을 혁신하고 있으며, 첨단 대화형 에이전트도 그중 하나입니다. 실제로 이러한 대화형 AI 에이전트를 통해 고객과 새로운 차원의 초개인화된 멀티모달 대화를 나눌 수 있게 되면서 모든 터치 포인트에서 고객 상호작용의 질이 향상되고 있습니다.

이건 단지 시작에 불과합니다.

고객 서비스 분야에 AI를 도입하는 것이 완전히 새로운 일은 아니지만, 기존의 배포 환경은 규모가 커질수록 맞춤형 고객 경험을 제공하는 데 한계가 있었습니다. Google Cloud의 Customer Engagement Suite는 Google의 전 세계급 용량, 성능, 품질을 기반으로 빌드된 엔드 투 엔드 AI 고객 경험 애플리케이션을 통해 이러한 한계를 극복하도록 개발되었습니다. Customer Engagement Suite를 사용하면 고객이 웹, 모바일, 이메일, 음성 등 모든 채널에서 비즈니스와 소통하며 어디서든 일관된 맞춤형 경험을 누릴 수 있습니다.

최근 Google은 Customer Engagement Suite에 속한 4가지 제품인 Conversational Agents, Agent Assist, Conversational Insights, Google Cloud Contact Center-as-a-Service에 더해 새로운 AI 지원 기능을 발표했습니다.

Conversational Agents 제품은 고객 서비스 니즈를 해결하기 위한 셀프서비스 환경을 제공하는 가상 에이전트를 빌드하도록 지원합니다. 오늘 Google은 생성형 에이전트와 에이전트 기반의 대화형 에이전트를 빌드하고 실행하는 데 활용할 수 있는 완전히 개선된 강력한 제품을 공개합니다. 이 차세대 Conversational Agents 제품을 사용하면 몇 번의 클릭만으로 고도의 상호작용형 엔터프라이즈급 AI 에이전트를 만들 수 있습니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud AI 및 ML을 체험할 수 있는 $300 무료 크레딧 제공'), ('body', <wagtail.rich_text.RichText object at 0x7f8291ddb880>), ('btn_text', '무료 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/vertex-ai/'), ('image', None)])]>

차세대 Conversational Agents

이 차세대 제품의 선도적인 기능은 다음과 같습니다.

AI 에이전트 빌드 방식 간소화: 기존에는 AI 에이전트를 빌드하려면 전문적인 기술 지식이 필요했습니다. 차세대 Conversational Agents는 최신 Gemini 모델과 에이전트 개발 키트를 사용하며, 개인 정보 보호 설정과 AI 모니터링 가능성 같은 엔터프라이즈급 기능 모음을 포괄적으로 제공합니다. 이러한 노 코드 콘솔을 통해 비기술직 직원도 단 몇 번의 클릭만으로 복잡한 대화형 AI 에이전트를 빌드하여 뛰어난 고객 경험을 제공할 수 있습니다.
높은 수준의 고객 참여 경험 지원: 최신 Gemini 모델은 인간과 유사한 고품질 음성, 높은 수준의 이해력, 감정 인식 기능을 지원하므로 AI 에이전트가 대화 중 상황에 맞춰 적응하는 데 도움이 됩니다. 또한 스트리밍 동영상을 지원하므로 에이전트가 고객 기기에서 실시간으로 공유된 내용을 해석하고 대답할 수 있습니다.
운영 전반의 업무 자동화: Google은 가장 널리 사용되는 고객 관계 관리(CRM) 시스템, 데이터 소스, 비즈니스 메시지 플랫폼과 손쉽게 연동되어 즉시 사용 가능한 커넥터를 소개한 바 있습니다. 이 차세대 Conversational Agents를 활용하는 기업 사용자는 API 호출을 통해 애플리케이션에서 제품 검색, 장바구니 추가, 결제 같은 특정 작업을 수행하고 상호작용할 수 있는 다양한 도구를 갖추게 됩니다.

지난 한 해 동안 Google의 대화형 AI 에이전트 및 애플리케이션 포트폴리오는 기업이 고객 서비스 운영을 비롯한 다양한 영역에서 고객 경험을 향상하고 브랜드 충성도로 전환하는 데 기여했습니다.

Customer Engagement Suite를 통해 고객 경험을 혁신한 Verizon

Verizon은 Customer Engagement Suite를 활용해 1억 1,500만 건이 넘는 무선 연결 서비스를 제공하는 방식을 혁신하고 있습니다. 사람을 지원하는 AI 기반 에이전트는 다양한 매장과 통화 관련 일상 업무에 도움이 되고 있습니다.

Verizon의 Personal Research Assistant는 28,000명의 고객 지원 담당자에게 고객 질문에 즉시 답변하는 데 필요한 정보를 제공하고 고객의 고유한 니즈에 맞게 정보를 개인화합니다. 질문의 95%에 대답할 수 있는 Personal Research Assistant를 통해 고객 서비스 담당자는 인지 부하를 줄여 고객에게 더욱 집중하며 결과적으로, 더 빠르고 만족스러운 해결책을 찾을 수 있습니다.

Verizon Consumer Group의 최고 경영 책임자인 Sampath Sowmyanarayan은 "Verizon에서는 모든 고객과의 상호작용을 진정한 소통의 순간으로 전환하는 데 주력하고 있습니다."라면서 "Google의 Customer Engagement Suite 덕분에 더욱 신속한 맞춤형 서비스를 제공할 수 있게 되어 통화 시간이 크게 단축되고 가장 중요한 존재인 '고객'에 집중하게 되었습니다. 이 인간 참여형(Human In The Loop) 기술은 단순히 사용 편의성만이 아니라, 탁월한 경험을 제공하여 지속적인 충성도를 구축하는 데 도움이 됩니다."라고 이야기합니다.

수직적 AI 에이전트를 통해 탁월한 대화형 경험을 제공하는 Wendy’s와 Mercedes-Benz

또한 Google은 기업이 고객센터를 넘어 매장, 차량 및 스마트폰과 같은 개인 기기 등 고객과 만나는 어느 곳에서나 뛰어난 고객 경험을 제공할 수 있도록 지원합니다. 이를 위해 구체적인 실제 사용 사례에 즉시 배포할 수 있는 수직적 AI 에이전트를 제공합니다.

이 중 Food Ordering AI Agent는 정확하고 일관된 다국어 주문 경험을 제공하며 Automotive AI Agent는 차량에서 심도 있는 맞춤형 경험을 제공합니다.

Wendy's는 24개 주에서 FreshAI 배포 환경을 확장하고 있습니다. 이 드라이브스루 주문 시스템은 Google의 Food Ordering AI Agent를 사용하여 매일 50,000건의 주문을 여러 언어로 처리하며, 성공률은 95%에 이릅니다.
Mercedes-Benz는 올해 출시된 새로운 CLA 시리즈에서 Automotive AI Agent를 자사 MBUX 가상 어시스턴트와 통합하여 대화형 검색과 내비게이션을 비롯한 고급 대화 기능을 제공할 예정입니다.

다음 단계

최근 블로그 게시물에서 Customer Engagement Suite를 활용해 고객 경험을 혁신하고 있는 모든 업종 및 규모의 조직 사례를 자세히 살펴보세요.
Google NEXT의 기조연설을 시청하고 AI in Action 쇼케이스에서 Conversational Agents의 라이브 데모도 확인해 보세요.
Google AI 전문가의 무료 컨설팅을 예약하여 조직에 실질적인 비즈니스 성과를 가져올 수 있는 구체적인 사용 사례와 애플리케이션을 파악해 보세요.

카카오T의 퀵-배송서비스의 사용자 경험을 AI로 대폭 혁신한 Gemini 2.0 Flash 활용 성공사례

Mon, 21 Apr 2025 04:25:00 +0000

[이미지] 카카오 T 퀵, 구글 AI 활용 ‘주소 자동 붙여넣기’ 기능으로 사용성 개선 효과

#카카오모빌리티 #GoogleCloud #GeminiFlash #AI #사용자경험 #퀵배송 #기술혁신

2015년 택시 호출 서비스로 시작한 카카오모빌리티는 인공지능(AI) 기술을 적극적으로 도입하며 대한민국 대표 모빌리티 플랫폼으로 성장해 왔습니다. 택시 배차 효율성 증대부터 대리운전, 주차, 내비게이션 등 다양한 서비스 영역에서 AI를 활용하여 사용자 편의성을 높이고 새로운 가치를 창출하기 위한 노력을 지속하고 있습니다.

최근 카카오모빌리티는 글로벌 클라우드 선두 기업인 Google Cloud와의 협력을 통해 혁신적인 사용자 경험 개선을 이루어냈습니다. 바로 카카오 T 앱의 퀵·배송 서비스에 Google의 최첨단 AI 서비스인 Gemini Flash를 적용한 사례입니다. 본 기술 블로그에서는 카카오 T 퀵·배송 서비스에 Gemini Flash가 어떻게 적용되었으며, 그로 인해 사용자 경험이 어떻게 변화하고 있는지 심층적으로 분석하고자 합니다.

카카오 T 퀵·배송 서비스의 기존 방식과 개선 과제

카카오 T 앱은 택시 호출 외에도 신속하고 편리한 퀵 서비스와 배송 서비스를 제공하며 일상생활의 편의를 증진시키고 있습니다. 기존 퀵·배송 서비스 이용 과정에서 사용자는 출발지, 도착지 주소, 수신인 정보, 연락처 등을 직접 입력하거나, 메시지 등에서 필요한 정보만 선별적으로 복사하여 붙여넣어야 하는 번거로움이 존재했습니다. 특히 장문 형태의 주소 정보를 처리할 때 이러한 불편함은 더욱 심화되었으며, 이는 신규 사용자의 서비스 진입 장벽으로 작용하는 요인이 되기도 했습니다.

Google Cloud Gemini Flash 통합: 지능형 주소 자동 입력 기능 구현

카카오모빌리티는 이러한 사용자 불편을 해소하고 서비스 이용 편의성을 획기적으로 개선하기 위해 Google Cloud의 Gemini Flash를 카카오 T 앱의 퀵-배송 서비스에 적용했습니다. Gemini Flash는 Google의 최신 Gemini 모델 중 경량화된 버전으로, 빠른 응답 속도와 실시간 처리가 가능하며 텍스트, 이미지, 오디오 등 다양한 형태의 데이터를 처리할 수 있는 멀티모달 입력을 지원합니다.

[시연 영상] 카카오 T 퀵, 구글 AI 활용 ‘주소 자동 붙여넣기’ 기능으로 사용성 개선 효과

카카오 T 퀵·배송 서비스에 Gemini Flash를 기반으로 새롭게 도입된 핵심 기능은 바로 "AI 기반 지능형 주소 자동 입력" 기능입니다. 이 기능은 다음과 같은 작동 메커니즘을 가집니다.

사용자가 주소, 수신인, 연락처 등 필요한 정보가 포함된 텍스트를 메시지, 메모 등에서 복사합니다.
카카오 T 앱의 퀵·배송 서비스 화면을 실행합니다.
Gemini Flash AI는 복사된 텍스트를 실시간으로 인식하고 심층 분석하여 주소, 이름, 연락처 등 필수 정보를 각 입력 필드에 정확하게 추출하여 자동 입력합니다.

이 과정에서 Gemini Flash는 텍스트 내 데이터의 의미를 파악하고 구조화하는 지능형 파싱(parsing) 프로세스를 수행합니다. 따라서 사용자는 텍스트에서 필요한 정보를 수동으로 선택하여 복사하거나 직접 타이핑하는 번거로움 없이, 복사 후 앱을 실행하는 간단한 동작만으로 퀵·배송 접수를 신속하고 편리하게 완료할 수 있습니다.

사용자 경험 개선 효과 및 데이터 분석 결과

Gemini Flash 기반의 "AI 기반 지능형 주소 자동 입력" 기능은 실제 사용자들에게 직접적으로 편의성 향상을 제공하고 있는 것이 정량적으로 확인되었습니다. 카카오모빌리티가 2025년 2월 20일 기능 출시 이후 약 한 달간의 실제 서비스 활용 데이터를 분석한 결과는 다음과 같습니다.

신규 사용자 접수 시간 단축: 퀵 서비스를 처음 이용하는 사용자가 접수를 완료하는 데 소요되는 시간이 AI 주소 자동 입력 기능을 사용한 경우, 그렇지 않은 경우에 비해 평균 24% 감소했습니다. 이는 퀵 서비스 이용의 초기 진입 장벽이었던 주소 입력 단계를 AI 기술을 통해 효과적으로 낮추었음을 시사합니다.
접수 완료율 증가: 퀵·배송 주문 단계 진입 이후 실제로 접수를 완료하는 신규 이용자의 비율 또한 AI 주소 자동 입력 기능을 활용한 그룹이 그렇지 않은 그룹에 비해 13.39%p 더 높은 것으로 나타났습니다. 이는 개선된 편의성이 서비스 이용 완료까지 긍정적인 영향을 미치고 있음을 입증합니다.

결론

카카오모빌리티와 Google Cloud의 전략적 협력을 통해 탄생한 카카오 T 퀵·배송 서비스의 "AI 기반 지능형 주소 자동 입력" 기능은 AI 기술이 실질적인 사용자 편의성 향상으로 이어질 수 있음을 명확하게 보여주는 성공적인 사례입니다. 특히 Gemini Flash의 강력한 텍스트 분석 및 파싱 능력은 기존 서비스 이용 과정에서의 불편함을 효과적으로 해소하고, 신규 사용자의 진입 장벽을 낮추는 데 핵심적인 역할을 수행했습니다.

카카오모빌리티는 앞으로도 Google Cloud와의 지속적인 협력을 통해 Gemini AI의 활용 범위를 확장해 나갈 뿐만 아니라, 다양한 AI 기술과의 적극적인 융합을 시도하며 사용자들에게 더욱 혁신적이고 편리한 모빌리티 경험을 제공하기 위해 끊임없이 노력할 것입니다. AI 기술을 중심으로 빠르게 변화하는 시대에 발맞춰, 카카오모빌리티의 서비스는 앞으로도 더욱 스마트하게 진화해 나갈 것으로 기대됩니다.

함께 만들어가는 AI의 미래: 한국 고객들의 성공적인 AI 활용 사례

Tue, 25 Mar 2025 05:51:00 +0000

제미나이(Gemini)와 같은 모델에서 볼 수 있듯 오늘날 AI의 진화는 단순히 속도가 빨라진 것을 넘어 완전히 새로운 가능성을 열고 있습니다. 전화선을 통해 인터넷에 접속하던 다이얼업(dial-up) 방식에서 광대역 인터넷으로 전환된 것처럼, 단편적인 작업만 수행할 수 있던 AI 기술은 맥락을 이해하고, 추론하며, 이전에는 상상할 수 없었던 방식으로 창작까지 가능한 수준으로 발전하고 있습니다. 이에 따라 AI에 대한 안건과 과제 역시 변화하고 있습니다. AI는 더 이상 인간을 대체하는 존재가 아니라 우리의 역량을 강화하며, 기업은 이를 활용해 조직을 더욱 스마트하고 효율적으로 운영하며 고객의 요구에 더 신속하게 대응할 수 있는 방법을 모색해야 하는 시점입니다.

지난 한 해 동안 구글 클라우드는 전 세계 모든 산업과 부문의 고객들과 긴밀하게 협력하며, AI를 통해 문제를 해결하고 빠른 속도로 대규모의 혁신을 이루어왔습니다. 그중에서도 한국 기업들은 빠른 실행력과 혁신적인 아이디어를 바탕으로 생성형 AI 기술을 적극적으로 도입하며 새로운 가치를 창출하는 데 앞장서고 있습니다. 다양한 산업에서 놀라운 AI 여정을 만들어가고 있는 국내 고객들의 사례를 공유합니다.

통신 및 제조업

LG유플러스는 구글 클라우드의 AI 모델 제미나이(Gemini)를 자사의 AI 기반 통화 에이전트 서비스 익시오(ixi-O)에 도입해 통화 맥락을 보다 정교하게 분석하고, 상황에 맞춘 통화 내용 요약 및 추천 행동 제안 등 기능을 확대해 나갈 계획이다.

또한 구글 검색 결과를 그라운딩하는 버텍스 AI(Vertex AI)를 활용해 익시오가 통화 내용과 관련된 사물, 상황, 장소 등을 바로 검색할 수 있도록 지원할 예정이다.

이밖에도 LG유플러스는 구글 클라우드 생성형 AI의 멀티모달 기능을 적극 활용해 다양한 AI 서비스를 개발하고 익시오에 적용하며 글로벌 진출을 타진할 방침이다. 동시에 구글 클라우드는 LG유플러스의 홈 AI 에이전트 개발, 디지털 채널의 AI 전환, 임직원 생산성 향상을 위한 구글 에이전트스페이스(Agentspace) 도입 등을 지원할 예정이다.

홍범식 LG유플러스 대표이사는 “구글과 협력을 통해 고객이 누구나 안심하고 사용할 수 있는 AI에 편의성을 더한 차별화된 서비스를 선보이고, 이를 통해 글로벌 시장에 진출 할 것”이라며 “앞으로도 LG유플러스는 다양한 글로벌 기업과 협업을 통해 글로벌 시장을 주도하는 AI 생태계를 이끌어 나갈 것”이라고 말했다.

리테일 및 커머스

인덴트코퍼레이션은 AI 기술을 활용해 브랜드의 고객 경험과 마케팅 효율을 혁신하는 커머스 인공지능 전환(AX) 전문 기업입니다. 인덴트코퍼레이션은 구글 클라우드의 제미나이 모델을 활용해 대표 서비스인 '브이리뷰'와 'Spray'에 AI 기능을 구현했으며, 이를 통해 국내 유수의 이커머스 브랜드가 고객 관리 및 인플루언서 마케팅 효율성을 높이고 있습니다.

브이리뷰는 제미나이의 멀티모달 기능을 기반으로 텍스트 및 이미지 리뷰를 실시간으로 분석하여 브랜드에게 고객 인사이트를 제공하는 서비스입니다. 특히 AI 댓글 매니저를 통해 브랜드의 페르소나에 맞춘 자동 응대 시스템을 구축하고, AI 리뷰 모니터링으로 부정적 리뷰를 즉시 감지해 선제적 대응이 가능하게 합니다. 또한 AI 추천 키워드 기능은 리뷰 데이터에서 핵심 토픽을 추출해 소비자의 구매 결정을 돕고 있습니다.

인덴트코퍼레이션은 최근 AI 기반 제품 포트폴리오를 확장하여 크리에이터 검색 및 캠페인 관리 플랫폼 'Spray'를 출시했습니다. Spray는 AI 기술을 활용해 브랜드가 최적의 크리에이터를 발굴하고, 캠페인을 효율적으로 관리할 수 있도록 지원합니다. 특히 고도화된 AI 검색 기술을 통해 텍스트 프롬프트, 이미지, 유사 크리에이터 입력만으로도 브랜드에 적합한 인플루언서를 추천하며, 제안서 자동 발송과 콘텐츠 성과 추적까지 캠페인 전 과정을 자동화하고 있습니다.

윤태석 인덴트코퍼레이션 대표는 "구글 클라우드의 제미나이를 활용함으로써 브이리뷰의 AI 자동화 및 효율화 기능을 획기적으로 강화할 수 있었다"라며 "1인 브랜드가 글로벌 시장으로 진출하며 매출을 극대화할 수 있도록 돕는다는 인덴트의 비전과 함께 구글 클라우드와의 협업도 더욱 강화해 나갈 것"이라고 전했습니다.

헬스케어

카카오헬스케어는 자사의 AI 기반 모바일 혈당 관리 솔루션 '파스타'에 구글의 제미나이 2.0 모델을 탑재해 대사질환으로 서비스를 확장하고, 카카오톡 챗봇 기반 병원 컨시어지 서비스 ‘케어챗’에도 제미나이 2.0을 도입해 서비스 커버리지를 확대하며 헬스케어 영역의 글로벌 선도 사례를 개발하고 있습니다.

카카오헬스케어는 구글 클라우드와 2023년부터 다방면에서 전략적 파트너로 협력 중입니다. 카카오헬스케어는 병원 데이터를 안전하고 체계적으로 관리하기 위해 빠른 속도와 범용성을 갖춘 구글 클라우드의 알로이DB(AlloyDB)를 기반으로 의료 데이터 플랫폼 환경을 구축했습니다. 이를 통해 의료 데이터를 안전하게 적재하고 가공해 원활한 연구∙분석 환경을 조성했으며, 2024년에는 3차 상급 종합 병원에 배포하는 등 국내 주요 대형병원과 협력형 네트워크를 구축해 나가고 있습니다.

이외에도 카카오헬스케어는 구글 클라우드의 버텍스 AI를 활용해 비정형 임상 데이터 표준화 및 연합학습(Federated Learning)에 집중하고 LLM의 환각 해결을 위해 공동 연구를 진행하며 더 나은 의료 환경 개발을 위해 노력 중입니다.

황희 카카오헬스케어 대표는 “카카오헬스케어는 수년 간 구글 클라우드와 협업하며 데이터 기반의 디지털 헬스케어 생태계를 구축하기 위해 노력해왔다. 구글 클라우드의 장점은 고객마다 가장 효과적인 모델을 자유롭게 선택할 수 있는 개방적인 오픈 모델 생태계를 제공하는 데 있다”라며 “앞으로도 구글 클라우드와 함께 헬스케어 분야에 다양한 AI 기술을 적용하며 이용자 편익을 제고하고 산업적 가치를 창출할 수 있도록 노력하겠다”고 전했습니다.

교육

매스프레소는 AI 학습플랫폼 ‘콴다(QANDA)’를 운영하고 있으며 구글 클라우드의 제미나이 1.5 프로(Gemini 1.5 Pro)와 제미나이 2.0 플래시 (Gemini 2.0 Flash) 모델을 활용해 자사의 AI 서비스를 고도화하고 있습니다.

매스프레소는 학생들의 자율적인 학습 습관 형성과 문제 해결 능력 향상을 지원하기 위해 AI 종합 교육 서비스인 ‘콴다’를 제공합니다. 콴다는 이용자가 촬영한 문제 사진을 자체 개발한 OCR 기술을 통해 정확하고 빠르게 인식해 이에 맞는 풀이 방법을 제공합니다. 최근 매스프레소는 최신 제미나이 모델을 도입한 후, 기존에 8초 정도 소요되던 답변 생성 시간을 3초대로 크게 단축할 수 있었습니다. 나아가 최근 출시된 AI 에이전트 기능은 제미나이 모델을 기반으로 답변을 생성해, 학생의 현 이해 수준에 맞춰 실시간으로 맞춤형 도움을 제공합니다.

콴다의 핵심 경쟁력은 방대한 데이터베이스와 AI 기술력에 있습니다. 자체 개발한 OCR 기술을 통해 이용자가 손으로 쓴 복잡한 수식과 언어를 일차적으로 인식한 후 데이터베이스를 통해 적합한 문제와 풀이를 찾아 제시합니다. 전 세계 이용자들이 매달 1억여 건의 문제를 풀면서 콴다의 데이터베이스 또한 확장 및 체계화 작업이 필요한데, 매스프레소는 클라우드 SQL(Cloud SQL)을 활용해 갑작스런 트래픽 증가에도 유연하게 대응하고 있습니다.

매스프레소 이용재/이종흔 공동 대표는 “매스프레소는 모두에게 평등한 교육 기회를 제공하겠다는 비전 하에 개인화된 학습을 지원하는 콴다 AI 서비스를 선보인 후, 이용자에게 보다 나은 서비스를 제공하기 위해 기술 고도화에 계속해서 집중해 왔다”라며, “한국을 넘어 글로벌 사용자에게도 양질의 교육 기회를 확장할 수 있도록 구글 클라우드와의 협력 또한 강화해 나갈 수 있기를 기대한다”라고 전했습니다.

여행 및 레저

야놀자는 지난 2월 구글 클라우드와 데이터 기반 AI 파트너십을 체결했습니다. 야놀자는 이번 협업을 통해 구글 클라우드와 함께 전사적인 AI 트랜스포메이션을 추진하며 여행에 특화된 AI 서비스를 고도화해 고객에게 개인화된 경험을 제공하고, 기업 고객의 비즈니스 효율성을 높일 계획입니다.

구글 클라우드는 제미나이를 비롯한 생성형 AI 기술 및 최첨단 AI 인프라를 야놀자 제공하며, 포괄적인 AI 스택을 지원할 예정입니다. 양사는 파트너십 체결 전부터 AI 에이전트 기반 대고객 서비스 개발, 전사 대상 생성형 AI 도입 확산 및 임직원 업무 생산성 혁신 등 다양한 프로젝트를 진행해왔습니다. 이와 함께 야놀자의 다양한 AI 서비스에 구글 클라우드의 생성형 AI 그라운딩 기술을 더해, 정보의 출처를 연결하고 보다 정확하고 신뢰성이 확보된 여행 데이터를 제공한다는 계획입니다.

야놀자는 구글 클라우드의 안전하고 확장 가능한 인프라를 통해 여행객의 엔드투엔드 경험을 개선하는 동시에, 여행 기업 및 사업자의 운영 효율 및 수익 제고를 도모한다는 방침입니다. 이에 더해 티켓 분류 자동화, AI 기반 고객 커뮤니케이션 등 고객 지원 업무 효율화를 위한 개념 증명(POC) 이니셔티브도 시범 운영 중입니다.

이준영 야놀자그룹 기술 총괄은 "야놀자는 글로벌 여행 데이터를 기반으로 독자적인 AI 기술을 구축하며 여행자의 보다 편리한 여행 경험과 여행 산업 운영의 효율성을 위해 노력해왔다"며, "이번 구글 클라우드와의 협력을 통해 현재 AI 기술을 고도화해 혁신적인 버티컬 AI 서비스를 선보일 것"이라고 말했습니다.

미디어 및 엔터테인먼트

엔씨소프트의 AI 기술 전문 기업 NC AI는 구글 클라우드 TPU를 기반으로 자체 언어 모델 ‘바르코 LLM(VARCO LLM)’을 개발하고 학습 환경을 구축했습니다. NC AI는 구글 클라우드 TPU를 활용해 LLM 학습에 소요되는 시간을 효과적으로 단축하고 학습 생산성을 향상시켰으며, 대규모 AI 학습 워크로드의 성능과 비용을 최적화했습니다. 또한 제미나이, 젬마(Gemma) 등 구글의 생성형 AI 모델 및 오픈 모델을 제공하는 버텍스 AI를 활용해 바르코 LLM을 더욱 고도화하고 있습니다.

지난해 3월에는 김택진 엔씨소프트 대표가 구글 본사를 방문해 ▲게임 개발 단계 전반에 AI 기술 적용 ▲데이터 분석 및 라이브 서비스 운영에 구글 클라우드 서비스 도입 ▲게이밍 생태계 구축을 위한 플랫폼 개발 ▲전사 생산성 향상을 위한 ‘구글 워크스페이스를 위한 제미나이’ 도입 등 AI 및 클라우드 관련 글로벌 협업 확대 방안을 논의하기도 했습니다.

이연수 NC AI 대표는 “엔씨소프트는 오래 전부터 구글 클라우드와 협력하며 국내 게임 업계에서 가장 선도적으로 AI를 도입해 왔다. NC AI를 통해 보다 전문적인 AI 연구개발에 집중하며 고객에게 새로운 가치를 제공할 수 있도록, 앞으로도 다양한 영역에서 구글 클라우드와 협업을 확대해 전 세계 게임 산업 혁신을 가속화할 예정”이라고 전했습니다.

2025년은 AI 에이전트(AI Agent AI)의 해가 될 것입니다. 구글 클라우드는 AI 에이전트가 다른 에이전트와 서로 협력해 직원을 도우며 그들과 함께 일할 수 있는 세상을 그리고 있습니다. 이러한 새로운 미래를 실현하려면 조직의 리더들은 에이전트형 워크플로(agentic workflow)로 전환할 수 있도록 관리 구조를 고민하고 작업 수준의 성과를 재정의해야 합니다. 특히 단편적인 구조 변경에 초점을 맞추기보다는 엔드투엔드 워크플로(end-to-end workflows)를 재구상하는 것이 큰 변화의 첫 발걸음이 될 수 있을 것입니다.

대규모 AI 혁신을 꿈꾸는 조직을 위한 구글 클라우드의 조언은 다음과 같습니다:

역량 강화와 재교육 투자: 2025년에는 AI를 능숙하게 사용할 줄 아는 인력이 필수적입니다. 직원들이 AI 시스템을 직접 사용하고, AI 기반 인사이트를 잘 해석하며, 이러한 강력한 AI 도구를 효과적으로 활용할 수 있도록 교육을 시작하세요.

데이터 중심 문화 조성: AI를 제대로 활용하기 위해서는 데이터 기반이 잘 구축되어야 합니다. 조직이 강력한 데이터 수집, 관리, 분석 역량을 갖추는 것이 성공적인 AI 구현을 위한 토대가 될 것입니다.

끊임없는 파일럿 테스트: 완벽한 솔루션이 개발될 때까지 기다리기보다, 특정 영역에 AI를 도입하는 것부터 시작해보세요. 파일럿 프로젝트를 통해 기술의 잠재력을 이해하고, 도전과제를 파악하며, 내부 전문성을 구축할 수 있습니다.

윤리적 고려 사항의 중요성: AI 개발 프로세스의 첫 단계부터 편향 해결, 투명성 확보, 명확한 책임 설정 등 윤리적 프레임워크를 구축하는 것이 중요합니다.

통합의 중요성: 사일로 환경에서는 AI의 능력이 충분히 발현될 수 없습니다. 기존 시스템과 워크플로에 AI가 원활하게 통합되었을 때 AI의 진정한 능력이 발휘될 수 있는 만큼, 신중한 계획과 여러 부서와의 협력이 필요합니다.

AI 기술의 발전과 함께 AI 활용을 극대화할 수 있는 비즈니스 모델과 산업 또한 계속해서 진화할 것입니다. 구글 클라우드는 앞으로도 계속 국내 기업이 새로운 첨단 기술로 혁신을 만들어가는 여정을 적극 지원하며 신뢰할 수 있는 파트너로 함께 하겠습니다.

Vertex AI Prompt Optimizer 공개 프리뷰 발표

Mon, 17 Mar 2025 10:41:00 +0000

* 본 아티클의 원문은 2024년 9월 27일 Google Cloud 블로그(영문)에 게재되었습니다.

프롬프트 설계 및 엔지니어링은 대규모 언어 모델(LLM)에서 유의미한 출력을 유도하기 위한 가장 접근성이 좋은 방식 중 하나로 주목받고 있습니다. 하지만 대규모 언어로 프롬프트 작성하다 보면 복잡한 미로에서 길을 찾는 것처럼 느껴질 수 있습니다. 원하는 출력을 도출하기 위해서 다양한 요청 사항과 예의 조합으로 실험해야만 하기 때문입니다. 게다가 이상적인 프롬프트 템플릿을 찾더라도 여러 LLM으로 최적의 결과가 계속해서 제공된다는 보장은 없습니다.

LLM 간에 프롬프트를 마이그레이션하거나 번역하기가 어려운 이유는 언어 모델별로 동작이 다르기 때문입니다. 단순한 프롬프트 재사용은 비효율적이므로 사용자에게는 유용한 출력을 생성할 지능적인 프롬프트 옵티마이저가 필요합니다.

LLM 기반 애플리케이션을 빌드하는 동안 사용자가 겪을 수 있는 '프롬프트 피로'를 줄이기 위해 Google Cloud에서 Vertex AI Prompt Optimizer 공개 프리뷰를 발표하게 되었습니다.

Vertex AI Prompt Optimizer란?

Vertex AI Prompt Optimizer는 Vertex AI의 모든 기본 모델에 대한 최적의 프롬프트(요청 사항 및 데모)를 찾도록 도와줍니다. Prompt Optimizer는 자동 프롬프트 최적화(APO) 방식에 대한 Google 연구팀의 간행물(2024년 NeurIPS에서 승인)에 기반하며, [다양하게 표현된 요청 사항 생성]을 위한 옵티마이저 모델과 [선택된 요청 사항 및 데모의 평가]를 위한 평가자 모델이 함께 작동하여 후보 프롬프트를 생성하고 평가하는 반복적인 LLM 기반 최적화 알고리즘을 사용합니다. 이후 Prompt Optimizer는 사용자가 최적화하고 싶어 하는 평가 측정항목에 따라 최적의 요청 사항 및 데모를 선택합니다. 요청 사항에는 시스템 요청 사항, 컨텍스트, 프롬프트 템플릿의 작업이 포함됩니다. 데모는 모델 응답의 구체적인 스타일이나 어조를 유도하기 위해 프롬프트에 입력하는 퓨샷 예입니다.

Vertex AI Prompt Optimizer는 라벨이 있는 예와 구성된 최적화 설정 몇 개 만으로 타겟 모델에 가장 적합한 프롬프트(요청 사항 및 데모)를 찾아내기 때문에 새로운 LLM에 대해 매번 기존 프롬프트를 수동으로 최적화할 필요가 없습니다. 이제 Vertex AI에서 특정 작업의 새 프롬프트를 쉽게 작성하거나 모델 간에 프롬프트를 번역할 수 있습니다. 주요 특징은 다음과 같습니다.

간편한 최적화: 모든 소스 모델의 프롬프트 마이그레이션 및 번역을 포함해 모든 타겟 Google 모델의 프롬프트를 빠르게 최적화합니다.
다목적 작업 처리: 모든 텍스트 기반 작업(질의 응답, 요약, 분류, 항목 추출 등)을 수용합니다. 조만간 멀티모달 작업을 위한 확대 지원이 제공될 예정입니다.
포괄적인 평가: 모델 기반, 계산 기반, 커스텀 측정항목을 포함해 다양하고 광범위한 평가 측정항목을 지원하여 중요한 측정항목에 대한 최적의 프롬프트 성능을 보장합니다.

유연성 및 맞춤설정 기능: 고급 설정으로 최적화 프로세스 및 지연 시간을 맞춤설정하고 숙련도 및 필요에 따른 다양한 노트북 버전을 활용할 수 있습니다.

Vertex AI Prompt Optimizer를 사용해야 하는 이유

데이터 기반 최적화: 기존 프롬프트 최적화 도구 중 다수는 사용자가 선호하는 스타일과 어조에 맞게 프롬프트를 맞춤설정하는 데 초점을 맞추며, 여전히 사람의 확인이 필요한 경우가 많습니다. 하지만 Vertex AI Prompt Optimizer는 여기서 더 나아가 구체적인 평가 측정항목에 따라 프롬프트를 최적화함으로써 타겟 모델이 최상의 성능을 발휘할 수 있도록 보장합니다.

Gemini를 위한 설계: Gemini를 사용하시나요? Vertex AI Prompt Optimizer는 Gemini의 기본적인 특성을 염두에 두도록 설계되었으며, 구체적으로는 Gemini와 여러 Google 모델의 고유한 속성에 적응하도록 설계되었습니다. 이러한 맞춤형 접근 방식 덕분에 사용자는 Gemini의 잠재력을 최대한 활용하여 탁월한 결과를 달성할 수 있습니다.

Vertex AI Prompt Optimizer 시작하기

Vertex AI Prompt Optimizer를 사용하려면 GitHub의 Google Cloud 생성형 AI 저장소에서 Colab 노트북을 이용하면 됩니다. 여기에는 Google Cloud의 생성형 AI를 위한 샘플 코드와 노트북이 포함되어 있습니다. 기본 설정의 경우 UI 버전, 고급 설정의 경우에는 SDK 버전을 참조하세요. 앞으로 몇 주 안에 커스텀 측정항목 및 멀티모달 입력을 지원하는 노트북 버전이 더 많이 추가될 예정입니다. Vertex AI Studio 콘솔을 통해서도 Vertex AI Prompt Optimizer에 액세스할 수 있습니다. 콘솔에서 '프롬프트 옵티마이저'나 '프롬프트 추가 최적화'가 표시된 시작 지점을 찾아보세요(아래의 스크린샷 참조).

Vertex AI Prompt Optimizer를 사용하여 프롬프트를 최적화하거나 번역하려면 다음 단계를 따르세요.

프롬프트 템플릿을 구성합니다.
데이터(라벨이 있는 예)를 입력합니다.
최적화 설정(타겟 모델, 평가 측정항목 등)을 구성합니다.
최적화 작업을 실행합니다.
결과를 검사합니다.

Vertex AI Prompt Optimizer는 생성형 AI 평가 서비스로 지원되는 모든 Google 모델 및 측정항목을 지원합니다.

Vertex AI Studio에서 Vertex AI Prompt Optimizer Colab Enterprise 노트북으로 이동하는 시작 지점

A. 저장된 프롬프트 페이지에 새로운 프롬프트 옵티마이저 버튼이 포함됩니다.

B. 프롬프트 지원 대화상자 팝업에 새로운 프롬프트 추가 최적화 버튼이 포함됩니다.

AdVon Commerce 및 Augmedix가 Vertex AI Prompt Optimizer를 사용하여 Gemini 프롬프트를 개선한 방법

AdVon Commerce는 디지털 상거래 플랫폼으로, 맞춤형 AI 솔루션을 사용하여 소매업체를 위한 양질의 대규모 콘텐츠를 제작하기 위해 Google Cloud와 파트너십을 맺었습니다. AdVon Commerce는 LLM을 사용해 높은 정확성과 몰입도를 기반으로 적절한 키워드를 포함하고 제품을 정확하게 보여주는 제품 페이지 콘텐츠를 대규모로 생성합니다. 소매업체의 페이지를 최적화할 때는 누락되었거나 잘못된 수많은 정보를 확인해야 합니다. 쇼핑객 중심의 콘텐츠를 만들기 위해서는 제품 검색 가능성 및 고객 여정에 필수적인 제품 속성 누락을 정확하게 보완해야 합니다.

Vertex AI Prompt Optimizer는 AI 프롬프트 생성 및 미세 조정 과정을 간소화하여 정확성과 관련성을 높였습니다. AdVon Commerce는 속성 정확도가 10% 증가하는 결과를 확인했으며, 꾸준히 양질의 콘텐츠 제공하면서 사람의 확인에 소요되는 시간을 크게 줄여 상당한 비용을 절감할 수 있습니다. 또한 Gemini Flash를 결합하여 잘못된 사양을 줄이고 제품 페이지 콘텐츠의 품질을 개선하는 등의 인상적인 결과를 얻었습니다. 예를 들어 최근 AdVon Commerce는 Vertex AI Prompt Optimizer와 Gemini 1.5 Flash를 사용하여 최대 규모의 글로벌 소매업체 중 한 곳이 수억 개의 상품 속성을 채우는 프로세스를 자동화하도록 지원했습니다. 이 작업을 수동으로 진행했다면 100배의 긴 시간이 소요되었을 것이므로 소매업체의 생산성이 100배 증가했다고 볼 수 있습니다.

AdVon Commerce의 최고 기술 책임자인 Vlad Barshai는 말했습니다. "Vertex AI Prompt Optimizer 덕분에 Gemini Flash의 프롬프트를 최적화할 수 있습니다. 소매업체 등록정보의 경우 문제가 있는 제품 속성과 PDP(제품 세부정보 페이지)가 점진적으로 10% 개선되었는데, 이는 시중에 있는 다른 모든 주요 AI 모델의 결과를 크게 웃도는 결과입니다. Vertex AI Prompt Optimizer로 사람의 확인에 필요한 시간을 절약함으로써 프롬프트를 최적화하고 대규모로 AI 속성 및 PDP 콘텐츠를 생성하는 반복적인 과정에서 수백만 개의 제품을 보강할 수 있습니다. 견고한 인간 참여형(Human-In-The-Loop) 프로세스와 결합된 Vertex AI Prompt Optimizer는 매번 높은 품질로 개선할 수 있도록 도와줄 것입니다."

앰비언트 AI 의료 기록 및 데이터 솔루션 분야의 리더이며, 현재까지 천만 개가 넘는 의료 기록을 생성한 Augmedix는 의료 서비스 제공업체를 위한 의료 기록 향상을 위해 Google Cloud와 파트너십을 맺었습니다. Augmedix는 LLM을 활용하여 환자 상호작용 수집 과정의 효율성과 정확성을 개선하고 임상 관리자의 부담을 줄이고 궁극적으로 환자 치료를 개선합니다. Augmedix에서는 모델이 파인 튜닝되고 입력이 프롬프트 튜닝되는 하이브리드 접근 방식을 도입했습니다. 기록 생성의 많은 부분에서는 파인 튜닝이 가장 적합하며, 기본적인 프롬프트가 제대로 작동합니다. 시스템의 다른 부분은 LLM에 요청하는 수백 개의 규칙이 있을 수 있으므로 이러한 규칙을 프롬프트 튜닝하는 것이 좋습니다.

Augmedix는 의사와 환자 간 대화에 기반한 의료 기록 생성을 개선하기 위해 Vertex AI Prompt Optimizer를 사용했습니다. 이 기능으로 인해 LLM 출력 품질 점수가 66%에서 86%로 개선되었습니다. 더 나아가 Vertex AI Prompt Optimizer를 통해 Augmedix는 프롬프트 변형을 테스트하여 신속한 반복 및 최적화를 실현할 수 있습니다. Vertex AI Prompt Optimizer를 사용하지 않는 프롬프트는 실행하는 데 20초가 소요되지만, 최적화된 프롬프트는 6초 안에 실행됩니다.

Augmedix 설립자 겸 전무 이사이자 최고 전략 책임자인 Ian Shakil은 이렇게 말했습니다. "Google Cloud AI와 파트너십을 맺은 덕분에 급성장하는 LLM 영역에서 선구자가 될 수 있었습니다. MedLM과 Gemini를 통해 혁신적으로 발전하면서 디지털 의료 분야의 최첨단 혁신을 주도하고 있습니다. 이러한 협업을 통해 고품질 출력, 단축된 처리 시간, 강화된 특성 세트를 달성할 수 있었습니다."

다음 단계

Vertex AI Prompt Optimizer에 대해 자세히 알아보려면 Vertex AI Google Cloud 커뮤니티에 참여하여 경험을 나누고 질문을 게시하고 새로운 프로젝트에서 협업하세요. 다음 리소스도 확인하세요.

문서

Vertex AI Prompt Optimizer로 프롬프트 최적화

GitHub 샘플

Google for Developers 블로그 게시물

Vertex AI Prompt Optimizer로 프롬프트 향상

Medium Google Cloud 커뮤니티 블로그 게시물

Vertex AI Prompt Optimizer Medium 게시물

데이터 무단 반출 방지를 확장하는 VPC 서비스 제어 내 비공개 IP 주소 지원 발표

Mon, 17 Mar 2025 06:42:00 +0000

* 본 아티클의 원문은 2024년 7월 25일 Google Cloud 블로그(영문)에 게재되었습니다.

조직은 Google Cloud의 VPC 서비스 제어를 사용하여 Google Cloud 관리형 서비스에서 데이터가 무단 반출될 리스크를 완화할 수 있습니다. VPC 서비스 제어(VPC-SC)는 Google Cloud 내의 클라우드 리소스 및 네트워크 주변에 격리 경계를 만들어 민감한 정보에 대한 액세스를 제한하는 데 도움이 됩니다.

오늘 Google Cloud가 VPC 서비스 제어 내에서 비공개 IP 주소를 지원하게 되었다는 기쁜 소식을 전해드립니다. 이 새로운 기능은 특정 내부 네트워크의 트래픽이 보호된 리소스에 액세스할 수 있도록 허용합니다.

VPC-SC를 확장하여 비공개 IP 주소 공간의 리소스 보호

VPC-SC는 승인된 사용자와 리소스만 액세스할 수 있는 경계를 정의하여 승인되지 않은 Google Cloud 조직, 폴더, 프로젝트, 리소스로 데이터가 무단 반출되지 않도록 돕습니다. VPC-SC를 배포하는 고객은 포괄적인 액세스 규칙 기능을 사용하여 Google Cloud 관리형 서비스에 최소 권한 액세스를 적용할 수 있습니다. 새로운 기능을 통해 고객은 식별된 온프레미스 환경에서 서비스 경계 내의 리소스에 대한 액세스를 허용할 수 있게 됩니다.

특히, 고객이 기본 액세스 수준을 사용하여 VPC 네트워크용 비공개 IP 주소 범위를 지정할 수 있다는 점에 주목해야 합니다. 이 액세스 수준은 인그레스 및 이그레스 액세스 규칙에 연결되어 Google 서비스를 대상으로 세분화된 액세스 제어를 적용하고 고객이 비공개 주소 공간으로 경계를 확장할 수 있도록 합니다.

Google Cloud의 권장사항에 따라 관리와 확장이 쉬운 매크로 또는 '메가' 경계를 사용하는 것이 좋습니다. 더욱 상세한 세분화가 필요한 특정 사용 사례에 해당하는 고객의 경우 비공개 IP로 더 많은 유연성을 누릴 수 있습니다.

이제부터 VPC-SC 내 비공개 IP 지원으로 더 안전한 아키텍처를 빌드할 수 있는 몇 가지 사용 사례를 소개합니다.

사용 사례: 안전한 클라우드 경계까지 온프레미스 환경 확장하기

VPC-SC는 액세스 목적을 위해 고객의 온프레미스 환경을 하나의 네트워크로 취급합니다. 그 결과 온프레미스 환경 전체에 네트워크 기반 액세스 규칙이 적용됩니다. 이에 따라 일부 고객은 VPC-SC 경계에 특정 온프레미스 클라이언트만 액세스해야 하는 상황에서 액세스 권한을 과도하게 프로비저닝하는 상황을 우려합니다. 온프레미스 환경의 경우 비공개 주소에 기반한 인그레스 및 이그레스 규칙을 사용하여 경계 리소스에 대한 온프렘 워크로드의 액세스 권한을 보다 선택적으로 제공할 수 있습니다. 자세한 내용은 이 동영상을 참조하세요.

온프레미스를 VPC-SC 경계까지 확장하는 샘플 아키텍처 개요

사용 사례: 공유 VPC에서 클라우드 프로젝트 분류하기

VPC-SC는 요청 평가의 일환으로 소스 네트워크가 신뢰할 수 있는 경계 내 프로젝트에 속했는지를 확인합니다. 공유 VPC 환경에서는 호스트 프로젝트가 네트워크를 소유하고 서비스 프로젝트에 공유합니다. 이에 따라 고객은 호스트 및 서비스 프로젝트를 서로 다른 경계로 분리할 수 없었습니다. 비공개 주소에 기반한 인그레스 및 이그레스 규칙을 사용하면 호스트 및 서비스 프로젝트를 서로 다른 경계에 배치하고 규칙에 따라 액세스를 허용할 수 있습니다. 또한 리소스가 승인되지 않은 서비스에 노출되지 않게 제한합니다. 자세한 내용은 이 동영상을 참조하세요.

공유 VPC에서 어떻게 분류하는지 보여주는 샘플 아키텍처 개요

우수사례: MSCI, VPC 서비스 제어로 보안 강화

글로벌 투자 커뮤니티에 중요한 의사 결정 지원 도구 및 서비스를 제공하기로 유명한 MSCI는 클라우드 기술을 단순한 인프라로 사용하지 않습니다. MSCI에 클라우드 기술은 혁신 추진에 필수적인 프레임워크입니다.

MSCI는 2022년부터 Google Cloud와 협력하여 민첩하고 확장 가능하고 안전한 컴퓨팅을 구현하려고 최선을 다해왔습니다. Compute Engine, BigQuery, Kubernetes Engine 등 여러 서비스를 세심하게 조정하여 혼합한 MSCI의 Google Cloud 환경은 첨단 기술에 대한 MSCI의 헌신에서 비롯되었습니다.

민감한 정보를 보호하면서도 클라우드 확장성의 이점을 활용하기 위해 MSCI는 VPC-SC로 전환했습니다. 이러한 결정은 데이터의 민감성뿐만 아니라 여러 수준에서 데이터를 보호하는 심층 방어 구현이 필요하다는 요구사항에 따른 결과였습니다. 엄격한 이그레스 및 인그레스 제어를 통해 VPC-SC는 Google의 클라우드 중심 제어(IAM, 방화벽 등)에 더하여 추가적인 방어 계층을 MSCI에 제공했습니다. 그러나 MSCI의 경우 비공개 IP를 사용해 서브네트워크 수준에서 액세스 권한을 세분화해야 한다는 특별한 요구사항이 있었습니다.

MSCI 클라우드 엔지니어링 부문 전무이사 Sandesh D’Souza는 “새롭게 구현된 VPC 비공개 주소 지원 기능을 통해 MSCI는 정확한 조건을 정의하여 VPC 네트워크 내에서 특정 비공개 IP 범위의 보호된 리소스에만 액세스하도록 허용할 수 있게 되었습니다. 이러한 혁신의 결과, MSCI의 보안 구성을 더욱 상세화했습니다. 이 맞춤 솔루션은 특히 비공개 IP 관리 지원 부분에서 조직 보안 저장소의 핵심적인 추가 기능으로 부상했으며, 계획 및 협업 솔루션 빌드와 부합될 때 클라우드 기술의 잠재력이 얼마나 대단한지 보여 주었습니다."라고 말했습니다.

다음 단계

VPC 서비스 제어는 대부분의 Google Cloud 고객을 위한 기본적인 보안 제어입니다. Google Cloud는 비공개 IP 지원을 통해 보다 세분화된 제어를 제공하여 각 고객의 정확한 니즈를 보다 잘 충족할 수 있습니다. 프로덕션 환경에 배포하기 전에 최근 출시된 VPC-SC 테스트 실행 모드를 사용하여 구성을 확인해 보세요. VPC 서비스 제어를 처음 접하는 고객이라면 제품 문서와 개요 동영상을 검토하시는 것이 좋습니다.

Deutsche Bank가 Google Cloud에 새로운 소매 데이터 플랫폼을 구축한 방법

Toyota, 오버드라이브로 전환: 제조 효율성 개선을 위한 AI Platform 개발

Thu, 16 Jan 2025 04:38:00 +0000

* 본 아티클의 원문은 2024년 12월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

현재 자동차 업계는 CASE, 즉 커넥티드 카(Conneted Car), 자동화된 자율 주행(Autonomous and Automated Driving), 공유 차량(Shared Mobility), 전동화(Electrification)를 화두로 대변혁의 시대를 마주하고 있습니다. 그 여파로 제조업체들은 효율성을 끌어올리고, 제조 공정을 자동화하고, 품질을 개선하는 데 더욱 매진해야 하는 상황이 되었습니다. AI는 이러한 발전을 가능하게 하는 강력한 도구로 주목받고 있습니다. 이렇듯 역동적인 환경 속에서 Toyota는 공장 직원이 핵심 사용 사례를 아우르는 머신러닝 모델을 개발하고 배포할 수 있도록 뒷받침하는 혁신적인 AI Platform을 구축하고자 했고, 이를 위해 Google Cloud의 AI 인프라를 활용하기로 했습니다.

Toyota의 명성 높은 생산 시스템인 Toyota 생산 방식(TPS)은 (사람의 손길을 더한) '지도카'(자동화)와 재고 관리의 '적시성'을 원칙을 토대로 제조 효율성 방면에서 오랜 시간 동안 업계의 절대적인 표준이었습니다. 하지만 이 시스템에는 통상적인 자동화에 맞지 않는 부분이 있었습니다.

Toyota는 2018년부터 내부적으로 AI를 사용해 보기 시작했습니다. 하지만 AI 개발에 필요한 전문성을 갖춘 직원이 부족해 다방면에서 AI의 사용을 장려하는 데 병목 현상이 발생했습니다. 이러한 어려움을 극복하기 위해 2022년 Toyota의 생산 디지털 혁신 부서는 공장 내에서 AI 개발을 범용화하겠다는 임무에 착수했습니다.

목표는 공장 직원이 AI 전문성과 관계없이 머신러닝 모델을 손쉽게 만들 수 있도록 지원하는 AI Platform을 구축하는 것이었습니다. 이렇게 하면 노동 집약적인 수동 작업을 자동화하여 프로세스를 최적화하고, 다른 생산 영역에 AI를 구현하고, 데이터에 기반하여 의사 결정을 내리는 등 직원들이 더 가치 있는 일에 집중할 수 있습니다.

AI Platform은 Toyota가 개발하고 있는 AI 기술을 포괄적으로 가리키는 용어로, 여기에는 제조 현장에서 손쉽게 학습 모델을 만들 수 있게 하는 웹 애플리케이션, 제조 라인에서 호환되는 장비, 이러한 기술을 지원하는 시스템이 포함됩니다.

올해 초 AI Platform 구현을 마쳤을 당시, 제조 효율성과 프로세스 최적화를 통해 일상 업무에서 연간 최대 10,000시간을 절약할 수 있다는 사실을 알게 되었습니다.

이와 같은 전사적인 이니셔티브를 위해, 관련 노하우를 축적할 수 있도록 사내에서 개발을 진행했습니다. 또한 개발을 가속화하고 AI 배포 기회를 확장하기 위해서는 항상 최신 기술에 촉각을 곤두세우고 있어야 했습니다. 무엇보다도 AI 기술을 범용화하여 누구나 사용하기 쉬운 플랫폼을 만드는 일이 정말 중요했습니다. 제조 현장의 직원이 AI를 더 적극적으로 사용할 수 있게 하려면 당연히 이러한 직원의 주도적인 참여가 필요했습니다. 여기에 소프트웨어 엔지니어의 개발 환경을 개선해야 한다는 목표가 더해졌습니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 무료로 사용해 보기'), ('body', <wagtail.rich_text.RichText object at 0x7f8266ffdfa0>), ('btn_text', '무료로 시작하기'), ('href', 'https://console.cloud.google.com/freetrial?redirectPath=/welcome'), ('image', None)])]>

하이브리드 아키텍처로 얻을 수 있는 수많은 이점

Toyota는 AI Platform을 강화하기 위해 온프레미스 인프라와 클라우드 컴퓨팅을 결합한 하이브리드 아키텍처를 선택했습니다.

첫 번째 목표는 민첩한 개발 환경의 조성이었습니다. 하이브리드 클라우드 환경에 마이크로서비스 기반 아키텍처와 애자일 개발 방법론을 적용하여 강력한 보안을 유지하면서도 새로운 기능을 빠르게 반복하고 배포할 수 있었습니다. 마이크로서비스 아키텍처로 전환하게 된 계기는 서비스와 라이브러리의 변화에 유연하게 대응할 필요가 있다고 판단했기 때문입니다. 이러한 전환의 일환으로 팀에서는 몇 주 단위의 짧은 주기로 기능을 점진적으로 출시하는 'SCRUM'이라는 개발 방식을 도입했고, 그 결과 워크플로를 간소화할 수 있었습니다.

보안을 목적으로 온프레미스에만 머신러닝 시스템을 개발했다면, 새로운 기능이나 라이브러리를 추가할 때마다 종속 항목을 비롯한 대규모의 미들웨어에 보안 점검을 시행해야 했을 것입니다. 하지만 하이브리드 클라우드를 사용하면 높은 수준의 보안을 유지하면서도 복잡한 대용량 컨테이너 이미지를 빠르게 구축할 수 있습니다.

두 번째 목표는 리소스의 효율적인 사용이었습니다. 이제 AI 모델이 만들어지는 제조 현장에서도 엄격한 비용 효율성 요건을 충족해야 하는 상황입니다.

하이브리드 클라우드 접근 방식을 사용하면 일상적인 운영에는 온프레미스 리소스를 사용하고 수요가 높을 때는 클라우드로 확장할 수 있기 때문에 GPU 사용에 따른 비용을 줄이고 성능을 최적화할 수 있습니다. 뿐만 아니라 향후 AI Platform 사용자가 증가할 경우에도 유연하게 대처할 수 있습니다.

하이브리드 클라우드 도입은 설비 투자에 드는 비용을 절약하는 데에도 도움이 됩니다. Toyota는 용량 확장에 클라우드를 활용하면서 광범위한 온프레미스 하드웨어 투자의 필요성을 최소화할 수 있었습니다. 기존의 온프레미스 환경에서는 모든 공장에 GPU가 있는 고성능 서버를 마련해야 했습니다. 하이브리드 클라우드를 사용하면 공장에 필요한 온프레미스 서버 수를 하나로 줄일 수 있을 뿐 아니라 클라우드를 사용해 필요할 때마다 추가적인 처리 용량을 지원할 수 있습니다. 하이브리드 클라우드의 '필요할 때만 리소스를 사용'한다는 개념은 Toyota의 '적시성' 원칙에도 부합합니다.

Toyota가 Google Cloud AI Hypercomputer를 선택한 이유

Toyota는 여러 가지 요인을 고려하여 AI Platform의 하이브리드 아키텍처 개발을 위한 클라우드 파트너를 선정했고, 최종적으로 Google Cloud를 선택하게 되었습니다.

첫 번째 요인은 GPU 사용의 유연성입니다. 하나의 유닛에서 고성능 GPU를 사용할 수 있을 뿐 아니라, 멀티 인스턴스 GPU 및 시간 공유 GPU 같은 Google Cloud만의 기능을 갖춘 A2 VM도 사용할 수 있습니다. 이러한 유연성은 유휴 컴퓨팅 리소스를 줄이고 비용을 최적화하며, 적은 수의 GPU로 머신러닝을 더 많이 학습시킬 수 있어 주어진 시간 동안 더 높은 비즈니스 가치를 창출하게 됩니다. 이에 더해 동적 워크로드 스케줄러로 GPU 리소스를 효율적으로 관리하고 예약할 수 있기 때문에 운영 비용 최적화에도 도움이 됩니다.

다음 요인은 사용 편의성입니다. 앞으로 여러 리전에 더 많은 GPU 리소스가 필요할 것으로 예상합니다. Google Cloud를 사용하면 단일 VPC를 통해 GPU 리소스를 관리하면서 네트워크 복잡성을 피할 수 있습니다. 배포할 시스템을 고려하는 과정에서 이와 같은 역량을 갖춘 유일한 서비스가 바로 Google Cloud였습니다.

빌드 및 처리 속도 역시 큰 장점으로 다가왔습니다. 특히 Google Kubernetes Engine(GKE)과 Autopilot, 이미지 스트리밍의 유연성과 속도 덕분에 비용 효율성이 개선되어 운영 부담이 줄어듭니다. 시스템 평가 프로세스에서 컨테이너화의 통신 속도를 측정한 결과, Google Cloud가 기존의 다른 서비스보다 0부터 확장하는 속도가 4배 더 빠른 것으로 나타났습니다. Toyota는 학습 모델을 만들 때 최대 10,000개의 이미지를 사용하기 때문에 통신 및 처리 속도가 굉장히 중요합니다. 사내에서 AI 기술 개발을 처음 시작했을 때 유연한 시스템 확장과 운영 측면에서 어려움을 겪었습니다. 이 점에서도 Google Cloud는 탁월한 선택이었습니다.

대규모 개발을 6명으로 1.5년 만에 완료

Google Cloud 덕분에 개발자 6명으로 구성된 소규모 팀으로 놀라운 성과를 거둘 수 있었습니다. AI Platform을 성공적으로 구축하고 배포하기까지 걸린 시간은 Toyota에서 일반적인 시스템 개발 프로젝트에 드는 시간의 절반 수준이었습니다. 개발 시간을 줄일 수 있었던 이유는 Google Cloud의 사용자 친화적인 도구와 협업 방식이 Toyota의 자동화 중심 문화와 잘 맞아떨어졌기 때문입니다.

Google Cloud를 선택하고 나서, Google Cloud팀과 함께 아키텍처에 대한 논의를 시작했습니다. 그런 다음 클라우드 리프트를 위해 웹 앱 아키텍처를 수정하고, 하이브리드 클라우드를 구축하고, 회사 내의 인적 자원을 개발하는 동시에 '기술의 내재화(새로운 노하우을 얻고 축적하는 과정)'를 위해 기술을 함양하는 데 착수했습니다. 구현 과정에서는 워크로드를 온프레미스 아키텍처와 클라우드 아키텍처로 나누고, 통신 및 리소스를 모니터링할 수 있도록 권장사항을 시행했습니다. CI/CD 파이프라인과 이미지 데이터를 클라우드에 마이그레이션하는 작업도 함께 진행했습니다. 클라우드에서 구축을 진행하고 온프레미스에서 이미지를 캐싱함으로써 빠른 시작과 유연한 운영을 실현할 수 있었습니다.

Google Cloud 제품의 개발 편의성 외에도, 문화적 요인 역시 이 프로젝트의 성공에 크게 기여했습니다. 제조 공정을 최대한 자동화하겠다는 Toyota의 목표는 Google의 사이트 안정성 엔지니어링(SRE) 개념과 부합합니다. 같은 목적의식을 공유하고 있던 셈입니다.

현재, 하이브리드 클라우드 환경에서 온프레미스에 GKE Enterprise 클러스터를 배포하고 이를 Google Cloud의 GKE 클러스터에 연결하고 있습니다. AI Platform과 웹 앱을 개발할 때는 Git CI 트리거를 사용해 Cloud Build를 실행하고, Artifact Registry와 컨테이너 분석을 사용해 컨테이너 이미지 취약점을 확인하고, Binary Authorization으로 안전한 환경을 마련했습니다. 제조 현장에서는 정형 데이터(수치 데이터 등)와 비정형 데이터(이미지 등)를 웹 앱을 통해 GKE에 배포하며, NVIDIA T4 GPU가 장착된 N1 VM과 NVIDIA A100 GPU가 장착된 A2 VM에 학습 모델을 만듭니다.

AI Platform 운영을 통해 놀라운 성과 달성

이 운영 구조를 통해 Toyota는 놀라운 성과를 달성할 수 있었습니다.

개발자 환경 개선: 먼저 개발 환경 면에서는 작업의 대기 시간과 운영 및 보안 관련 부담이 줄어들어 개발에 더 중요한 부분에 집중할 수 있게 되었습니다.

사용자 도입률 증가: Toyota의 AI Platform을 사용하는 제조 현장 또한 늘어났습니다. 학습 모델을 만드는 데는 보통 짧으면 10~15분, 길면 최대 10시간이 소요됩니다. GKE의 이미지 스트리밍은 포드 초기화를 간소화하고 학습 속도를 높여 주기 때문에 학습 모델을 만드는 데 드는 시간을 20% 줄일 수 있습니다. 이와 같은 개선으로 제조 현장의 사용자 경험(UX)에도 긍정적인 영향을 미치게 되어 사용자 수가 대폭 증가하는 결과로 이어졌습니다. 자연스럽게 제조 현장에서 만들어지는 모델의 수도 2023년 8,000개에서 2024년 10,000개로 꾸준히 증가하고 있습니다. 이 기술이 광범위하게 도입되면서 실제 제조 공정에서 연간 약 10,000시간에 달하는 공수가 줄어들어 효율성과 생산성이 최적화되었습니다.

영향력 확대: AI Platform은 이미 Toyota의 모든 차량과 유닛 제조 공장(총 10개 공장)에서 사용되고 있으며, 그 적용 범위가 점점 넓어지고 있습니다. 다카오카시에 있는 공장에서는 AI Platform을 사용하여 완성된 부품을 점검하는 것은 물론, 제조 공정에서 뒷문에 유리를 붙이는 데 사용되는 접착제 도포를 점검하고, 범퍼와 기타 부품 제조에 사용되는 사출 성형 기계의 이상을 감지하기도 합니다. 한편 회사 내 활성 사용자 수는 약 1,200명으로 늘어났으며 400명이 넘는 직원들이 매년 사내 교육 프로그램에 참여하고 있습니다.

최근에는 다른 부서의 개발 담당자들이 Google Cloud에 관심을 갖고 제가 속한 개발팀에 합류하는 경우도 있었습니다. 뿐만 아니라, 이 프로젝트는 회사 내에 전례 없는 전환을 촉발하기도 했습니다. 클라우드 기술 자체에 대한 반감이 사라지면서 다른 부서에서도 이 기술을 도입하려는 움직임이 보이고 있습니다.

생성형 AI를 중심으로 생산성 향상에 Cloud Workstations 활용

팀에서는 AI Platform에 더 세부적인 감지 기준을 설정할 수 있는 AI 모델을 개발하여 자동화된 선별 프로세스에 이 모델을 구현하고, 생산 라인 전체의 유지보수와 예측 관리에 사용할 계획입니다. 또한 AI Platform에 수집된 빅데이터를 기반으로 Toyota만의 인프라 모델을 개발 중이며, 앞으로 AI Platform을 더 적극적으로 사용할 예정입니다. 현재 개발팀에서 제조 현장의 업무 기록과 의견을 수집 중이며, 곧 생성형 AI를 활용하게 될 것이라고 예상합니다. 예를 들어, 팀에서는 그동안 데이터 부족으로 어려움이 있었던 생산 준비 단계에서 머신러닝을 테스트하기 위한 이미지를 만드는 데 AI의 사용을 고려하고 있습니다. 이에 더해, 개발자 환경 개선을 위해 Gemini Code Assist를 사용하거나 기존 지식을 검색 증강 생성(RAG)으로 변환하고 추천 기능을 구현할 수 있도록 Gemini를 사용하는 방법도 고려하고 있습니다. 2024년 3월에는 Google Cloud의 Tech Acceleration 프로그램(TAP)에 참여하고 Cloud Workstations를 구현했습니다. 이는 관리형 서비스를 사용해 효율성을 개선하고, 워크로드를 줄이고, 더 편리한 업무 환경을 조성하고자 하는 Toyota의 목표를 달성하기 위한 것이기도 합니다.

제조 현장에서 주도한 이 프로젝트를 통해 Toyota는 누구나 손쉽게 AI 학습 모델을 만들고 활용할 수 있는 '제조의 새로운 방식'을 확립했으며, 회사의 비즈니스 영향력이 크게 증가했습니다. 이 모든 것은 Google Cloud의 최첨단 기술과 서비스 덕분에 가능했습니다.

생산 라인의 '지도카'(자동화) 및 '적시성' 원칙과 마찬가지로, AI Platform은 이제 Toyota의 제조 운영에 필수적인 요소로 자리 잡았습니다. Toyota는 Google Cloud를 활용해 더 좋은 자동차를 만들기 위한 노력을 계속해 나갈 것입니다.

Shopify에서 실시간 ML로 소비자 검색 의도를 개선한 방법

Wed, 15 Jan 2025 15:53:00 +0000

* 본 아티클의 원문은 2024년 10월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

빠르게 변화하는 상거래 환경 속에서 Shopify 판매자는 잠재고객에게 관련성 높은 제품을 원활하고 안정적으로 제공할 수 있는 Shopify 플랫폼의 이점을 십분 활용하고 있습니다. 풍부하고 직관적인 검색 경험은 Shopify 서비스의 핵심입니다.

지난 한 해 동안 Shopify는 판매자의 오프라인 매장에 AI 기반 검색 기능을 통합했습니다. Shopify의 오프라인 매장 검색 기능은 소비자의 온라인 쇼핑 방식을 혁신했습니다. 특히 시맨틱 검색을 활용해 키워드 검색을 넘어 소비자 검색 이면의 의도를 더 깊이 이해하면서 가장 관련성 높은 제품을 검색 결과로 제공할 수 있었습니다.

그 결과, 판매자는 매출을 높이고 소비자는 더 나은 상호작용 경험을 누리면서 모두에게 이익이 되었습니다.

실시간 임베딩을 사용한 ML 애셋 구축

비슷한 시기에 Shopify는 기반이 되는 머신러닝(ML) 애셋을 생성하는 데 투자하기 시작했습니다. 이 애셋은 ML 기본 요소의 공유 저장소 형태로 구축되며, 보다 정교한 AI 시스템을 개발하는 빌딩 블록으로 재사용됩니다. Shopify 오프라인 매장 검색은 이러한 ML 애셋을 활용한 최적의 사용 사례입니다. 이와 같은 복잡한 시스템에는 텍스트와 이미지를 모두 처리 가능한 데이터 형식으로 변환할 수 있는 기본 요소가 필요합니다.

그렇다면 어떻게 해야 할까요?

텍스트 콘텐츠와 시각적 콘텐츠를 고차원 공간에서 수치형 벡터로 변환하는 임베딩을 활용하면 됩니다. 이 변환을 통해 텍스트나 이미지 등 서로 다른 콘텐츠 간의 유사성을 측정할 수 있어 보다 정확하고 맥락적으로 관련성 높은 검색 결과를 얻을 수 있습니다.

임베딩을 사용하여 검색 텍스트를 결과 코퍼스와 비교하는 간단한 예시

Shopify 오프라인 매장 검색에 사용되는 ML 기본 요소를 명확하게 이해했으니 이제 이러한 임베딩 업데이트를 시스템에 보내는 방식을 살펴보겠습니다.

ML 추론 스트리밍 파이프라인 설계

현재 Shopify는 이미지 및 텍스트 파이프라인 전반에서 초당 약 2,500개의 임베딩(하루 약 2억 1,600만 개)을 거의 실시간으로 처리하고 있습니다. 이러한 임베딩에는 판매자의 순 신규 콘텐츠와 업데이트된 콘텐츠가 포함됩니다. 데이터 플랫폼 인프라 대부분이 BigQuery에서 설계되었으므로 Google Cloud의 스트리밍 분석 서비스인 Dataflow를 사용하여 이러한 파이프라인을 구동합니다. Dataflow의 기본 스트리밍 기능, 전체 Google Cloud 생태계와의 간편한 통합, 끊임없이 진화하는 AI 및 데이터 니즈에 맞춘 확장 가능성이 Dataflow를 선택한 이유입니다.

이 설계의 전반적인 아키텍처는 꽤 단순합니다. 이미지 임베딩 스트리밍 파이프라인을 예로 들어 살펴보겠습니다.

시작 시 임베딩 모델이 로드됩니다.
파이프라인은 판매자 웹사이트에서 이미지가 생성되거나 수정되었음을 알리는 입력 이벤트 주제의 새 이벤트를 리슨합니다.
추론 실행 전에 새 이벤트가 사전 처리됩니다.

이미지를 작업자 머신에 다운로드합니다.
메모리에 이미지를 로드합니다.
이미지 크기를 조정합니다.

다음으로 이미지에 해당하는 임베딩 벡터가 생성됩니다.
임베딩에 최종 후처리가 적용됩니다.
임베딩이 작성되는 위치는 다음과 같습니다.

오프라인 분석을 위한 데이터 웨어하우스(보고서, 대시보드)
다운스트림 실시간 수집을 위한 출력 이벤트 주제(Shopify 오프라인 매장 검색)

Shopify가 더 단순한 일괄 처리 솔루션 대신 실시간에 가까운 임베딩을 선택한 이유가 궁금하실지도 모릅니다. 왜 파이프라인의 복잡성이 커질 수 있는 선택을 했을까요? 판매자와 고객은 Shopify 플랫폼에서 매끄러운 경험을 기대합니다. 판매자는 제품을 수정하거나 새로운 이미지를 업로드하는 즉시 이러한 업데이트가 웹사이트에 반영되길 바랍니다. 게다가 Shopify의 궁극적인 목적은 판매자의 매출을 높이면서 소비자에게 만족스러운 상호작용이 이루어지는 환경을 제공하는 것입니다. Shopify에서 조사한 결과에 따르면, 스트리밍 파이프라인을 통해 최신 임베딩을 유지할 때 일괄 처리 솔루션과 비교해 복잡성은 더 커지지만 앞서 설명한 목표에 맞는 최적화가 가능합니다.

스트리밍 파이프라인 유지보수에 따른 과제

스트리밍 파이프라인의 유지보수는 실제로 꽤 까다롭습니다. 여기에 GPU 가속 추론을 추가하면 더 복잡해집니다. 결과적으로 비용, 처리량, 지연 시간 사이에서 의미 있는 균형점을 계속 찾기 위해 몇 가지 기술 관련 결정을 내려야 했습니다. 그중 몇 가지를 소개합니다.

1. 메모리 내 데이터 관리이미지 임베딩 파이프라인을 배포할 때 가장 처음 선택한 Dataflow 기반 작업자 머신은 NVIDIA T4 GPU가 탑재된 n1-standard-16이었습니다. 그러나 메모리 부족(OOM) 오류가 발생하기 시작했습니다. 이미지가 소모하는 상당량의 메모리를 고려할 때 자연스러운 일이었습니다.

첫 번째 해결책은 작업자의 메모리 확장이었습니다. 그래서 n1-highmem-16 머신으로 전환해 작업자 메모리를 60GB에서 104GB로 확장했습니다. 이 방법은 한동안 효과적이었으나 비용이 14% 증가하는 결과를 낳았습니다. 결국 보다 나은 장기적 해결책이 필요했습니다.

이후 Dataflow 내부 구조를 더 잘 파악하기 위한 여정이 시작되었습니다. Dataflow의 Python Runner는 작업자의 하드웨어 활용도를 극대화하기 위해 일반적으로 머신에서 코어당 하나의 프로세스를 생성합니다. 따라서 n1-highmem-16 머신에서 병렬 처리 수를 최대화하면 16개의 프로세스를 실행할 수 있습니다. 그뿐 아니라 동시 실행을 늘리기 위해 이러한 각 프로세스는 기본적으로 12개의 스레드를 생성하며 각 스레드에는 추론을 실행하기 위한 요소가 할당됩니다.

즉, 16개의 프로세스가 실행될 때 동시에 요소를 처리하는 스레드가 16x12 = 192개가 됩니다. 이는 메모리에서 대략 192개의 이미지가 동시 실행된다는 의미로 해석됩니다. 실제로 요소가 번들로 묶이는 경우를 고려하면 조금 더 복잡해지지만 여기서는 다루지 않겠습니다.

다행히 Dataflow Runner를 사용하면 number_of_worker_harness_threads를 설정하여 스레드 수를 제어할 수 있습니다. 간단한 계산만으로도 스레드 수를 4개로 줄이면 이론상 메모리 사용량이 3배 감소한다고 예측할 수 있었습니다(예: 4x16 = 64개 스레드, 192/64 = 3). 스레드 수를 줄이면 자연스럽게 동시 실행이 적어져서 파이프라인의 전처리 단계 처리량이 감소합니다. 하지만 이 파이프라인은 이미 GPU에 의해 처리량이 제한되고 있기 때문에 GPU로 처리 가능한 수준을 초과해 이미지를 축적하고 있었으며 결과적으로 스레드 수 감소는 추론 단계의 처리량에는 큰 영향을 미치지 않았습니다.

이 변화는 어떤 결과를 가져왔을까요? 이전에는 고메모리 머신의 최대 메모리 용량이 항상 104GB를 상회했습니다. 이 변화 이후에는 메모리 사용량이 약 2.6배 줄어든 40GB에 가까워졌습니다. 결과적으로 n1-standard-16 머신으로 다시 전환해 추가된 14%의 비용을 절감할 수 있었습니다.

2. 메모리에서 모델 관리Apache Beam은 일괄 파이프라인 또는 스트리밍 파이프라인에서 추론을 실행하기 위한 두 가지 개념을 제공합니다.

ModelHandler: 추론에 사용될 ML 모델을 정의합니다.
RunInference: ModelHandler를 기반으로 임베딩을 생성하는 변환입니다.

기본적으로 작업자의 각 프로세스는 GPU에 임베딩 모델의 자체 인스턴스를 로드합니다. 앞서 설명한 것처럼 n1-standard-16을 사용하고 있기 때문에 모델은 GPU의 메모리에 16번 로드되고 있었습니다. 이 경우 더 많은 모델 인스턴스가 동시 로드로 실행될 수 있어 처리량은 물론 메모리 소비량도 높아지게 됩니다.

처음에는 모델이 메모리에 로드되는 방식을 제어할 수 있는지 판단하여 모델의 메모리 사용량을 줄이는 방안을 살펴봤습니다. 가장 직관적인 해결책은 ModelHandler가 프로세스 전반에 모델을 공유 프로세스 전반에 모델을 공유 (share_model_across_processes)하도록 설정하는 것입니다.

code_block: <ListValue: [StructValue([('code', 'class MyModelHandler(ModelHandler):\r\n ...\r\n\r\n def share_model_across_processes(self) -> bool:\r\n return True'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f82918be610>)])]>

이렇게 하면 모델이 공유 프로세스에 한 번만 로드되고 VM 기반 Pythorn 프로세스는 이 모델을 쿼리하여 추론을 수행합니다.

이 해결책은 메모리 소비량을 크게 줄이지만 병렬 처리 수 감소로 인해 처리량도 현저하게 줄어듭니다. 처리량 감소로 인해 이 접근 방식은 포기했습니다.

또 다른 해결책으로 작업자별로 생성되는 Python 프로세스 수를 제어하는 방안을 생각해 냈지만 현재로서는 실현 가능하지 않습니다. 유일한 해결책은 experiments=no_use_multiple_sdk_containers를 사용 설정하여 강제로 Dataflow Runner가 작업자당 하나의 프로세스만 생성하도록 하는 것입니다. 하지만, 이에 따라 처리량이 크게 감소하기 때문에 이 해결책을 선택하지 않았습니다.

결과적으로, 임베딩 모델의 규모는 추가적인 메모리 최적화가 필요하지 않을 만큼 작기 때문에 Dataflow의 기본 설정을 유지하기로 했습니다.

3. 일괄 처리일반적으로 CPU 활용도가 80%를 넘으면 스래싱 (thrashing)이 발생할 수 있어 피하는 것이 좋지만 GPU는 활용도가 100%에 가까울수록 이상적입니다. 처음 들었다면 놀라셨을지도 모릅니다. 이는 GPU 스트리밍 멀티 프로세서(SM)는 스레드 간 전환 비용이 거의 없기 때문입니다.

GPU의 높은 처리량으로 인해 호스트(CPU)와 기기(GPU) 간 데이터 전송이 스트리밍 데이터 파이프라인의 병목 현상을 일으키는 경우가 대부분입니다. 실제로는 GPU의 전역 메모리와 커널을 실행하는 SM 간 데이터 전송도 병목 현상을 일으키는 주요 요소이지만 이 블로그 글에서는 다루지 않습니다. 이때 일괄 처리는 작업자 GPU를 최대한 활용하는 데 중요한 역할을 합니다.

다행히도 Apache Beam은 스트리밍 파이프라인에서 데이터를 일괄 처리할 수 있는 유용한 시맨틱스를 제공합니다. ModelHandler에서 batch_element_kwargs 메서드를 재정의하여 GPU에 전송할 원하는 일괄 처리를 정의할 수 있었습니다.

code_block: <ListValue: [StructValue([('code', "class MyModelHander(ModelHandler):\r\n ...\r\n\r\n def batch_elements_kwargs(self) -> Dict[str, Any]:\r\n return {\r\n 'min_batch_size': 1,\r\n 'max_batch_size': 5,\r\n }"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f82918be4c0>)])]>

아직 문제가 해결되기에는 이릅니다.

여전히 GPU로 전송되는 일괄 처리의 크기가 1입니다. 어떻게 된 걸까요?

RunInference는 일괄 처리를 수행하기 위해 내부적으로 BatchElements 변환을 사용합니다. 기본적으로 데이터를 일괄 처리하는 두 가지 방법이 있습니다. 데이터 일괄 처리를 기존 번들 내에서 시도하거나 스테이트풀(Stateful) 구현을 사용해 번들 전반에서 시도할 수 있습니다.

번들은 병렬 처리를 관리하기 위한 Dataflow 개념입니다. 기본적으로 함께 처리되는 요소의 모음을 번들이라고 합니다. 번들은 Dataflow Runner에 의해 결정되며 사용자가 직접 제어할 수 없습니다.

이 사례에서는 파이프라인의 입력 주제의 급증으로 인해 요소가 번들 1에 구성되고 있었습니다. 즉 Dataflow는 의미 있는 방식으로 요소를 일괄 처리할 수 없었습니다. 한편 max_batch_duration_secs를 추가하면 스테이트풀(Stateful) 일괄 처리 시 사용자가 원하는 일괄 처리 크기를 보장하려고 하지만 지연 시간이 늘어납니다. 이 문제는 주로 Dataflow Runner가 셔플을 강제하기 때문에 발생합니다.

결국 앞서 설명한 것처럼 Dataflow가 프로세스별로 모델 인스턴스를 로드하는 구조 때문에 GPU를 최대한 활용할 수 있습니다. 이 방식은 호스트(CPU)와 기기(GPU) 간에 데이터 전송 수가 늘어나는 것을 상쇄할 수 있을 만큼 충분한 병렬 처리를 생성합니다. 결과적으로, 지연 비용이 너무 높아 번들 내 일괄 처리 옵션을 유지하기로 했습니다. 지금도 이 분야의 권장사항을 찾기 위해 열심히 연구하는 중입니다.

결론

Shopify의 실시간 임베딩 파이프라인은 중앙화된 ML 애셋으로 텍스트 및 이미지 임베딩을 전송하며, 혁신을 지원하는 강력한 빌딩 블록으로서 멋진 신제품을 구축하는 기반이 됩니다. 시맨틱 검색은 그중 하나의 예시일 뿐입니다. 현재 Shopify는 사내 여러 팀과 협업하면서 해결할 가치가 있는 문제와 이를 해결하기 위해 구축할 수 있는 중앙화된 ML 애셋을 계속 모색하고 있습니다.

다음 단계

Shopify의 머신러닝에 대해 자세히 알아보고 싶으신가요? Shopify의 Building Shopify Inbox’s Message Classification Model 블로그 글을 확인해 보세요.

Dataflow ML 사용을 시작하고 싶으신가요? 이 문서를 확인해 보세요.

카카오의 AI 모델 ‘카나나’, 구글 클라우드 TPU로 남들과 다른 길을 걷게 된 이야기

Tue, 14 Jan 2025 00:00:00 +0000

카카오가 ‘카나나(Kanana)’라는 이름으로 통합 AI브랜드를 새롭게 선보였습니다. 생성형 AI를 비롯해 카카오가 직접 개발하고 운영하는 인공지능 서비스와 모델 등을 카나나라는 이름으로 정의하는 밑그림입니다. 카카오는 우리나라에서 가장 많은 사람들이 쓰는 서비스를 보유하고 있기 때문에 인공지능이 맞물려서 만들어낼 수 있는 가치가 많습니다.

인공지능을 통한 새로운 카카오의 경험을 보여주려면 그에 걸맞는 고성능 모델이 필요합니다. 카카오는 GPU 뿐 아니라 구글 클라우드의 TPU를 함께 이용해서 많은 문제들을 효과적으로 잘 풀어내고 있습니다. 최신 TPU v6e aka. TPU Trillium까지 적용해 거대 모델을 빠르게 구축한 것도 눈여겨 볼 부분입니다.

물론 TPU의 적용은 강점 만큼이나 생각할 부분도 많습니다. 카나나 모델을 만든 카카오의 라이언(류민호), 스티브(안재현) 두 AI 엔지니어와 나눈 TPU 속 진짜 이야기를 들어볼까요?

#얼마 전 if(kakaoAI)2024에서 통합 AI 모델 ‘카나나(Kanana)’가 주목을 받았습니다. 카카오는 오래 전부터 인공지능에 진심이었고, 아예 인공지능 중심의 공동체를 운영하면서 언어 모델이나 이미지 생성 AI에 공을 들여온 것 같아요.

카나나(Kanana)는 ‘가장 나다운 AI’ 라는 의미를 내포하고 있습니다. 인공지능 서비스는 여러 형태로 우리 일상에 다가오고 있잖아요. 인공지능이 다른 기술보다 더 빠르게 익숙해지는 이유는 사람을 이해하려고 한다는 점에 있어요.

기술이 발전할수록 어쩔 수 없이 어려워지는 부분들이 있습니다. 그 모든 것을 다 따라 배우는 건 부담스러운 일이고요. 언어와 소통이라는 컴퓨팅의 중요한 부분이 생성형 AI를 통해 해소되면서 할 수 있는 일들이 크게 늘어날 거라고 봐요. 서비스 곁에서 이용자들이 하려는 것들을 빠르게 거들어준다면 지금까지 카카오가 펼쳐 온 기술들을 더 넓게 활용할 수 있는 것은 물론이고 앞으로 더 적극적으로 서비스를 고도화할 수 있을 겁니다. 카나나가 사람과 세상을 이해하는 만큼 카카오의 서비스가 더 풍성해지는 것이지요.

#카나나가 이해해야 하는 대화의 범위가 상당히 클 것 같습니다. 범용 서비스에서 이용자들의 의도를 정확히 이해하려면 이를 처리하는 데에 상당한 컴퓨팅 파워가 필요할 텐데, 구글 클라우드와 TPU로 그 문제를 풀어낸 계기는 뭔가요?

구글 클라우드의 TPU(Tensor Processing Unit)는 대규모 언어 모델(LLM)의 학습을 맡았습니다. 대규모 언어 모델의 학습에는 기존 언어 모델에 비하여 대규모의 컴퓨팅 자원이 필요합니다. 카나나 언어 모델은 초기에는 GPU를 통해 개발됐어요. 카나나는 국내에서 카카오 서비스의 경험을 높이면서 글로벌로 영역을 넓히는 것이 목표였기 때문에 영어와 한글을 모두 잘 하도록 만드는 것이 아주 중요했죠. 그렇게 탄생한 모델이 Kanana-Essence-8B 모델이었습니다. 해당 모델(Kanana-Essence-8B)의 자세한 개발과정과 상세한 성능은 카카오 테크 블로그에서 확인할 수 있습니다.

하지만 여전히 모델의 성능을 더 높일 수 있는 방법을 찾아야 했습니다. 그래서 먼저 기존 모델의 레이어를 더 많이 쌓아 올려서 모델 규모를 키우는 방법인 Depth Upscaling(DUS) 방식을 선택했습니다. 특히 DUS 방법을 한 번만 적용하는 것이 아닌 반복적으로 여러 번 적용함으로써 기존 모델보다 훨씬 더 큰 모델을 상대적으로 적은 시스템 자원으로 학습시키는 것이 성능을 끌어올리는 핵심 기술이었습니다.

아래 표는 DUS 방식을 적용해 24.6B 사이즈로 테스트를 진행한 Kanana 모델의 성능입니다. MMLU는 영어 이해, KMMLU는 한국어 이해, HAE-RAE는 한국 문화, GSM8K는 수학 그리고 HumanEval 및 MBPP는 코딩에 대한 벤치마크입니다. Gemma-2-27B 모델과 비교해 Kanana-24.6B (DUS) 모델은 영어 성능을 비슷하게 끌어올리면서 한국어 성능은 훨씬 더 우수한 성능을 보였습니다. 이러한 시도를 거쳐 DUS 방식의 효용성을 검증할 수 있었고, 향후 학습이 완료된 카나나 모델에서는 수학과 코딩 실력을 더 끌어올릴 예정입니다.

추가적으로, 큰 모델을 더 적은 자원을 통해 효율적으로 운영하는 것도 놓칠 수 없었습니다. GPU는 늘 갈증을 남겼지요. 카카오 자체적으로도 여러 인공지능 연구를 위해 GPU를 확보해서 운영하고 있는데 필요한 성능을 넉넉하게 확보하는 것이 쉽지 않았어요. GPU는 늘 부족했고, 병렬 처리로 학습 모델의 규모를 키우는 데에는 GPU의 확장성(scalability)이 걸림돌이라는 생각을 지우기 어려웠습니다. 근본적으로 다른 대안이 필요했습니다. 구글 클라우드의 TPU는 그 답답함을 적절하게 해소해 주었다고 판단하고 있습니다.

자체개발 모델 외에도 각 서비스의 기능에 따라 다양한 AI 모델을 활용할 수 있도록 검증된 오픈 모델에 카카오의 데이터를 학습시켜 CPT 모델을 개발하기도 했습니다. 처음부터 70B 정도의 대규모 모델을 학습시키기 위해서는 엄청난 자원이 필요한데요. 오픈 모델과 TPU v6e를 통해 높은 수준의 한국어 대응이 가능한 모델을 빠르게 확보할 수 있었습니다.

#머신러닝 프레임워크를 바꾸는 건 쉽지 않았을 것 같은데 그 과정은 어땠을까요? GPU에서 하던 일을 그대로 TPU로 넣는 것은 아니잖아요?

네, 사실 GPU와 TPU는 밑바탕이 다르기 때문에 대규모 언어 모델을 설계하는 프레임워크도 완전히 다릅니다. GPU경우에는 GP(General Purpose) GPU이지만, TPU의 경우에는 행렬연산(Matrix multiplication)에 최적화된 머신러닝을 위한 목적으로 설계된 전용 가속기이기 때문입니다. 초기에 카나나 LLM은 자연어 처리에 특화된 Megatron-LM 프레임워크를 기반으로 학습이 이뤄졌어요. Megatron-LM은 오픈소스 프로젝트가 진행중이고, 언어 모델 학습에 대해서는 전 세계의 표준 기술처럼 자리 잡으면서 수많은 경험들이 공유되었어요.

데이터 전처리부터 학습, 추론까지 일련의 과정이 매끄럽게 이뤄져 있다 보니 초기 설계에 대한 부담은 상당히 적었습니다. 당연히 처음 고민은 TPU가 이 Megatron-LM을 대신해 줄 수 있느냐에 있었어요. 구글 클라우드와 그 부분에서 머리를 맞대었고, TPU에서 운영되는 MaxText 기반 프레임워크가 Megatron-LM의 자리를 채울 수 있다는 확신을을 갖을 수 있게 되었습니다.

실제로 모델 생성을 위한 모든 프로세스를 Google 이 제공하는 MaxText로 옮기는 것은 꽤 어려운 일이었지만 결국 원하는 결과를 만들어 낼 수 있었습니다. 기존의 모델과 학습 데이터는 쉽게 변환이 이뤄졌고, 데이터 처리와 학습 알고리즘까지 Megatron-LM과 거의 비슷했습니다.

물론 처음에는 그 다른 부분에 대해서 공부해야 하는 부분이 있습니다. 업무가 바쁘고 가야 할 길이 많은데 자료를 찾고 실제 데이터를 넣어가며 답을 찾아가는 과정이 초반에는 답답하기도 했지만 구글 클라우드의 TPU 전담팀의 기술 지원으로 답을 찾아낼 수 있었어요. 그리고 어느 수준을 넘어가면서 TPU는 전환 과정의 노력에 대한 보상(성능, 가격 등)을 확실히 주더라구요.

#TPU는 낯선 환경인데 흔히 엔지니어들 사이에서는 새롭고 낯선 기술은 모두 장애 요인이라는 우스갯소리가 있어요. TPU도 어떻게 보면 GPU로 다 잘 해 낼 수 있는데 전환에 대한 결정과 설득이 쉽지 않았을 것 같아요.

맞아요. 실제로 연구원들도 낯선 시스템, 프레임워크에 대한 불안함이 있었습니다. ‘TPU로 우리가 하던 일들을 완성할 수 있을까?’라는 막막함인 거죠. 결론부터 말하자면 지금 카나나는 TPU를 바탕으로 아주 빠르게 고도화되는 중이고, TPU가 목표를 달성하는 길을 더 쉽게 만들어 주었다고 말할 수 있어요.

아직 언어 모델을 비롯한 생성형 AI는 컴퓨팅 파워에 영향을 많이 받는데, 일정 수준 이상으로 다룰 수 있게 되면서는 GPU와 TPU를 적절히 판단하고 골라서 쓸 수 있는 기반을 마련했다는 점도 큽니다. 사실 TPU에 대한 부담은 실제 다뤄가면서 많이 사라졌습니다. 오픈소스 프레임워크는 파이토치가 많기 때문에 텐서플로, JAX 기반으로 바꾸는 과정에서 별도의 개발이 따라야 하는 부분도 있기는 합니다. 하지만 필요한 프레임워크들은 대부분 이미 준비가 되어 있었고, 개발 과정이나 기간도 큰 차이는 없었습니다. 결국은 익숙함의 차이일 뿐이라고 봅니다.

#여전히 인공지능이라고 하면 GPU를 먼저 떠올리고 기본 환경도 GPU를 중심으로 짜여 있어요. 단적으로 TPU가 GPU를 대신할 만큼의 강점은 뭔가요?

처음에는 모든 LLM 모델을 TPU v5e로 이전했습니다. 앞서 GPU의 자원 확보에 대한 이야기를 했는데, TPU는 미리 계약한 만큼의 용량(Capacity)를 확실히 보장받을 수 있습니다. 언제라도 필요한 만큼 자원을 끌어다 쓸 수 있다는 얘기죠.

저희가 학습 과정에서 많은 컴퓨팅 자원이 필요했던 것은 결국 모델의 규모를 늘리면서 정확도를 높이기 위해서였어요. 카나나의 LLM은 동일한 레이어를 계속 쌓아서 프리 트레이닝을 하면서 적은 컴퓨팅 자원으로 모델 크기를 키우는 방식인데, TPU는 이에 필요한 성능을 자연스럽게 뽑아내 주었습니다.

당장의 학습 과정에서 효과가 GPU 대비하여 명확하게 드러나기 시작했고, TPU에 익숙해질수록 TPU의 자체의 잠재력을 끌어내기 수월해졌습니다. 특히, TPU는 Jupiter 네트워킹을 통해 수 만 개 칩(Chip)을 유기적인 하나의 덩어리(Physical Pod)로 묶을 수 있어 스케일 아웃에 대한 유연성이 대단했습니다. 사실 GPU는 작은 모델을 다룰 때는 효과가 좋습니다. 하지만 GPU는 GPU가 장착 되어 있는 물리적인 서버단위로 시스템이 묶이는 한계가 있기 때문에 그 한계치인 8개 GPU를 넘어서려면 다른 시스템과 연결해야 합니다.

인피니밴드로 묶는 것도 점점 성능이 좋아지긴 하지만 물리적으로 하나의 시스템 안에 있는 것과 다른 시스템을 묶는 것은 여전히 다릅니다. 그걸 하나하나 튜닝하는 것이 또 많은 경험과 노력이 필요해요. 그리고 혹시라도 GPU가 하나라도 먹통이 되면 전체 시스템으로 그 영향이 옮겨가기도 합니다.

TPU는 최소 256개 부터 수 만 개에 이르는 모든 칩 유닛이 단일 패브릭(Pod)으로 연결되어 있기 때문에 데이터 입출력 과정에서 생기는 병목이 획기적으로 적습니다. 그래서 더 높은 성능이 필요하면 TPU 칩의 수를 더 늘리면 됩니다. 물론 칩의 개수에 완벽하게 100% 비례해서 성능이 높아지는 것은 아니지만 그에 근접하는 확장성을 보여주었어요. 특히 필요한 시스템 자원을 정확히 예측할 수 있다는 점에서는 GPU와 비교할 수 없을 만큼 좋았던 부분입니다.

#TPU의 강점들이 클라우드의 관리형 서비스와 많은 부분에서 비슷해 보이는 것 같네요. 새로 나온 GPU를 제때 구하지 못해서 많은 기업들이 고민을 하고 있잖아요.

맞아요. GPU는 자원 확보 때문에 인하우스에 시스템을 갖추는 경우가 많고, 카카오도 크게 투자해서 학습과 추론 전 과정에 GPU를 활용하고 있는데, 그 유지보수도 만만치 않습니다. 그리고 이 시스템이 상당히 비싼데, 인공지능 시장이 커지면서 GPU의 업데이트가 잦아지고 있어요.

이걸 계속 새 제품으로 바꾸는 것도 부담이 적지 않아요. 그렇다고 기존 GPU를 억지로 끌고 가는 것도 적절한 일이 아니고요. 하지만 TPU는 구글의 딥마인드에서 연구되고, 구글 클라우드에서 운영되기 때문에 관리부터 유지보수에 대한 부담이 없죠.

올해 구글 I/O에서 TPU의 v6e aka. Trillium 업데이트가 예고된 것도 인상적이었습니다. TPU Trillium은 HBM의 용량이나 대역폭이 두 배 늘어나서 256개 칩이 메모리 병목 없이 데이터를 처리합니다. 그래서 자연스럽게 모델이 커져도 성능을 꾸준히 유지할 수 있다는 강점도 뒤따릅니다. 전반적으로 v6e는 v5e에 비해 더 낮은 비용으로 더 많은 일을 해낼 수 있다는 부분이 보였습니다. 구글도 Gemini 2.0을 TPU v6e로 학습했다는 점도 의미가 있고 Trillium이라는 멋진 이름도 마음에 들었어요.

TPU Trillium은 얼마 전에 공개되긴 했지만 저희는 미리 써볼 수 있는 기회를 얻었습니다. 기술적으로 TPU v5e를 TPU Trillium으로 전환하는 것을 늦출 이유가 없죠. 서둘러서 전환을 결정했습니다. 사실 TPU Trillium으로 업그레이드하는 과정은 아주 수월했습니다. 프레임워크와 기본적인 기능들을 그대로 활용할 수 있기 때문에 마치 PC에서 CPU를 바꿔 꽂는 것처럼 모든 과정이 매끄러웠어요.

실제로 적용해 보니 분산 처리를 비롯해 더 큰 규모의 모델을 다룰 수 있을 것이라는 점들이 눈에 보이기 시작했습니다. TPU Trillium은 256개의 유닛이 하나처럼 매끄럽게 병렬 연산을 처리해 냈고 별다른 처리 없이도 곧바로 기존 v5e에 비해 3배 가량 더 높은 성능을 보여줬습니다. 더욱이 TPU Trillium 1개의 Pod(Full Pod, 256 chips)의 성능 이상이 필요하다면, TPU Multi-Slice 를 통해 2개 이상의 Pod 로 확장할 수 있습니다. 더 높은 파라미터를 갖는 대규모 언어 모델의 학습 성능에 맞출 수 있는 것이죠.

생각해 보면 인프라 관리에 대한 고민 없이 TPU의 업데이트 주기에 맞춰 더 나은 모델 학습 환경이 저절로 따라오는 건데요, 이런 수준으로 업데이트가 이어진다고 하면 앞으로의 서비스를 더 여유있게 그려볼 수 있겠다는 기대가 생기더라고요.

#인공지능 서비스의 모델 크기가 커지면서 TPU도 인공지능 서비스를 꾸리는 데에 효과적인 방법으로 자리를 잡아가는 것 같습니다. TPU에 대한 기술적 기대나 관심이 많은데 낯설다는 점 때문에 접근하지 못하는 경우가 많은데 돌아보면 카카오는 일찍부터 TPU와 친하게 지내 온 게 지금까지 이어 온 것 같네요.

TPU는 똑똑하지만 GPU만큼 많은 부분에 두루 쓸 수 있는 환경을 제공하는 건 아닙니다. 그리고 TPU가 GPU를 완전히 대체할 수 있는 것도 아니죠. 이걸 단점으로 볼 게 아니라 TPU가 다른 특성을 갖고 있다고 받아들이는 게 필요하다고 생각해요. TPU는 머신 러닝을 위한 행렬연산(Matrix multiplication)에 최적화되어 있고, TPU가 GPU대비하여 가격 및 성능 관점에서 효율적인 부분이 있습니다. 결국, TPU로 더욱 더 잘 할 수 있는 영역을 잘 파악하는 게 중요한 거죠.

저희 카카오는 지난 TPU v3 시절부터 구글과 함께 경험하면서 TPU의 이러한 특성을 이해하려는 노력을 해 왔었습니다. 돌아보면 카카오브레인(현, 카카오) 시절부터 TPU를 이용해 KoGPT 언어 모델을 개발했고, 이미지 생성 AI인 칼로(Karlo)를 통해 TPU와 멀티모달 데이터셋의 궁합을 고민하기도 했어요. 그 경험들을 통해 TPU의 특성을 이해하기 시작했고, 성능과 개발 환경이 자리를 잡아가는 Trillum(TPU v6e)을 통해서 본격적으로 효과를 보여주는 것 같아요.

그래서 지금은 GPU와 TPU에 적절한 업무를 할당해서 인공지능 모델들을 다룰 수 있게 됐다고 자부합니다. 서비스를 설계할 때 고를 수 있는 선택지가 늘어난 셈이죠. TPU는 아직 낯설고 모두에게 활짝 열려 있는 것은 아니지만 그 강점이 명확하고 점차 그 활용 영역이 넓어질 것이라고 확신합니다.

GPU에 익숙한 환경이라면 TPU는 첫 발을 내딛는 게 어려운 것은 사실입니다. 구글도 적극적으로 기술 지원을 해 주고 있지만 가장 중요한 것은 TPU로 할 수 있는 일을 찾고 효과적인 결과물을 만들어 내겠다는 의지가 아닐까요. TPU가 잘 할 수 있는 일을 찾아내고 적절한 모델을 구성한다면 TPU는 같은 시간 동안 더 높은 생산성과 효율적인 비용이라는 두 마리 토끼를 잡을 수 있는 방법이라고 생각합니다.

우리가 원하는 답을 얻는 데까지 가는 길은 한 가지가 아닙니다. 인공지능 기술 만큼이나 GPU, 뉴럴 프로세서 등 이를 처리하는 하드웨어도 빠르게 바뀌고 있습니다. TPU는 모델을 처리하는 새로운 방법을 제시해 주었고 카나나에 대한 가능성을 폭넓게 바라볼 수 있게 됐습니다. TPU로 학습된 카나나(Kanana)가 본격적으로 서비스되면서 바꾸어 놓을 카카오 서비스들도 지켜봐주세요.

2024 DORA Award 3년 연속 수상, 카카오모빌리티 - DORA Principle를 통해 지속적인 개선과 혁신을 수행

Tue, 05 Nov 2024 15:00:00 +0000

한국의 선도적인 모빌리티 플랫폼을 이끌어가는 카카오모빌리티는 새로운 비즈니스 시장을 확장하기 위한 여정을 시작했습니다. 목표는 탁월한 서비스 안정성과 비용 효율성을 유지하면서 글로벌 확장을 이루는 것입니다. 이 야심찬 목표를 달성하기 위해 카카오모빌리티는 Google Cloud를 믿음직한 동반자로 선택했습니다. 2021년부터 함께한 협업의 성과로, 길안내 서비스등 주요 워크로드의 클라우드 운영측면에서 Google Cloud의 DORA(DevOps Research & Assessment) Principle을 적용해오면서, 드디어 올해 3년 연속 Google Cloud DevOps를 수상하는 쾌거를 이루었습니다.

카카오모빌리티의 과제:

카카오모빌리티는 폭발적인 성장과 증가하는 서비스 수요, 특히 트래픽이 급증하는 시간대를 처리하기 위해 IT 인프라를 현대화해야 하는 과제에 직면했습니다. 글로벌 확장을 가속화하는 동시에 원활한 확장성, 강력한 보안 및 최적화된 비용을 보장하는 솔루션이 필요했습니다.

솔루션:

Google Kubernetes Engine(GKE)의 강력한 기능을 활용하고 DORA 원칙을 수용함으로써 카카오모빌리티는 운영 방식을 혁신했습니다.

앱 업데이트 가속화: GKE는 배포를 간소화하여 더 빠른 앱 업데이트 및 기능 출시를 가능하게 했으며, 사용자 기대와 시장 수요에 발맞춰 나갔습니다.
안정성 향상: 리드 타임 단축 및 변경 실패율 감소로 DORA "Elite" 등급을 달성함으로써 카카오모빌리티는 사용자에게 최고 사용량 기간에도 일관되게 안정적인 서비스를 보장했습니다.
효율성 증대: 개선된 배포 빈도와 신속한 서비스 복원("High" DORA 등급)을 통해 다운타임을 최소화하고 운영 효율성을 극대화했습니다.
비용 최적화: Google Cloud Consulting의 안내에 따라 FinOps 방식을 구현하여 Google Cloud 프로젝트 전반에서 상당한 비용 절감 효과를 얻었으며, 지속 가능한 성장 전략에 기여했습니다.
보안 강화: Google Cloud의 강력한 보안 인프라는 카카오모빌리티의 플랫폼과 사용자 데이터에 안전한 기반을 제공하여 신뢰와 확신을 심어주었습니다.

Google Cloud를 선택한 이유

Google Cloud의 유연한 인프라는 카카오모빌리티의 변동하는 서비스 수요에 맞춰 동적으로 조정되어 원활한 확장성을 보장합니다. 또한 Google Cloud Consulting 서비스팀에서 제공하는 이벤트 관리 서비스(EMS)를 통해 트래픽 급증 시 구글 클라우드 기술 전문가의 안내와 지원을 활용하여 안전망을 확보했습니다. 나아가. FinOps 및 비용 최적화에 대한 귀중한 컨설팅과 결합된 이러한 고급 서비스는 카카오모빌리티가 지속 가능한 혁신을 추진할 수 있도록 도움을 주었습니다.

결과:

카카오모빌리티는 IT 인프라를 성공적으로 현대화하여 서비스 안정성, 확장성 및 비용 효율성을 크게 개선했습니다. 이제 주요 이벤트 기간 동안 대규모 트래픽 급증을 자신 있게 처리하고 새로운 시장으로 서비스를 원활하게 확장할 수 있습니다.

고객 의견:

"Google Cloud는 플랫폼을 현대화하고 글로벌 확장을 가속화하는 데 중요한 역할을 했습니다. FinOps를 통해 상당한 비용 절감 효과를 얻었으며, 서비스의 수익성과 지속 가능성을 보장할 수 있었습니다." - 김잠제(Bread Kim), 카카오모빌리티 DevOps 팀 디렉터/리드

주요 시사점:

Google Cloud는 기업이 IT 인프라를 현대화하고 글로벌 범위를 달성할 수 있도록 지원합니다.
GKE 및 DORA 원칙은 더 빠른 앱 업데이트, 향상된 안정성 및 개선된 효율성을 가능하게 합니다.
Google Cloud Consulting팀에서 제공하는 FinOps 및 비용 최적화 서비스는, 구글 클라우드의 비용효율성 및 안정성을 모두 담보하는 귀중한 전문 지식을 제공하여 지속 가능한 성장을 가능하게 합니다.

HSBC가 인공지능을 사용하여 자금 세탁을 방지하는 방법

Fri, 22 Mar 2024 01:00:00 +0000

*본 아티클의 원문은 2023년 11월 30일 Google Cloud 블로그(영문)에 게재되었습니다.

자금 세탁과 조직범죄는 서로 밀접한 관련이 있는 경우가 많습니다. 범죄자들은 돈의 불법적인 출처를 숨기기 위해 전 세계 GDP의 2~5%, 즉 연간 최대 2조 달러에 달하는 자금을 세탁하는 것으로 추정됩니다. 세계 최대 은행 중 하나인 HSBC는 범죄자들이 이 은행을 통해 자금을 이체하는 것을 방지하기 위해 강력한 보안 조치를 구현하고 있습니다. HSBC는 매월 평균 12억 건이 넘는 거래를 검사하여 금융 범죄의 징후가 있는지 확인합니다.

원래 HSBC는 업계 표준에 따라 규칙 기반 시스템을 사용하여 거래를 분석하고 자금 세탁 징후가 있는지 확인했는데, 이를 위해서는 자동화된 모니터링 시스템을 통해 찾아내야 하는 거래에 대해 파라미터를 설정해야 했습니다. 이후에 신고된 거래를 사례별로 조사해야 했습니다.

그러나 이 획일적인 규칙 기반 접근 방식은 이른바 '거짓양성'이 다수 발생하는 결과로도 이어졌습니다. 거짓양성이란 정상적인 거래가 잘못 신고되는 현상으로, 이런 경우 조사 담당자가 수동으로 검토해야 합니다.

AI를 사용하여 자금 세탁 방지를 재정의

HSBC는 고객 서비스를 개선하고 프로세스의 효율성을 높이는 등 다양한 목적으로 이미 폭넓게 AI를 사용 중이었습니다. 그러나 AI의 잠재력을 더욱 활용하기 위해 Google Cloud와 파트너십을 맺고, 사람의 지시가 없어도 스스로 의심스러운 활동을 감지할 수 있는 AI 솔루션을 개발, 구현하기로 했습니다.

HSBC는 다양한 형태의 자금 세탁에 대한 폭넓은 지식을 바탕으로 방대한 고객 데이터로 자금 세탁 방지 AI(AML AI)를 학습시켜 수동 최적화보다 더 정확하게 의심스러운 활동을 포착하도록 했습니다.

결과는 두말할 필요도 없이 성공적이었습니다.

더 정확한 위험 감지: AML AI는 이전 시스템보다 2~4배 더 많은 의심스러운 활동을 식별하는 동시에 알림 횟수를 60% 줄였습니다.1. 덕분에 조사팀은 진짜로 의심스러운 사례를 검토하는 데 더 많은 시간을 할애할 수 있게 되었고, 결과적으로 기업 은행 운영에서 2배, 개인 은행 부문에서는 거의 4배 더 많은 금융 범죄를 식별할 수 있게 되었습니다.
처리 시간 감소: AML AI의 빠른 속도와 더 정확한 알림 생성 능력 덕분에 더 이상 거짓양성을 조사하는 데 많은 시간을 소비할 필요가 없습니다. 그 결과 이제 훨씬 더 신속하게 의심스러운 계좌를 감지할 수 있게 되어, 조사 시간이 첫 인지 이후 8일로 단축되었습니다. 이는 범죄 악용으로부터 금융 시스템을 보호하는 데 있어 실질적으로 상당한 효과를 발휘하고 있습니다.
범죄자 네트워크 식별: AML AI는 여러 계좌 간에 자금이 빠르게 이동하거나 이전 대비 개인의 활동 패턴이 갑자기 변하는 등 알려진 자금 세탁 행동 패턴을 포착할 수 있습니다. 따라서 의심스러운 개인뿐만 아니라, 자금 세탁을 위해 조직적으로 움직이는 범죄자 네트워크도 식별할 수 있는데, 이는 규칙 기반 시스템을 사용할 때 항상 어려움을 겪었던 부분입니다.

HSBC는 AML AI를 사용하여 성공적인 결과를 얻은 데 대해 2023년 올해의 Celent Model Risk Manager상을 수상했습니다. 또한 이러한 개선 덕분에 법 집행 기관에 더 많은 관련 정보를 제공하면서도 불필요한 세부정보를 얻기 위해 고객에게 연락하는 비효율성은 줄여 시간을 절약하고 고객 만족도를 높일 수 있었습니다.

전 세계로 AML AI 확장

영국과 홍콩에서 AML AI의 효과를 확인한 HSBC는 현재 다른 시장으로 이 기술을 배포할 방안을 모색하고 있습니다.

더 넓게 보면 금융 업계는 기존의 수동 처리 방식과 규칙 기반 소프트웨어 시스템에서 AML AI의 잠재력을 탐색하는 방향으로 계속 진전하고 있습니다. 이 새로운 기술을 채택하는 금융 기관이 증가할수록 자금 세탁을 방지하는 데 있어 업계 전체적으로 더 큰 효과를 거둘 수 있습니다.

___

^{1. 개시 후 12개월과 이전 12개월 동안의 규칙 기반 모니터링을 비교한 결과. 계절성을 반영하고, 감지 백로그가 결과에 영향을 미치지 않도록 개시 후 첫 1개월 동안의 데이터는 제거함.}

Bigtable로 금융 시장을 연결한 Symphony

Google Cloud, 삼성전자와 협력해 삼성 갤럭시 S24 시리즈에 생성형 AI 제공

Thu, 18 Jan 2024 01:00:00 +0000

*본 아티클의 원문은 여기에서 확인할 수 있습니다.

Google Cloud가 삼성전자와 다년간의 신규 파트너십을 발표하고 전 세계 삼성 스마트폰 사용자에게 Google Cloud의 생성형 AI 기술을 제공합니다.

삼성전자는 17일(현지시간) 미국 캘리포니아주 산호세에서 개최된 ‘갤럭시 언팩 2024(Galaxy Unpacked 2024)’ 행사에서 삼성 갤럭시 S24 시리즈를 공개하며, Google Cloud 파트너 중 최초로 클라우드를 통해 자사 스마트폰 기기에 Google Cloud Vertex AI의 Gemini Pro(제미나이 프로)와 Imagen 2(이마젠 2)를 탑재하게 된다고 밝혔습니다.

윤장현 삼성전자 MX사업부 소프트웨어 담당 부사장은 “Google과 삼성은 모든 사람이 기술을 더 유용하고 쉽게 이용할 수 있는 환경의 중요성에 대해 오랫동안 공감해 왔다”라며, “갤럭시 S24 시리즈가 스마트폰 최초로 Vertex AI의 Gemini와 Imagen 2를 탑재하게 돼 기쁘게 생각한다. Google Cloud와 삼성은 수개월에 걸친 엄격한 테스트와 경쟁 평가를 통해 갤럭시에서 Gemini 기반 최고의 AI 경험을 제공하기 위해 협력해 왔다”라고 말했습니다.

삼성은 Google Cloud 파트너 중 최초로 소비자에게 Vertex AI 기반의 Gemini Pro를 제공하게 됩니다. 개발 초기부터 멀티모달(multimodal)로 구축된 Gemini는 텍스트, 코드, 이미지, 영상 등 다양한 유형의 정보를 일반화하고, 원활하게 이해하며, 활용 및 결합할 수 있습니다. 사용자는 삼성 기본 애플리케이션을 비롯해 삼성 노트, 음성 녹음, 키보드¹에서 요약 기능을 활용할 수 있게 되었습니다. 보안, 안전, 정보보호, 데이터 규제 준수 등 Google Cloud의 핵심 기능이 Vertex AI의 Gemini Pro를 통해 삼성 제품에 제공됩니다.

이외에도 갤럭시 S24 시리즈 사용자는 Google DeepMind의 최신 텍스트 기반 이미지 생성 기술인 Imagen 2를 바로 경험할 수 있습니다. Vertex AI의 Imagen 2를 기반으로 사용자에게 안전하고 직관적인 사진 편집 기능이 제공되며, S124 갤러리 앱의 생성형 편집 기능²에서 확인할 수 있습니다.

이번 파트너십을 통해 삼성은 Gemini Ultra(제미나이 울트라)를 테스트하는 최초 고객사 중 한곳으로 참여하게 되었습니다. Gemini Ultra는 가장 강력한 성능을 지닌 Google의 대규모 모델로, 고도로 복잡한 작업을 수행할 수 있습니다. S24 시리즈에는 안드로이드 14 운영 체제의 일부로 온디바이스(on-device)용 거대 언어 모델(LLM)인 Gemini Nano(제미나이 나노) 또한 사용될 예정입니다. Gemini Nano는 온디바이스 작업에 가장 효율적인 Gemini 모델입니다.

토마스 쿠리안(Thomas Kurian) Google Cloud CEO는 “Google Cloud는 삼성과 함께 생성형 AI가 수많은 사람들을 연결하고 소통을 강화하며, 의미 있는 모바일 경험을 창출할 것으로 굉장히 기대하고 있다”라며, “삼성의 개발자들은 Gemini를 통해 Google Cloud가 제공하는 세계적 수준의 인프라와 최첨단 성능 및 유연성을 활용할 수 있다. 이를 통해 삼성 스마트폰 기기에서 안전하고 신뢰도 높은, 매력적인 생성형 AI 기반 애플리케이션을 제공할 수 있을 것”이라고 말했습니다.

^{1 갤럭시 AI 기능을 사용하기 위해서는 네트워크 연결 및 삼성 계정 로그인, 최신 안드로이드 버전 업데이트 등이 필요합니다. 제품 기능은 앱 및 디바이스 설정에 따라 달라질 수 있습니다. 일부 기능은 특정 앱과 호환되지 않거나 언어 팩 다운로드와 같은 추가 소프트웨어 다운로드가 요구될 수 있습니다. 서비스 이용 가능 여부는 국가, 지역, 또는 시장에 따라 다를 수 있으며, 결과물의 정확성은 보장되지 않습니다. 자세한 사양 및 조건은 국가별 삼성 웹사이트에서 확인 가능합니다.
2 생성형 편집(Generative Edit) 기능을 사용하기 위해서는 네트워크 연결 및 삼성 계정 로그인이 필요합니다. 생성형 편집 기능을 사용하면 사진 크기를 최대 12MP까지 조정할 수 있습니다. 이미지 저장 시 해당 이미지가 AI에 의해 생성되었음을 나타내는 워터마크가 작업 결과물에 표시되며, 생성된 결과물의 정확성과 신뢰성은 보장되지 않습니다.}

2023년 Google Cloud Customer Awards 수상 기업 발표

Tue, 05 Sep 2023 07:00:00 +0000

*본 아티클의 원문은 2023년 8월 29일 Google Cloud 블로그(영문)에 게재되었습니다.

올해의 Google Cloud Customer Awards 수상 기업을 발표할 시기가 되었습니다. 이 어워즈는 참신한 아이디어를 멋지게 실현하고 있는 전 세계 기업들을 대상으로 수여됩니다. 싱가포르의 FairPrice Group과 같은 전문성 있는 사회적 기업, Ford Motor Company와 같은 혁신적인 인재 후원사, SAP와 같은 환경 부문 리더, COTA와 같이 다양성, 형평성, 포용성 분야의 판도를 바꿀 기업 등 클라우드의 AI, 데이터, 인프라, 공동작업, 보안 기술로 새로운 방식을 개척하고 있는 혁신 기업에 어워즈를 수여하게 되어 영광입니다.

올해는 AI가 기업의 혁신과 효율성 향상에 도움이 될 상당한 잠재력을 보여주었습니다. Google Cloud는 이러한 잠재력을 바탕으로 야심차게 기업들을 지원하고 있습니다. 예를 들어 올해의 수상 기업 중 하나인 Carrefour Belgium은 Google Cloud AI 도구를 사용하여 운영 데이터에서 가치를 도출하고 이를 통해 유용한 정보를 빠르게 얻고 있습니다. 한편, 대한민국의 AI 연구개발 회사인 카카오브레인(Kakao Brain)은 고객에게 제공하는 생성형 AI 서비스를 지원하는 데 Google Cloud의 AI/ML 인프라를 사용하고 있습니다.

혁신적인 사고 장려
지난해와 마찬가지로 Google Cloud Customer Awards에 엄청나게 많은 기업이 응모했으며 Google Cloud의 고위 임원진으로 구성된 심사위원단이 선별된 기준에 따라 독립적으로 평가를 진행했습니다. 심사위원들은 특히 실제 측정항목, 혁신적인 사고가 적용된 사례, 탁월한 비즈니스 혁신 결과에 주목했습니다. 수상 여부에 상관없이 응모한 모든 기업이 클라우드 기술을 통해 훌륭한 성과를 달성했습니다.

Google Cloud Customer Awards는 전 세계의 의료 및 생명과학, 금융 서비스, 정부 기관 등 다양한 업종에서 Google Cloud 기술을 사용해 운영 환경, 사회 및 거버넌스(ESG) 측정 지표를 개선한 기업에 수여됩니다.

수상 기업 모두 진심으로 축하드립니다.

Technology for Good Awards

지속 가능성
환경에 미치는 영향은 전 세계 기업의 최우선 과제입니다. 지난해 지속 가능성에 중점을 둔 솔루션 구현을 Technology for Good Awards의 한 부문으로 도입했는데 이 부문에서 높은 성장세를 보여 기쁩니다.

지속 가능성 Customer Awards는 조직 내 지속 가능성을 가속화하고 의미 있는 기후 행동을 추진하는 새롭고도 혁신적인 솔루션을 선보인 기업들의 업적을 기리기 위한 것입니다. 이번에 수상한 뉴욕주 환경보호부 소속 팀은 BigQuery와 같은 Google Cloud 도구를 사용하여 대기질 및 온실 가스 배출량의 모바일 모니터링을 구현하며 고무적인 모니터링 방법을 제시했습니다.

다양성, 형평성, 포용성
다양성, 형평성, 포용성(DEI) Customer Awards를 수상한 기업은 기술과 데이터가 세상을 재편하고 있는 시대에 클라우드 도구를 사용하여 역사적으로 소외된 커뮤니티의 경제적 이동성과 대표성을 촉진하려는 노력이 돋보였습니다. 아래 조직과 해당 파트너는 데이터와 AI를 활용하여 조직에서 소외되거나 소수에 속하는 집단을 대리, 발전, 보존, 포용하는 일을 혁신하고 강화하고 있습니다. 이렇게 커뮤니티에 변화를 일으키며 다른 조직도 더 평등한 세상으로 나아갈 수 있도록 이끌고 있습니다.

사회 공헌
사회 공헌 Cusotmer Awards 수상 기업은 포용성, 개방성, 커뮤니티 지원을 장려하는 기술 프로젝트로 긍정적인 영향을 주었습니다. 경제와 기후가 불확실한 시대에 이들 기업은 Google Cloud 솔루션을 사용하여 전 세계가 위기를 극복하는 데 필요한 긍정적인 변화를 대대적으로 일으키고 있습니다. 교통 계획 수립에 대중의 의견 반영을 장려하는 정부 기관부터 푸드뱅크와 협력하는 슈퍼마켓에 이르기까지 커뮤니티 개선을 위한 기업의 노력에 박수를 보냅니다.

인재 혁신

전 직원의 디지털 기술 함양과 관련해서는 세계적으로 가장 잘 알려진 일부 브랜드가 솔선수범을 보이고 있습니다. 여기에는 General Motors, DataLab, EFX와 같은 인재 혁신 Customer Awards 수상 기업이 포함되며 이들 기업은 기술력 향상을 위한 실무형 학습 기회를 제공함으로써 직원들의 역량을 강화하고 있습니다. 심각한 기술 역량 격차에 직면한 국가에서 이러한 노력은 장기적인 비즈니스 성공을 이끌기 위해서뿐 아니라 직원의 생활과 경력을 향상하기 위해서도 중요합니다.

Industry Customer Awards

통신 및 서비스 제공업체(CSP)
CSP Customer Awards를 통해 고객 경험 향상을 위한 새로운 방법을 모색하고 있는 통신 부문 선두기업의 업적을 기리게 되어 자랑스럽습니다. 수상 기업은 Dataflow와 같은 Google Cloud 도구로 매시간 수백만 개의 실시간 레코드를 처리하거나 BigQuery로 성능을 평가하고 데이터를 최적화하는 등 클라우드를 활용하여 고객의 니즈를 조정하고 충족하는 데 창의성을 발휘했습니다.

이종 산업
이종 산업 부문의 기업은 여러 분야에 걸쳐 혁신을 입증했습니다. 올해의 수상 기업 중 하나인 사이버 보안 회사 Palo Alto Networks는 Google Cloud에 클라우드 중심 보안 플랫폼인 ADEM(Autonomous Digital Experience Management)을 구축했습니다. ADEM은 Palo Alto 기업이 인프라, 시스템, 애플리케이션 문제를 사전에 모니터링하고 관리할 수 있도록 지원하는 디지털 경험 관리 플랫폼입니다. ADEM은 네트워크, 애플리케이션, 기기 전반에 걸쳐 보안 가시성을 높여 최종적으로 티켓 에스컬레이션을 46% 줄였습니다.

교육
학교들이 새로운 학습 방식에 적응하기 위해 노력하고 있는 가운데 교육 Customer Awards는 클라우드 기술을 사용하여 교육에 대한 접근성을 개선하는 기업에 수여되었습니다. 올해 브라질의 FMU와 같은 교육 기관은 Google Cloud를 사용하여 접속 가능한 학생 수를 기하급수적으로 늘리고 있습니다. 한편, 샌디에이고의 Salk Institute for Biological Studies는 데이터를 더 효율적으로 마이닝하여 완전히 새로운 과학적 조사 영역을 열었습니다. 두 교육 기관의 사례를 통해 클라우드 기술이 학습 환경에 미치는 획기적인 영향을 알 수 있습니다.

금융 서비스
금융 서비스 업계에 높은 수준의 비즈니스 우수성이 요구되는 현실을 반영하듯 금융 서비스 어워즈 부문에는 전 세계 모든 지역에서 수백 건의 지원이 접수되었습니다. 금융 서비스 어워즈를 수상한 금융 서비스 기업들은 고객에게 새로운 차원의 경험을 선사하기 위해 새로운 앱과 기능을 출시하고, 복잡한 마이그레이션 및 비즈니스 혁신을 추진하며, 보안을 강화하기 위해 자동화를 사용하는 등 다양한 프로젝트를 성공적으로 수행했습니다.

정부 기관

정부 기관에서는 시민에게 더 나은 서비스를 제공할 방안을 모색합니다. 이러한 사람 중심의 사고 방식에 데이터 기반의 솔루션과 안전한 클라우드 플랫폼이 더해지면서 정부 기관 어워즈 수상 조직은 올해의 과업을 달성할 수 있었습니다. 정부 기관은 클라우드 기술을 그 어느 때보다 더 적극적으로 활용하며 내부에서 그리고 시민과 함께 공동작업함으로써 더욱 민첩하고 유용한 방식으로 시민을 지원하고 있습니다.

의료 및 생명과학
의료는 놀라운 수준의 혁신을 창출하는 분야입니다. 의료 및 생명과학 Customer Awards 수상 기업은 과학적 한계를 어디까지 뛰어넘을 수 있는지를 보여주었습니다. COTA는 Google Cloud와의 협력으로 전자 건강 기록의 비정형 원시 데이터를 유용한 형식으로 변환하여 데이터에 기반해 암을 치료하는 새로운 시대를 주도하고 있습니다. Google Cloud는 의료 혁신을 앞당겨 생명을 구하는 COTA와 협력하고 있음을 자랑스럽게 생각합니다.

제조업
제조업체, 특히 자동차 분야의 경우 좀 더 기후에 중심을 둔 솔루션으로의 대대적인 변화를 겪고 있습니다. 제조업 Customer Awards를 수상한 Jaguar Land Rover(JLR)가 좋은 예입니다. 이 기업은 차량 전동화와 고급 자율 주행 기술에 투자하여 디지털 혁신을 추진하고 있습니다. JLR은 반도체 칩과 같은 중요한 전기자동차(EV) 부품의 공급망 부족을 파악하고 관리하는 데 Google Cloud 솔루션을 사용했습니다. 그 결과, 점점 늘어나는 고객에게 전기자동차를 계속 공급할 수 있게 되었습니다.

미디어 & 엔터테인먼트
미디어 및 엔터테인먼트 어워즈 수상 기업은 AI/ML, 데이터 분석 등을 포함한 클라우드 기술을 사용하여 콘텐츠 제작을 현대화하고 참여도 및 맞춤 통계를 바탕으로 시청자 환경을 혁신하고 있습니다. 카카오모빌리티(Kakao Mobility)와 같은 기업은 TPU 등의 AI 인프라를 더해 저렴한 비용으로 ML 인사이트 속도를 크게 향상했습니다. 시청자와 더욱 의미 있는 소통을 주고받는 것이 이 업계의 기본적인 목표 중 하나인데 수상한 기업들은 이미 이러한 목표를 달성하고 있습니다.

소매업
소매업 Customer Awards 수상 기업은 팬데믹 기간 중의 전자상거래에서 현재의 옴니채널 현실로의 쇼핑 환경 변화에 직면하고 있습니다. Carrefour Belgium, FairPrice Group, Schnucks Markets와 같은 업체는 클라우드를 사용해 향상된 서비스를 원활하게 제공함으로써 클라우드 AI를 토대로 한 고도로 맞춤화된 온라인 및 오프라인 쇼핑 경험으로 고객 만족도를 높이고 있습니다.

공급망 및 물류
공급망 및 물류 부문에서 혁신은 매우 중요합니다. 어워즈를 수상한 핀란드 회계 소프트웨어 기업인 Snowfox는 Google Cloud의 서버리스 특성을 활용하여 고객의 인보이스 프로세스를 자동화하고 있습니다. Snowfox는 AI를 사용하여 고객의 탄소 배출량을 계산하는 Carbonfox도 설정하여 공급망과 지속 가능성이 연동될 수 있음을 보여주었습니다.

이 Google Cloud와 함게하는 기업들 사이에는 어떤 연관성이 있을까요? 교육 접근성을 향상하는 일이든, 고객 경험을 맞춤설정하는 일이든 또는 생명을 구하는 일이든 이들 기업은 모두 클라우드를 통해 새로운 방식을 구축하고 있습니다. Google Cloud는 200곳이 넘는 국가 및 지역의 기업에게 서비스를 제공하는 것을 자랑스럽게 생각하며 기업이 획기적인 기술, 업계 전문 지식, 어떤 상황에도 굴하지 않는 낙관적 태도로 새로운 길을 개척할 수 있도록 계속 지원할 것입니다. 기업들이 Google Cloud를 통해 비즈니스를 어떻게 혁신하고 있는지 지금 알아보세요.

속도와 안정성 사이 균형을 이룬 DevOps Awards 수상자 Kakao Mobility

Wed, 02 Aug 2023 06:00:00 +0000

*본 아티클의 원문은 2023년 8월 2일 Google Cloud 블로그(영문) 에 게재되었습니다.

한국에서 선도적인 모빌리티 서비스 제공업체인 Kakao Mobility는 모바일 내비게이션 서비스, 대중교통 정보 제공, 택시 호출 서비스, 대리 호출 서비스 등 다양한 서비스를 사용자 들에게 제공하고 있습니다. 이 블로그 게시물에서는 KakaoMobility가 2022 DevOps 어워즈에서 '안정성 저하 없는 속도 최적화' 상을 수상할 수 있었던 DevOps 성과를 집중 조명합니다. 수상 기업과 해당 기업에서 DORA 측정항목 및 권장사항을 사용하여 비즈니스를 성장시킨 방법을 자세히 알아보려면 여기에서 시작하세요.

Kakao Mobility는 고객들이 출퇴근 시간 등에 서비스를 집중적으로 사용한다는 것을 잘 알고 있기에 100% 업타임 SLA를 보장하기 위해 노력하고 있습니다. 실시간 교통 정보 모니터링과 결제 시스템부터 운전자 예약에 이르기까지 광범위한 서비스를 통합하고 지속적으로 확대하려면 필요에 따라 확장할 수 있는 클라우드 인프라가 필요합니다. 유연한 확장이 어려운 인프라 환경에서는 새로운 서비스와 기능 배포가 어려울 수 있으므로, 사용자에게 제공하는 서비스의 성능이 크게 저하될 수 있습니다.

시내 교통은 출퇴근 시간의 변동부터 예기치 못한 사고에 이르기까지 예측하기 어려운 특성이 있어, 사용자 트래픽이 급증하는 경우가 종종 발생하고 이로 인해 고객 경험이 저하될 수 있습니다. 가용성과 응답성의 감소가 소비자층의 불신과 이익 손실로 이어질 수 있음을 잘 알고 있기에 필요에 따라 확장할 수 있는 내결함성과 복원력이 우수한 시스템을 제공해야 합니다. Kakao Mobility에서는 네이티브 앱 환경에 다양한 교통 및 모빌리티 서비스를 통합하기 위해 API를 통해 서드 파티 플랫폼에 서비스를 제공합니다. 또한 서비스의 보안 상태를 유지하기 위해 API 복원력을 강화하는 한편 고객을 위해 100% SLA 목표를 달성하려는 노력을 기울이고 있습니다.

목표

시장점유율과 서비스 운영 국가를 늘리고 고객에게 새로운 기능과 서비스를 제공하면서도 사용자에게 가용성 높은 앱 경험을 제공하려면 복원력에 초점을 맞춰야 합니다. 통근하는 고객들이 제시간에 직장에 도착하려면 서비스 안정성이 중요합니다. 이에 따라 최악의 시나리오에서도 가용성을 유지할 수 있도록 멀티 클라우드 전략을 추구하고 있습니다.

Kakao Mobility의 하이브리드 클라우드 전략에는 크게 세 가지 목표가 있습니다.

애플리케이션을 분리 및 현대화하여 Kubernetes 컨테이너와 마이크로서비스 통합
개발자 부담을 완화하면서 배포 수행 속도 개선
서비스의 가용성, 안정성, 성능 향상

속도와 안정성 개선

다단계 마이그레이션 프로세스는 멀티 클라우드 하이브리드 클라우드 아키텍처를 구축할 수 있도록 환경을 현대화하는 것에서 시작됩니다. 2021~2022년에 Kakao Mobility의 팀은 애플리케이션을 마이크로서비스로 재구조화하여 워크로드를 Google Cloud에서 성공적으로 구동하였으며, Anthos Service Mesh(ASM)를 API 조정 플랫폼으로 사용하기 시작했습니다. 클라우드 리소스의 탄력성과 확장성 덕분에 팀에서는 비용 효율적이고 안정적인 솔루션을 경험하고 있습니다.

2022년에는 플래그십 애플리케이션을 Google Cloud로 성공적으로 마이그레이션했습니다. Google Kubernetes Engine(GKE) 클러스터를 사용하여 구현한 덕분에 확장성과 안정성을 유지하고 있습니다. DevOps팀은 Google Cloud와 긴밀하게 협력하면서 기존 서비스를 현대화하여 온프레미스와 Google Cloud 간의 새로운 멀티 클라우드 전략을 지원하고 있습니다.

Kakao Mobility는 Anthos Service Mesh를 통해 게이트웨이를 배포하여 애플리케이션 전반에 걸쳐 트래픽의 인그레스와 이그레스를 제어하고 여러 GKE 클러스터에서 리소스를 분리합니다. API는 서드 파티 오프라인 애플리케이션을 비롯해 안정적이고 확장 가능한 사용자 서비스를 제공하는 데 중요한 역할을 합니다.
Google Cloud 이벤트 관리 서비스(EMS)는 한국 명절이나 크리스마스 연휴, 새해 전야와 같이 트래픽이 급증할 것으로 예상되는 주요 시즌 이벤트 때 안정성과 가용성을 확보할 수 있도록 도와줍니다. Google Cloud팀과의 긴밀한 협력은 인프라를 강화하여 이벤트 전반에서 안정성을 유지하는 것뿐만 아니라 만일의 사태에 대비할 수 있도록 시뮬레이션과 모의 훈련을 실행하는 데도 도움이 됩니다.

고객 중심의 설계

Anthos Service Mesh 덕분에 Kakao Mobility는 IT 환경을 현대화하고 클라우드 보안을 강화했으며, 앞으로 더 많은 Google Cloud 서비스를 도입할 계획입니다.

포드(Pod) 확장 시간은 더 이상 배포 시간에 포함되지 않습니다. 포드(Pod) 가 모두 시작한뒤에 배포 관리자는 그때부터 트래픽 제어로만 배포를 수행합니다. 배포 관리자는 원하는 만큼의 트래픽을 새 버전으로 전달하고 충분한 시간을 두고 검증할 수 있으며, 핫픽스 배포가 필요한 경우 10초 이내에 트래픽 전환으로 배포를 완료합니다. 실제 사례에서도 긴급한 배포가 필요한 경우 새로운 버전의 포드(노드 포함)를 프로비저닝하는 데 걸리는 시간은 약 10분에 불과했고, 그 10분 동안 트래픽을 안정적으로 처리했습니다.

이제 개발자팀은 API 액세스에 대한 보안을 강화하고 Anthos Service Mesh를 통해 트래픽을 허용 목록에 추가하여 통근 시간에 업무 부담이 몰리지 않도록 합니다. 전체 서비스를 담당하는 개발팀이 운영하는 마이크로서비스는 ASM을 구현하면서 2개에서 9개로 무려 450% 증가했습니다.

어떻게 조직 내부의 지속적인 개선에 집중해야 하는지 알려준 DORA 연구가 없었다면 이 가운데 무엇도 해낼 수 없었을 것입니다. 이 프로젝트가 항상 성공적인 과정을 거친 것은 아니지만, 실패를 겪을 때도 고객에게 보다 효과적이고 효율적으로 서비스를 제공하기 위해 향후 어떤 부분에 집중해야 하는지 세밀하게 파악할 수 있었습니다.

DevOps Award 수상 기업을 하이라이트하는 나머지 시리즈와 함께 2022 State of DevOps 보고서를 읽고 DORA 연구에 대해 자세히 알아보세요.

Cloud SQL, 매스프레소의 데이터베이스 인프라를 위한 최적의 선택

Fri, 02 Jun 2023 05:00:00 +0000

매스프레소는 교육의 디지털 전환을 목표로 하고 있습니다. 여전히 교육의 대부분은 오프라인에서 이뤄지고 있고, 디지털의 활용은 6%대에 머무는 상황입니다. 이는 기기의 보급이나 기술적인 문제가 아니라 학생 개개인의 강점과 부족한 부분을 세밀하게 파악하는 교사의 역할이 크기 때문입니다.

하지만 이 역시 교사는 여러 명의 학생을 가르치기 때문에 개개인의 부족한 부분을 충분히 채워주기는 어렵습니다. 궁금한 점을 중심으로 오랜 시간 이끌어주는 것은 결국 과외를 비롯한 사교육으로 넘어가는 것이 일반적인 교육 환경이라고 할 수 있습니다. 매스프레소는 스마트폰만 있으면 학생들의 질문을 바탕으로 빈틈을 채워 나가는 교육 플랫폼입니다.

데이터가 중심이 되는 서비스 구조로 이전

매스프레소의 대표 서비스는 ‘콴다’입니다. 모르는 문제를 질문하면 전문 교사가 1:1로 직접 답변을 해 주어서 학습의 효과와 만족도가 높았습니다. 하지만 이용자가 늘어나다 보니 정형화된 교육 과정 안에서 비슷한 질문이 반복되는 패턴을 확인할 수 있었습니다. 이미 한번 해결해 낸 풀이가 사라지는 것이 아니라 다른 학생들에게 더 빠르게 답을 줄 수 있는 시스템적인 기회가 생긴 것입니다.

콴다 이용자들의 질문은 대부분 스마트폰으로 문제를 찍어서 전해집니다. 인공지능 기술이 빠르게 대중화되면서 글자를 읽어내는 OCR은 비약적으로 발전했고 이전과 비교할 수 없을 만큼 빠르고 정확하게 글자와 숫자를 디지털 정보로 쌓을 수 있게 됐습니다. 매스프레소는 이미지에서 문제를 정확히 읽어내고, 이를 통해서 문제의 개념을 추론하고, 연관된 콘텐츠를 찾아서 연결할 수 있는 시스템을 갖출 수 있게 됐습니다.

이 시스템의 핵심은 결국 이제까지 쌓아온, 또 앞으로 만들어 갈 문제 풀이에 대한 데이터 관리에 있습니다. 매스프레소는 더 나은 교육 환경을 위해 기술이 중심이 되는 통합 학습 플랫폼을 지향하고 있고, 그 경험을 높이기 위해서는 데이터가 체계적으로 관리되는 데이터 클러스터가 필요했습니다.

Cloud SQL로 MySQL 기반 마이크로서비스 아키텍처 데이터베이스 운영 환경 전환

초기 콴다는 전체 서비스가 한 덩어리로 설계(Monolithic Architecture) 되었습니다. 데이터베이스 역시 AWS Aurora를 이용해 단일 권한의 통합 운영이 이뤄졌습니다. 하지만 점차 서비스와 팀의 규모가 커지면서 빠른 업데이트와 기술 대응을 위해 각 요소들이 독립되는 마이크로 서비스 아키텍처로 전환이 이뤄졌습니다. 개별 마이크로서비스는 각자의 데이터베이스를 갖고 그 안에서 빠르고 안정적으로 데이터가 처리되는 방식입니다.

콴다는 초기부터 많은 서비스 요소들이 클라우드의 통합 데이터베이스에 데이터를 담아내고 있었는데, 이를 단숨에 마이크로서비스 아키텍처로 나누어 옮기는 것은 쉽지 않습니다. 매스프레소 뿐 아니라 사업 초기의 스타트업들은 데이터를 나누는 것보다 전체적으로 운영하는 것이 자원 효율성과 운영 편의성 등 모든 측면에서 나을 수 있습니다.

하지만 규모가 커지고 각 요소별로 독립적인 팀이 운영되면 각자의 데이터베이스를 관리하는 편이 낫습니다. 운영의 세분화 뿐 아니라 클라우드에 접근하는 어카운트를 구분할 필요도 있습니다. 매스프레소는 빠른 성장으로 규모가 커졌고, 이제는 마이크로 서비스 아키텍처로 옮길 필요가 있었습니다.

마침 매스프레소는 인프라를 구글 클라우드로 이전하기로 결정을 했고, 데이터베이스는 구글 Cloud SQL을 이용해 MySQL을 운영하기로 결정했습니다. MySQL은 여전히 운영에 대한 레퍼런스가 많고 읽기 속도가 빠른 장점을 갖고 있기 때문에 다른 데이터베이스로 이전하지 않고 더 나은 MySQL 환경을 갖추는 것이 낫다고 판단했습니다.

이전 이후의 서비스들은 대부분 자체 데이터베이스를 갖고 운영하게 됐고, 기존의 서비스들도 서서히 옮길 기회를 갖게 됐습니다. 단순한 데이터베이스의 분리 외에 API 형태로 바꾸어서 검색을 비롯한 데이터 접근 방법도 개선했습니다. 데이터베이스에서 작업이 이뤄져도 다른 부분에서는 접근에 영향이 없고, 데이터의 동기화도 훨씬 안전하게 이뤄집니다.

매끄러웠던 대규모 데이터베이스 이전

가장 큰 숙제는 이전이었습니다. 클라우드 간에 수 십 TB수준의 데이터를 옮기는 것은 쉽지 않은 도전이었습니다. 외부 솔루션을 이용하는 대신 MySQL의 바이너리 로그 복제(Binlog Replication) 방식을 이용하기로 했습니다. 하지만 AWS Aurora의 바이너리 로그 저장 기간은 7일이 전부였습니다. 그 안에 모든 데이터를 Cloud SQL로 옮겨야 했습니다.

이전 과정에서 초기 복제는 AWS의 EC2로 MySQL 데이터베이스를 내보낸 뒤 EC2의 VM으로 데이터를 압축해 Google Compute Engine으로 전송했습니다. 구글 클라우드로 데이터를 안전하게 가져온 뒤에는 어렵지 않게 Cloud SQL에 데이터를 적재할 수 있었습니다.

로그 저장 기간으로 인해 초기 복제는 7일 이내를 목표로 삼았지만 구글 클라우드와 Cloud SQL 스토리지의 좋은 성능으로 인해 2일 남짓한 시간만에 이뤄졌고, 동기화, 최적화 등 나머지 과정을 마치는 데 4일이 채 걸리지 않았습니다. AWS Aurora를 중단하고 Google Cloud SQL로 운영 데이터베이스를 옮기는 과정에서도 Cut-over를 위해 2분 정도 운영이 멈춰졌을 뿐 전체 서비스에는 거의 영향을 끼치지 않았습니다.

스타트업에 적절한 관리형 데이터베이스 환경

이전 이후 Cloud SQL은 안정적인 MySQL 운영 환경을 갖춰주었습니다. 구글 클라우드에는 멀티존 서비스가 기본적으로 더해져서 자연스럽게 재해 복구 환경을 갖출 수 있었습니다. 전반적으로 구축과 운영 비용이 절감되는 효과를 얻었습니다.

가장 큰 효과는 성능에 있습니다. Cloud SQL은 갑작스런 트래픽 증가에도 빠르고 유연하게 대응할 수 있었습니다. 늘어나는 트래픽을 미리 예측해서 인프라를 확장하는 것은 물론이고, 실시간으로 필요한 만큼의 자원을 확보하는 것도 손쉬웠습니다.

무엇보다 전반적인 자원 관리가 매끄럽다는 강점이 눈에 띕니다. 짧은 시간에 트래픽이 몰리면 기존의 경우 CPU 점유율이 80%까지 갑자기 튀어 오르는 경우가 있었는데 Cloud SQL은 40~50% 선에서 안정적으로 유지되었습니다. 이전 과정에서 매스프레소의 데이터베이스 최적화와 튜닝이 더해진 효과지만 이전에 비해서 비용을 35% 가량 줄이는 효과도 있었습니다.

백업과 복구의 속도도 크게 높아졌고 페일오버에 대한 구성도 더 안정적으로 이뤄졌습니다. 구글 클라우드의 안정성을 바탕으로 제 3의 Cloud SQL의 고가용성 구성 대신 장애가 일어나면 동기화된 읽기 데이터베이스가 쓰기 데이터베이스로 전환해서 역할을 이어가도록 구성했습니다. 경험에서 나오는 온프레미스의 데이터베이스 운영 방법 중 하나로, Cloud SQL은 이를 매끄럽게 받아들일 수 있는 유연성을 갖추고 있습니다.

또한 Cloud SQL의 Insight는 매끄러운 데이터 기반의 소통을 만들어주는 역할도 해 주었습니다. DBA들은 대체로 스스로 데이터베이스를 한 눈에 파악할 수 있는 모니터링 도구를 구성하기 때문에 클라우드에서 제공하는 모니터링 시스템이 직접적으로 운영에 필요하지는 않습니다. 하지만 구글 클라우드의 Insight는 쉽고 간결한 구성으로 DBA가 아닌 개발자들도 현재 각자가 이용하는 데이터베이스의 상황을 쉽게 이해할 수 있도록 해 주었습니다. 이를 통해 각자가 익숙한 방법으로 데이터베이스 상황을 살피고, 서로 소통할 수 있는 문화가 자리를 잡았습니다.

전체적으로 매스프레소는 데이터베이스 인프라에 대한 관리형 서비스를 통해 데이터베이스의 성능, 유연성 등을 높이고자 하는 목표를 갖고 있었습니다. Cloud SQL의 Notification과 Query Insights 등 어드바이저 기능들이 개발자들의 편의도를 크게 높여 주면서 데이터베이스에 대한 부담을 덜어내고 매끄러운 개발 환경을 만드는 데에 큰 역할을 해 주었습니다.