데이터 분석

개방형 지식 형식 소개

Wed, 02 Sep 2026 20:00:00 +0000

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

파운데이션 모델이 계속 개선됨에 따라 관련 컨텍스트의 부족은 특히 에이전트 시스템을 빌드하는 데 사용될 때 모델이 수행할 수 있는 작업을 제한하는 경우가 많습니다. 이러한 모델은 코드를 작성하거나, 문서를 요약하거나, 데이터 세트를 분석하는 데 도움이 될 수 있지만, 정확하고 실행 가능한 결과를 생성하려면 여전히 올바른 정보가 필요합니다.

따라서 오늘 LLM-위키 패턴을 휴대 가능하고 상호 운용 가능한 형식으로 공식화하는 개방형 사양인 Open Knowledge Format (OKF)을 소개합니다. 이는 최신 AI 시스템에 필요한 메타데이터, 컨텍스트, 선별된 지식을 표현하기 위한 에이전트 및 인간 친화적인 벤더 중립 표준입니다.

발표된 바와 같이 OKF v0.1은 YAML 프런트매터가 있는 Markdown 파일의 디렉터리로 지식을 나타내며, 서로 다른 제작자가 작성한 위키를 서로 다른 에이전트가 번역 없이 사용할 수 있도록 하는 합의된 규칙이 소량 포함되어 있습니다.

이상입니다. 복잡한 압축 방식, 새로운 런타임, 필수 SDK가 필요하지 않습니다. OKF 문서 번들은 다음과 같습니다.

단순 마크다운 — 모든 편집기에서 읽을 수 있고, GitHub에서 렌더링할 수 있으며, 모든 검색 도구에서 색인화할 수 있습니다.
파일만 — tarball로 배포 가능, 모든 git 저장소에서 호스팅 가능, 모든 파일 시스템에 마운트 가능
YAML 프런트매터만 사용 — 쿼리할 수 있어야 하는 작은 구조화된 필드 집합(유형, 제목, 설명, 리소스, 태그, 타임스탬프)

Obsidian, Notion, Hugo 또는 지난 1년 동안 등장한 LLM 위키 패턴을 사용해 본 적이 있다면 이 형태가 익숙할 것입니다. OKF는 이러한 패턴을 상호 운용 가능하게 만드는 데 필요한 작은 규칙 집합을 공식화합니다.

이제 OKF가 조직의 문제를 어떻게 해결하는지, 어떻게 작동하는지, 어떻게 시작하는지, 다음 단계는 무엇인지 살펴보겠습니다.

분산된 컨텍스트 환경

대부분의 조직에서 파운데이션 모델이 사용하는 정보는 압도적으로 내부 지식입니다. 테이블의 스키마, 비즈니스의 측정항목 의미, 사고에 대한 런북, 두 시스템 간의 조인 경로, 이전 API에 대한 지원 중단 공지 등이 그 예입니다.

오늘날 이러한 지식의 원자는 매우 세분화된 다양한 시스템에 존재합니다.

자체 API가 있는 메타데이터 카탈로그
위키, 서드 파티 시스템 또는 공유 드라이브
코드 주석, 독스트링 또는 노트북 셀
몇몇 선임 엔지니어의 머리

AI 에이전트가 "이벤트 스트림에서 주간 활성 사용자 수를 어떻게 계산해야 해?"라는 질문에 답해야 할 때, 흩어져 있고 서로 호환되지 않는 이러한 표면에서 답을 모아야 합니다. 모든 공급업체는 자체 카탈로그, 자체 SDK, 자체 기술 그래프 스키마를 제공하며, 이러한 기술은 제품이나 조직 간에 쉽게 이전할 수 없습니다.

그 결과, 모든 에이전트 빌더가 동일한 컨텍스트 어셈블리 문제를 처음부터 해결하고, 모든 카탈로그 공급업체가 동일한 데이터 모델을 재창조하며, 지식 자체가 지식을 생성한 표면 뒤에 잠겨 있습니다.

살아있는 위키로서의 지식

개발자팀은 AI 에이전트를 빌드하는 방식을 바꾸고 있습니다. 모델을 사용하여 동일한 문서에서 동일한 사실을 반복해서 검색하는 대신, 에이전트에게 시간이 지날수록 유용해지는 공유 마크다운 라이브러리를 제공할 수 있습니다. 이를 통해 에이전트는 자체 파일을 읽고 업데이트하는 지루한 작업을 수행할 수 있으며, 팀은 콘텐츠를 선별하고 코드처럼 관리할 수 있습니다.

저명한 AI 연구자이자 교육자인 Andrej Karpathy는 LLM Wiki gist에서 이 아이디어를 가장 명확하게 설명합니다. "LLM은 지루해하지 않고, 교차 참조를 업데이트하는 것을 잊지 않으며, 한 번에 15개의 파일을 처리할 수 있습니다."라고 그는 말합니다. 인간이 개인 위키를 포기하게 만드는 바로 그 장부가 LLM이 잘하는 일입니다.

이와 유사한 위키 기반 지식 패턴은 코딩 에이전트에 연결된 Obsidian 보관함, AGENTS.md / CLAUDE.md 계열의 규칙 파일, 에이전트가 실제 작업을 수행하기 전에 참조하는 index.md 및 log.md 아티팩트로 가득한 저장소, 데이터팀 내의 '코드로서의 메타데이터' 저장소 등 다양한 이름으로 계속해서 등장하고 있습니다.

이 패턴은 강력하고 설득력이 있지만 각 인스턴스는 맞춤형입니다. Karpathy의 위키, 팀의 위키, 공급업체의 카탈로그 내보내기는 모두 비슷해 보일 수 있지만 (마크다운, 프런트매터, 교차 링크) 협업을 위해 의도적으로 설계된 것은 아닙니다. 모든 문서에 어떤 필드가 있어야 하는지 또는 파일 이름이 무엇을 의미하는지에 대해 합의된 답은 없습니다. 그 결과 위키에 인코딩된 지식이 원래 팀 내에만 사일로화되어 새로운 에이전트를 빌드할 때마다 중복된 노력이 발생합니다.

필요한 것은 또 다른 서비스가 아니라 형식입니다.

이 문제의 해결책은 또 다른 지식 서비스가 아닙니다. 형식, 즉 다음과 같은 지식을 표현하는 방법이 필요합니다.

SDK 없이 누구나 제작 가능
통합 없이 누구나 소비 가능
시스템, 조직, 도구 간 이동 시에도 유지됨
설명하는 코드와 함께 버전 제어에 저장됨
사람이 읽을 수 있고 에이전트가 파싱할 수 있음: 동일한 파일, 번역 레이어 없음

OKF는 이러한 형식을 따르도록 설계되었습니다.

OKF 작동 방식: 한 화면에 담긴 디자인

OKF 번들은 개념 을 나타내는 Markdown 파일의 디렉터리입니다. 여기에는 테이블, 데이터 세트, 측정항목, 플레이북, 런북, API 등 캡처하려는 모든 것이 포함됩니다. 각 개념은 하나의 파일입니다. 파일 경로는 개념의 ID입니다.

code_block: <ListValue: [StructValue([('code', 'sales/\r\n├── index.md\r\n├── datasets/\r\n│ ├── index.md\r\n│ └── orders_db.md\r\n├── tables/\r\n│ ├── index.md\r\n│ ├── orders.md\r\n│ └── customers.md\r\n└── metrics/\r\n│ ├── index.md\r\n └── weekly_active_users.md'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f19482f7520>)])]>

각 개념 문서에는 구조화된 필드를 위한 작은 YAML 프런트매터 블록과 그 외 모든 것을 위한 마크다운 본문이 있습니다.

code_block: <ListValue: [StructValue([('code', '---\r\ntype: BigQuery Table\r\ntitle: Orders\r\ndescription: One row per completed customer order.\r\nresource: https://console.cloud.google.com/bigquery?p=acme&d=sales&t=orders\r\ntags: [sales, revenue]\r\ntimestamp: 2026-05-28T14:30:00Z\r\n---\r\n\r\n# Schema\r\n\r\n| Column | Type | Description |\r\n|---------------|-----------|------------------------------------------|\r\n| `order_id` | STRING | Globally unique order identifier. |\r\n| `customer_id` | STRING | FK to [customers](/tables/customers.md). |\r\n\r\n# Joins\r\n\r\nJoined with [customers](/tables/customers.md) on `customer_id`.'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f19482f7490>)])]>

개념은 일반적인 Markdown 링크로 서로 연결되어 디렉터리를 파일 시스템에서 암시하는 상위/하위 링크보다 풍부한 관계의 그래프로 전환합니다. 번들에는 선택적으로 index.md 파일 (에이전트가 계층 구조를 탐색할 때 점진적 공개용)과 log.md 파일 (변경사항의 시간순 기록용)이 포함될 수 있습니다.

전체 v0.1 사양 (적합성 기준, 상호 링크 규칙, 소수의 예약된 파일 이름 포함)은 단일 페이지에 맞습니다.

설계의 3가지 원칙

1. 최소한의 의견만 제시합니다. OKF는 모든 개념에 대해 유형 필드라는 단 한 가지를 요구합니다. 다른 모든 것 (예: 어떤 유형이 있는지, 어떤 다른 필드를 포함할지, 본문에 어떤 섹션이 있는지)은 제작자에게 맡겨져 있습니다. 사양은 콘텐츠 모델이 아닌 상호 운용성 표면을 정의합니다.

2. 생산자/소비자 독립성 OKF는 지식을 작성하는 사람과 지식을 소비하는 사람을 명확하게 분리합니다. 사람이 직접 작성한 번들을 AI 에이전트가 사용할 수 있습니다. 메타데이터 내보내기 파이프라인에서 생성된 번들은 시각화 도구에서 탐색할 수 있습니다. 하나의 LLM이 합성한 번들을 다른 LLM이 쿼리할 수 있습니다. 형식은 계약이며, 각 끝의 도구는 독립적으로 교체할 수 있습니다.

3. 플랫폼이 아닌 형식 OKF는 특정 클라우드, 데이터베이스, 모델 제공업체 또는 에이전트 프레임워크에 종속되지 않습니다. 읽기, 쓰기 또는 제공을 위해 독점 계정이나 SDK를 요구하지 않습니다. 지식 형식의 가치는 소유자가 누구인지가 아니라 얼마나 많은 당사자가 이를 사용하는지에 달려 있기 때문에 개방형 표준으로 게시하고 있습니다.

사양과 함께 제공되는 기능

형식을 구체화하기 위해 생산자와 소비자 모두를 위한 참조 구현을 게시하고 있습니다.

BigQuery 데이터 세트를 탐색하고, 모든 테이블과 뷰에 대한 OKF 개념 문서를 작성한 다음, 신뢰할 수 있는 문서를 크롤링하고 인용, 스키마, 조인 경로로 각 개념을 보강하는 두 번째 LLM 패스를 실행하는 보강 에이전트
모든 OKF 번들을 단일 독립형 파일의 대화형 그래프 뷰로 전환하는 정적 HTML 시각화 도구입니다. 백엔드, 뷰어 측 설치, 페이지에서 데이터 유출이 없습니다.
3개의 탐색 가능한 샘플 번들: Google 애널리틱스 4 이커머스, Stack Overflow, Bitcoin 공개 데이터 세트는 참조 에이전트가 생성하고 저장소에 커밋한 것으로, 규정을 준수하는 OKF의 실제 예시입니다.

이러한 예시는 의도적으로 개념 증명에 초점을 맞추고 있습니다. 에이전트는 OKF를 생성하는 한 가지 방법을 보여줍니다. 형식에 관해서는 특정 에이전트 프레임워크나 LLM이 필요하지 않습니다. 시각화 도구는 이를 소비하는 한 가지 방법을 보여줍니다. 형식에 HTML이나 그래프 뷰가 필요한 것은 아닙니다. Google은 생산자와 소비자로 이루어진 생태계가 Google이 제공한 것보다 훨씬 더 크게 성장할 것으로 기대하며, 그렇게 되기를 바랍니다.

앞으로 나아갈 길

OKF v0.1은 시작점이며 완성된 표준이 아닙니다. 더 많은 생산자와 소비자가 등장하고 에이전트가 실제로 필요로 하는 지식 표현이 무엇인지 집단적으로 학습함에 따라 형식은 진화할 것입니다.

지식 카탈로그, 보강 파이프라인, AI 에이전트에 맞게 조정된 위키 또는 AI 지식 도메인의 그 어떤 것을 빌드하든, 지식 형식은 처음부터 공개적으로 게시해야만 그 이름에 걸맞은 역할을 할 수 있습니다.

여기에서 다음 작업을 수행하는 것이 좋습니다.

사양 읽기 (짧습니다!)
소스 시스템, 데이터베이스, 문서 사이트에 대한 프로듀서 작성
소비자 작성: 뷰어, 검색 색인, 번들에 대해 추론하는 에이전트
자체 데이터에 대해 참조 구현을 사용해 보세요
문제 제기, PR 전송 또는 확장 프로그램 제안: 사양은 버전이 지정되어 있으며 이전 버전과 호환되는 성장을 위해 명시적으로 설계되었습니다.

저장소, 사양, 샘플 번들은 GitHub에서 확인할 수 있습니다. 또한 Google Cloud의 Knowledge Catalog를 업데이트하여 개방형 지식 형식을 수집하고 에이전트에 제공할 수 있게 되었습니다. 관련 코드와 예는 여기에서 확인할 수 있습니다.

형식 자체가 기여입니다. Google이 출시한 도구는 이러한 기능을 실제로 구현하고 사용해 보는 데 드는 비용을 낮추기 위해 존재합니다. 오늘날 지식이 어떤 형태를 띠든 OKF는 내일 교환할 수 있는 공용어가 되도록 설계되었습니다.

_{Google Cloud 데이터 클라우드팀에서 게시 Open Knowledge Format은 개방형 사양이며, Google 제품 이외의 기여, 대체 구현, 채택을 모두 명시적으로 환영합니다.}

_{이 백서는 저자 외에도 Google의 많은 분들이 제공해 주신 핵심 아이디어를 바탕으로 작성되었습니다. 이 자리를 빌려 도움을 주신 모든 분께 감사의 말씀을 전합니다.}

데이터 클라우드 애셋의 새로운 홈으로 돌아온 데이터 스튜디오

Wed, 02 Sep 2026 20:00:00 +0000

오늘날의 데이터 풍부한 환경에서 조직은 방대한 양의 정보를 보유하고 있습니다. 하지만 이러한 데이터와 매일 정보에 입각한 결정을 내려야 하는 사용자 사이의 격차를 해소하는 것은 여전히 과제입니다. 사용자는 비즈니스에 영향을 미치는 다양한 소스의 데이터를 매일 큐레이팅하고 분석할 수 있는 단일 공간이 필요합니다.

이러한 과제를 해결하기 위한 다음 단계로, 데이터 스튜디오 (이전 명칭: Looker Studio)라는 친숙한 이름을 다시 도입합니다.

강력한 데이터 시각화 기능 외에도 데이터 스튜디오는 Google 데이터 클라우드 콘텐츠를 제공하는 AI 시대에 중요한 역할을 하고 있습니다. 데이터 스튜디오를 사용하면 데이터 스튜디오 보고서부터 BigQuery 대화형 에이전트, Colab 노트북에서 빌드된 데이터 앱에 이르기까지 다양한 Google 데이터 소스와 애셋을 한곳에서 탐색하고 상호작용할 수 있습니다.

데이터 스튜디오: 보고서, 데이터 앱, 대화형 에이전트를 한곳에서

AI 시대의 분석에 대한 비전 확장

5년 전 데이터 스튜디오가 Google Cloud 제품군에 합류한 이후 고객은 데이터 애셋을 시각화하고 공유하는 공간으로 데이터 스튜디오를 활용하여 지속적으로 혁신을 이루어 왔습니다. 한편 AI가 사실상 모든 비즈니스의 핵심 구성요소가 되면서 고객들은 데이터 애셋을 저장, 정리, 탐색할 수 있는 단일 공간이 필요하다고 말합니다.

이러한 재도입의 일환으로 Google Cloud는 Looker를 엔터프라이즈 비즈니스 인텔리전스 플랫폼으로 삼아 데이터 스튜디오를 Looker 플랫폼을 보완하는 독립적인 제품으로 발전시키고 있습니다. Google Cloud는 데이터 스튜디오를 재설계하면서 최근 Looker의 셀프서비스 및 시각화 제품에 대대적인 투자를 진행했습니다. 여기에는 중앙 시맨틱 모델을 기반으로 신뢰할 수 있는 관리형 데이터를 요구하는 사용 사례를 위한 에이전트 기능이 포함됩니다.

새로운 데이터 스튜디오는 개인 데이터 탐색에 이상적인 선택입니다. 즉, 임시 보고서를 작성하고 BigQuery에서 Google Sheets, Ads에 이르기까지 Google 생태계 전반의 데이터를 빠르게 시각화할 수 있는 공간입니다. 이러한 전략적 차별화를 통해 고객은 작업에 적합한 도구를 사용할 수 있습니다.

두 가지 버전: 데이터 스튜디오와 데이터 스튜디오 Pro

새로운 데이터 스튜디오 환경은 두 가지 버전으로 제공됩니다.

데이터 스튜디오는 강력한 무료 개인 분석 및 시각화 기능을 계속 제공하며, 임시 보고서를 만들고 공유하는 데 사용되는 온램프 역할을 하여 몇 분 만에 데이터를 대화형 대시보드로 변환합니다.
데이터 스튜디오 Pro는 AI 기능과 Google Cloud와의 긴밀한 통합을 통해 엔터프라이즈급 보안, 관리, 규정 준수 기능을 제공하여 민첩성과 제어력이 더 많이 필요한 팀과 조직의 확장을 지원하도록 설계되었습니다. Pro 라이선스는 Google Cloud 콘솔 또는 Google Workspace 관리 콘솔에서 직접 구매할 수 있습니다.

일상 업무에서 이 제품을 사용하는 많은 사용자에게 새로운 데이터 스튜디오로의 업그레이드는 대부분 투명하게 진행됩니다. 기존 보고서, 데이터 소스, 애셋, 사용자는 별도의 조치 없이 새로운 환경으로 전환됩니다. 이번 달 말에 열리는 Google Cloud Next ‘26에서 Data Studio의 새로운 기능과 데이터 클라우드 및 분석에 대한 Google Cloud의 비전을 자세히 알아보세요.

에이전트를 통한 혁신의 가속화: 소프트웨어 정의 차량(SDV)의 보안 확보

Mon, 06 Jul 2026 16:00:00 +0000

해당 블로그의 원문은 2026년 7월 7일 Google Cloud 블로그(영문)에 게재되었습니다.

자동차 산업은 새로운 기술을 채택하기 위해 가속 페달을 밟으며 중대한 전환점에 서 있습니다. 전통적인 커넥티드 차량의 시대는 소프트웨어 정의 차량(SDV)의 시대로 전환되었으며, 이는 무선 업데이트(OTA)를 통해 제공되는 수많은 새로운 기능들과 급격한 혁신이 돋보이는 시대입니다.

AI와 에이전트를 통합함으로써, 차세대 SDV는 미가공 텔레메트리(원격 진단 데이터)를 실시간으로 실행 가능한 통찰력으로 전환하여, 차량이 주변 환경 및 사용자들과 상호 작용하는 방식을 근본적으로 재고할 수 있게 될 것입니다. SDV를 보다 효과적으로 지원하고 보호하기 위해, 구글 클라우드(Google Cloud)와 발텍(Valtech)은 구글 클라우드 상에 구축된 확장성이 뛰어난 AI 지원 커넥티드 차량 플랫폼인 넥서스 SDV(Nexus SDV)를 공동 개발하기 위한 파트너십을 체결했습니다. 이 모듈식이며 개발자 친화적인 오픈소스 솔루션은 최대 1억 개의 장치를 관리할 수 있도록 설계되었으며, 데이터 흐름과 차량 내 경험을 간소화하기 위해 안드로이드 오토모티브 OS(Android Automotive OS, AAOS)와 깊이 있게 통합되어 있습니다.

우리는 Arm 기반 컴퓨팅과 Bigtable을 통해 총소유비용(TCO)을 절감하는 동시에 차세대 자동차 인텔리전스를 구축하기 위한 AI 네이티브 환경을 제공하는 넥서스 SDV(Nexus SDV) 오픈소스 코어의 첫 번째 출시를 발표하게 되어 자랑스럽게 생각합니다.

넥서스 SDV가 이끄는 AI 기반 경험

Nexus AI는 플랫폼의 지능형 엔진 역할을 수행하며, 차량을 수동적인 데이터 소스에서 능동적이고 자율적인 파트너로 변화시킵니다. 제미나이(Gemini) 모델과 제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)을 활용하여, Nexus AI는 복잡한 텔레메트리를 실시간으로 분석해 자율적인 의사결정과 초개인화된 운전자 보조를 위한 정보를 제공하며, 사용자의 요구를 예측하는 지능형 에이전트로서 효과적으로 작동합니다.

결정적으로, 이 고도화된 인텔리전스는 총소유비용(TCO)의 획기적인 절감에 초점을 맞추고 있습니다. 고효율 Arm 기반 컴퓨팅과 Bigtable 최적화 데이터 스토리지를 활용함으로써, 플랫폼은 방대한 데이터 볼륨을 처리하는 데 수반되는 운영 비용을 대폭 낮춰줍니다. 이 모듈식이며 AI 네이티브한 아키텍처는 제조업체가 차세대 차량 소프트웨어 도입 시 전통적으로 동반되는 과도한 클라우드 및 개발 비용 부담 없이, 자사 차량 플릿의 인텔리전스를 신속하게 확장할 수 있도록 보장합니다.

클라우드 네이티브 아키텍처

넥서스 SDV의 아키텍처는 차량 엣지와 데이터 센터 간의 격차를 해소하도록 설계된 모듈식의 클라우드 네이티브 토대 위에 구축되었습니다. AAOS와의 깊은 호환성은 클라우드와 차량 간의 긴밀한 통합을 위한 핵심 초석이며, 고정밀 텔레메트리 데이터를 실시간으로 인입하고 동기화할 수 있도록 지원합니다. 이 견고한 데이터 루프를 통해 Nexus AI는 지능형 업데이트와 서비스를 차량으로 빠르게 되돌려 보낼 수 있습니다.

개발자 친화적인 개방형 프레임워크를 제공함으로써, 넥서스 SDV는 제조업체가 구글 클라우드 생태계의 확장성과 신뢰성을 바탕으로 SDV의 전체 라이프사이클을 완벽하게 관리할 수 있도록 지원합니다.

넥서스 SDV(Nexus SDV) 아키텍처

구글 클라우드 보안 제어를 활용한 심층 방어

기본 설계부터 안전한(secure-by-design) 구조 및 제로 트러스트(Zero Trust) 아키텍처를 포함한 구글의 안전한 기반 위에 구축된 넥서스 SDV(Nexus SDV)는 규제 준수 및 위협 방어라는 까다로운 과제를 수월하게 해결할 수 있도록 지원합니다. 이를 달성하기 위해, 넥서스 SDV 아키텍처는 다음과 같은 6가지 핵심 요소를 바탕으로 포괄적인 심층 방어(defense-in-depth) 보안 모델을 구현합니다.

상호 TLS(mTLS) 및 공개키 기반구조(PKI)

넥서스 SDV는 어떠한 데이터 전송도 일어나기 전에 차량을 먼저 인증하기 위해 암호학적 신뢰 체인에 의존합니다. 이 인프라는 고가용성의 안전한 신뢰 기준점(root of trust)을 보장하기 위해 Google Cloud Certificate Authority Service(CAS)를 사용하여 고유한 CA 풀(서버, 공장 및 등록 CA)을 관리합니다.

구체적으로, 등록 서버는 초기 TLS 핸드셰이크 중에 클라이언트가 유효한 "공장 발행(factory-issued)" 인증서를 제시하도록 강제함으로써 등록 프로세스를 실행하며, 연결 스트림에서 직접 인증서를 추출 및 파싱하여 차량의 신원을 명확하게 증명합니다. 등록 과정에서 서버는 차량이 새로운 운영 인증서를 발급받기 전에 전송한 인증서 서명 요청(CSR)에 대한 검증을 수행합니다.

ID 및 액세스 관리(IAM)

이 시스템은 Keycloak이 중앙 OpenID Connect(OIDC) ID 제공업체로 배포되는 ID 브로커링(identity brokering) 방식을 사용합니다. 차량은 mTLS를 통해 자신의 운영 인증서를 사용하여 Keycloak에 인증하고, 수명이 짧은 JWT(JSON Web Token)를 발급받습니다.

미세 조정된 액세스 제어를 위해, 커스텀 NATS Auth Callout 서비스가 동적인 서브젝트 권한을 제공합니다. 이 서비스는 모든 메시징 브로커 연결 시도를 가로채고, 공개 JWK 키를 사용해 Keycloak JWT를 검증하며, 차량의 역할을 특정 NATS 서브젝트에 프로그램 방식으로 매핑합니다.

안전한 서비스 간 통신을 위해 Workload Identity Federation을 활용하므로, 파이프라인은 정적 자격 증명을 제거하기 위해 GitHub OIDC 토큰을 일시적인 구글 클라우드 액세스 권한으로 교환합니다. 한편, GKE Workload Identity를 통해 Kubernetes 서비스 계정을 구글 서비스 계정에 바인딩함으로써 Kubernetes Pod가 Bigtable과 같은 백엔드 서비스에 안전하게 액세스할 수 있도록 지원합니다.

보안은 제한된 IAM 범위(restricted IAM scopes)를 통해 한층 더 강화되어, 전용 서비스 계정이 최소한의 권한으로 프로비저닝되도록 보장합니다(예: 데이터 API가 Bigtable에서 데이터를 읽는 작업으로만 제한됨). 배포 컨텍스트에서 VPC-SC, 조직 정책 제약 조건(Organization policy constraints) 및 Private Service Connect(PSC)를 활용하는 것 또한 안전한 기반을 달성하는 데 도움이 됩니다.

비밀 관리

넥서스 SDV는 민감한 정보를 보호하기 위해 중앙 집중식 비밀 관리에 의존합니다. 모든 민감한 설정, 데이터베이스 비밀번호, 암호학적 서명 키는 Terraform 인프라 프로비저닝 중에 동적으로 생성되며 Google Cloud Secret Manager 내부에 안전하게 잠깁니다.

배포 중 애플리케이션 코드나 컨테이너 이미지에 비밀 정보가 하드코딩되는 것을 방지하기 위해 비밀 페칭(secret fetching) 방식이 사용됩니다. 대신, 서비스들은 서명 키와 자격 증명을 런타임 시점에만 메모리로 직접 가져오므로, 미사용 시(at rest) 및 전송 시(in transit) 노출 위험을 최소화합니다.

네트워크 격리

네트워크 격리를 시행하기 위해 기반 컴퓨팅 인프라는 강력하게 보호됩니다. 넥서스 SDV는 워커 노드에 퍼블릭 IP 주소가 없어 인터넷에 직접 노출되지 않는 프라이빗 GKE 클러스터에서 실행됩니다. 또한, Keycloak PostgreSQL 데이터베이스는 정적 데이터베이스 비밀번호에 의존하거나 IP 허용 목록을 관리하는 대신, Cloud SQL Proxy가 IAM 역할을 사용하여 안전하게 연결할 수 있도록 지원하는 Cloud SQL IAM 인증(Cloud SQL IAM Authentication)을 사용합니다.

안전한 AI 프레임워크(Secure AI Framework)

구글 클라우드는 Secure AI Framework(SAIF)의 지침에 따라 데이터 프라이버시, 모델 거버넌스 및 안전한 실행을 최우선으로 하는 포괄적인 엔터프라이즈급 프레임워크를 통해 이러한 고급 AI 기능을 안전하게 보호합니다. 제미나이 엔터프라이즈 에이전트 플랫폼(Gemini Enterprise Agent Platform)을 사용하면 전용 설명 가능성(Explainability) 및 안전성 제어, 지속적인 평가 및 모니터링, 안전한 모델 레지스트리 등의 기능을 통해 보안 및 거버넌스가 머신러닝 라이프사이클에 네이티브하게 임베딩됩니다.

구글이 AI를 보안하는 방법에 대해 여기에서 자세히 알아보실 수 있습니다.

데이터 API (Data API)

하운스트림 애플리케이션 및 외부 클라이언트가 Bigtable과 같은 데이터 저장소에 직접 액세스하도록 허용하는 대신, 넥서스 SDV는 커스텀 데이터 API를 통해 데이터 검색을 라우팅합니다. 이 마이크로서비스는 특정 차량 ID, 센서 데이터 유형 및 사전 정의된 시간 창을 쿼리하는 것과 같은 엄격한 요청을 고도로 제한된 Bigtable 행 범위 스캔 및 열 필터로 변환하는 안전한 추상화 레이어 역할을 수행합니다.

이를 통해 구조화된 데이터 액세스 패턴을 시행하는 안전한 게이트웨이 역할을 합니다.

넥서스 SDV와 함께 여정을 시작해 보세요

넥서스 SDV는 오픈소스 프레임워크 내에서 제조사가 AI의 모든 성능을 활용할 수 있도록 지원하는 자율적이고 안전하며 비용 효율적인 플랫폼을 제공함으로써 자동차 인텔리전스의 새 시대를 열어갑니다. 구글이 소프트웨어 정의 차량을 재정의하는 방법에 대해 여기에서 자세히 알아보실 수 있습니다.

에이전틱 데이터 클라우드의 새로운 소식: 실행 시스템 구축

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

기업들은 단순히 질문에 답하는 생성형 AI를 넘어, 기업을 대신해 인지하고 추론하며 행동하는 자율형 에이전트로 전환하고 있습니다. 이러한 에이전트를 기존의 레거시 스택에서 확장하려고 시도하면 거버넌스 파편화, 지속적인 신뢰 격차, 추론 루프의 단절과 같은 구조적 실패에 노출될 뿐만 아니라 비용 폭증을 초래할 수 있습니다.

이를 해결하기 위해 우리는 에이전틱 데이터 클라우드(Agentic Data Cloud)를 소개합니다. 이는 기업의 데이터 플랫폼을 정적인 저장소에서 동적인 추론 엔진으로 진화시킨 AI 네이티브 아키텍처입니다. 이 시스템은 '생각'과 '실행' 사이의 간극을 좁혀, AI 에이전트가 비즈니스 데이터와 맥락을 바탕으로 직접 행동할 수 있게 합니다. 지난 세대의 지능형 시스템(Systems of Intelligence)이 인간의 규모에 맞춰 설계되었다면, 에이전틱 데이터 클라우드는 에이전트의 규모에 맞춰 구축된 실행 시스템(System of Action)입니다.

선도적인 기업들은 이미 에이전틱 데이터 클라우드를 사용하여 가시적인 가치를 창출하고 있습니다.

Vodafone: 고객에게 중단 없는 서비스를 제공하기 위해 수백 개의 에이전트를 출시했으며, 이를 통해 매년 수백만 유로를 절감할 것으로 기대하고 있습니다.
American Express: 핵심 온프레미스 데이터 웨어하우스와 수백 개의 프로덕션 애플리케이션을 BigQuery로 이전하여, 신뢰할 수 있는 대규모 에이전틱 커머스를 구현하고 있습니다.
Virgin Voyages: 1,000개 이상의 전문 AI 에이전트를 사용하고 있으며, 그중 하나는 대규모 여정 재예약 시간을 6시간에서 단 11분으로 단축했습니다.

오늘 우리는 에이전틱 데이터 클라우드를 뒷받침하는 세 가지 새로운 혁신 분야를 발표합니다.

에이전트에게 신뢰할 수 있는 비즈니스 맥락을 제공하여 정확도를 높이는 유니버설 컨텍스트 엔진(Universal Context Engine).
데이터 전문가와 개발자의 역할을 에이전트 오케스트레이터로 진화시키는 에이전틱 우선의 실무자 경험(Agentic-first practitioner experiences).
전체 데이터 자산을 연결하여 데이터 사일로를 제거하는 AI 네이티브 멀티 클라우드 레이크하우스(Cross-cloud lakehouse).

유니버설 컨텍스트 엔진으로 에이전트 역량 강화

AI의 지능은 그 기반이 되는 '맥락(Context)'에 달려 있습니다. 만약 에이전트가 여러분이 정의한 '마진(Margin)'의 의미나 공급망의 복잡한 관계를 이해하지 못한다면 추측에 의존할 수밖에 없습니다. 에이전틱 엔터프라이즈 시대에는 데이터만으로는 부족하며, 과거의 거버넌스 모델 역시 불충분합니다. 이것이 우리가 Dataplex Universal Catalog를 Knowledge Catalog로 진화시킨 이유입니다. 이 카탈로그는 집계, 지속적인 강화, 검색이라는 엄격한 프레임워크를 사용하여 전체 데이터 자산에 걸쳐 비즈니스적 의미를 매핑하고 추론합니다.

동작 방식은 다음과 같습니다.

집계(Aggregation): 진정한 맥락을 구축하려면 모든 곳에서 데이터를 모아야 합니다. 우리는 Google Cloud와 파트너 데이터 플랫폼 전반에서 네이티브 맥락을 집계하고 있습니다. 여기에는 Palantir, Salesforce Data360, SAP, ServiceNow, Workday(프리뷰)와 같은 서드파티 카탈로그, 애플리케이션, 운영 체제 및 AI 플랫폼이 포함됩니다. 레이크하우스를 사용하면 서드파티 데이터 자산이 Knowledge Catalog에 자동으로 매핑됩니다. Google Cloud 소스의 경우, 전략 문서에서 시맨틱을 자율적으로 생성하는 새로운 LookML Agent(프리뷰)와 플랫폼에 비즈니스 로직을 네이티브하게 내장하는 BigQuery measures(프리뷰)를 통해 비즈니스 로직을 자동화하고 있습니다.
지속적인 강화(Continuous enrichment): Knowledge Catalog는 조직 전반의 사용 로그를 분석하고 백그라운드에서 데이터를 프로파일링하여 지속적인 강화를 수행합니다. 이는 데이터가 무엇인지뿐만 아니라, 기업이 데이터를 실제로 어떻게 사용하는지 학습합니다. 이는 비정형 데이터까지 확장됩니다. 파일이 Google Cloud Storage에 저장되는 즉시, Smart Storage(프리뷰)가 이미지와 PDF 객체(예정)를 즉시 태깅하고 강화합니다. 또한 유용한 비정형 데이터 컬렉션을 식별하고 Gemini를 사용하여 누락된 스키마를 자동으로 생성하며 복잡한 관계를 매핑하므로 AI가 더 이상 '맹목적으로' 작동하지 않게 됩니다.
검색 및 검색(Search and retrieval): 방대한 맥락 레이어를 만드는 것도 중요하지만, 에이전틱 시대에 검색은 새로운 쿼리 경로로 진화했습니다. 엔터프라이즈 규모에서 가장 어려운 문제는 속도, 관련성, 글로벌 도달 범위 및 보안입니다. 이를 해결하기 위해 Knowledge Catalog는 Google 검색의 혁신을 바탕으로 구축된 정교한 하이브리드 검색 스택을 사용합니다. 관련성을 높이기 위해 시맨틱 및 렉시컬 매칭을 지능형 머신러닝 기반 재순위화(re-ranking)와 결합합니다. 신뢰를 보장하기 위해 액세스 제어 인식 검색을 통해 보안 권한을 네이티브하게 적용하므로, 에이전트는 승인된 자산에만 액세스하고 조치를 취할 수 있습니다.

Knowledge Catalog는 현재 Deep Research Agent(프리뷰)를 구동하고 있습니다. Gemini Enterprise에서 제공되는 이 에이전트는 BigQuery와 같은 데이터 플랫폼은 물론 내부 문서와 웹 자산 전반에서 다단계 추론을 수행하여, 과거에 수주간의 수동 작업이 필요했던 복잡한 질문에 대해 인용구와 정밀도를 갖춘 답변을 제공합니다.

에이전틱 우선의 실무자 경험

새로운 아키텍처로 이동함에 따라 데이터 실무자의 역할은 수동으로 파이프라인을 작성하는 것에서 의도 중심의 엔지니어링을 조율하는 것으로 바뀝니다.

우리는 Google Cloud Data Agent Kit(프리뷰)를 통해 이러한 전환을 가속화하고 있습니다. 새로운 인터페이스를 도입하는 대신, 개발자들이 선호하는 환경(VS Code, Gemini CLI, Codex, Claude Code 등)에 바로 적용할 수 있는 도구, 확장 프로그램 및 플러그인 세트를 출시합니다. 이를 통해 IDE나 터미널을 네이티브 데이터 환경으로 변환하여, 시스템이 자율적으로 프레임워크(dbt, Apache Spark, Apache Airflow 등)를 선택하고 Google의 표준에 맞춘 프로덕션용 코드를 생성하도록 합니다.

이 키트는 단순히 도구를 연결하는 데 그치지 않고, 데이터를 이동시키지 않고도 페타바이트 규모까지 확장 가능한 고성능 기능을 개발자의 흐름에 직접 주입합니다. Data Agent Kit에는 다음과 같은 Google의 기본 에이전트들을 구동하는 것과 동일한 도구들이 포함되어 있습니다.

Data Engineering Agent (정식 출시): 처음부터 복잡한 파이프라인 변환을 구축하고 거버넌스 규칙을 적용하여 잘못된 데이터가 프로덕션에 유입되는 것을 방지합니다.
Data Science Agent (정식 출시): 데이터 랭글링부터 학습까지 모델 라이프사이클을 자동화하며, BigQuery Dataframes 및 서버리스 Apache Spark 전반으로 확장합니다.
Database Observability Agent (프리뷰): 인프라의 24/7 파수꾼 역할을 하며 근본 원인을 진단하고 데이터베이스 복구 조치를 실행합니다.

또한 에이전트의 원활한 실행을 돕기 위해 Google Cloud는 Model Context Protocol(MCP)을 전면 수용했습니다. 이는 에이전트가 BigQuery, Spanner(프리뷰), AlloyDB, Cloud SQL(정식 출시), Looker(프리뷰) 등 핵심 엔진 전반에서 데이터 자산을 검색하고 사용할 수 있게 해주는 보안 유니버설 인터페이스를 제공합니다.

비즈니스 사용자를 위한 경험도 재구상했습니다. 이제 BigQuery, Cloud SQL, Spanner, AlloyDB(프리뷰), Looker(정식 출시) 전반에서 Conversational Analytics(대화형 분석)가 지원됩니다. 조직은 이러한 맞춤형 분석 에이전트를 Gemini Enterprise에 게시하여, 직원들이 익숙한 인터페이스에서 실시간 데이터와 대화할 수 있게 함으로써 수동 보고서를 기다리는 시간을 없앨 수 있습니다.

에이전틱 규모를 위해 구축된 멀티 클라우드 토대

에이전트가 행동하기 위해서는 근본적으로 개방된 토대가 필요합니다. 만약 에이전트가 클라우드 간 지연 시간에 가로막히거나 특정 업체의 폐쇄적인 환경에 갇혀 있다면 자율성은 무너집니다. 이에 우리는 다음과 같은 기능을 통해 진정한 경계 없는 멀티 클라우드 레이크하우스(Cross-cloud Lakehouse)를 선보입니다.

분석 자산 연결: Cross-Cloud Interconnect(CCI)를 데이터 플레인에 직접 통합합니다. CCI의 전용 고속 프라이빗 네트워킹과 Apache Iceberg REST Catalog를 결합하여 지연 시간을 낮추고 막대한 이그레스(Egress) 비용을 제거합니다. 결과적으로 에이전트는 AWS와 Azure에 있는 데이터를 마치 Google Cloud에 있는 것처럼 원활하게 사용할 수 있습니다.
독점적 사일로 종식: 양방향 페더레이션(Bi-directional federation, 프리뷰)을 출시하여 독점 카탈로그 시대를 끝내고자 합니다. 엔진은 이제 Amazon S3의 Databricks Unity Catalog(프리뷰), Snowflake Polaris(프리뷰), Amazon S3의 AWS Glue Data Catalog(프리뷰)에서 직접 데이터를 읽을 수 있습니다. 이는 강화된 Lakehouse Governance(프리뷰)를 통해 보안 정책이 멀티 클라우드 환경 전반에 즉시 적용되도록 뒷받침됩니다.
운영 데이터의 해방: 세계에서 가장 확장성이 뛰어나고 글로벌 일관성을 갖춘 데이터베이스인 Spanner Omni(프리뷰)를 발표합니다. 이제 처음으로 클라우드, 온프레미스, 혹은 노트북 등 어디에서나 Google을 구동하는 것과 동일한 역량으로 Spanner 엔진을 실행할 수 있습니다.
인사이트와 실행 사이의 간극 해소: 대부분의 '통합' 데이터 플랫폼은 복잡한 ETL 파이프라인 구축을 강요하여 에이전트의 실시간 데이터 접근을 가로막습니다. AlloyDB용 레이크하우스 제휴(프리뷰)을 통해 프로토콜 수준의 제로-ETL 동기화를 제공함으로써, 에이전트가 운영 트랜잭션 내에서 낮은 지연 시간으로 깊이 있는 분석 이력에 접근할 수 있게 합니다.

미래를 자동화하다

에이전트 규모로 이동하면 워크로드가 수천 배 더 많아집니다. 이를 지원하기 위한 네 가지 주요 성능 혁신을 발표합니다.

Apache Spark용 Lightning Engine: 독점적인 시장 대안 대비 최대 2배의 가성비를 제공합니다.
Managed Lustre: 까다로운 모델에 데이터를 충분히 빠르게 공급할 수 있도록 최대 10TB/s의 처리량을 제공합니다.
Bigtable 인메모리 티어: 실시간 애플리케이션을 위해 1밀리초 미만의 읽기 지연 시간을 제공합니다. 이제 별도의 캐싱 레이어를 둘 필요가 없습니다.
BigQuery 유동적 확장(Fluid scaling): 오토스케일링 워크로드의 비용을 평균 최대 34% 절감하며, 에이전트가 행동할 때 리소스를 즉시 늘리고 사용하지 않을 때 줄여줍니다.

실행 시스템(System of Action) 위에서 성공을 구축하세요

수동적인 관찰의 시대는 끝났습니다. 미래는 Google의 에이전틱 데이터 클라우드가 가능케 하는 실행 시스템(System of Action)의 것입니다.

에이전틱 데이터 클라우드가 여러분의 비즈니스를 위해 무엇을 할 수 있는지 확인해 볼 준비가 되셨습니까? 실행 시스템을 통해 자율형 에이전트에게 데이터를 공급할 준비를 하는 방법에 대한 전략 워크숍을 지금 신청하세요.

에이전틱 데이터 클라우드에 대해 더 자세히 알고 싶으신가요? 수동적인 데이터를 능동적인 실행으로 전환하기 위한 당사의 청사진을 확인해 보시기 바랍니다.

BigQuery의 새로운 소식: 에이전틱 시대를 가속화하다

Tue, 28 Apr 2026 01:00:00 +0000

* 본 아티클의 원문은 2026년 4월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

에이전틱(Agentic) 시대에 성공하려면 데이터 전략의 대대적인 전환이 필요합니다. 즉, 인간 중심의 워크로드에서 에이전트 우선의 워크로드로, 수동적인 지능에서 능동적인 실행으로, 그리고 단순한 원시 데이터에서 에이전트가 정확하게 추론할 수 있는 시맨틱 지식으로 진화해야 합니다.

지난 10여 년간 BigQuery는 지속적인 혁신을 통해 수만 개의 조직이 확장 가능한 데이터 및 AI 기반을 구축하고 기술적 변곡점을 헤쳐 나갈 수 있도록 지원해 왔습니다. BigQuery는 이제 자율형 '데이터 투 AI(Data-to-AI)' 플랫폼으로 진화했습니다. Gemini를 통한 데이터 처리량은 30배 이상, 비정형 데이터를 처리하는 AI 함수는 25배, 그리고 모델 컨텍스트 프로토콜(MCP)을 활용한 에이전트 구축 도구는 20배나 성장했습니다.

Definity와 같은 고객들은 고객 경험을 개선하고 백오피스 운영 효율을 높이며, 데이터 팀의 생산성을 증대시키기 위해 데이터 플랫폼을 구축하고 있습니다.

"우리는 Google Cloud에 데이터 플랫폼을 구축하고 10개월 만에 모든 핵심 보험 데이터를 수집했습니다. 이는 업계 평균 소요 시간의 절반 수준입니다. 대량의 데이터를 매우 빠르게 처리하는 BigQuery의 기술은 실무자와 엔지니어들에게 고급 도구를 제공하며, AI와 ML이 내장된 플랫폼을 선사했습니다. 우리는 매우 짧은 기간 내에 사용자 수를 두 배로 늘렸습니다." — Tatjana Lalkovic, Definity CTO

오늘 우리는 업계 선도적인 가성비와 엔터프라이즈급 안정성을 바탕으로 레이크하우스, 내장형 AI 처리 및 추론, 그리고 에이전틱 경험 전반에 걸친 BigQuery의 새로운 기능들을 발표합니다.

개방형 멀티 클라우드 레이크하우스(Open, Cross-cloud Lakehouse)

기업의 데이터는 종종 여러 애플리케이션, 다양한 클라우드 환경 및 온프레미스에 흩어져 있습니다. 초기 레이크하우스 솔루션이 데이터 중복을 줄여주었다면, 에이전틱 시대에는 네이티브 멀티모달, 멀티 클라우드 및 AI 지원이 가능한 기반이 필요합니다. 우리의 접근 방식은 Apache Iceberg의 상호 운용성과 Google의 차별화된 인프라를 결합하여 다음과 같은 새로운 기능을 제공합니다.

레이크하우스 내 관리형 Iceberg 테이블 (정식 출시, 기존 BigLake): 자동 테이블 관리, Iceberg 파티셔닝, 멀티 테이블 트랜잭션, 변경 데이터 캡처(CDC), 강화된 벡터화 및 이력 기반 최적화를 포함한 고급 BigQuery 기능과 Iceberg의 개방성을 결합합니다.
Iceberg REST 카탈로그 (프리뷰): BigQuery, Spark, 기타 오픈 소스 및 서드파티 엔진 간의 Iceberg 테이블 읽기/쓰기 상호 운용성을 지원하므로, 복잡하게 엔진 간의 장단점을 타협할 필요가 없습니다.
멀티 클라우드 레이크하우스 (프리뷰): AWS와 Azure를 시작으로 BigQuery AI 및 분석 기능을 다른 클라우드로 확장합니다. Iceberg REST 카탈로그와 같은 개방형 표준, Cross-Cloud Interconnect를 통한 고대역폭 네트워크, 투명한 캐싱 기술을 사용하여 네이티브 웨어하우스와 대등한 성능 및 TCO를 구현하며 기업을 위한 진정한 멀티 클라우드 환경을 제공합니다.
카탈로그 제휴 (프리뷰): AWS Glue, Databricks, SAP, Salesforce, Snowflake 및 Confluent Tableflow(올해 말 출시 예정) 전반에서 데이터를 쉽게 검색, 분석하고 제로 카피(Zero-copy) 방식으로 공유할 수 있습니다.
실시간 데이터 복제: Spanner, AlloyDB 및 Cloud SQL의 데이터를 BigQuery 테이블(정식 출시) 및 Iceberg(프리뷰)로 즉시 복제할 수 있도록 하여, 원시 데이터와 운영 실행 사이의 간극을 메워줍니다.

SQL 또는 자연어를 사용하여 BigQuery와 AWS 기반 Iceberg 테이블 전반의 데이터 분석

최신 레이크하우스 혁신 기술에 대한 자세한 내용은 이 블로그를 참조하세요.

엔터프라이즈 에이전트를 위한 그래프 기반 추론

AI가 진정으로 복잡하고 여러 단계(multi-hop)를 거치는 운영상의 문제를 해결하려면, 비즈니스 로직이 데이터 플랫폼 계층까지 깊숙이 확장되어야 합니다. 이 계층에서 로직을 정의하면 데이터 수집부터 소비까지 모든 정의가 일관되게 유지되고 거버넌스 하에 관리될 수 있습니다. BigQuery Graph (프리뷰)는 이러한 맥락을 활성화하는 토대를 제공하여, 데이터 실무자가 데이터 플랫폼 내에서 엔터티(객체), 관계 및 비즈니스 로직을 직접 매핑할 수 있게 합니다. 이를 통해 AI 에이전트는 거버넌스가 확보된 현실 데이터에 기반을 두고, 일관된 정확도로 복잡한 과제를 대규모로 해결할 수 있습니다.

오늘 우리는 AI 추론 능력을 강화하기 위한 새로운 그래프 기능을 발표합니다.

BigQuery Graph 내 메저(Measures) 네이티브 지원 (프리뷰): 분석 지표와 관계를 거버넌스가 적용된 단일 엔터티로 통합할 수 있습니다. 이는 데이터를 멀티 홉 구조 추론을 위한 '비즈니스 지도'로 변환하여, 에이전트가 단순한 검색을 넘어 비즈니스 이벤트의 파급 효과를 추적할 수 있도록 돕습니다.
BigQuery 대화형 분석(Conversational Analytics)의 그래프 지원 (프리뷰): 대화형 분석 에이전트가 가공되지 않은 테이블 대신 확정적인 '비즈니스 지도'를 탐색하게 함으로써 더 높은 정확도로 답변을 제공합니다. 그래프는 이중 추론을 가능하게 합니다. 즉, 에이전트는 메저를 사용하여 정확한 KPI를 즉시 계산하는 동시에, 복잡한 관계를 탐색하여 수치 뒤에 숨겨진 '이유'를 찾아낼 수 있습니다.
BigQuery Graph와 Looker 통합 (프리뷰): 그래프를 Looker 뷰로 노출함으로써 BigQuery에서 정의한 메저를 전체 데이터 스택에서 재사용할 수 있습니다. 또한 소스 제어 및 검증 기능이 포함된 Looker를 사용하여 BigQuery Graph를 정의할 수도 있습니다. 이러한 상호 운용성은 '이탈률(Churn Rate)'과 같은 지표가 대시보드와 AI 에이전트 모두에서 동일하게 유지되도록 보장합니다.
BigQuery Studio의 시각적 모델링 경험 (프리뷰): 에이전틱 컨텍스트(Agentic context)의 동력이 되는 엔터티, 관계 및 비즈니스 로직을 쉽게 구축하고 관리할 수 있는 직관적인 인터페이스를 제공합니다.

BigQuery Graph와 대화형 분석 에이전트를 사용하여 자연어로 데이터 분석

구조화 및 비정형 데이터의 가치를 깨우는 네이티브 AI 처리

데이터는 더 이상 행과 열에만 갇혀 있지 않습니다. 에이전트에게는 데이터 복사나 이동 없이도 정형 데이터와 비정형 데이터를 대규모로 처리할 수 있는 플랫폼이 필요합니다. BigQuery AI는 170개 이상의 파운데이션 모델에 대한 내장 액세스를 제공하여 예측 머신러닝 작업(예측, 이상 탐지, 추천 등)과 생성형 AI 작업(이미지 및 텍스트에서의 엔터티 추출, 콘텐츠 생성, 데이터 강화 등)을 쉽게 수행할 수 있게 해줍니다. BigQuery AI의 새로운 기능은 다음과 같습니다.

AI.PARSE_DOCUMENT (프리뷰): 단일 SQL 함수로 광학 문자 인식(OCR), 레이아웃 분석, 청킹(Chunking)을 자동화하여 복잡한 문서 처리 워크플로를 단순화합니다.
TabularFM 모델 (프리뷰): 광범위한 피처 선택, 튜닝, 학습 또는 모델 관리 없이도 고품질의 회귀 및 분류 기능을 BigQuery에 제공합니다.
ObjectRef (정식 출시): SQL과 Python을 사용하여 정형 데이터와 함께 비정형 데이터를 처리할 수 있습니다. 이는 지식 카탈로그(Knowledge Catalog)에서 풍부한 멀티모달 컨텍스트를 직접 구축하기 위한 토대를 마련합니다.
SQL 우선 AI 공동 처리 관리형 함수용 최적화 모드 (프리뷰): AI.CLASSIFY 및 AI.IF와 같은 함수를 위해 즉석에서 작업별 모델을 학습시켜, 행별(row-by-row) 생성형 AI 처리와 비교해 토큰 소비를 230배 절감합니다.
BigQuery 네이티브 Gemma 임베딩 (프리뷰): 표준 CPU에서 대규모로 고품질 임베딩을 생성할 수 있습니다.
자율 임베딩 생성 (정식 출시): 비정형 데이터를 위한 파이프라인을 완전히 자동으로 관리하며, 새로운 데이터가 수집될 때마다 벡터 인덱스를 동기화 상태로 유지합니다.
BigQuery 하이브리드 검색 (프리뷰): 시맨틱 검색과 전체 텍스트 검색을 단일 함수로 통합하여 검색을 일원화하고, RAG(검색 증강 생성) 및 복잡한 탐색에서 탁월한 정밀도를 제공합니다.
Python UDF (정식 출시): 완전 관리형 Python 스칼라 함수로 데이터를 강화, 변환 또는 정제할 수 있습니다. 자체 코드나 라이브러리를 가져올 수 있으며, 서버리스 및 스케일 아웃 실행을 통해 수백만 행까지 자동 확장됩니다. 이 기능은 향후 몇 주에 걸쳐 단계적으로 출시될 예정입니다.
Connected Sheets: BigQuery의 규모를 익숙한 Google Sheets 인터페이스로 가져오며, 이제 TimesFM 모델을 통한 예측(정식 출시) 및 이상 탐지(프리뷰)를 지원합니다.
지구 통계 분석(Geospatial analytics) 데이터 세트 (프리뷰): 인프라 자산이나 도로 관리 인사이트와 같은 위치 정보 데이터를 BigQuery에서 직접 액세스할 수 있습니다. 복잡한 수동 데이터 전처리 없이 기업 데이터와 결합하여 더 깊이 있는 분석이 가능합니다.

BigQuery에서 비정형 데이터의 액세스, 처리 및 활성화

에이전틱 경험(Agentic experiences)

AI는 지루하고 시간이 많이 걸리는 작업들을 대신 처리함으로써, 숙련된 데이터 팀이 영향력이 큰 전략적 이니셔티브에 집중할 수 있도록 돕습니다. 우리는 Google의 기초 연구, 우수한 모델, 그리고 특화된 도구들을 BigQuery에 직접 통합하여 데이터 라이프사이클의 모든 단계에서 자동화와 지원을 제공함으로써 이 분야를 선도하고 있습니다. BigQuery의 새로운 에이전틱 경험은 다음과 같습니다.

BigQuery 대화형 분석 (정식 출시): 팀원들이 자연어를 사용하여 복잡한 데이터 세트를 쿼리할 수 있게 해줍니다. 구조화된 데이터와 비정형 데이터 전전반에 걸친 예측 분석 및 추론과 같은 고급 기능을 지원하는 동시에, 인사이트를 얻기 위한 안전하고 투명한 경로를 제공합니다. BigQuery Studio 외에도, BigQuery 대화형 분석 에이전트를 Data Studio(프리뷰), Gemini Enterprise(프리뷰)에 게시하여 활용하거나 커스텀 애플리케이션을 위한 API(정식 출시)를 통해 사용할 수 있습니다.

BigQuery 대화형 분석(Conversational Analytics)을 통해 자연어로 데이터에서 인사이트 확보

능동적 에이전틱 워크플로 (프리뷰): 단순한 질의응답을 넘어 지표의 변화를 감지하고, 왜 그런 변화가 일어났는지 설명하기 위해 근본 원인 분석(Root-cause analysis)을 수행하며, 정기적인 리서치 브리핑을 사용자의 받은 편지함으로 직접 전달합니다.

BigQuery의 능동적 에이전틱 워크플로 (Proactive agentic workflows)

BigQuery 에이전트 분석(Agent Analytics)은 ADK(정식 출시) 및 LangGraph(프리뷰) 프레임워크용 플러그인을 제공하여, 에이전트 활동을 BigQuery에 기록하고 이를 트러블슈팅, 최적화 및 에이전트 평가를 위해 분석할 수 있도록 지원합니다.
BigQuery Studio에 새로운 생산성 도구들이 추가되었습니다. 리소스 검색 및 트러블슈팅을 위한 문맥 인식 어시스턴트(Contextually aware assistant, 프리뷰), SQL과 데이터프레임을 혼합할 수 있는 SQL Cells (정식 출시), 노트북 내에서 직접 시각화 자료를 만드는 Visualization Cells (정식 출시) 등이 포함됩니다. Files Explorer (정식 출시)를 통해 개발자는 코드 자산을 폴더별로 정리, 공유 및 관리할 수 있습니다. 또한, BigQuery 노트북에 Git 통합 및 워크플로(프리뷰)를 도입하여 GitHub, GitLab, Bitbucket 및 Azure DevOps 전반에 걸쳐 데이터 과학 워크플로를 위한 완벽한 소스 코드 관리(SCM) 범위를 제공합니다.
데이터 과학 에이전트 (정식 출시)는 BigQuery 노트북 내에서 단순히 목표를 평이한 영어로 서술하는 것만으로도 BigQuery ML, 데이터프레임 또는 Spark를 사용하여 데이터를 로드, 정제 및 시각화하는 계획을 자동으로 실행합니다.
데이터 엔지니어링 에이전트 (정식 출시)는 BigQuery 내 데이터 파이프라인의 개발, 관리, 마이그레이션 및 트러블슈팅을 돕습니다. 사용자의 지침(Instruction)과 지식 카탈로그(Knowledge Catalog) 통합을 통해 커스텀 컨텍스트를 활용하며, BigQuery 파이프라인 및 Dataform에서 사용할 수 있습니다.
Colab Data Apps (프리뷰)는 노트북 분석 결과물을 비즈니스 팀이 Data Studio에서 액세스할 수 있는 공유 가능한 완전 관리형 대화형 Python 애플리케이션으로 변환함으로써 분석과 실행 사이의 간극을 메워줍니다.
BigQuery 원격 MCP 서버 (정식 출시) 및 BigQuery ADK 툴셋 (정식 출시)은 에이전트를 위한 수동 데이터베이스 커넥터의 필요성을 줄여줍니다.
Google Cloud 데이터 에이전트 키트 (프리뷰)는 이식 가능한 기술 스위트, 모델 컨텍스트 프로토콜(MCP) 도구, 환경별 확장 프로그램 및 네이티브 플러그인을 제공합니다. VS Code, Gemini CLI, Codex, Claude Code 등 사용자가 구축 중인 환경에 직접 찾아가는 데이터 에이전트 키트는 IDE, 노트북 또는 터미널을 네이티브 데이터 환경으로 변환합니다. 이를 통해 사용자의 환경은 광범위한 데이터 워크플로를 오케스트레이션하고, BigQuery, dbt, Apache Spark 또는 Apache Airflow와 같은 최적의 프레임워크를 자동으로 선택하며 프로덕션 환경에 바로 적용 가능한 코드를 생성할 수 있습니다.

타의 추종을 불허하는 성능과 규모

현대의 분석 워크로드는 갈수록 예측 불가능해지고 분산되고 있습니다. 우리는 환경 내에서 데이터가 증가하더라도 비용과 운영 오버헤드는 늘어나지 않도록 BigQuery 핵심 엔진을 강화하는 데 지속적으로 투자하고 있습니다.

유동적 확장 (Fluid scaling, 정식 출시): 비용과 성능 사이의 타협이 필요 없는 프리미어 자동 확장 모델을 통해 변동성이 큰 워크로드를 효율적으로 실행할 수 있습니다. BigQuery의 유동적 확장은 진정한 초 단위 과금을 가능케 하여 최대 34%의 비용 절감 효과를 제공합니다.
고급 런타임, 소규모 쿼리 및 이력 기반 최적화 (정식 출시): 코드나 스키마 변경 없이 네이티브 및 Iceberg 워크로드를 가속화합니다. BigQuery는 전년 대비 쿼리 속도를 35% 향상시키는 동시에 쿼리 처리 비용을 40% 절감했습니다.
새로운 워크로드 관리 기능: 예약 그룹 (Reservation groups, 정식 출시), 유연한 동적 할당(프리뷰), 프로젝트 수준 슬롯 및 동시성 제어 (프리뷰) 등이 포함되며, 이를 통해 상세한 비용 할당과 가격 대비 성능 제어가 가능합니다. 이 모든 과정은 선언적 규칙 기반 워크로드 관리(프리뷰)를 통해 단순화되었습니다.
강화된 관측성(Observability, 정식 출시) 및 교차 라우팅(Intersection routing, 프리뷰)은 미션 크리티컬한 워크로드를 위해 유연한 재해 복구 역량을 제공합니다. 즉각적인 트러블슈팅을 위한 에이전트 기반 관측성(Agent-powered observability, 프리뷰)은 운영을 더욱 단순화하며, 에이전트 대응 보안 센터(Agent-ready security center, 프리뷰)는 통합된 세밀한 액세스 제어 경험을 제공합니다.

예측 불가능한 워크로드를 위한 BigQuery 유동적 확장(Fluid scaling)

에이전틱(Agentic) 시대의 BigQuery는 단순히 데이터가 머무르는 곳이 아닙니다. 이제 BigQuery는 데이터가 스스로 생각하고, 추론하며, 행동하는 공간입니다. 미래는 이미 시작되었으며, 그 어느 때보다 개방적이고 자율적이며 강력해졌습니다.

BigQuery 데이터 마이그레이션 혜택을 활용하여 여러분의 데이터 및 AI 여정을 지금 시작해 보세요. 여러분이 데이터를 통해 만들어갈 혁신적인 이야기들을 기대하겠습니다.

단일 SQL로 분산 데이터를 탐색하는 새로운 Big Query 글로벌 쿼리

Tue, 17 Feb 2026 17:00:00 +0000

* 본 아티클의 원문은 2026년 02월 18일 Google Cloud 블로그(영문)에 게재되었습니다.

글로벌 경제 환경에서 데이터는 전 세계 곳곳에서 생성되고 저장됩니다. 다국적 기업의 경우 고객 데이터는 미국 본사에 두고, 트랜잭션 로그는 유럽과 아시아에 분산 저장하는 경우가 많습니다. 이는 성능 최적화, 규정 준수, 데이터 주권 요구사항을 충족하는 데 도움이 됩니다. 하지만 이러한 방식은 '데이터가 여러 대륙에 분산되어 있는데, 어떻게 비즈니스 전체를 아우르는 단일 통합 뷰를 확보할 것인가?'라는 새로운 과제를 안겨줍니다.

과거에는 이 문제를 해결하기 위해 분석 전 데이터를 복사하고 중앙 집중하하기 위해 복잡하고 시간이 오래 걸리며 비용이 많이 드는 ETL 파이프라인이 필요했습니다. 이로 인해 지연이 발생하고 복잡성이 가중되며 팀이 적시에 임시 분석을 수행하는 데 방해가 되었습니다.

오늘 소개하는 Big Query의 글로벌 쿼리가 이러한 판도를 바꿉니다. 이제 ETL 없이도 단일 표준 SQL 쿼리만으로 서로 다른 지리적 위치에 저장된 데이터를 쿼리할 수 있습니다. 글로벌 쿼리는 현재 프리뷰 버전으로 이용 가능합니다.

글로벌 쿼리란 무엇인가요?

글로벌 쿼리는 여러 지역에 분산된 데이터 세트 간의 장벽을 허물어 줍니다. 이제 이 다국적 기업은 Big Query 콘솔에서 직접 단일 쿼리를 실행하여 모든 데이터를 조인, 통합, 분석할 수 있습니다.

백그라운드에서 Big Query가 쿼리를 실행하는 데 필요한 데이터 이동을 자동으로 처리하여 다중 지역 분석을 위한 원활한 제로 ETL 환경을 제공합니다. Big Query는 서로 다른 리전에서 실행되어야 하는 쿼리의 여러 부분을 식별하고 그에 따라 실행합니다. 다음으로, 각 부분의 쿼리 결과는 기본 쿼리가 실행될 때 선택한 위치로 전송됩니다. 이때 전송 크기를 최소화하기 위한 최적화 작업이 병행됩니다. 마지막으로 모든 데이터가 결합되고 최종 쿼리 결과가 반환됩니다.

BigQuery 사용자 Essilor Luxottica는 글로벌 쿼리를 조기에 도입하여 큰 성과를 거두었습니다.

“EssilorLuxottica는 데이터 보안과 규정 준수를 최우선으로 생각합니다. 이것이 바로 데이터가 발생한 해당 리전에 항상 저장되어야 하는 이유입니다. Big Query의 글로벌 쿼리를 사용하면 이렇게 분산된 데이터를 원활하게 통합할 수 있습니다. 이를 통해 규정 준수를 타협하지 않으면서도 교차 리전의 집계된 분석을 수행할 수 있습니다. 보안을 유지하면서도 데이터 기반의 의사 결정을 내릴 수 있는 강력한 방법입니다.” - 루벤스 발라비오, EssilorLuxottica 고객 데이터 플랫폼 관리자

이와 동시에, 리전 간 데이터 전송은 추가 비용이 발생하며, 다양한 규제들로 인해 개인 식별 정보(PII)가 원래 위치를 벗어나서는 안 되는 경우가 많습니다. 이러한 이유로 Google Cloud는 지리적 경계를 넘어 데이터를 전송하는 과정에 강력한 거버넌스가 필요하다는 것을 인지하고 있습니다. 따라서 글로벌 쿼리는 보안과 사용자 제어를 최우선으로 두고 설계되었습니다. 구체적인 방법은 다음과 같습니다.

명시적 활성화 필수: 실수로 인한 의도치 않은 데이터 전송이나 비용 발생을 방지하기 위해 글로벌 쿼리 기능은 기본적으로 비활성화되어 있습니다. 이 기능을 사용하려면 관리자가 프로젝트에 글로벌 쿼리를 명시적으로 활성화해야 하며, 실행하는 사용자 또는 서비스 계정별로 특별 권한이 필요합니다.
위치 제어권 보유: 글로벌 쿼리가 실행되는 위치를 사용자가 직접 지정할 수 있습니다. 이를 통해 데이터가 처리되는 위치를 통제하고 데이터 상주 및 규정 준수 요구사항을 준수할 수 있습니다.
거버넌스 제어 준수: 글로벌 쿼리는 VPC 서비스 제어를 포함한 기존 보안 설정을 준수하므로 설정된 보안 정책을 위반하는 방식으로는 데이터가 이동하지 않습니다.

글로벌 쿼리 실제 작동 예시

실제 작동 예시로 단일 쿼리로 생성된 글로벌 매출 통합 보고서를 살펴보겠습니다. 이전에는 이러한 보고서를 만들이 위해 별도의 데이터 엔지니어링 프로젝트가 필요했습니다. 하지만 이제 권한이 있는 분석가라면 누구나 단일 쿼리로 몇 초 만에 답을 얻을 수 있습니다.

code_block: <ListValue: [StructValue([('code', "-- Set the location where the final query will be executed, can also be set in the Console.\r\nSET @@location = 'US';\r\n\r\n-- Combine transactions from both European and Asian datasets\r\nWITH transactions AS (\r\n SELECT customer_id, transaction_amount FROM `eu_transactions.sales_2024`\r\n UNION ALL\r\n SELECT customer_id, transaction_amount FROM `asia_transactions.sales_2024`\r\n)\r\n\r\nSELECT\r\n c.customer_name,\r\n SUM(t.transaction_amount) AS total_sales\r\nFROM\r\n hq_customers.customer_list AS c\r\n LEFT JOIN transactions AS t\r\n ON c.id = t.customer_id\r\nGROUP BY\r\n c.customer_name\r\nORDER BY\r\n total_sales DESC;"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943cd0e20>)])]>

보시는 것처럼 이 모든 과정은 표준 SQL로 이루어집니다. 유럽 및 아시아 데이터 세트에 저장된 모든 트랜잭션을 가져와 미국에 보관된 고객 데이터와 결합합니다. 이전과 다른 점은 이제 Big Query가 수천 마일 떨어진 데이터 세트에서 이 작업을 직접 수행한다는 것입니다. 이를 통해 아키텍처를 획기적으로 간소화할 뿐만 아니라, 인사이트를 얻기까지의 시간 역시 대폭 단축해 줍니다.

지금 바로 글로벌 쿼리를 시작해 보세요

글로벌 쿼리를 사용하면 분산된 데이터 전반에서 새로운 인사이트를 도출하고, 팀원들이 진정한 온디맨드 글로벌 분석 역량을 갖추도록 지원할 수 있습니다.

기능 활성화 및 사용 방법에 대한 자세한 내용은 official documentation를 참고하시기 바랍니다. Google Cloud는 정식 버전 출시를 목표로 기능을 지속적으로 발전시켜 나가고 있으며 여러분의 소중한 의견을 기다리고 있습니다.

BigQuery 내부 구조 심층 분석: Google이 분석에 임베딩을 도입한 방법

Tue, 11 Nov 2025 17:00:00 +0000

* 본 아티클의 원문은 2025년 11월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

임베딩은 데이터와 AI의 교차점에서 핵심적인 역할을 하는 구성요소입니다. 데이터 구조로서의 임베딩은 데이터가 가진 고유한 의미를 인코딩하며, 이들은 비교될 때 그 중요성이 분명해집니다. 벡터 검색은 공유 공간 내에서 임베딩 간의 거리를 평가하여 임베딩의 상대적 의미를 밝히는 기법입니다.

2024년 초 Google Cloud는 BigQuery 데이터 플랫폼에 벡터 검색 기능을 출시하여 모든 BigQuery 사용자가 이 강력한 기능을 이용할 수 있도록 했습니다. 이를 통해 특수 데이터베이스나 복잡한 AI 워크플로를 구축할 필요가 없어졌습니다. 벡터 검색을 범용화하기 위한 Google Cloud의 지속적인 노력은 BigQuery 사용자가 기대하는 규모, 간편함, 비용 효율성을 갖춘 고유한 접근방식으로 이어졌습니다. 이 글에서는 지난 2년간의 여정을 되돌아보며 제품 개발과 고객 상호작용을 통해 얻은 인사이트를 공유하고자 합니다.

과거의 방식: 어렵고 복잡했던 벡터 검색 구축

BigQuery에 벡터 검색에 대한 기본 지원이 추가되기 전에는 확장 가능한 벡터 검색 솔루션을 빌드하는 것이 복잡하고 여러 단계를 거쳐야 하는 프로세스였습니다. 데이터 전문가는 다음 작업을 수행해야 했습니다.

데이터 웨어하우스에서 데이터 추출
특수한 머신러닝 인프라를 사용하여 임베딩 생성
생성된 임베딩을 전용 벡터 데이터베이스에 로드
서버 프로비저닝, 확장, 색인 관리를 포함한 추가 인프라 유지보수
벡터 검색 결과를 핵심 비즈니스 데이터와 다시 연결하는 커스텀 파이프라인 개발
운영 시스템의 치명적 문제인 인덱스 재빌드 중 발생하는 다운타임 처리

이처럼 분산되고 비용이 많이 들며 유지보수 부담이 큰 아키텍처는 많은 팀의 진입 장벽이었습니다.

초기 단계: 간편함에 집중하다

Google Cloud는 시장에서 가장 간단한 벡터 데이터베이스를 만드는 것을 목표로 BigQuery 벡터 검색을 시작했습니다. 이 프레임워크는 다음과 같은 몇 가지 핵심 설계 요구사항을 충족하기 위해 빌드되었습니다.

완전한 서버리스: Google Cloud는 모든 BigQuery 고객에게 벡터 검색을 제공하는 가장 좋은 방법이 서버리스라는 것을 일찍이 깨달았습니다. 먼저 BigQuery 내에서 클러스터링과 인덱싱의 장점을 결합한 IVF 색인(Index)을 BigQuery 내부에 빌드했습니다. 따라서 BigQuery에서 벡터 검색을 사용하기 위해 새 서버를 프로비저닝할 필요가 전혀 없습니다. 즉, 벡터 데이터베이스의 기본 인프라를 관리할 필요가 없으므로 팀은 가장 중요한 데이터에만 집중할 수 있습니다. BigQuery는 확장, 유지보수, 안정성을 자동으로 처리하며 수십억 개의 임베딩을 처리할 수 있도록 쉽게 확장되므로 비즈니스 성장에 따라 솔루션을 확장할 수 있습니다.
최대한 간편한 색인 유지 보수: BigQuery의 벡터 색인은 이러한 간소화의 핵심 요소입니다. 간단한 CREATE VECTOR INDEX SQL 문으로 색인을 생성하면 BigQuery가 나머지를 처리합니다. 새로운 데이터가 수집되면 색인이 자동으로 비동기식으로 새로고침되어 변경사항을 반영합니다. 데이터 수집으로 인해 데이터 분포가 변경되어 검색 정확도가 떨어지더라도 문제없습니다. 모델 재빌드 기능을 사용하면 색인 다운타임 없이 단 하나의 SQL 문으로 색인을 완전히 재빌드할 수 있습니다.
GoogleSQL 및 Python과의 통합: 간단한 VECTOR_SEARCH 함수를 사용하여 기존 SQL 워크플로 내에서 직접 벡터 검색을 수행할 수 있습니다. 따라서 시맨틱 검색을 기존 쿼리 및 조인과 쉽게 결합할 수 있습니다. 데이터 과학자에게는 Python 및 LangChain, BigQuery DataFrames와 같은 도구와의 통합이 고급 머신러닝 애플리케이션을 빌드하는 데 자연스럽게 적합합니다.
보장된 일관성: 새로운 데이터는 수집 즉시 VECTOR_SEARCH 함수를 통해 검색할 수 있으므로 검색 결과의 정확성과 일관성이 보장됩니다.
사용한 만큼만 지불: BigQuery 벡터 검색 가격 책정 모델은 유연성을 고려하여 설계되었습니다. 이 '종량제(pay as you go)' 모델은 임시 분석과 가격 대비 성능이 뛰어난 배치 쿼리 모두에 적합합니다. 이 모델은 막대한 초기 투자 없이도 기능을 쉽게 사용해 볼 수 있다는 장점이 있습니다.
보안은 기본: BigQuery의 보안 인프라는 행 수준 보안(RLS) 및 열 수준 보안(CLS)을 통해 강력한 데이터 액세스 제어를 제공합니다. 이러한 다층적 접근방식은 사용자가 승인된 데이터에만 액세스할 수 있도록 보장하여 보호를 강화하고 규정 준수를 보장합니다.

성장기: 고객과 함께 발전하다

초기 프로젝트에서 성공을 거둔 고객들이 더 많은 데이터를 BigQuery로 이전하면서 새로운 임베딩 기반 접근방식을 사용하기 위해 '업데이트'하고 있는 다양한 데이터 과학 워크플로에 대해 알려주었습니다. 벡터 검색으로 개선할 수 있는 다양한 애플리케이션의 몇 가지 예는 다음과 같습니다.

검색 증강 생성(RAG)을 사용하는 LLM 애플리케이션: 벡터 검색은 관련 비즈니스 데이터를 제공하여 대규모 언어 모델(LLM)의 정확하고 그라운딩된 응답을 보장하는 데 도움이 됩니다.
비즈니스 데이터에 대한 시맨틱 검색: 내부 및 외부 사용자 모두를 위한 강력한 자연어 검색 기능을 지원합니다. 예를 들어 마케팅팀은 'Jane과 비슷한 구매 내역을 가진 고객'을 검색하여 의미상 유사한 고객 프로필 목록을 받을 수 있습니다.
Customer 360 및 중복 제거: 임베딩을 사용하여 이름이나 주소와 같은 세부정보가 약간 다르더라도 유사한 고객 레코드를 식별합니다. 이는 데이터를 정리하고 통합하여 고객에 대한 정확한 단일 뷰(Single view)를 확보하는 효과적인 방법입니다.
로그 분석 및 이상 징후 탐지: 로그 데이터를 임베딩으로 수집하고 벡터 검색을 사용하여 텍스트가 정확히 일치하지 않더라도 유사한 로그 항목을 빠르게 찾습니다. 이를 통해 보안팀은 잠재적인 위협과 이상 징후를 훨씬 더 빠르게 식별할 수 있습니다.
제품 추천 강화: 시각적으로나 텍스트로 유사한 항목(예: 의류) 또는 의미상 관련된 보완 제품을 추천합니다.

현재: 규모 및 비용 효율성 개선

고객 사용량이 증가함에 따라 Google Cloud는 RAG 및 생성형 AI 워크로드를 넘어 배치 처리에 대한 상당한 수요를 관찰하면서 제품을 개선했습니다. 기존 벡터 데이터베이스와 달리 BigQuery의 향상된 배치 벡터 검색은 대규모 데이터 세트에 대한 고처리량 분석적 유사성 검색에 탁월합니다. 이를 통해 데이터 과학자는 기존 데이터 환경 내에서 수십억 개의 레코드를 동시에 분석하여 이전에는 불가능했던 다음과 같은 대규모 작업을 수행할 수 있습니다.

대규모 클러스터링: 행동 임베딩을 기반으로 데이터베이스의 모든 고객을 그룹화
포괄적인 이상 징후 탐지: 금융 원장의 모든 계정에 대해 가장 비정상적인 거래를 찾기
대량 항목 분류: 수백만 개의 텍스트 문서 또는 제품 이미지를 동시에 분류

개발의 두 번째 단계에서는 벡터 검색 환경을 더욱 개선하기 위해 다음과 같은 새로운 가능을 출시했습니다.

ScaNN 색인을 사용하여 빌드된 TreeAH는 가격/성능 면에서 상당한 제품 차별화를 제공합니다. 고객의 데이터 과학팀은 더 많은 추천, 클러스터링, 데이터 파이프라인을 벡터 검색에 전환하고 있습니다. TreeAH를 사용한 결과 큰 개선이 있었습니다.
학습 및 색인 성능과 사용성을 높이기 위한 다양한 내부 개선사항이 적용되었습니다. 예를 들어 대규모 색인 학습 작업을 백그라운드로 이동시켜 사용성과 확장성을 높이는 비동기 색인 학습을 추가했습니다. 또한 사용자에게 추가 비용을 부과하지 않으면서 인덱싱 성능을 개선하고 지연 시간을 줄이는 다양한 내부 최적화를 수행했습니다.
저장된 컬럼을 통해 벡터 검색 성능을 개선할 수 있습니다.

사용자는 벡터 검색 쿼리에서 저장된 컬럼에 사전 필터(Prefilters)를 적용하여 검색 정확도를 저하시키지 않으면서 검색 성능을 크게 최적화할 수 있습니다.
사용자가 벡터 검색 쿼리에서 저장된 컬럼만 쿼리하는 경우 기본 테이블과의 비용이 많이 드는 조인을 피하여 검색 성능을 더욱 향상시킬 수 있습니다.

파티션된 색인을 사용해 관련 없는 파티션을 건너뛰어 I/O 비용을 획기적으로 줄이고 쿼리 성능을 가속화합니다. 이는 날짜나 리전과 같은 파티션 컬럼을 자주 필터링하는 고객에게 특히 유용합니다.
인덱스 모델 재빌드를 통해 시간이 지나도 벡터 검색 결과가 정확하고 관련성을 유지하도록 지원합니다. 기본 데이터가 진화함에 따라 이제 모델 드리프트를 선제적으로 수정하여 색인 다운타임 없이 벡터 검색 애플리케이션의 높은 성능을 유지할 수 있습니다.

미래를 향하여: 모든 것의 인덱싱

에이전트형 AI를 도입하려는 기업이 늘면서 데이터 플랫폼의 중요성이 그 어느 때보다 커졌습니다. 모든 비즈니스에 생산성을 위한 자체 AI 모드를 보유하는 세상을 상상하며, 관련 데이터를 검색(Retreiving)하는 것이 생산성의 핵심입니다. 여기에는 정형 및 비정형의 모든 관련 엔터프라이즈 데이터의 지능형 인덱싱이 포함되어 AI와 분석을 자동화합니다. 인덱싱과 검색은 Google의 핵심입니다. 앞으로도 관련 기술 혁신을 공유해 드리겠습니다.

데이터 분석 역량 강화: 이제 데이터 사이언스 에이전트가 BigQuery ML, DataFrames, Spark를 지원합니다

Tue, 16 Sep 2025 16:00:00 +0000

* 본 아티클의 원문은 2025년 09월 17일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud는 데이터 과학 및 분석 워크플로를 간소화하고 혁신하는 데 도움이 되는 BigQuery 및 Vertex AI를 위한 AI 중심 Colab Enterprise 노트북 환경을 최근 발표했습니다. Colab Enterprise 노트북에는 데이터 사이언스 에이전트가 기본 제공되어 데이터 탐색, 변환, 머신러닝 모델링을 용이하게 하는 에이전트 기능을 통해 데이터 사이언스 개발을 가속화할 수 있습니다. 에이전트는 간단한 프롬프트만으로 데이터 로드 및 정리부터 모델 학습 및 평가에 이르는 워크플로에 대한 상세한 계획을 생성합니다.

오늘은 특히 대규모 개방형 형식 데이터 세트의 분석 여정을 더욱 간소화하고 확장할 수 있는 데이터 사이언스 에이전트의 강력한 새로운 기능을 소개합니다.

BigQuery ML, BigQuery DataFrames, Spark 생성

이제 데이터 사이언스 에이전트 내에서 직접 대규모 데이터 처리를 위해 BigQuery 머신러닝(ML), BigQuery DataFrames(BigFrames), Spark의 기능을 활용할 수 있습니다. BigQuery ML과 BigQuery DataFrames를 사용하면 BigQuery에서 직접 데이터 변환, 모델 학습, 추론을 실행하여 확장할 수 있습니다. 또한 Apache Spark용 서버리스를 사용하면 대규모 데이터 세트에 대해 분산 데이터 처리를 수행할 수 있으므로 단일 머신의 메모리에 맞지 않는 대규모 데이터도 처리할 수 있습니다.

이러한 도구를 호출하려면 프롬프트에 다음 키워드를 포함하기만 하면 됩니다.

BigQuery ML: 'BigQuery ML', 'BQML' 또는 'SQL' 사용
BigQuery DataFrames: 'BigQuery DataFrames' 또는 'BigFrames' 지정
PySpark: 'Spark' 또는 'PySpark' 포함

향후에는 데이터 사이언스 에이전트가 선택한 데이터 세트의 크기나 노트북의 콘텐츠를 기반으로 사용 사례에 맞는 관련 프레임워크를 선택할 수 있게 될 것입니다.

시작하는 데 도움이 될 몇 가지 프롬프트 예시를 소개합니다.

“ project_id.dataset_id.table_id에서 BigQuery SQL을 사용하여 고품질 예측 모델을 빌드하여 재고 수요를 예측해. 모델의 평가 측정항목을 제시하고 95% 신뢰 구간으로 예측을 시각화해 줘.”
“BigQuery DataFrames를 사용하여 경사 부스팅 트리 모델을 학습시키고 평가하여 project_id.dataset_id.table_id테이블에서 주택 가격을 예측해 줘. 학습 전에 neighborhood 열을 원-핫 인코딩해 줘."
"타겟팅된 마케팅 캠페인을 위해 유사한 고객을 그룹화하고 싶은데, 먼저 PCA 모델을 사용해서 차원 축소를 진행해야 돼. Spark를 사용하여 project_id.dataset_id.table_id테이블에서 이 작업을 수행해 줘.”

제한사항: 현재 데이터 사이언스 에이전트는 Spark 4.0 코드를 생성합니다. 에이전트는 코드를 Spark 4.0으로 업그레이드하는 데 도움이 될 수 있습니다. 하지만 이전 버전의 Spark를 사용해야 하는 경우 지금은 PySpark용 데이터 사이언스 에이전트를 사용하지 않는 것이 좋습니다.

컨텍스트 및 @ 멘션을 사용하여 데이터 추가

또한 대화에 데이터를 더 쉽게 가져올 수 있도록 지원합니다. 이제 데이터 사이언스 에이전트가 BigQuery 테이블의 메타데이터와 테이블을 자동으로 검색할 수 있습니다. 즉, 프롬프트에서 테이블을 직접 설명하고 데이터 사이언스 에이전트가 사용자를 대신하여 가장 관련성 높은 테이블을 검색하도록 할 수 있습니다.

또한 이제 @ 멘션을 사용하여 현재 프로젝트 내에서 BigQuery 테이블을 검색할 수 있습니다. 업계 표준의 친숙한 메커니즘을 통해 키보드에서 손을 떼지 않고도 관련 컨텍스트를 사용하여 프롬프트를 작성할 수 있습니다.

제한사항: 현재 @ 멘션은 현재 프로젝트의 BigQuery 테이블만 검색합니다. 프로젝트 전반에 걸쳐 더 광범위하게 검색하거나 세션 스토리지 및 로컬 업로드에서 파일을 추가하려면 '+' 버튼을 계속 사용하세요.

지금 바로 데이터 사이언스 에이전트 사용해 보기

또한 첫 번째 메시지 이후에 더 빠르게 시작되도록 데이터 사이언스 에이전트를 최적화했습니다. 기다리는 시간은 줄어들고 인사이트는 더 빠르게 얻을 수 있습니다. Vertex AI의 Colab Enterprise에 대한 유사한 개선사항도 곧 제공될 예정입니다.

Google Cloud는 AI 기반 데이터 사이언스 환경을 발전시키기 위해 최선을 다하고 있으며, 앞으로 어떤 기능을 빌드할지 기대하셔도 좋습니다. 시작하려면 아래 참조를 확인하세요.

액세스:

BigQuery: Google Cloud 콘솔 > BigQuery > 노트북으로 이동합니다.
Vertex AI: Google Cloud 콘솔 > Vertex AI > Colab Enterprise로 이동합니다. (참고: 여기에 언급된 BigQuery ML, BigQuery Dataframes, Spark 개선사항은 아직 Vertex AI에서 사용할 수 없지만 곧 제공될 예정입니다.)

문서:

의견 및 지원: 여러분의 의견을 기다립니다. 궁금한 점이 있거나 문제가 발생하는 경우 문의해 주세요.

Gemini 및 OSS 텍스트 임베딩이 이제 Big Query ML에 포함됩니다

Tue, 16 Sep 2025 16:00:00 +0000

* 본 아티클의 원문은 2025년 09월 17일 Google Cloud 블로그(영문)에 게재되었습니다.

고품질 텍스트 임베딩은 시맨틱 검색, 분류, 검색 증강 생성(RAG)과 같은 최신 AI 애플리케이션의 엔진입니다. 하지만 이러한 임베딩을 생성할 모델을 선택할 때, 한 가지 솔루션으로 모든 기준을 만족시킬 수는 없습니다. 일부 사용 사례에서는 최첨단 품질을 요구하는 반면, 다른 사용 사례에서는 비용, 속도 또는 오픈소스 생태계와의 호환성가 중요할 수 있습니다.

선택의 폭을 넓히기 위해 BigQuery ML의 텍스트 임베딩 기능을 대폭 확장했습니다. 기존의 text-embedding-004/005 및 text-multilingual-embedding-OO2 모델 외에도 이제 BigQuery 내에서 직접 Google의 강력한 Gemini 임베딩 모델과 13,000개 이상의 오픈소스(OSS) 모델을 사용할 수 있습니다. 데이터가 있는 곳에서 작업에 적합한 모델을 사용하여 간단한 SQL 명령어로 임베딩을 생성할 수 있습니다.

요구사항에 따라 임베딩 모델 선택

Gemini와 다양한 OSS 모델이 추가됨에 따라 BigQuery는 이제 포괄적인 텍스트 임베딩 옵션 목록을 제공합니다. 모델 품질, 비용, 확장성 등 필요에 따라 적절한 모델을 선택할 수 있습니다. 결정하는 데 도움이 되도록 각 유형을 자세히 살펴보겠습니다.

모델 카테고리	모델 품질	비용	확장성	결제
text-embedding-005 및 text-multilingual-embedding-002	매우 높음	보통 비용	메우 높은 확장성: 6시간당 O(1억)	1,000자당 $0.00002
[New] Gemini 텍스트 임베딩	최첨단	더 높은 비용	높은 확장성: 6시간당 O(1,000만)	토큰 1,000개당 $0.00012
[New] OSS 텍스트 임베딩	SOTA 서드 파티 모델부터 품질보다 효율성을 우선시하는 소형 모델까지	모델 크기 및 하드웨어와 관련이 있으며, 소형 모델은 비용 효율성이 높음	더 많은 머신을 예약하여 최고의 확장성을 달성할 수 있음: 6시간당 O(B)	머신 시간당

모델 카테고리

모델 품질

비용

확장성

결제

text-embedding-005 및 text-multilingual-embedding-002

매우 높음

보통 비용

메우 높은 확장성:

6시간당 O(1억)

1,000자당 $0.00002

[New] Gemini 텍스트 임베딩

최첨단

더 높은 비용

높은 확장성:

6시간당 O(1,000만)

토큰 1,000개당 $0.00012

[New] OSS 텍스트 임베딩

SOTA 서드 파티 모델부터 품질보다 효율성을 우선시하는 소형 모델까지

모델 크기 및 하드웨어와 관련이 있으며, 소형 모델은 비용 효율성이 높음

더 많은 머신을 예약하여 최고의 확장성을 달성할 수 있음:

6시간당 O(B)

머신 시간당

BigQuery ML의 Gemini 임베딩 모델

Gemini 임베딩 모델은 업계 최고의 텍스트 임베딩 벤치마크인 Massive Text Embedding Benchmark(MTEB) 리더보드에서 지속적으로 1위를 차지한 최첨단 텍스트 임베딩 모델입니다. MTEB 리더보드에서 1위를 차지한 이 모델은 고품질 임베딩을 직접적으로 보여줍니다.

BigQuery에서 새로운 Gemini 임베딩 모델을 사용하는 방법은 다음과 같습니다.

1. BigQuery에서 Gemini 임베딩 모델 만들기

다음 SQL 문을 사용하여 BigQuery에서 Gemini 임베딩 모델을 만듭니다. 엔드포인트를 `gemini-embedding-001`로 지정합니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL bqml_tutorial.gemini_embedding_model\r\nREMOTE WITH CONNECTION DEFAULT\r\nOPTIONS(endpoint='gemini-embedding-001');"), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f1948572fd0>)])]>

2. 일괄 임베딩 생성

이제 BigQuery에서 직접 gemini-embedding 모델을 사용하여 임베딩을 생성할 수 있습니다. 다음 예시는 bigquery-public-data.hacker_news.full 데이터 세트에 텍스트를 임베딩합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n *\r\nFROM\r\n ML.GENERATE_EMBEDDING( \r\n MODEL bqml_tutorial.gemini_embedding_model,\r\n (\r\n SELECT\r\n text AS content\r\n FROM\r\n bigquery-public-data.hacker_news.full\r\n WHERE\r\n text IS NOT NULL\r\n LIMIT 10000\r\n )\r\n );'), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f1948572130>)])]>

Gemini 임베딩 모델은 분당 토큰 수(TPM)라는 새로운 할당량 제어 방법을 활용합니다. 평판 점수가 높은 프로젝트의 경우 기본 TPM 값은 500만 개입니다. 고객이 수동 승인 없이 설정할 수 있는 최대 TPM은 2,000만 개입니다.

작업이 처리할 수 있는 총 행 수는 행당 토큰 수에 따라 달라집니다. 예를 들어 행당 300개의 토큰이 있는 테이블을 처리하는 작업은 단일 작업으로 최대 1,200만 개의 행을 처리할 수 있습니다.

BigQuery ML의 OSS 임베딩 모델

OSS 커뮤니티는 텍스트 임베딩 모델 환경을 빠르게 발전시키고 있으며, 모든 요구사항에 맞는 다양한 선택지를 제공하고 있습니다. 최근 출시된 Qwen3-Embedding 및 EmbeddingGemma와 같은 최고 순위 모델부터 multilingual-e5-small과 같은 작고 효율적이며 비용 효율적인 소규모 모델까지 다양한 제품을 제공합니다.

이제 BigQuery ML에서 Vertex AI Model Garden에 배포된 모든 Hugging Face 텍스트 임베딩 모델(13,000개 이상의 옵션)을 사용할 수 있습니다. 이 기능을 보여주기 위해 이 예시에서는 multilingual-e5-small을 사용합니다. 이 모델은 대규모로 확장 가능하고 비용 효율적이면서도 상당한 성능을 제공하여 대규모 분석 작업에 적합합니다.

오픈소스 텍스트 임베딩 모델을 사용하려면 다음 단계를 따르세요.

1. Vertex 엔드포인트에서 모델 호스팅

먼저 Hugging Face에서 텍스트 임베딩 모델을 선택합니다. 이 경우 위에서 언급한 multilingual-e5-small을 선택합니다. 그런 다음 Vertex AI Model Garden > Hugging Face에서 배포로 이동합니다. 모델 URL을 입력하고 엔드포인트 액세스를 '공개(공유 엔드포인트)'로 설정합니다. 요구사항에 맞게 엔드포인트 이름, 리전, 머신 사양을 맞춤설정할 수도 있습니다. 기본 설정은 아래에 지정된 머신 유형의 단일 복제본을 프로비저닝합니다.

또는 BigQuery 노트북(튜토리얼 노트북 예시 참고)이나 공개 문서에 언급된 다른 방법을 사용하여 이 단계를 프로그래매틱 방식으로 수행할 수 있습니다.

2. BigQuery에서 원격 모델 만들기

모델 배포를 배포하는 데 몇 분 정도 걸릴 수 있습니다. 완료되면 다음 SQL 문을 사용하여 BigQuery에서 해당 원격 모델을 만듭니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL bqml_tutorial.multilingual_e5_small\r\nREMOTE WITH CONNECTION DEFAULT\r\nOPTIONS\r\n(endpoint='https://<region>-aiplatform.googleapis.com/v1/projects/<project_name>/locations/<region>/endpoints/<endpoint_id>'\r\n);"), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f19485727f0>)])]>

위 코드 샘플의 자리표시자 엔드포인트를 엔드포인트 URL로 바꿉니다. endpoint_id에 대한 정보는 Vertex AI > 온라인 예측> 엔드포인트> 샘플 요청을 통해 콘솔에서 가져올 수 있습니다.

3. 일괄 임베딩 생성

이제 BigQuery에서 직접 OSS multilingual-e5-small 모델을 사용하여 임베딩을 생성할 수 있습니다. bigquery-public-data.hacker_news.full 데이터 세트에 텍스트를 임베딩하는 다음 예시를 참고하세요.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n *\r\nFROM\r\n ML.GENERATE_EMBEDDING( \r\n MODEL bqml_tutorial.multilingual_e5_small,\r\n (\r\n SELECT\r\n text AS content\r\n FROM\r\n bigquery-public-data.hacker_news.full\r\n WHERE\r\n text IS NOT NULL\r\n LIMIT 10000\r\n )\r\n );'), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f1948572eb0>)])]>

모델 배포를 위한 기본 리소스를 선택하면 쿼리가 hacker_news 데이터 세트의 3,800만 개 행을 약 2시간 10분 만에 처리할 수 있습니다. 이는 단일 모델 복제본으로 달성한 기준 처리량입니다.

더 많은 컴퓨팅 리소스를 프로비저닝하거나 엔드포인트 자동 확장을 사용 설정하여 워크로드를 확장할 수 있습니다. 예를 들어 복제본 10개를 선택하면 쿼리가 10배 빨라지고 6시간 쿼리 작업당 수십억 개의 행을 처리할 수 있습니다.

4. 모델 배포 취소

Vertex AI 엔드포인트는 머신이 유휴 상태일 때도 활성 상태인 동안에는 비용이 발생합니다. 일괄 작업이 완료되고 예상치 못한 비용이 발생하지 않도록 하려면 일괄 추론 후 모델을 '배포 취소'해야 합니다. Google Cloud 콘솔(Vertex AI > 엔드포인트 > 나의 엔드포인트 > 엔드포인트에서 모델 배포 취소)을 사용하거나 예시 Colab 스크립트를 사용하여 이 작업을 수행할 수 있습니다.

일괄 워크로드의 경우 배포, 추론, 배포 취소를 연속적인 워크플로로 취급하여 유휴 상태의 비용을 최소화하는 것이 가장 비용 효율적인 패턴입니다. 이를 위한 한 가지 방법은 샘플 Colab을 순차적으로 실행하는 것입니다. 결과는 놀라웠습니다. 3,800만 개의 행을 모두 처리하는 데 드는 비용은 약 2~3달러에 불과했습니다.

지금 시작하기

다음 AI 애플리케이션을 빌드할 준비가 되셨나요? 지금 바로 BigQuery에서 Gemini 또는 즐겨 사용하는 오픈소스 모델로 임베딩을 생성해 보세요. 문서를 자세히 살펴보거나 단계별 Colab 튜토리얼을 따라해 보면서 실제로 작동하는 모습을 확인하세요.

새로운 Dataproc 멀티 테넌트 클러스터로 데이터 과학 가속화

Wed, 10 Sep 2025 01:00:00 +0000

* 본 아티클의 원문은 2025년 09월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

AI/ML이 빠르게 성장하면서 데이터 과학팀은 혁신을 주도하기 위해 업무의 중요성과 수요 증가에 부응할 수 있는 더 나은 노트북 환경이 필요합니다. 또한 데이터 과학 워크로드를 확장하면 인프라 관리에 새로운 과제가 발생합니다. 사용자별로 컴퓨팅 리소스를 할당하면 강력한 격리(워크로드, 프로세스, 데이터의 기술적 분리)가 가능하지만, 리소스가 사일로화되어 비효율이 발생할 수 있습니다. 공유 컴퓨팅 리소스는 효율성을 높일 수 있는 더 많은 기회를 제공하지만 격리 측면에서는 손해를 봅니다. 한쪽의 이점은 다른 쪽의 손실로 이어집니다. 이점만 얻을 수 있는 방법은 없을까요?

새로운 Dataproc 기능인 멀티 테넌트 클러스터를 소개합니다. 이 새로운 기능은 노트북 워크로드를 동시에 실행하는 많은 데이터 과학자에게 적합한 Dataproc 클러스터 배포 모델을 제공합니다. 공유 클러스터 모델을 사용하면 인프라 관리자가 Google Cloud Storage(GCS) 버킷과 같은 데이터 리소스에 대해 사용자별 세분화된 승인을 포기하지 않고도 컴퓨팅 리소스 효율성과 비용 최적화를 개선할 수 있습니다.

이는 단순히 인프라를 최적화하는 것이 아니라 비즈니스가 의존하는 혁신 주기를 가속화하는 것입니다. 데이터 과학 플랫폼이 원활하게 작동하면 팀은 가설에서 인사이트, 프로덕션으로 더 빠르게 진행할 수 있습니다. 이를 통해 조직은 중요한 비즈니스 질문에 더 빠르게 답하고, 머신러닝 모델을 더 자주 반복하며, 궁극적으로 경쟁사보다 먼저 고객에게 데이터 기반 기능과 개선된 경험을 제공할 수 있습니다. 데이터 플랫폼을 필수 비용 센터에서 성장을 위한 전략적 엔진으로 발전시키는 데 도움이 됩니다.

aside_block: <ListValue: [StructValue([('title', '$300 상당의 무료 크레딧으로 Google Cloud 데이터 분석을 사용해 보세요'), ('body', <wagtail.rich_text.RichText object at 0x7f1943c71490>), ('btn_text', ''), ('href', ''), ('image', None)])]>

작동 방식

이 새로운 기능은 Dataproc의 기존 서비스 계정 멀티테넌시를 기반으로 합니다. 이 구성의 클러스터에서는 관리자가 선언한 제한된 사용자 집합만 워크로드를 제출할 수 있습니다. 관리자는 사용자와 서비스 계정 간의 매핑도 선언합니다. 사용자가 워크로드를 실행하면 Google Cloud 리소스에 대한 모든 액세스는 특정 매핑된 서비스 계정으로만 인증됩니다. 관리자는 Identity Access Management(IAM)에서 승인을 제어합니다. 예를 들어 하나의 서비스 계정에 Cloud Storage 버킷 세트에 대한 액세스 권한을 부여하고 다른 서비스 계정에 다른 버킷 세트에 대한 액세스 권한을 부여할 수 있습니다.

이번 출시의 일환으로 서비스 계정 멀티 테넌시에 몇 가지 주요 사용성 개선사항을 적용했습니다. 이전에는 사용자-서비스 계정 매핑이 클러스터 생성 시에 설정되었으며 수정할 수 없었습니다. 이제 실행 중인 클러스터에서 매핑을 변경할 수 있으므로 관리자가 변화하는 조직 요구사항에 더 빠르게 적응할 수 있습니다. 또한 대규모 사용자층을 더 쉽게 관리할 수 있도록 매핑을 YAML 파일로 외부화하는 기능도 추가했습니다.

Jupyter 노트북은 Jupyter Kernel Gateway를 통해 클러스터에 연결됩니다. 게이트웨이는 클러스터의 워커 노드에 분산된 각 사용자의 Jupyter 커널을 실행합니다. 관리자는 워커 노드 수를 수동으로 조정하거나 자동 확장 정책을 사용하여 최종 사용자 요구사항을 충족하도록 워커 노드를 수평 확장할 수 있습니다.

노트북 사용자는 완전 관리형 Google Cloud 환경을 위해 Vertex AI Workbench를 선택하거나 자체 서드 파티 JupyterLab 배포를 가져올 수 있습니다. 두 모델 모두에서 BigQuery JupyterLab 확장 프로그램은 Dataproc 클러스터 리소스와 통합됩니다. Vertex AI Workbench 인스턴스는 확장 프로그램을 자동으로 배포할 수 있으며, 사용자는 서드 파티 JupyterLab 배포에서 수동으로 설치할 수도 있습니다.

자세히 들여다보기

Dataproc 멀티 테넌트 클러스터는 독립적인 사용자 워크로드를 격리하기 위해 추가적인 강화로 자동 구성됩니다.

YARN에서 실행되는 모든 컨테이너는 인증된 Google Cloud 사용자와 일치하는 전용 운영체제 사용자로 실행됩니다.
또한 각 OS 사용자에게는 YARN과 같은 Hadoop 기반 리모트 프로시저 콜(RPC) 서비스에 대한 인증을 위해 전용 Kerberos 주 구성원이 있습니다.
각 OS 사용자는 매핑된 서비스 계정의 Google Cloud 사용자 인증 정보에만 액세스할 수 있습니다. 클러스터의 컴퓨팅 서비스 계정 사용자 인증 정보는 최종 사용자 노트북 워크로드에 액세스할 수 없습니다.
관리자는 IAM 정책을 사용하여 매핑된 각 서비스 계정에 대한 최소 권한 액세스 승인을 정의합니다.

사용 방법

1단계: 서비스 계정 멀티테넌시 매핑 만들기 | 사용자 서비스 계정 매핑이 포함된 YAML 파일을 준비하고 Cloud Storage 버킷에 저장합니다. 예를 들면 다음과 같습니다.

code_block: <ListValue: [StructValue([('code', 'user_service_account_mapping:\r\n bob@my-company.com: service-account-for-bob@iam.gserviceaccount.com\r\n alice@my-company.com: service-account-for-alice@iam.gserviceaccount.com'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943d2fca0>)])]>

2단계: Dataproc 멀티 테넌트 클러스터 만들기 | 사용자 매핑 파일과 새로운 JUPYTER_KERNEL_GATEWAY 선택적 구성요소를 사용하여 새로운 멀티 테넌트 Dataproc 클러스터를 만듭니다.

code_block: <ListValue: [StructValue([('code', 'gcloud dataproc clusters create my-cluster \\\r\n --identity-config-file=gs://bucket/path/to/identity-config-file \\\r\n --service-account=cluster-service-account@iam.gserviceaccount.com \\\r\n --region=region \\\r\n --optional-components=JUPYTER_KERNEL_GATEWAY \\\r\n other args ...'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943d2fbe0>)])]>

나중에 사용자 서비스 계정 매핑을 변경해야 하는 경우 클러스터를 업데이트하여 변경할 수 있습니다.

code_block: <ListValue: [StructValue([('code', 'gcloud dataproc clusters update my-cluster \\\r\n --identity-config-file=gs://bucket/path/to/identity-config-file \\\r\n --region=region'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943d2f970>)])]>

3단계: Dataproc 커널이 사용 설정된 Vertex AI Workbench 인스턴스 만들기 | Vertex AI Workbench 사용자는 Dataproc 커널이 사용 설정된 인스턴스를 만들어야 합니다. 이렇게 하면 BigQuery JupyterLab 확장 프로그램이 자동으로 설치됩니다.

4단계: 서드 파티 배포에 BigQuery JupyterLab 확장 프로그램 설치 | 로컬 노트북에서 실행하는 등 서드 파티 JupyterLab 배포를 사용하는 사용자는 BigQuery JupyterLab 확장 프로그램을 수동으로 설치해야 합니다.

5단계: Dataproc 클러스터에서 커널 실행 | Vertex AI Workbench 인스턴스 또는 로컬 머신에서 JupyterLab 애플리케이션을 엽니다.

JupyterLab 런처 페이지가 브라우저에 열립니다. Jupyter 선택적 구성요소 또는 Jupyter Kernel Gateway 구성요소가 있는 Dataproc 클러스터에 액세스할 수 있는 경우 Dataproc 클러스터 노트북 섹션이 표시됩니다.

리전 및 프로젝트를 변경하려면 다음을 수행하세요.

설정 > Cloud Dataproc 설정을 선택합니다.
설정 구성 탭의 프로젝트 정보에서 프로젝트 ID 및 리전을 변경한 후 저장을 클릭합니다.
변경사항을 적용하려면 JupyterLab을 다시 시작합니다.

멀티 테넌트 클러스터에 해당하는 커널 사양을 선택합니다. 커널 사양이 선택되면 커널이 실행되며 커널이 초기화 상태에서 유휴 상태로 전환되는 데 약 30~50초가 걸립니다. 커널이 유휴 상태가 되면 실행할 준비가 된 것입니다.

멀티 테넌트 클러스터 시작하기

보안과 효율성 사이에서 고민하지 마세요. Dataproc의 새로운 멀티 테넌트 클러스터를 사용하면 중앙 집중식 제어를 유지하고 비용을 최적화하면서 데이터 과학팀에 빠르고 협업적인 환경을 제공할 수 있습니다. 이 새로운 기능은 단순한 인프라 업데이트 이상으로, 혁신 수명 주기를 가속화하는 방법입니다.

이 기능은 현재 공개 프리뷰 버전으로 제공됩니다. 지금 바로 기술 문서를 살펴보고 첫 번째 멀티 테넌트 클러스터를 만들어 보세요. 플랫폼을 지속적으로 발전시켜 나가기 위해서는 여러분의 의견이 매우 중요합니다. dataproc-feedback@google.com으로 의견을 공유해 주세요.

Google Cloud DSPM으로 기본 데이터 보안을 넘어: 중요 데이터 보호를 위한 새로운 접근법

Wed, 20 Aug 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 8월 21일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터 민주화와 생성형 AI 시대에 조직이 데이터를 다루는 방식은 극적으로 변화했습니다. 이러한 진화는 새로운 기회를 창출함과 동시에 보안 위험을 야기합니다. 이제 보안팀이 직면한 과제는 단순히 데이터를 보호하는 것에 그치지 않고, 이러한 새로운 현실에 맞춰 보안 및 규정 준수 기능을 확장하는 것입니다.

기존의 보안 제어가 위험 완화에 필수적인 것은 맞지만, 많은 데이터 보안 태세 관리(DSPM) 솔루션은 오늘날의 조직에 필요한 역량을 갖추지 못하고 있습니다. 예를 들어, AI 워크로드를 운영하는 조직은 민감한 데이터가 학습 환경으로 유출되지 않도록 해야 하며, 모델이나 가중치와 같은 지적 재산이 외부로 유출되지 않도록 보호하고, 모든 모델이 "규정 준수 설명 가능성"을 지원하는지 확인해야 합니다.

강력한 데이터 보안을 위해 조직이 이해해야 할 네 가지 핵심 고려 사항은 다음과 같습니다: 민감한 데이터가 어디에 있는지, 어떻게 사용되는지, 어떤 제어를 통해 데이터를 보호할 수 있는지, 그리고 규정 준수 증거를 제공하는 데 사용할 수 있는 모니터링 도구는 무엇인지입니다. 현재 미리 보기로 제공되는 새로운 DSPM(Data Security Posture Management)은 데이터 보안, 개인 정보 보호, 그리고 규정 준수를 위한 종단간(end-to-end) 거버넌스를 제공합니다.

DSPM 기능에는 보안, 개인 정보 보호 및 규정 준수 요구 사항을 충족하고 비즈니스 요구에 부합하는 고급 데이터 제어 기능이 포함됩니다. Security Command Center의 일부로 제공되는 이 Google Cloud 네이티브 솔루션은 도구의 복잡성을 줄이고 네이티브 플랫폼 경험을 제공합니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7f194397c430>), ('btn_text', ''), ('href', ''), ('image', None)])]>

DSPM은 Google Cloud 환경 전반의 데이터에 대한 전체적인 시야를 제공하는 데이터 맵을 구축하여, 데이터의 민감도 수준과 기본 보안 태세를 한눈에 파악할 수 있게 합니다. 이 검색 기능을 통해 정책을 적용하여 데이터를 모니터링하고 보호할 수 있으며, 선별된 제어 기능을 민감한 데이터 요구사항에 맞춰 적용할 수 있습니다.

Google Cloud DSPM을 통해 보안 및 규정 준수팀은 다음과 같은 이점을 얻을 수 있습니다.

데이터 검색: DSPM은 데이터 자산에 대한 포괄적인 가시성을 제공합니다. Google Cloud 환경 전반에 걸쳐 데이터 자산을 자동으로 검색하고, Sensitive Data Protection의 민감도 라벨을 활용하여 어떤 데이터가 어디에 있는지 파악하도록 돕습니다
위험 평가: DSPM은 현재의 데이터 보안 태세를 Google Cloud가 권장하는 모범 사례와 비교하여 평가하고, 잠재적인 취약점과 잘못된 구성을 식별하도록 돕습니다.
데이터 보호: DSPM은 보안 및 규정 준수 요구 사항을 제어 정책과 연결함으로써 데이터 보안 프레임워크를 배포하고, 이를 실시간에 가깝게 모니터링할 수 있도록 지원합니다.
규정 준수 간소화: DSPM은 관련 규정 준수 프레임워크에 맞춰 데이터를 감사하고, 격차를 정확히 찾아내며, 증거 기반의 상세 규정 준수 보고서를 생성할 수 있도록 돕습니다. 또한 HIPAA, GDPR, PCI DSS 준수 여부를 평가하는 데도 도움을 줄 수 있습니다.

Google Cloud의 데이터 보안 태세 관리(DSPM) 솔루션에 대한 시각적 개요

고급 DSPM 제어 기능이 보안 및 규정 준수 요구 사항에 어떻게 도움이 되는지

보안팀은 조직의 Google Cloud 환경에서 민감한 데이터를 식별하고, 원하는 보안 및 규정 준수 결과를 특정 데이터 제어와 연결하는 것부터 시작할 수 있습니다. 이 과정을 더 쉽게 만들기 위해 DSPM은 보안 및 규정 준수 결과를 충족하기 위한 데이터 접근 거버넌스, 흐름 거버넌스, 데이터 보호, 그리고 데이터 삭제 제어와 같은 고급 제어 기능을 제공합니다.

현재 이러한 제어 기능은 조직, 폴더, 프로젝트를 포함한 데이터 경계에서 탐지 모드로 적용될 수 있습니다. 또한 Google Cloud Sensitive Data Protection(SDP)을 사용하여 특정 유형의 민감한 데이터를 스캔할 수도 있습니다.

고급 데이터 제어 기능을 적용하여 데이터 보호하기

데이터 접근 거버넌스

데이터 접근 거버넌스 제어를 사용하면 민감한 데이터에 대한 접근을 관리하고, 승인된 주체에 대한 접근을 탐지 모드로 제한할 수 있습니다.

예를 들어, 고객 결제 데이터에 대한 거버넌스가 필요한 조직은 오직 사기 탐지팀만 민감한 고객 결제 정보에 접근하도록 허용하는 정책을 만들고, 이 제어 정책을 민감한 데이터 전반에 적용할 수 있습니다. 일단 적용되면, 정책은 데이터를 추적하며 규정을 준수하지 않는 모든 접근 이벤트를 표면화합니다.

흐름(Flow) 거버넌스

데이터 흐름 제어를 사용하면 데이터가 국가 경계를 넘어 이동하는 방식을 탐지 모드로 제한하여 민감한 고객 데이터가 국가 경계 밖으로 이동하지 않도록 할 수 있습니다. 예를 들어, 특정 국가 내에서 운영하며 고객 데이터를 해당 국가의 지리적 경계 밖으로 이동하지 않아야 하는 규정 준수 요건이 있는 조직을 생각해 봅시다. 데이터 흐름 거버넌스를 사용하면, 조직은 해당 국가 내에서만 데이터 흐름을 허용하는 정책을 만들고 이를 민감한 데이터에 적용할 수 있습니다. 일단 적용되면, 이 제어는 허용된 지리적 경계 외부로부터의 모든 규정 미준수 읽기 작업을 표면화합니다.

데이터 보호

데이터 보호 제어는 CMEK(고객 관리형 암호화 키)를 강제하는 것과 같은 암호화 키 구성을 관리하는 데 도움이 될 수 있습니다. 민감한 데이터를 보호하는 키에 CMEK를 정책으로 강제하는 정책을 생성할 수 있습니다.

데이터 삭제

데이터 삭제 제어를 사용하면 데이터가 보관되는 최대 기간을 관리할 수 있습니다. 허용된 최대 보관 기간을 설정하는 정책을 생성하고 이를 민감한 데이터에 적용할 수 있습니다.

데이터 보안의 미래를 만들어가는 데 동참하세요.

Google Cloud는 보안 및 규정 준수팀을 초대하여 Google Cloud DSPM의 강력한 기능을 가장 먼저 경험해 볼 수 있는 기회를 제공합니다. DSPM 미리 보기에 참여하는 조직은 다음을 할 수 있습니다.

DSPM을 활성화하고 특정 비즈니스 요구에 대한 기능을 평가하기 시작합니다. 자세한 가이드는 사용자 가이드를 참조하십시오.
기술 자문 위원회(Technical Advisory Council) 및 고객 디자인 패널(Customer Design Panels)에 참여하여 DSPM 개발에 영향을 줄 수 있는 귀중한 피드백을 제공합니다.
Google Cloud 전문가와 협력하여 데이터 보안 전략을 최적화하고 성공적인 구현을 보장합니다.

추가 문의사항은 Google Cloud 계정팀에 문의하거나 dspm-pm@google.com으로 피드백을 보내주시기 바랍니다.

Next 25 개발자 키노트: 프롬프트부터 에이전트, 업무, 즐거움까지

Thu, 01 May 2025 18:36:00 +0000

* 본 아티클의 원문은 2025년 4월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Next와 같은 기술 컨퍼런스에 참석하면 수많은 뉴스, 세션, 소그룹 세션에 모든 학습과 교류 활동까지 마치 소방호스로 물을 마시는 듯 버겁고 혼란스러울 수 있습니다. 하지만 며칠간의 바쁜 일정을 소화한 후 개발자 키노트를 시청하면 이 혼란 속에 명확한 방향이 있다는 걸 알게 됩니다. 그동안 얻은 모든 정보의 퍼즐이 하나의 그림으로 맞춰지기 시작하면서 사무실로 돌아가 바로 시도해 볼 수 있는 온갖 멋진 아이디어가 떠오르게 됩니다.

올해 개발자 키노트는 Google Cloud의 수석 에반젤리스트인 Richard Seroter와 개발자 기술 및 커뮤니티 책임자인 Stephanie Wong이 공동 진행하며 환상적인 호흡을 보여줬고, Google Cloud 제품팀, 엔지니어링팀, 개발자 지원팀의 전문가도 함께 참여했습니다. 키노트는 AI 개발자 경험 엔지니어인 Paige Bailey의 1970년대 주방을 리모델링하는 데 AI를 활용해 본다는 흥미롭고 공감할 수 있는 목표를 중심으로 구성되었습니다. 하지만 어떻게 할 수 있을까요?

모든 것의 시작은 프롬프트

생성형 AI 경험은 데이터와 사용자 의도를 담은 프롬프트를 모델에 작성하는 데에서 시작됩니다. Paige는 Google DeepMind의 선임 제품 관리자인 Logan Kilpatrick과 함께 무대에 올랐습니다. Logan과 Paige는 AI Studio에 Paige의 주방을 분석하라는 프롬프트를 입력하면서 텍스트 설명, 평면도, 이미지를 제공했습니다. 그 결과 AI는 Gemini의 기본 이미지 생성 기능을 활용하여 수납장, 통일성 있는 디자인, 색상 팔레트, 자재를 제안하며 아이디어를 실현했습니다. 중요한 비용 질문에 대한 답을 얻기 위해 특히 Paige가 거주하는 지역을 기준으로 Google 검색으로 그라운딩을 사용하여 실제 자재 비용, 지역 건축법 및 규정, 기타 관련 정보를 가져왔습니다.

Logan이 말했듯 "동영상 이해부터 네이티브 이미지 생성, Google 검색으로 실제 정보에 그라운딩하는 작업까지 이 모든 건 Gemini로만 가능합니다."

이를 가능하게 한 새로운 기술

Gemini 2.5 Pro: Gemini 앱과 Vertex AI에서 프리뷰 버전으로 사용할 수 있습니다.
Gemini 2.5 Flash: 지연 시간 단축과 비용 효율성을 위해 특별히 최적화된 주력 모델로서, 조만간 Vertex AI, AI Studio, Gemini 앱에서 제공될 예정입니다.

프롬프트부터 에이전트로

프롬프트가 생성형 AI 쿼리의 핵심이라는 점은 모두 알고 있는 사실입니다. Richard는 "그렇다면 에이전트는 도대체 뭘까요?"라고 질문하면서 "바로 그게 핵심"이라고 덧붙였습니다.

Stephanie의 설명에 따르면 "에이전트는 AI 모델과 소통하면서 보유한 도구와 컨텍스트를 사용해 목표 기반 작업을 수행하는 서비스"입니다. 그렇다면 어떻게 해야 프롬프트를 에이전트로 전환할 수 있을까요? 한 가지 방법은 Vertex AI와 에이전트 개발 키트(ADK)를 사용하는 것입니다. Vertex AI는 AI 애플리케이션과 에이전트를 빌드하고 관리하기 위한 종합 플랫폼이고, ADK는 에이전트를 설계하기 위한 오픈소스 프레임워크입니다. ADK를 사용하면 Gemini 모델과 Google AI 도구를 기반으로 하는 에이전트를 그 어느 때보다 쉽게 시작할 수 있습니다.

Google Cloud의 개발자 관계 엔지니어링 관리자인 Fran Hinkelman 박사가 무대에 올라 ADK를 소개했습니다. Fran의 설명에 따르면 에이전트에 필요한 세 가지는 1) 에이전트의 목표를 정의하는 요청 사항, 2) 작업 수행에 필요한 도구, 3) LLM의 작업을 처리하는 모델로 정리할 수 있습니다.

Fran은 Python을 사용해 에이전트 코드를 작성하고 몇 분 만에 배포하여 건축가가 주방 리모델링을 시작하는 데 필요한 모든 사항이 요약된 전문적인 레이아웃 PDF를 얻었습니다. "정말 시간을 엄청나게 절약해 주는 도구"라고 Fran은 이야기합니다.

이를 가능하게 한 새로운 기술

에이전트 개발 키트(ADK): 에이전트 동작을 정밀하게 제어하는 동시에 에이전트 및 정교한 멀티 에이전트 시스템을 빌드하는 프로세스를 간소화하는 새로운 오픈소스 프레임워크입니다. ADK를 사용하면 100줄 미만의 직관적인 코드로 AI 에이전트를 빌드할 수 있습니다.
Model Context Protocol(MCP)을 위한 ADK 지원: 이를 통해 LLM이 데이터 요청을 처리하는 데 필요한 모든 정보에 대해 표준화된 구조와 형식을 생성할 수 있습니다.

하나의 에이전트에서 다수의 에이전트로

에이전트 빌드 외에 에이전트 모음 조정도 중요합니다. 주방 리모델링 같은 복잡한 프로세스에 필요한 일이죠. Google Cloud의 직원 Developer Advocate인 Abirami Sukumaran 박사는 ADK를 사용하여 1) 건설 제안 에이전트, 2) 인허가 및 규정 준수 에이전트, 3) 자재 주문 및 배송용 에이전트 등 세 가지 유형의 에이전트로 구성된 멀티 에이전트 생태계를 만들었습니다.

멀티 에이전트 시스템이 준비되었을 때 Abirami는 ADK에서 이 시스템을 ADK 등 여러 에이전트 프레임워크를 지원하는 완전 관리형 에이전트 런타임인 Vertex AI Agent Engine으로 직접 배포했습니다.

이뿐만이 아닙니다. Abirami는 에이전트를 배포한 후 자체 에이전트와 서드 파티 에이전트를 공유하는 허브인 Google Agentspace에서 테스트까지 했습니다.

그러나 문제가 있었습니다. 작업 도중 에이전트 시스템이 실패한 듯했습니다. Abirami는 즉시 Gemini Cloud Assist 조사를 실행하여 로그 탐색기를 통해 문제의 원인에 관한 모니터링 항목과 가설을 얻었습니다. 에이전트에 권장되는 코드 수정사항도 얻었습니다. Abirami는 코드를 검토하고 수락한 후 에이전트를 재배포하여 상황을 해결했습니다.

이것이 핵심입니다. Abirami는 "복잡한 에이전트와 서비스를 조정하는 시스템을 빌드하는 것만으로도 충분히 힘듭니다. 개발자는 로그를 살펴보고 코드를 분석하며 여러 종속 항목을 일일이 디버깅하는 데 시간을 허비해서는 안 됩니다. 이러한 작업은 모두 많은 시간과 리소스를 소모하는데 개발자들에게는 보통 이런 여유가 없죠."라고 이야기합니다.

이를 가능하게 한 새로운 기술

Vertex AI Agent Engine: Vertex AI의 완전 관리형 런타임으로, 기본 제공되는 테스트, 출시, 안정성 기능을 통해 전 세계를 대상으로 안전한 규모로 커스텀 에이전트를 프로덕션에 배포하도록 지원합니다.
Cloud Assist 조사: 인프라 문제는 물론 코드의 문제까지 진단하는 데 도움이 됩니다.
Agent2Agent(A2A) 프로토콜: Google Cloud는 기업이 멀티 에이전트 생태계를 지원하도록 하여 에이전트가 기반 기술과 관계없이 서로 통신할 수 있는 개방형 프로토콜을 만든 최초의 하이퍼스케일러라는 사실에 자부심을 느끼고 있습니다.

IDE 및 모델 선택

Google Cloud의 선임 Developer Advocate인 Debi Cabrera는 다음 발표자로 나서 청중에게 '바이브 코딩', 즉 에이전트형 코딩을 아는지 물었습니다. 기본적으로 사용자는 아이디어와 코드를 포함한 프롬프트를 에이전트에 입력해 효과적인 프로그래밍 출력을 얻을 수 있습니다. 이 과정에 새로운 인기 통합형 개발 환경(IDE)인 Windsurf를 활용하는 사용자가 늘어나고 있으며 Debi도 그중 하나입니다.

Debi는 Cursor와 IntelliJ에서 Copilot과 함께 Gemini를 사용하는 사례를 보여줬지만 Visual Studio Code, Tabnine, Cognition, Aider 같은 다른 도구에서도 Gemini를 활용할 수 있습니다. 심지어 프롬프트를 스페인어로 작성했는데 Gemini가 sin problema(문제없이) 처리했습니다. Debi는 일정을 마무리하며 "Google Cloud는 개발자가 어디에서든 Gemini를 사용할 수 있도록 지원하고 있다"고 이야기했습니다.

Gemini를 모델로 사용하고 싶지 않다면 Vertex AI Model Garden에서 제공되는 200가지 이상의 모델 중에서 선택할 수도 있습니다. Llama, Gemma 3, Anthropic, Mistral, Hugging Face의 오픈소스 모델 등이 있습니다.

"어떤 도구를 사용하든 멋진 결과물을 얻을 수 있을 겁니다."

이를 가능하게 한 새로운 기술

Gemini 2.5 Pro: 현재 개인용 Gemini Code Assist에서 사용할 수 있습니다.
Android 스튜디오: Android 스튜디오에서 Gemini Code Assist 지원이 이제 프리뷰 버전으로 제공됩니다.
Firebase의 Gemini: 새로운 Firebase Studio에서 완전한 AI 지원을 제공합니다.

꿈의 구장에서

다음 발표자는 Paige의 주방 리모델링 시연을 잠시 멈추고 살펴볼 가치가 있는 또 다른 문제인 투구 방법을 다루었습니다.

MLB(Major League Baseball)에서 Google Cloud로 경기당 2,500만 개의 데이터 포인트를 처리하는 것을 고려할 때 투구 기법은 AI로 처리하기에 적합한 문제입니다.

시연은 Google Cloud x MLB 해커톤의 최근 우승자인 Jake DiBattista가 훌륭한 좌완 투수인 Clayton Kershaw의 동영상을 분석하는 것으로 시작되었습니다. Jake는 컴퓨터 비전 라이브러리를 사용하여 동영상을 사전 처리했고, Google Cloud에 저장하면서 투구 유형과 경기 상황 같은 선택 항목을 사용해 MLB 데이터를 가져왔습니다. 최종적으로 모든 정보를 Gemini API로 전송한 후 Kershaw가 자신의 이상적인 경로에서 거의 벗어나지 않는 주특기 커브볼을 던졌다는 결과를 얻었습니다.

훌륭한 기능이지만 프로 선수가 아닌 경우에도 활용할 수 있을까요? Jake는 숙련도가 낮은 선수를 위한 '아마추어 모드'를 만들고 진행자인 Richard가 공을 던지는 동영상을 사용했습니다. 프롬프트 엔지니어링을 통해 Kershaw를 위한 프로 모델을 조정하여 Richard를 위한 아마추어 모델로 바꾼 결과, Richard는 잠재력이 있으나 힘을 극대화하려면 팔을 조금 더 조이고 다리의 힘을 더 활용해야 한다는 안내가 제공되었습니다.

Jake는 대학교에서 투포환 선수로 활약하면서 자신의 투구법이 정확한지 측정하고 싶었던 경험이 이 프로젝트에 영감이 되었다고 이야기했습니다. 무엇을 잘하고 있는지 혹은 잘못하고 있는지 모르면 어떻게 발전할 수 있을까요? 당시 이러한 데이터가 있었다면 Jake의 발전에 큰 도움이 되었을 겁니다.

하지만 정말 놀라운 점은 Jake가 투구 분석을 위한 완전 맞춤형 프롬프트 생성기를 빌드하는 데 일주일밖에 걸리지 않았다는 사실입니다. Jake는 "큰 문제 없이 바로 작동했어요."라면서 "커스텀 모델을 구현하거나 지나치게 복잡한 데이터 세트를 빌드할 필요가 없었습니다."라고 이야기했습니다.

다시 업무 환경으로

다음으로는 Google Cloud의 Developer Advocate인 Jeff Nelson이 발표자로 나왔습니다. Jeff는 다시 업무로 주제를 바꿔 영업 관리자가 사용할 수 있도록 원시 데이터를 데이터 애플리케이션으로 전환한다는 명확한 목표를 토대로 발표를 진행했습니다. Jeff는 먼저 BigQuery 노트북을 열어 예측을 빌드하고 몇 가지 SQL 코드를 작성했습니다. BigQuery는 Python DataFrame에 결과를 로드했습니다. Python에서는 라이브러리를 사용하여 모든 크기의 테이블에서 코드를 실행하기가 쉽기 때문입니다.

그렇다면 이 에이전트를 실제로 어떻게 사용하면 판매를 예측할 수 있을까요? Jeff는 노트북에 기본 제공되는 Gemini 데이터 과학 에이전트를 선택하고 '에이전트에게 물어보기'를 누른 다음 테이블을 토대로 판매 예측을 요청하는 프롬프트를 입력했습니다. 그러자 놀랍게도 그 시점부터는 모든 코드가 Gemini 데이터 과학 에이전트에 의해 생성되고 실행되었습니다.

아울러 Jeff는 에이전트가 특성 추출에 Spark를 사용할 수 있었던 건 BigQuery의 새로운 서버리스 Spark 엔진 덕분임을 설명했습니다. SQL, Spark, Python 간 전환이 쉬워 사용자는 작업에 적합한 도구를 사용할 수 있습니다.

Jeff는 예측 자체를 빌드하기 위해 BigQuery에서 바로 액세스할 수 있는 새로운 Google 파운데이션 모델인 TimesFM을 사용했습니다. 기존 모델과 달리 이 모델은 방대한 시계열 데이터 세트로 선행 학습되었으므로 데이터를 입력하기만 하면 예측을 얻을 수 있습니다. Jeff는 "예측은 누구나 액세스할 수 있는 데이터 앱이 됩니다."라고 말했습니다.

이를 가능하게 한 새로운 기술 :

BigQuery의 서버리스 Spark 엔진
전문 에이전트: 데이터 엔지니어, 데이터 분석가, 비즈니스 사용자를 지원하며, 현재 프리뷰 버전으로 이용할 수 있습니다.
BigQuery 노트북에 통합된 데이터 과학 에이전트: 곧 출시될 예정이며, 지금 Colab에서 바로 시작할 수 있습니다.

재미있는 일에 집중하기

개발자 입장에서 기술 설계 문서 작성이나 제품 요구사항 문서 작성처럼 지루한 작업을 다른 사람에게 맡길 수 있다면 얼마나 좋을까요? 엔지니어링 부문 전무 이사인 Scott Densmore는 데모를 마무리하면서 지루한 업무를 단번에 해결하는 놀라운 방법인 Gemini Code Assist와 새로운 칸반 보드를 소개했습니다.

Code Assist는 소프트웨어 개발 수명 주기 전반의 에이전트를 조율하는 데 도움이 됩니다. Scott은 이를 모든 엔지니어링 컨텍스트가 담긴 '가방'에 비유했습니다. Scott이 Java 마이그레이션을 위한 기술 설계 문서를 예로 들어 설명하면서 Google 문서에서 직접 댓글을 작성해 Code Assist에 할당하자 새로운 작업이 즉시 칸반 보드에 표시되어 추적할 수 있게 되었습니다. Google Docs뿐만 아닙니다. 채팅방과 버그 추적기에서 바로 작업을 할당하거나 Code Assist를 통해 작업을 찾을 수도 있습니다.

Scott은 더 어려운 사례를 보여주기 위해 Code Assist에 제품 요구사항 문서의 프로토타입을 만들도록 요청했습니다. Code Assist에 변경사항을 알려주고, 원하는 결과가 나올 때까지 반복했습니다. 간단합니다.

"Gemini Code Assist는 코딩을 도와주는 추가적인 도구로, 애플리케이션을 만들고 반복적이고 지루한 작업을 없애주므로 개발자는 재미있는 작업에 집중할 수 있습니다."

이를 가능하게 한 새로운 기술 :

Gemini Code Assist 칸반 보드: Google 에이전트와 상호작용하고, Gemini가 작업 완료를 위해 생성한 업무 계획을 검토하고, 다양한 작업/요청의 진행 상황을 추적할 수 있습니다.

정말 놀랍지 않나요? 하지만 이 글만으로 판단하지 마세요. 오늘 소개한 모든 마법 같은 순간을 생생하게 느끼고 싶다면 개발자 키노트 전체 동영상을 다시 시청해 보세요. 분명히 유익한 한 시간이 될 것입니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud Next에서 얻은 새로운 인사이트를 현장에 적용하세요'), ('body', <wagtail.rich_text.RichText object at 0x7f194b4699a0>), ('btn_text', '시작하기'), ('href', 'https://cloud.google.com/events/next25-offer-11'), ('image', <GAEImage: next 25>)])]>

Dataflow 마스터: 실제 애플리케이션에 대한 5가지 심층 가이드

Mon, 17 Mar 2025 10:32:00 +0000

* 본 아티클의 원문은 2024년 10월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

효과적인 실시간 데이터 솔루션을 빌드하기란 어려울 수 있으며 이를 위해서는 전문 도구와 스트리밍 데이터에 대한 깊은 이해가 필요합니다. Dataflow는 다양한 사용 사례를 처리할 수 있는 성능과 유연성을 제공합니다. 때로는 Dataflow의 사용 방법에 대한 간단한 안내가 큰 도움이 될 수 있습니다. 그래서 Google Cloud는 개발자들이 실제로 겪는 시나리오를 바탕으로 5가지의 샘플 Dataflow 솔루션 아키텍처를 제작했습니다.

Dataflow 솔루션 가이드는 머신러닝 및 생성형 AI, ETL 및 통합부터 마케팅 인텔리전스 등을 아우르는 일반적인 사용 사례를 해결하는 데 실용적이고 처방적인 안내를 제공합니다. 아래에서 각 솔루션에 대한 개요, 자세한 설명, 자세한 가이드 링크를 확인하여 필요에 맞는 솔루션을 자세히 살펴보고 구현해 보세요.

실시간 ML 및 생성형 AI를 위한 Dataflow

예측을 생성합니다. 사용자는 Vertex AI 및 Hugging Face와 같은 소스에서 선행 학습된 모델이나 커스텀 모델을 활용하고, Apache Beam의 MLTransform, Enrichment 또는 RunInference와 같은 턴키 변환이나 Dataflow의 GPU 가속 지원 및 커스텀 컨테이너를 활용할 수 있습니다. 이를 통해 까다로운 워크로드에서 개발을 간소화하여 실시간 맞춤설정, 사기 감지, 기타 시간에 민감한 애플리케이션을 위해 더 빠른 피드백 루프와 동적 조정이 가능합니다. Spotify와 같은 회사에서 구현한 혁신적인 팟캐스트 미리보기 생성이 그 사례입니다.

여기를 클릭하여 실시간 ML 및 생성형 AI를 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 ETL을 위한 Dataflow

Dataflow는 실시간 ETL 및 통합을 위한 통합 플랫폼을 제공하여 배치와 스트리밍 시스템을 별도로 관리하는 복잡함을 최소화합니다. Dataflow를 사용하여 메시지 큐나 데이터베이스와 같은 소스에서 데이터를 수집합니다. Apache Beam의 유연한 프로그래밍 모델과 Dataflow의 뛰어난 실행 엔진을 사용하여 실시간으로 데이터를 보강하고 변환합니다. 사용자는 분석용 BigQuery 또는 Cloud SQL, 트랜잭션 워크로드를 위한 AlloyDB와 같은 대상으로 이 데이터를 전달하여 인벤토리를 즉시 업데이트하거나 추천을 개인화하거나 허위 거래를 감지할 수 있습니다. Dataflow의 자동 확장 기능과 기본 제공되는 내결함성은 효율적인 리소스 활용과 신뢰할 수 있는 파이프라인 작업을 보장합니다.

여기를 클릭하여 실시간 ETL 및 통합을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 로그 복제 및 분석을 위한 Dataflow

실시간 로그 분석은 보안 모니터링, 문제 해결, 규정 준수에 중요한 역할을 합니다. Dataflow는 이 복잡한 프로세스를 간소화하며, 애플리케이션 로그나 시스템 이벤트와 같은 여러 소스에서 다양한 데이터 스트리밍을 처리할 수 있도록 확장됩니다. 로그 형식을 표준화하고 이를 컨텍스트 데이터로 보강하고 BigQuery로 전송하여 거의 무제한의 규모로 분석할 수 있습니다. 이를 Splunk, Datadog 또는 Elasticsearch와 같은 로그 분석 플랫폼으로 라우팅할 수도 있습니다. 따라서 의심스러운 로그인 시도나 비정상적인 API 호출과 같은 이상치를 탐지하고 중요한 이벤트에 선제적으로 대응할 수 있습니다.

여기를 클릭하여 실시간 로그 복제 및 분석을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 마케팅 인텔리전스를 위한 Dataflow

Dataflow는 실시간 마케팅 인텔리전스를 지원하여 다양한 플랫폼에서 들어오는 데이터를 도착하는 즉시 처리해 느린 서드 파티 업데이트에 의존하지 않아도 됩니다. Apache Beam의 사전 빌드된 I/O 커넥터와 변환을 활용하여 데이터를 통합, 보강, 분석하고 Vertex AI를 통합하여 실시간 ML 추론을 수행합니다. 변환된 데이터를 마케팅 플랫폼에 라우팅하여 즉시 활성화하고 타겟 캠페인 및 맞춤형 사용자 경험을 제공합니다. 이를 통해 유동 가격 책정 및 예측 고객 세분화와 같은 사용 사례를 최소한의 지연 시간으로 실현할 수 있습니다.

여기를 클릭하여 실시간 마케팅 인텔리전스를 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 클릭스트림 분석을 위한 Dataflow

Dataflow는 실시간 클릭스트림 분석을 지원하여 대용량의 사용자 상호작용을 처리하고 즉각적인 인사이트와 맞춤형 경험을 제공합니다. 서드 파티 도구의 한계를 우회하여 모든 소스에서 데이터를 캡처하고 원하는 방식으로 분석을 실행합니다. 또한 턴키 변환과 실시간 AI/ML로 데이터를 보강합니다. Dataflow의 확장 가능한 아키텍처는 변동하는 워크로드를 손쉽게 처리하고 수요에 맞춰 확장합니다. 이를 통해 A/B 테스트 및 이탈 감소와 같은 까다로운 애플리케이션을 간소화합니다.

여기를 클릭하여 실시간 클릭스트림 분석을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

결론

주요 스트리밍 사용 사례에 대한 자세한 솔루션 가이드를 참고하면 Dataflow를 활용한 실시간 솔루션 빌드가 더 간편해집니다. 실시간 ML 및 생성형 AI를 통한 애플리케이션 개발, 실시간 ETL을 통한 데이터 파이프라인 현대화, 즉각적인 인사이트 확보를 위한 로그 분석, 맞춤형 마케팅 캠페인, 클릭스트림 분석을 통한 사용자 행동의 심도 있는 이해까지 Dataflow는 필요한 확장성, 유연성, 신뢰성을 사용자에게 제공합니다.

코드 샘플과 권장사항이 포함된 각 아키텍처에 대한 자세한 솔루션 가이드를 살펴보고 개발 여정을 가속화하세요. Google Cloud에서 앞으로도 새로운 실시간 과제를 해결하기 위한 솔루션 아키텍처를 계속해서 발표할 예정이므로 계속 지켜봐 주시기 바랍니다. 시각적인 학습 경험을 원하는 경우 YouTube 재생목록에서 이러한 솔루션을 다룬 종합적인 동영상을 확인해 보세요.

새로운 Apache Kafka용 관리형 서비스를 사용해 보고 할 일 목록에서 클러스터 관리를 지우세요

Mon, 17 Mar 2025 07:23:00 +0000

* 본 아티클의 원문은 2024년 8월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

Apache Kafka™와 같은 분산형 스토리지 시스템을 운영하다 보면 배우는 것이 많습니다. 먼저 클러스터를 위해 보안과 네트워킹을 설계 및 설정하고 안정적 운영과 업그레이드를 위한 프로세스 및 도구를 개발하는 과정을 진행하게 됩니다. 이 모든 과정에서 새로운 트래픽을 위한 확장이나 비용 절약을 위한 축소를 결정하기도 합니다. 보람되면서도 어려운 모험입니다.

이제 Google Cloud에서 지름길을 알려드립니다. 새로 나온 Apache Kafka용 Google Cloud 관리형 서비스를 사용해 보세요. 이 서비스는 위험 부담이 크고 때로는 지루한 인프라 운영 업무를 처리합니다. 지금 Google Cloud 프로젝트에서 프리뷰 버전을 사용해 보실 수 있습니다.

자체적인 Apache Kafka 인프라 운영을 생각하고 있다면 이 서비스를 사용해 보세요. 할 일 목록에 있는 다른 업무를 처리할 시간을 확보할 수 있습니다. 아래 내용을 읽으면서 새로운 서비스로 무엇을 할 수 있는지 알아보세요.

Apache Kafka란 무엇인가요?

본격적인 설명에 앞서 잠시 Apache Kafka가 확장 가능한 소프트웨어를 빌드하고 비즈니스를 구축하는 데 어떤 도움이 되는지 알아보겠습니다. 기술적인 차원에서 Apache Kafka는 애플리케이션에 이벤트를 공유하는 데 사용하는 확장 가능한 스토리지 시스템입니다. 이벤트에 반응하는 서비스를 빌드해야 한다면 그 이벤트를 Kafka에서 가져올 수 있습니다. 이벤트를 생성한 애플리케이션에 직접 통합하는 것보다 훨씬 쉽습니다. 이렇게 분리함으로써 내구성과 확장성을 갖춘 복잡한 소프트웨어를 빌드할 수 있게 됩니다. 이는 Kafka가 다른 스토리지 시스템과 달리 초당 기가바이트 단위의 처리량으로 수평 확장되기 때문에 가능합니다. Kafka는 객체 스토리지와 다르게 규모가 크고 변경이 불가능한 배치가 아니라 개별 레코드를 몇 마이크로초 안에 전송합니다.

이 시스템은 어느 분야에서 유용하게 사용될까요? 소매업의 경우 '사용자 X가 제품 Y를 클릭함'과 같은 이벤트를 처리하는 여러 서비스를 이용합니다. 예를 들어 추천 시스템을 빌드하거나 사용자에게 최근 본 제품의 기록을 보여주고자 할 수 있습니다. 데이터 사이언스팀에서는 당연히 사용자 상호작용의 전체 내역을 확인하고자 합니다. 제조업의 경우 '센서 X가 측정값 Y를 보고함'과 같은 형식의 이벤트가 발생합니다. 이러한 이벤트로 운영 모니터링 대시보드를 생성하거나 조기 장애 감지 알고리즘을 개발하고 실행하는 등 다양한 업무를 수행하게 됩니다. 금융 서비스 회사의 경우 주식 매매와 거래를 사기 감지 파이프라인과 잔액 계산기에 피드할 수 있습니다.

Apache Kafka용 관리형 서비스는 어떤 도움이 되나요?

Apache Kafka용 관리형 서비스를 사용해 Apache Kafka 클러스터를 실제로 운영하는 데 무엇이 필요한지 살펴보겠습니다. 구체적으로 말하자면 안전하고 확장 가능한 클러스터로 운영할 수 있어야 합니다.

가장 먼저, 서비스에 대한 액세스 권한을 받아야 합니다. 프로젝트 관리자라면 이미 권한이 있을 것입니다. 이러한 권한은 기존 계정과 서비스 약관에 포함되며 기존 결제 수단 또는 계약의 적용을 받습니다.

두 번째로, 클러스터의 보안 방식을 결정해야 합니다. Apache Kafka용 관리형 서비스는 보안 기능도 기본으로 제공합니다. 모든 클러스터는 암호화되고 인증된 연결만 허용합니다. 인증 시 서비스 계정과 직원 ID 제휴 계정을 포함해 Google IAM에서 지원하는 모든 ID를 사용할 수 있습니다. 하지만 Kafka 클러스터에서 이러한 ID를 관리할 필요가 없습니다. 클라이언트는 OAuth로 인증할 수 있으며 이는 Google Cloud의 사용자 인증 정보 처리나 기존 애플리케이션의 사용자 이름/비밀번호(SASL_PLAIN) 인증을 자동화합니다. 데이터는 저장 시 암호화되며 CMEK 지원이 포함됩니다.

세 번째로, 네트워크 설계입니다. Apache Kafka용 관리형 서비스는 네트워크 설계도 완전히 자동화합니다. 클라이언트가 서비스에 액세스하는 데 사용할 VPC 네트워크를 결정하기만 하면 나머지는 서비스에서 처리합니다. 최대 10개의 VPC 네트워크에 클러스터를 노출할 수 있습니다. 즉, 클라이언트를 서로 다른 네트워크에 분리할 수 있으며 클러스터에 리전 간 액세스가 가능합니다. VPC 페어링은 필요하지 않습니다. 서비스는 각 네트워크에서 브로커 및 부트스트랩 서버를 위한 비공개 IP 주소를 생성합니다. 그런 다음 클라이언트가 클러스터의 부트스트랩 URL만 알면 되도록 DNS 항목을 설정합니다. 참, 부트스트랩 URL은 하나뿐입니다. 각 클러스터에 부하 분산기가 설정되어 있기 때문입니다.

마지막은 크기 조정 단계입니다. 어떤 유형의 브로커 머신을 몇 개 사용할 것이며, 디스크는 어떻게 설정해야 할까요? 이 문제는 간단히 해결됩니다. 이 서비스에서 브로커와 스토리지를 완벽하게 관리합니다. vCPU 수와 클러스터의 RAM 크기만 사용자가 직접 관리하면 됩니다. 이 두 가지만 설정하면 브로커 관리는 자동화됩니다. 여기에는 브로커와 스토리지의 수평 및 수직 확장이 포함됩니다. 스토리지는 버퍼링을 위한 최소한의 로컬 스토리지와 사실상 무제한의 원격 스토리지를 포함하여 계층화됩니다. 따라서 디스크 공간이 부족해질 걱정 없이 원하는 만큼 Kafka 데이터를 저장할 수 있습니다.

이제 서비스를 사용할 준비가 되었습니다. 이 서비스는 오픈소스 Apache Kafka를 실행하기 때문에 Kafka 프로토콜을 사용하는 클라이언트는 예상대로 작동하게 됩니다. 중요한 운영 측정항목은 Cloud Monitoring에서, 로그는 Cloud Logging에서 얻습니다. 서비스는 Google Cloud API이므로 Terraform, UI, CLI를 포함한 클라이언트 라이브러리가 함께 제공됩니다.

클러스터가 최대 성능으로 가동되고 있다면 마지막 깜짝선물로 자동 업그레이드가 등장합니다. 서비스는 모든 소프트웨어를 자동으로 최신 상태로 유지합니다. 다시 시작할 필요도 없습니다.

직접 사용하여 약 1시간 만에 게시해 보세요

간단히 말해 Apache Kafka용 관리형 서비스는 Google Cloud에서 Apache Kafka 클러스터를 운영하는 업무를 서브넷 선택과 RAM 및 CPU 사용률을 살펴보는 수준으로 줄이는 데 도움이 됩니다. 직접 사용해 보세요. Google Cloud 콘솔에서 시작하거나 빠른 시작을 따라서 시작할 수 있습니다. 더 궁금한 점이 있다면 계정팀에 문의하거나 kafka-hotline@google.com으로 이메일을 보내주세요.

진정한 실시간: 최신 인사이트를 위한 BigQuery 연속 쿼리 도입

Mon, 17 Mar 2025 06:49:00 +0000

세계는 실시간으로 돌아갑니다. 고객이 제품을 구매하고 금융 거래가 이루어지고 상품이 배송되고 센서가 데이터를 생성하고 보안 위협이 발생합니다. 이러한 실시간 이벤트에서 믿기 어려울 정도로 많은 데이터가 생성됩니다. 하지만 여전히 많은 기업이 기존의 일괄 지향적 분석에 의존하는 탓에 데이터 생성 속도를 따라가지 못하고 있습니다.

데이터 분석가와 엔지니어가 BigQuery를 즐겨 사용하는 이유는 방대한 데이터 세트와 복잡한 쿼리를 쉽게 처리할 수 있기 때문입니다. 하지만 입력과 출력 모두의 연속적인 데이터 스트림을 관리할 수 있는 확장된 실시간 기능에 대한 사용자 요구가 증가하고 있습니다. 이러한 고객의 요구를 충족하기 위해 Google Cloud는 BigQuery를 실시간 이벤트 기반 분석 플랫폼으로 발전시켰습니다. 그리고 오늘 BigQuery 연속 쿼리의 프리뷰 버전이 출시되었다는 기쁜 소식을 전해드립니다.

Google Cloud는 진정한 실시간 데이터 분석에 수반되는 비용과 복잡성을 해결하기 위해 BigQuery 연속 쿼리를 개발했습니다. 지금까지 '실시간'은 몇 분 또는 몇 시간이 지난 데이터의 분석을 의미했습니다. 그러나 데이터 수집 및 분석 환경은 빠른 속도로 진화하고 있습니다. 데이터 생성이 급증하고 고객 참여, 의사 결정, AI 기반 자동화가 늘어남에 따라 의사 결정에 허용되는 지연 시간도 크게 줄었습니다. 이제는 몇 분이나 몇 시간이 아닌 초 단위의 인사이트가 요구됩니다.

고객의 기대치도 크게 달라졌습니다. 오늘날 고객은 온라인 경험에서 실시간 맞춤형 상호작용을 원합니다. 기업은 모든 관련 맥락을 고려해 즉각적으로 대응해야 한다는 압박을 받고 있지만 일괄 지향적 분석으로는 이를 간단하게 실현할 수 없습니다.

이러한 요구를 충족하기는 어렵습니다. BigQuery와 같은 엔터프라이즈 데이터 플랫폼도 높은 처리량의 실시간 데이터 수집이 가능하지만, 원래는 일괄 지향적 방식으로 분석을 수행하도록 설계되었습니다. 즉, 데이터를 이벤트 기반으로 '푸시'하는 대신 임시 작업이나 예약된 작업을 통해 시스템에서 '가져옵니다'. 또한 스트리밍 분석이 가능하도록 추가 기술을 BigQuery와 통합할 수는 있었지만 이 경우 아키텍처가 더 복잡해지고 다양한 프로그래밍 기술이 필요하며 해결 가능한 사용 사례의 수가 제한적이었습니다.

BigQuery 연속 쿼리 도입

BigQuery 연속 쿼리로 상황이 완전히 달라졌습니다. BigQuery 연속 쿼리를 사용하면 지속적으로 처리되는 SQL 문을 실행하여 새 이벤트가 BigQuery에 도착했을 때 데이터를 처리, 분석, 변환할 수 있어 인사이트가 항상 최신 상태로 유지됩니다. 이 기능은 Google Cloud 생태계와 기본적으로 통합되기 때문에 더욱 큰 잠재력이 있습니다. Vertex AI와 Gemini를 활용하여 실시간으로 수신 데이터에 대한 머신러닝(ML) 추론을 수행할 수 있습니다. 추가 처리 및 분석을 위해 Pub/Sub 주제, Bigtable 인스턴스 또는 다른 BigQuery 테이블에 대한 연속 쿼리의 결과를 복제할 수도 있습니다. 데이터 스트림을 지속적으로 모니터링하고 주목할 만한 이벤트가 발생하는 순간 작업을 트리거하는 등 필요할 때 언제든 부를 수 있는 분석가가 항상 대기하고 있는 것과 같습니다.

Google Cloud에서는 BigQuery 연속 쿼리로 BigQuery의 기능을 대폭 확장하여 기존 통합 데이터 플랫폼의 강점과 함께 새로운 이벤트 기반의 동적 데이터 처리 기능을 지원합니다. 이 기능을 사용하면 데이터 변화에 즉각적으로 대응하는 애플리케이션을 빌드할 수 있어 새로운 영역의 가능성이 열립니다. 전례 없는 민첩성을 발휘하여 맞춤형 고객 경험을 즉석에서 만들고 상황이 악화되기 전에 이상치를 감지하고 의사 결정 프로세스를 자동화할 수 있습니다.

BigQuery 연속 쿼리의 획기적인 잠재력

BigQuery 연속 쿼리의 도입은 데이터가 위치하는 실시간 및 이벤트 기반 데이터 분석의 큰 발전을 의미합니다. 다음과 같은 작업이 가능합니다.

실시간 파이프라인 간소화: 익숙한 SQL 언어를 사용해 복잡한 실시간 데이터 변환 및 분석을 표현할 수 있어 추가적인 기술이나 전문 프로그래밍 기술이 필요 없습니다.
실시간 AI 사용 사례 활용: 실시간 데이터 변환과 Vertex AI 및 Gemini를 사용하는 Google의 강력한 AI 제품을 통합하여 맞춤형 콘텐츠 생성, 데이터 보강 및 항목 추출, 즉각적인 이상치 감지, 이벤트 기반 아키텍처 지원 등 다양한 실시간 AI 기반 애플리케이션을 구현할 수 있습니다.
역방향 ETL 간소화: BigQuery 연속 쿼리는 Pub/Sub 및 Bigtable과 같은 다른 Google Cloud 서비스와 통합됩니다. 따라서 연속 쿼리의 결과를 Pub/Sub 주제로 보내 이벤트 기반 데이터 파이프라인과 실시간 애플리케이션 서빙을 위한 Bigtable 인스턴스를 만들 수 있습니다. 추가 분석을 위해 연속 쿼리의 결과를 다른 BigQuery 테이블에 쓸 수도 있습니다.
확장성 및 성능 제공: BigQuery의 강력한 서버리스 인프라를 기반으로 한 연속 쿼리는 방대한 양의 데이터를 높은 처리량과 짧은 지연 시간으로 처리할 수 있습니다.

즉, BigQuery 연속 쿼리는 실시간 이벤트 처리를 범용화하여 광범위한 대상의 접근성을 높이고 기업이 SQL을 사용해 자사 데이터의 잠재력을 최대한 발휘할 수 있도록 지원합니다.

세계 최대 규모의 제약 및 생물 의학 기업 중 하나인 Bayer와 같은 고객은 BigQuery의 연속 쿼리에 새로운 실시간 사용 사례를 실현할 가치가 있다고 평가했습니다.

“Bayer는 과거에 어렵다고 입증된 실시간 분석을 제공해야 하는 중압감을 안고 있습니다. 이제 BigQuery 연속 쿼리를 평가할 기회를 얻게 되어 향후 이 기능의 활용 가능성에 대한 기대감이 매우 큽니다. ERP, CRM, IoT 데이터의 실시간 통합부터 실시간 모니터링 및 알림 사용 사례에 이르기까지 연속 쿼리는 데이터 웨어하우스 내에서 더욱 다양한 비즈니스 과제 유형을 해결하는 획기적인 솔루션이 될 것입니다.” - Anthony Savio, Bayer 데이터 웨어하우스 엔지니어링 리드

실전 예시

실제로 어떻게 사용하는지 보는 것만큼 효과적인 학습 방법은 없습니다. 따라서 BigQuery 연속 쿼리가 장바구니 이탈이라는 일반적인 전자상거래 과제를 어떻게 해결하는지 살펴보겠습니다.

심혈을 기울여 좋은 제품을 만들었고 잠재고객을 웹사이트로 유치했으며 고객들이 장바구니에 상품을 추가했다고 가정하겠습니다. 하지만 구매를 완료하지 않은 채 고객들이 이탈합니다. 정말 답답한 상황일 것입니다. Baymard Institute에 따르면 평균 장바구니 이탈률이 70%에 달할 정도로 장바구니 이탈은 매우 흔한 문제입니다. 해결책을 제시해 드리겠습니다. BigQuery 연속 쿼리로 실시간 참여를 유도하여 고객의 관심을 다시 불러일으키세요.

시연을 위해 BigQuery 테이블을 사용하여 웹사이트의 장바구니 이탈 이벤트를 로깅하고 고객 연락처 정보, 이탈된 장바구니의 내용물, 이탈 시간을 캡처해 보겠습니다. BigQuery 연속 쿼리를 실행하여 장바구니 이탈 테이블에 새 이벤트가 있는지 지속적으로 모니터링한 후 Vertex AI를 통해 이탈된 새 장바구니를 전송하여 고객별로 맞춤설정된 프로모션 이메일을 생성하고 제품 추천 및 한시적 할인을 제공하고 맞춤형 이메일 콘텐츠를 Pub/Sub 주제에 게시할 것입니다. 마지막으로 간단한 Application Integration 플랫폼 트리거를 사용해 수신된 각 Pub/Sub 메시지에 대한 이메일을 전송합니다.

이 GitHub 저장소를 사용하여 단계별 안내를 따라 나만의 엔드 투 엔드 연속 쿼리 데모를 구축합니다.

데모 환경이 설정되고 실시간 이벤트가 BigQuery 장바구니 이탈 테이블로 스트리밍되면 아래와 같이 처리할 SQL 쿼리를 작성하고 생성형 AI를 사용하여 맞춤형 이메일을 만들어 Pub/Sub 주제에 작성할 수 있습니다.

code_block: <ListValue: [StructValue([('code', 'EXPORT DATA\r\n OPTIONS (format = CLOUD_PUBSUB,\r\n uri = "https://pubsub.googleapis.com/projects/production-242320/topics/recapture_customer")\r\nAS (SELECT\r\n TO_JSON_STRING(\r\n STRUCT(\r\n customer_name AS customer_name,\r\n customer_email AS customer_email, REGEXP_REPLACE(REGEXP_EXTRACT(ml_generate_text_llm_result,r"(?im)\\<html\\>(?s:.)*\\<\\/html\\>"), r"(?i)\\[your name\\]", "Your friends at AI Megastore") AS customer_message))\r\n FROM ML.GENERATE_TEXT( MODEL `Continuous_Queries_Demo.gemini_1_5_pro`,\r\n (SELECT\r\n customer_name,\r\n customer_email,\r\n CONCAT("Write an email to customer ", customer_name, ", explaining the benefits and encouraging them to complete their purchase of: ", products, ". Show other items the customer might be interested in and include details about our rewards program. Provide the response email in HTML format and include a hyperlink to the customer\'s shopping cart.") AS prompt\r\nFROM\r\n APPENDS(TABLE `Continuous_Queries_Demo.abandoned_carts`,\r\n -- Configure the APPENDS TVF start_timestamp to specify when you want to\r\n -- start processing data using your continuous query.\r\n -- Here we process data as ten minutes before the current time.\r\n CURRENT_TIMESTAMP() - INTERVAL 10 MINUTE)),\r\n\r\n STRUCT(\r\n 1024 AS max_output_tokens,\r\n 0.2 AS temperature,\r\n 1 AS candidate_count, \r\n TRUE AS flatten_json_output)))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f194a23ee50>)])]>

그다음 BigQuery 편집기에서 BigQuery 연속 쿼리 모드를 간단하게 사용 설정하고 이 쿼리를 영구적으로 실행하여 새로운 이벤트가 도착할 때마다 데이터를 처리하도록 구성합니다.

이제 장바구니 이탈이 발생하면 몇 초 만에 아래 예시와 같은 맞춤형 이메일이 고객에게 전송되어 판매가 다시 진행될 가능성이 커집니다. BigQuery 연속 쿼리 내에서 단순하고도 강력한 SQL을 사용해 이 모든 것이 조정됩니다.

모든 사용자의 역량 강화

특히 파트너 통합을 고려하는 경우 BigQuery 연속 쿼리의 결과를 Pub/Sub에 복제하여 이벤트 기반 데이터 아키텍처를 빌드하는 매우 흥미로운 가능성을 열 수 있습니다. 실제로 Aiven, Census, Confluent, Estuary, Hightouch, Keboola, Lytics, Nexla, Qlik, Redpanda를 비롯한 여러 Google Cloud ISV 파트너가 이미 자사 제품 및 서비스에 연속 쿼리로 생성된 Pub/Sub 메시지를 지원한다고 인정했습니다.

“Confluent는 Confluent Cloud와 BigQuery 연속 쿼리를 통합하여 조직에서 실시간으로 데이터의 잠재력을 최대한 실현하도록 지원하고 있습니다. 이러한 협업을 통해 데이터 파이프라인을 간소화하고 의사 결정을 개선하고 혁신적인 데이터 기반 애플리케이션을 만들어 비즈니스에서 상당한 경쟁력을 확보하고 있습니다.” - Mike Agnich, Confluent 데이터 스트리밍 플랫폼 부문 부사장 겸 총괄 이사

보다 익숙한 대화형 경험을 원하는 데이터 과학자를 위해 BigQuery 연속 쿼리가 BigQuery DataFrames와 통합됩니다. 이제 Python 노트북 내에서 직접 실시간 데이터 처리를 활용하여 실험을 간소화하고 프로토타입을 빠르게 제작하고 기존 머신러닝 워크플로에 연속 쿼리를 원활하게 통합할 수 있습니다. 자세한 내용은 Python 스트리밍 Dataframes 노트북 예시를 확인하세요.

시작할 준비가 되셨나요?

오늘날의 급변하는 세계에서 과거 데이터 또는 거의 실시간에 가까운 데이터에만 의존하는 비즈니스는 불리할 수밖에 없습니다. 실시간 인사이트는 더 이상 선택 사항이 아닙니다. 오히려 정보에 입각한 결정을 내리고 특별한 고객 경험을 제공하며 경쟁에서 앞서 나가기 위한 필수 요소입니다. 숨겨진 패턴을 발견하는 데이터 과학자, 전략적 이니셔티브를 추진하는 비즈니스 분석가, 조직이 나아갈 방향을 정하는 최고 책임자 등 모두가 실시간 데이터가 지닌 힘을 이해해야 합니다.

BigQuery 연속 쿼리는 SQL이라는 범용화된 언어를 사용하여 데이터가 유입될 때 그 잠재력을 최대한 활용할 수 있는 혁신적인 솔루션을 제공합니다. 이제 이벤트 기반 데이터 분석이 가능해졌습니다. 지금 공개 프리뷰를 신청하고 BigQuery 연속 쿼리로 실현할 수 있는 가능성을 살펴보세요. 또한 여기에서 BigQuery 연속 쿼리를 집중적으로 다룬 Google Cloud Next 2024 세션을 시청할 수 있습니다.

미래에는 진정한 실시간 데이터가 곧 경쟁력입니다. BigQuery가 이를 돕겠습니다.

BigQuery의 새로운 Gemini 모델 추론, 튜닝, 그라운딩, 안전 설정 이해

Mon, 17 Mar 2025 06:32:00 +0000

* 본 아티클의 원문은 2024년 8월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

소셜 미디어, 휴대기기, IoT 센서 등의 디지털 기기와 플랫폼의 확산으로 이미지, 오디오 파일, 동영상, 문서 같은 비정형 데이터가 급증하고 있습니다. 조직이 데이터에서 인사이트를 얻을 수 있도록 지원하기 위해 Google의 AI 지원 클라우드 데이터 플랫폼인 BigQuery가 생성형 AI 앱 빌드를 위한 Google의 완전 관리형 AI 개발 플랫폼인Vertex AI와 통합되어 있습니다. 이를 통해 다양한 생성형 AI 모델(즉, Gemini)과 AI 서비스(Document AI, Translation AI 등)를 활용하여 BigQuery 객체 테이블에 있는 비정형 데이터를 처리할 수 있습니다.

BigQuery에서는 이미 Gemini 1.0 Pro 및 Gemini 1.0 Pro Vision을 포함하여 Vertex AI에 호스팅된 여러 강력한 대규모 언어 모델(LLM)을 사용하여 데이터를 분석할 수 있습니다. 이러한 모델은 텍스트 요약과 감정 분석 같은 작업에 뛰어나며 대개는 프롬프트 엔지니어링만 필요합니다.

프롬프트 엔지니어링만으로는 충분하지 않은 시나리오의 경우 BigQuery에서 LoRA 기술을 지원하므로 text-bison 모델을 파인 튜닝할 수 있습니다. 이러한 추가 맞춤설정은 원하는 모델 동작을 프롬프트에서 간결하게 정의하기 어렵거나 프롬프트가 예상 결과를 일관되게 생성하지 않는 경우에 유용합니다. 파인 튜닝을 통해 모델은 특정 응답 스타일을 학습하고 새로운 동작(예: 특정 페르소나로서 응답)을 도입하고 최신 정보를 확인할 수 있습니다.

최근에는 BigQuery에 다음과 같이 최신 Gemini 모델에 대한 지원과 안전 개선, 그라운딩 지원을 추가했습니다.

ML.GENERATE_TEXT SQL 함수는 이제 Gemini 1.5 Pro 및 Gemini 1.5 Flash 파운데이션 모델을 지원합니다. BigQuery 사용자는 이미 텍스트에 대한 다양한 자연어 처리(NLP) 작업(예: 고급 텍스트 생성, 감정 분석)에 Gemini 1.0 Pro를 활용하고, 이미지와 동영상에 대한 이미지 캡셔닝, 시각적 질의 응답, 기타 비전 언어 작업에 Gemini 1.0 Pro Vision을 사용할 수 있습니다. Google의 차세대 멀티모달 파운데이션 모델인 Gemini 1.5를 사용하면 사용자는 앞서 언급한 NLP와 비전 작업을 향상된 품질로 처리할 수 있을 뿐만 아니라 오디오 및 PDF 파일을 분석(예: 오디오 스크립트 작성, PDF 요약)할 수도 있습니다. 이러한 모든 작업이 하나의 모델에서 이루어집니다.
Google 검색을 사용한 그라운딩을 지원하고 책임감 있는 AI(RAI) 응답을 위해 맞춤설정 가능한 안전 설정을 제공하기 위해 ML.GENERATE_TEXT SQL 함수를 개선하고 있습니다. 그라운딩을 사용하면 모델이 인터넷에서 추가 정보를 통합하여 정확성이 높고 사실에 기반한 응답을 생성할 수 있습니다. 안전 설정을 사용하면 사용자가 다양한 유해 카테고리(증오심 표현, 위험한 콘텐츠, 괴롭힘 등)에 대한 차단 기준을 정의할 수 있으며 모델은 이러한 설정을 위반하는 콘텐츠를 필터링합니다.
Gemini 1.0 모델을 튜닝하고 평가할 수 있도록 CREATE MODEL DDL 및 ML.EVALUATE SQL 함수를 확장하고 있습니다. BigQuery 사용자는 이미 text-bison PaLM 모델을 튜닝하고 평가할 수 있습니다. 이제 Gemini 1.0 Pro 모델을 파인 튜닝하고 평가하여 AI 기능을 더욱 세부적으로 맞춤설정할 수도 있습니다.

이어지는 섹션에서는 이러한 새 기능에 대해 자세히 살펴보겠습니다.

BigQuery ML 및 Gemini 1.5

BigQuery에서 Gemini 1.5 Pro를 사용하려면 먼저 호스팅된 Vertex AI Gemini 엔드포인트를 나타내는 원격 모델을 만듭니다. 일반적으로 이 단계는 몇 초 정도 걸립니다. 모델이 생성되면 이 모델을 사용하여 텍스트를 생성하고 데이터를 BigQuery 테이블과 바로 결합합니다.

code_block: <ListValue: [StructValue([('code', "CREATE MODEL `mydataset.gemini_1_5_pro`\r\nREMOTE WITH CONNECTION `us.bqml_llm_connection`\r\nOPTIONS(endpoint = 'gemini-1.5-pro');"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f19437657c0>)])]>

Gemini 1.5에서는 ML.GENERATE_TEXT() 함수에 BigQuery 관리형 테이블을 입력으로 제공하고, 각 데이터베이스 레코드에 PROMPT 문을 자동으로 추가하여 각 행에 대한 프롬프트를 맞춤설정할 수 있습니다. 'temperature' 프롬프트 파라미터는 생성된 대답의 무작위성을 제어합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT *\r\nFROM\r\n ML.GENERATE_TEXT(\r\n MODEL mydataset.gemini_1_5_pro,\r\n (\r\n SELECT CONCAT(\r\n \'Create a descriptive paragraph of no more than 25 words for a product with in a department named \', department,\r\n \', category named "\', category, \'"\',\r\n \'and the following name: \', name\r\n )\r\n AS prompt\r\n FROM mydataset.my_table\r\n ),\r\n STRUCT(0.8 AS temperature));'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943765160>)])]>

Gemini 1.5 모델에서는 ML.GENERATE_TEXT() 함수에 객체 테이블이 입력으로 허용되므로 이미지, 동영상, 오디오 파일, 문서와 같은 비정형 데이터를 처리할 수 있습니다. 객체 테이블을 사용하는 경우 프롬프트는 STRUCT 옵션에 배치된 단일 문자열입니다. 그런 다음 이 프롬프트는 테이블의 객체마다 각각 행별로 적용됩니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n uri,\r\n ml_generate_text_llm_result\r\nFROM\r\n ML.GENERATE_TEXT( MODEL `mydataset.gemini_1p5_pro`,\r\n (\r\n SELECT\r\n *\r\n FROM\r\n `mydataset.my_audio_files`\r\n WHERE\r\n content_type="audio/mp3" ),\r\n STRUCT(TRUE AS flatten_json_output,\r\n 1024 AS max_output_tokens,\r\n "Please transcribe the audio, then translate it to English." AS prompt))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f19437656d0>)])]>

샘플 결과를 살펴보겠습니다. 생성된 텍스트가 아주 많기 때문에 긴 출력 텍스트를 명확하게 볼 수 있도록 BigQuery UI에서 직접 JSON 형식으로 미리 봅니다. 프롬프트에서 지시한 대로, 모델이 먼저 오디오의 스크립트를 일본어로 작성한 다음 영어로 번역하는 것을 확인할 수 있습니다.

BQML과 LLM 그라운딩 및 안전 설정

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n ml_generate_text_llm_result,\r\n ml_generate_text_grounding_result,\r\n prompt\r\nFROM\r\n ml.generate_text(MODEL `mydataset.gemini_1p5_pro`,\r\n (\r\n SELECT\r\n concat(questions, ". Please only have answers and add no additional information.") as prompt\r\n FROM\r\n `mydataset.history_questions`\r\n LIMIT\r\n 10),\r\n STRUCT(TRUE AS flatten_json_output,\r\n 8192 AS max_output_tokens,\r\n TRUE AS ground_with_google_search,\r\n [STRUCT(\'HARM_CATEGORY_HATE_SPEECH\' AS category,\r\n \'BLOCK_LOW_AND_ABOVE\' AS threshold),\r\n STRUCT(\'HARM_CATEGORY_DANGEROUS_CONTENT\' AS category,\r\n \'BLOCK_MEDIUM_AND_ABOVE\' AS threshold)] AS safety_settings ))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f19437654f0>)])]>

그라운딩 기능을 설명하는 예시를 살펴보겠습니다. 그라운딩 기능이 활성화되면 사용자는 다양한 검색 진입점 및 각 검색과 관련된 신뢰도 점수를 비롯해 Google 검색에서 얻은 자세한 그라운딩 결과에 액세스할 수 있습니다.

안전 설정이 LLM 출력에 어떤 영향을 미치는지 확인해 보겠습니다. 예를 들어 다음과 같은 프롬프트를 작성합니다. '프랑스 혁명으로 처형된 프랑스 국왕은 누구야? 추가 정보 없이 답만 알려줘. ' HARM_CATEGORY_HARASSMENT 및 HARM_CATEGORY_DANGEROUS_CONTENT 카테고리에 대해 안전 설정 BLOCK_LOW_AND_ABOVE가 지정되어 있는 경우 결과가 차단됩니다.

LLM에서 출력되는 내용을 직접 확인하고 싶을 때도 있습니다. HARM_CATEGORY_HARASSMENT 카테고리에 대한 안전 설정을 BLOCK_MEDIUM_AND_HIGH로 변경하면 LLM이 적게 필터링한 결과를 제공합니다.

BQML 및 Gemini 1.0 LLM 튜닝

현재 BQML은 Gemini 1.0 모델의 LORA 파인 튜닝을 지원하고 있습니다. 모델을 파인 튜닝하려면 gemini-1.0-pro-002 엔드포인트를 기본 모델로 지정하고 '프롬프트' 및 '라벨' 열을 포함한 추가 학습 데이터를 제공해야 합니다. 예시를 통해 텍스트 분류 문제를 해결하는 방법을 보여드리겠습니다. 의료 스크립트 작성 데이터 세트를 사용하여 각 스크립트를 '척추 교정', '치과', '피부과' 등 17개의 고유한 카테고리로 분류하도록 모델에 지시합니다.

다음과 같이 파인 튜닝된 모델을 만듭니다.

code_block: <ListValue: [StructValue([('code', '-- Fine tune a textbison model\r\n\r\nCREATE OR REPLACE MODEL\r\n `bqml_tutorial.text_bison_001_medical_transcript_finetuned` REMOTE\r\nWITH CONNECTION `LOCATION. ConnectionID`\r\nOPTIONS (endpoint="gemini-1.0-pro-002",\r\n max_iterations=300,\r\n data_split_method="no_split") AS\r\nSELECT\r\n CONCAT("Please assign a label for the given medical transcript from among these labels [Autopsy, Bariatrics, Chiropractic, Dentistry, Dermatology,. ", input_text) AS prompt,\r\n output_text AS label\r\nFROM\r\n `bqml_tutorial.medical_transcript_train`'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943765eb0>)])]>

모델이 학습되면 ML.EVALUATE를 활용하여 모델의 성능을 평가하고 ML.GENERATE_TEXT를 활용하여 모델 추론을 실행할 수 있습니다. 포괄적인 예시는 다음 튜토리얼을 참조하세요. https://cloud.google.com/bigquery/docs/tune-evaluate

Google Cloud와 함께 데이터와 생성형 AI의 미래에 관해 알아보기

이러한 흥미로운 새 기능에 대해 자세히 알아보려면 이 문서를 살펴보시기 바랍니다. Gemini의 기능을 활용하며 BigQuery 내에서 포괄적인 데이터 분석 및 AI 애플리케이션을 직접 빌드하는 방법에 대한 실무형 데모를 보려면 이 동영상을 시청하세요.

또한 최근 게시된 웹캐스트에서는 BigQuery의 최신 기능을 소개하고 BigQuery ML을 활용하여 간단한 SQL을 사용해 모델을 쉽게 만들고 배포하는 방법을 보여줍니다.

이러한 새로운 기능에 대한 의견이나 추가 기능 요청이 있다면 bqml-feedback@google.com을 통해 알려주세요.

_{Google 직원인 Tianxiang Gao, Eric Hao, Jasper Xu, Manoj Gunti가 이 블로그 게시물 작성에 도움을 주었습니다. 이러한 기능은 많은 Google 직원의 노력으로 실현됩니다.}

BigQuery와 Anthropic의 Claude: 데이터 기반 인사이트를 위한 강력한 조합

Mon, 17 Mar 2025 06:23:00 +0000

* 본 아티클의 원문은 2024년 9월 5일 Google Cloud 블로그(영문)에 게재되었습니다.

세계에서 가장 생산적이고 혁신적인 조직들은 신뢰할 수 있는 자사 비즈니스 데이터를 바탕으로 의사 결정을 내리고 운영 효율성과 인사이트를 확보하며 성장을 도모합니다. 생성형 AI가 등장하면서 풍부한 정보를 토대로 전례 없는 경쟁 우위를 점할 수 있는 가능성이 열렸습니다.

Google Cloud는 앞장서서 Google의 생성형 AI 지원 데이터 플랫폼인 BigQuery 자체에 생성형 AI 기능을 통합했습니다. 조직들은 BigQuery 플랫폼에서 Vertex AI로 Gemini 1.5 Pro를 사용하는 등 이미 생성형 AI 모델을 활용하고 있습니다. 오늘 Google Cloud의 개방형 플랫폼이 BigQuery의 새로운 통합 프리뷰로 확장됩니다. BigQuery가 Vertex AI 기반 Anthropic의 Claude 모델과 통합되면서 Claude 모델의 강력한 인텔리전스 기능을 BigQuery에 있는 데이터에 사용할 수 있게 되었습니다.

이제 조직은 BigQuery ML(BQML)을 통해 고급 생성형 AI 기능을 제공하는 Anthropic의 Claude 모델을 이용할 수 있습니다. BQML은 BigQuery 내 데이터에 머신러닝을 적용하는 과정을 간소화하므로 분석가와 SQL 사용자의 접근성이 좋습니다. 이번 통합으로 데이터에서 바로 텍스트 생성, 요약, 번역 등의 작업을 수행할 수 있게 되었습니다.

강력한 사용 사례

조직에서 BigQuery와 Anthropic Claude 모델의 통합을 활용하면 데이터 기반 의사 결정을 재정립하고 다음과 같은 다양한 작업의 생산성을 높일 수 있습니다.

보안 강화를 위한 로그 데이터 분석: 보안팀은 BigQuery에서 로그 데이터를 효율적으로 분석하고 복잡한 기술 정보를 읽을 수 있는 명확한 형식으로 변환하여 적절한 대응 전략을 수립할 수 있습니다.
마케팅 최적화: 이제 마케팅팀은 BigQuery에 저장된 사용자 및 제품 데이터를 활용해 타겟팅된 데이터 기반 캠페인을 대규모로 생성하여 참여도와 ROI를 높일 수 있습니다.
문서 요약: 조직에서 Google Cloud Storage에 저장된 내부 문서를 자동으로 요약해 정보 관리를 간소화하여 시간과 리소스를 절약할 수 있습니다.
콘텐츠 현지화: 글로벌 조직에서 BigQuery에 저장된 텍스트 콘텐츠를 빠르게 번역하여 언어 장벽 없이 원활하게 소통할 수 있습니다.

BigQuery의 Claude 모델 사용 사례를 몇 가지 더 살펴보겠습니다.

로그 요약 및 추천

조직은 일반적으로 사용 편의성, 확장성, 로그 분석에 도움이 되는 검색 및 벡터 색인과 같은 고급 기능을 위해 오류 로그 데이터를 BigQuery에 저장합니다. BigQuery 데이터를 Vertex AI에서 Claude 모델과 결합하면 이러한 사용 사례를 더욱 강화할 수 있습니다. 예를 들어 조직에서 로그 항목을 효율적으로 요약하고 추천 수정사항을 생성하여 문제 식별 및 해결 프로세스를 간소화할 수 있습니다.

그 방법을 살펴보겠습니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL\r\n`PROJECT_ID.DATASET_ID.MODEL_NAME`\r\nREMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`\r\nOPTIONS (ENDPOINT = 'claude-3-5-sonnet');"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1948426670>)])]>

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n logName,\r\n Log_payload,\r\n ml_generate_text_result.content[0].text AS log_summary_and_suggestion\r\n FROM\r\n ML.GENERATE_TEXT(\r\n MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,\r\n (\r\n SELECT\r\n logName,\r\n TO_JSON_STRING(protopayload_auditlog) as Log_payload,\r\n concat("summarize this log payload in one sentence and recommend solutions, please remove sensitive information: ",TO_JSON_STRING(protopayload_auditlog)) AS prompt\r\n from `PROJECT_ID.DATASET_ID.Sample_log_table`\r\n )\r\n )'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1948426430>)])]>

로그 항목 요약 및 수정사항 추천

완성된 결과를 확인하실 수 있습니다. SQL과 Claude의 AI 기능만 사용해 간결한 로그 요약과 추천 솔루션을 생성해 봤습니다.

미술관 작품 설명 번역

BigQuery 테이블에 저장된 대한민국 예술 작품의 작품명을 영어로 번역하는 또 다른 사례를 살펴보겠습니다. Claude는 이러한 작업을 효과적으로 처리합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n object_id,\r\n title,\r\n ml_generate_text_result.content[0].text AS translations\r\n FROM\r\n ML.GENERATE_TEXT(\r\n MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,\r\n (\r\n SELECT\r\n object_id,\r\n\ttitle,\r\n concat("translate this into English and only return the translated result:" ,title) AS prompt\r\n from `PROJECT_ID.DATASET_ID.sample_Museum_objects_table`\r\n )\r\n )'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1948426fd0>)])]>

대한민국 미술관 작품의 설명을 영어로 번역

BigQuery에서 Claude 시작하기

BigQuery에서 Claude를 시작하려면 문서를 따라 진행하거나 샘플 노트북을 BigQuery Studio로 직접 가져와 실무형 실습 둘러보기를 참조하세요.

고급 Python 지원과 구성 유연성이 더 필요한 사용자를 위해 추가적인 2가지 통합 방법도 제공합니다.

BigQuery Studio에서 사용하는 Python (정식 버전): 데이터 과학자와 Python 개발자는 BigQuery UI에서 노트북을 활용하여 Python을 사용해 BigQuery 데이터를 Claude 모델에 직접 연결할 수 있습니다. 빠른 시작 가이드 및 예시 코드는 BigQuery DataFrames를 사용하는 샘플 노트북을 참고하세요.
BigQuery 원격 함수(정식 버전): 이 방법은 높은 유연성과 모든 Claude 모델에 대한 액세스를 제공하여 코딩 작업이 많은 사용자에게 적합합니다. 샘플 GitHub 저장소를 살펴보고 시작하세요. BigQuery DataFrames를 활용해 원격 함수를 자동으로 만들고 Claude에서 추론을 수행하는 이 샘플 노트북을 사용해 볼 수도 있습니다.

BigQuery와 Anthropic Claude의 통합으로 생성형 AI를 범용화하고 모든 규모의 기업이 데이터의 잠재력을 최대한 활용하는 데 큰 진전을 이루고 있습니다. 이 통합을 살펴보고 데이터 분석 워크플로를 어떻게 혁신할 수 있는지 확인하세요.

정식 버전으로 출시된 새로운 BigQuery의 Gemini 기능 사용해 보기

Sun, 16 Mar 2025 21:06:00 +0000

* 본 아티클의 원문은 2024년 8월 29일 Google Cloud 블로그(영문)에 게재되었습니다.

Google의 2024년 데이터 및 AI 트렌드 보고서에 따르면 생성형 AI로 인해 인사이트를 얻는 속도가 빨라질 것으로 생각하는 조직은 84%에 달하며, 특히 비기술직 사용자 중 52%는 이미 생성형 AI를 활용해 유용한 인사이트를 도출하고 있습니다.

Google Cloud는 Google의 데이터 클라우드를 통해 수십 년간 진행한 AI 연구 및 투자 결과를 데이터 관리와 분석에 혁신적으로 적용하여 조직이 환경을 새롭게 조성하고 조직의 독점 데이터로 그라운딩된 데이터 에이전트를 빌드할 수 있도록 지원하고 있습니다. Google Cloud Next 2024에서 Google Cloud가 소개한 BigQuery의 Gemini 프리뷰는 데이터 검색 및 탐색부터 데이터 준비 및 엔지니어링, 분석 및 인사이트 생성 등 데이터 여정 전반을 지원하는 AI 기반 경험과 함께 사용자 생산성을 높이고 비용을 최적화하는 지능형 추천도 제공합니다.

“BigQuery의 Gemini는 Julo의 쿼리 생성 프로세스에 혁신을 일으켰습니다. BigQuery에 통합되어 SQL 템플릿을 쉽게 생성할 수 있게 되었고, 중요한 머신러닝 모델 모니터링 쿼리를 포함한 라벨 및 특성 추출의 효율성을 높이는 데 도움이 되었습니다. 복잡한 데이터 구조를 이해하고 정확한 쿼리를 제공하는 Gemini의 기능 덕분에 워크플로가 그 어느 때보다 빠르고 원활합니다.” - Martijn Wieriks, Julo 최고 데이터 책임자

오늘 Google Cloud는 SQL 코드 생성 및 설명, Python 코드 생성, 데이터 캔버스, 데이터 인사이트 및 파티셔닝, 클러스터링 추천을 비롯한 다양한 BigQuery의 Gemini 기능을 정식 버전으로 출시했습니다.

그중 바로 활용할 수 있는 몇 가지 BigQuery의 Gemini 기능을 자세히 살펴보겠습니다.

BigQuery의 Gemini가 보여주는 차별성

BigQuery의 Gemini에는 비즈니스 니즈에 최적화된 최첨단 모델과 함께 데이터 관리 및 AI 인프라 부문에 관한 Google의 기능이 결집되어 있습니다.

컨텍스트 인식: 사용자 의도를 파악하고 목표를 이해하고 능동적인 소통을 통해 워크플로를 가속화함
자체 데이터 그라운딩: 비즈니스 데이터를 지속적으로 학습하고 이에 맞게 변화해 새로운 기회를 발굴하고 문제를 예측함
통합 환경: BigQuery 인터페이스 내에서 직접 액세스 가능하며 분석 워크플로 전반에 걸쳐 원활한 경험을 제공함

데이터 인사이트 시작하기

데이터 분석 여정은 먼저 데이터를 발견하고 데이터 애셋에서 얻을 수 있는 인사이트를 평가하는 것으로 시작됩니다. 자사 데이터에 특화된 인사이트를 얻을 수 있는 질문 라이브러리가 있다고 상상해 보세요. 물어봐야 하는지조차 몰랐던 질문도 있을 수 있습니다. 데이터 인사이트는 사전 검증되고 즉시 실행할 수 있는 쿼리를 통해 즉각적으로 인사이트를 제공하므로 추측이 필요하지 않습니다. 예를 들어 고객 이탈 데이터가 포함된 테이블을 살펴볼 때 데이터 인사이트는 특정 고객 세그먼트에서 이탈이 발생한 요인을 살펴볼 것을 추천하는 등 미처 생각하지 못한 시각을 제시할 수 있습니다.

이처럼 실행 가능한 쿼리가 BigQuery Studio에 기본 제공되어 있어 클릭 한 번으로 필요한 순간에 인사이트를 얻어 분석을 진행할 수 있습니다.

BigQuery의 Gemini는 클릭 한 번으로 실행할 수 있는 테이블에 대한 실행 쿼리를 자연어 인사이트로 추천합니다.

SQL 코드 및 Python 코드 지원을 통한 생산성 향상

BigQuery의 Gemini는 직관적인 자연어 프롬프트를 사용하고 관련 스키마와 메타데이터를 참조하면서 SQL 코드 또는 Python 코드를 작성 및 수정하는 데 도움이 됩니다. 코드의 오류와 불일치를 줄이는 한편 코딩 경험이 부족한 사용자도 복잡하고 정확한 쿼리를 작성할 수 있도록 지원합니다.

“Unerry의 데이터팀은 BigQuery의 Gemini를 통해 더욱 신속하게 인사이트를 도출하고 데이터 파이프라인 및 분석의 주기를 단축하는 데 도움을 얻고 있습니다. AI를 사용해 SQL 코드를 생성하고 텍스트를 임베딩하면 생산성이 향상되어 효과가 큰 이니셔티브에 집중할 시간을 더 많이 확보할 수 있습니다. 결과적으로 고객에게 행동 기반 인텔리전스를 제공한다는 Unerry의 사명을 실현하는 데 도움이 되리라 기대합니다.” - Okayasu, Unerry, Inc. 최고 데이터 과학자

데이터 내 구조와 관계를 이해하는 BigQuery의 Gemini를 활용하면 단순한 자연어 프롬프트를 사용해 맞춤 코드를 추천받을 수 있습니다. 사용자가 요청할 수 있는 내용을 예로 들면 다음과 같습니다.

“테이블에 있는 제품별로 총매출액을 계산하는 SQL 쿼리를 생성해 줘.”
“Pandas를 사용해서 제품 판매량과 고객 리뷰 수 간의 상관관계를 분석하는 Python 코드를 작성해 줘.”
“구독자 유형별로 평균 이동 거리를 계산해 줘.”

BigQuery의 Gemini를 사용한 SQL 코드 생성

BigQuery의 Gemini는 복잡한 SQL 쿼리 및 Python 쿼리의 이해를 돕는 설명과 인사이트도 제공하여 모든 수준의 사용자가 코드 이면의 논리를 더 쉽게 이해할 수 있게 합니다. 이는 특히 SQL과 파이썬을 처음 접하거나 익숙하지 않은 데이터 세트를 다루는 사용자에게 유용합니다.

BigQuery의 Gemini를 활용한 SQL 코드 설명

자연어를 사용하는 분석 워크플로 재정립

BigQuery의 Gemini에는 데이터 탐색, 선별, 랭글링, 분석, 시각화를 위한 혁신적인 자연어 기반 인터페이스인 데이터 캔버스가 포함되어 있습니다. 데이터 캔버스를 통해 사용자는 그래픽 워크플로로 데이터 여정을 탐색하고 구조화할 수 있으며 원활하고 직관적인 데이터 탐색과 분석이 가능합니다.

“여러 쿼리가 나올 수밖에 없는 탐색 또는 조사 작업을 진행할 때 데이터 캔버스를 대체할 도구는 없습니다. 덕분에 시간을 절약하고 정신적 수고를 덜 수 있었습니다.” - Scott Schaen, Wunderkind 분석 부문 부사장

예를 들어 소매점 전반의 매출을 분석할 때 하나의 사용자 인터페이스에서 간단한 자연어 프롬프트를 사용하여 POS 시스템 같은 여러 소스의 데이터를 수집하거나 인벤토리, CRM, 외부 데이터와 통합하거나 매장 위치, 제품 카테고리, 매출 같은 요소 사이의 관계를 밝히거나 이해관계자를 위한 보고서와 시각화를 개발할 수 있습니다. BigQuery 데이터 캔버스에 대해 자세히 알아보려면 이 블로그를 참고하고 아래 데모를 시청하세요.

성능 및 속도를 위한 분석 최적화

데이터양이 증가하면서 데이터 관리자와 기타 분석 전문가는 효과적으로 용량을 관리하고 쿼리 성능을 개선하는 데 어려움을 겪고 있습니다. 이러한 어려움을 해결하기 위해 BigQuery의 Gemini는 테이블을 파티셔닝하고 클러스터링하기 위한 AI 기반 추천을 제공합니다. 이 추천 기능은 쿼리를 수정할 필요 없이 테이블을 최적화하여 결과 도출 속도를 높이고 쿼리 비용을 절감하기 위해 마련되었습니다.

시작하기

SQL 코드 생성 및 설명, Python 코드 생성, 데이터 캔버스, 데이터 인사이트, 파티셔닝 및 클러스터링 추천이 포함된 BigQuery의 Gemini 정식 버전 기능이 오늘부터 몇 개월에 걸쳐 단계적으로 출시될 예정입니다.

이번에 출시되는 정식 버전(GA) 기능은 모든 고객에게 추가 비용 없이 제공됩니다. 자세한 내용은 가격 책정 세부정보를 참고하세요.

Deutsche Bank가 Google Cloud에 새로운 소매 데이터 플랫폼을 구축한 방법

AI 기반 분석의 새로운 장을 여는 BigQuery 벡터 검색 정식 버전 출시

Thu, 16 Jan 2025 04:31:00 +0000

* 본 아티클의 원문은 2024년 09월 28일 Google Cloud 블로그(영문)에 게재되었습니다.

AI 덕분에 조직은 데이터를 대규모로 분석하고 이해할 수 있는 새로운 데이터 표현 방식을 활용하게 되었습니다. AI 모델은 단어와 기타 데이터를 벡터 임베딩으로 인코딩하여 시맨틱 의미를 해석하도록 학습됩니다. 이러한 임베딩을 통해, 인코딩되는 데이터가 벡터 공간에서 차지하는 상대적인 위치를 알 수 있습니다. 의미상 유사한 임베딩은 벡터 공간에서 가까이 위치하고 그렇지 않은 임베딩은 멀리 위치합니다. 데이터의 의미론적 이해를 코드화하고, 그 결과를 모든 유형의 데이터에 적용하며, 간단한 데이터 분석 도구를 제공하는 이 모든 과정을 통해 조직은 데이터 분석을 위한 새로운 접근방식을 활용할 수 있게 됩니다.

이처럼 BigQuery 데이터에 대해 벡터 유사성 검색을 지원하는 BigQuery 벡터 검색이 정식 버전(GA)으로 출시되었다는 기쁜 소식을 전해드립니다. 흔히 근사 최근접 이웃 검색으로도 알려져 있는 이 기능은 대규모 언어 모델(LLM)을 사용한 검색 증강 생성(RAG), 시맨틱 검색, 유사성 감지 등 수많은 새로운 데이터 및 AI 사용 사례를 지원하는 데 중요한 역할을 합니다.

지난 2월에 첫선을 보인 BigQuery 벡터 검색은 데이터 플랫폼 내에 임베딩 생성, 관리, 검색 기능을 통합하여 이상 감지, 멀티모달 검색, 제품 추천, 신약 개발 등 다양한 사용 사례를 지원하는 통합형 서버리스 벡터 분석 솔루션을 제공합니다.

BigQuery 벡터 검색에 필요한 역파일 색인(IVF)도 이번에 정식 버전으로 출시되었습니다. 이 색인은 k-평균 알고리즘을 사용해 벡터 데이터를 클러스터링하고 이를 이중 색인(two-piece index)에서 역방향 행 로케이터와 결합하여 데이터의 유사한 임베딩 표현을 효율적으로 검색할 수 있게 합니다. IVF는 프리뷰 버전 출시 이후 다음과 같은 몇 가지 개선사항이 새롭게 포함되었습니다.

확장성 향상: 100억 개의 임베딩 색인을 생성하여 대규모로 애플리케이션을 지원할 수 있습니다.
정확성이 보장되는 관리형 색인: 기본 데이터가 변경되면 기존 k-평균 모델을 사용해 자동으로 벡터 색인이 업데이트됩니다. 시스템에서 수정된 데이터의 색인을 다시 생성하기도 전에 벡터 검색은 데이터의 최신 변형을 기반으로 올바른 결과를 반환합니다.
저장된 열 사용: 이제 자주 사용하는 열을 색인에 저장할 수 있어 검색 결과에서 추가 데이터를 검색할 때 비용이 많이 드는 조인을 피할 수 있습니다. 이 최적화는 결과-집합 카디널리티가 높은 시나리오에서 가장 두드러진 성능 향상을 보입니다. 쿼리 데이터에 대량의 임베딩이 포함되어 있거나 높은 Top-K를 필요로 하는 경우가 이에 해당합니다. 예를 들어 10억 개의 96차원 임베딩이 있는 테이블에서 특정 임베딩과 가장 유사한 1,000개의 후보를 반환할 때 저장된 열이 있는 벡터 색인을 사용하면 저장된 열이 없는 경우보다 약 200배 더 적은 슬롯으로 약 4배 더 빠르게 반환할 수 있습니다.
사전 필터: 벡터 검색 결과를 저장된 열과 결합하면 기본 테이블 문을 필터가 적용된 쿼리로 재작성하여 사전에 필터링할 수 있습니다. VECTOR_SEARCH() 함수 뒤에 WHERE 절을 추가하는 사후 필터링 방식에 비해 쿼리 성능과 검색 품질이 더 좋고 결과가 누락될 위험도 최소화됩니다.

Palo Alto Networks는 BigQuery 벡터 검색을 통해 유사한 공통 쿼리를 찾아 인사이트 도출 시간을 단축한 대표적인 고객사입니다.

“당사는 BigQuery의 벡터 검색을 Copilot에 활용하여 관련성 높은 쿼리 예시를 제안하고 있으며, 덕분에 고객 경험이 크게 향상되었습니다. BigQuery에서 벡터 검색을 설정하고 사용하는 과정이 정말 간편했고 유사성 검색의 성능과 속도가 매우 뛰어났습니다.” - Sameer Merchant, Palo Alto Networks 선임 특별 엔지니어

Vilya의 신약 개발 프로젝트처럼 대규모 워크로드를 처리할 때도 BigQuery 벡터 검색을 활용하면 프로토타입 제작과 프로덕션 진행이 간편하게 이루어집니다. 게다가 주문형 가격 책정 및 예산 평가 도구 덕분에 용량 기반 과금 모델로 원활하게 확장할 수 있었습니다.

“BigQuery의 성능은 정말 인상적이었습니다. 정밀한 질병 생물학 표적화를 위해 새로운 거대고리를 검색하는 데 필요한 생물학적 데이터 규모로 쉽게 확장이 되었습니다. 사용이 간편하고 확장성이 뛰어난 BigQuery의 벡터 검색 덕분에 수십억 개의 거대고리를 빠르게 검색할 수 있었습니다.” - Patrick Salveson, Vilya 공동 창립자 겸 CTO

실전 예시

BigQuery 벡터 검색을 처음 접하셨나요? 실전에서 바로 시작할 수 있는 예시를 소개해 드리겠습니다.

내부 Q&A 포럼에 질문을 게시하기에 앞서 내 질문과 의미상 유사한 기존 질문이 있는지 확인하고 싶다고 가정해 보겠습니다. 또한 질문에 해당하는 임베딩을 생성하여 <my_posts_questions> 테이블에 저장했다고 가정해 보겠습니다. 이제 다음과 같이 벡터 색인을 생성하고 성능 향상을 위해 자주 사용되는 열(예: 제목, 콘텐츠, 태그)을 색인에 저장할 수 있습니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE VECTOR INDEX `<index_name>`\r\nON `<my_posts_questions>`(embedding)\r\nSTORING (title, content, tags)\r\nOPTIONS(distance_type='COSINE', index_type='IVF')"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943ce27f0>)])]>

물론 VECTOR_SEARCH()는 벡터 색인이 없어도 작동하지만 색인을 생성하면 일반적으로 쿼리 성능이 향상될 가능성이 높습니다. 준비가 되면 VECTOR_SEARCH()를 ML.GENERATE_EMBEDDING과 함께 사용하여, 가령 'Android app using RSS crashing(RSS를 사용하는 Android 앱 비정상 종료)'과 유사한 질문을 검색할 수 있습니다. 결과를 세부적으로 조정하기 위해 'tags' 열에 사전 필터를 사용하여 검색 범위를 제한할 수 있습니다.

code_block: <ListValue: [StructValue([('code', "SELECT query.query, base.title, base.content, distance\r\nFROM VECTOR_SEARCH(\r\n ( SELECT * FROM <my_posts_questions> WHERE SEARCH(tags, 'android') ), \r\n 'embedding',\r\n (\r\n SELECT ml_generate_embedding_result AS embedding, content AS query\r\n FROM ML.GENERATE_EMBEDDING(\r\n MODEL <LLM_embedding_model>,\r\n (SELECT 'Android app using RSS crashing' AS content)\r\n )\r\n ))"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f1943ce2940>)])]>

최근에는 Google에서 개발한 ScaNN을 기반으로 한 새 색인 유형의 프리뷰 버전을 발표해 검색 성능을 한층 더 향상할 수 있게 되었습니다. BigQuery 벡터 검색은 발전을 거듭하면서 정형 데이터, 비정형 데이터, 멀티모달 데이터로 구성된 정식 BigQuery 기술 자료에 최첨단 Gemini 모델을 사용하는 멀티모달 검색 증강 생성(RAG) 솔루션의 핵심 구성 요소로 자리 잡았습니다.

지금 시작하기

벡터 임베딩과 머신러닝의 결합은 신속하고 비용 효과적인 임베딩 검색부터 시작해, BigQuery 엔터프라이즈 데이터 웨어하우스에 저장된 데이터로 수행할 수 있는 작업에 혁신을 불러올 것입니다. BigQuery 벡터 검색을 시작하려면 다음 리소스를 살펴보세요.