데이터 분석

단일 SQL로 분산 데이터를 탐색하는 새로운 Big Query 글로벌 쿼리

Tue, 17 Feb 2026 17:00:00 +0000

* 본 아티클의 원문은 2026년 02월 18일 Google Cloud 블로그(영문)에 게재되었습니다.

글로벌 경제 환경에서 데이터는 전 세계 곳곳에서 생성되고 저장됩니다. 다국적 기업의 경우 고객 데이터는 미국 본사에 두고, 트랜잭션 로그는 유럽과 아시아에 분산 저장하는 경우가 많습니다. 이는 성능 최적화, 규정 준수, 데이터 주권 요구사항을 충족하는 데 도움이 됩니다. 하지만 이러한 방식은 '데이터가 여러 대륙에 분산되어 있는데, 어떻게 비즈니스 전체를 아우르는 단일 통합 뷰를 확보할 것인가?'라는 새로운 과제를 안겨줍니다.

과거에는 이 문제를 해결하기 위해 분석 전 데이터를 복사하고 중앙 집중하하기 위해 복잡하고 시간이 오래 걸리며 비용이 많이 드는 ETL 파이프라인이 필요했습니다. 이로 인해 지연이 발생하고 복잡성이 가중되며 팀이 적시에 임시 분석을 수행하는 데 방해가 되었습니다.

오늘 소개하는 Big Query의 글로벌 쿼리가 이러한 판도를 바꿉니다. 이제 ETL 없이도 단일 표준 SQL 쿼리만으로 서로 다른 지리적 위치에 저장된 데이터를 쿼리할 수 있습니다. 글로벌 쿼리는 현재 프리뷰 버전으로 이용 가능합니다.

글로벌 쿼리란 무엇인가요?

글로벌 쿼리는 여러 지역에 분산된 데이터 세트 간의 장벽을 허물어 줍니다. 이제 이 다국적 기업은 Big Query 콘솔에서 직접 단일 쿼리를 실행하여 모든 데이터를 조인, 통합, 분석할 수 있습니다.

백그라운드에서 Big Query가 쿼리를 실행하는 데 필요한 데이터 이동을 자동으로 처리하여 다중 지역 분석을 위한 원활한 제로 ETL 환경을 제공합니다. Big Query는 서로 다른 리전에서 실행되어야 하는 쿼리의 여러 부분을 식별하고 그에 따라 실행합니다. 다음으로, 각 부분의 쿼리 결과는 기본 쿼리가 실행될 때 선택한 위치로 전송됩니다. 이때 전송 크기를 최소화하기 위한 최적화 작업이 병행됩니다. 마지막으로 모든 데이터가 결합되고 최종 쿼리 결과가 반환됩니다.

BigQuery 사용자 Essilor Luxottica는 글로벌 쿼리를 조기에 도입하여 큰 성과를 거두었습니다.

“EssilorLuxottica는 데이터 보안과 규정 준수를 최우선으로 생각합니다. 이것이 바로 데이터가 발생한 해당 리전에 항상 저장되어야 하는 이유입니다. Big Query의 글로벌 쿼리를 사용하면 이렇게 분산된 데이터를 원활하게 통합할 수 있습니다. 이를 통해 규정 준수를 타협하지 않으면서도 교차 리전의 집계된 분석을 수행할 수 있습니다. 보안을 유지하면서도 데이터 기반의 의사 결정을 내릴 수 있는 강력한 방법입니다.” - 루벤스 발라비오, EssilorLuxottica 고객 데이터 플랫폼 관리자

이와 동시에, 리전 간 데이터 전송은 추가 비용이 발생하며, 다양한 규제들로 인해 개인 식별 정보(PII)가 원래 위치를 벗어나서는 안 되는 경우가 많습니다. 이러한 이유로 Google Cloud는 지리적 경계를 넘어 데이터를 전송하는 과정에 강력한 거버넌스가 필요하다는 것을 인지하고 있습니다. 따라서 글로벌 쿼리는 보안과 사용자 제어를 최우선으로 두고 설계되었습니다. 구체적인 방법은 다음과 같습니다.

명시적 활성화 필수: 실수로 인한 의도치 않은 데이터 전송이나 비용 발생을 방지하기 위해 글로벌 쿼리 기능은 기본적으로 비활성화되어 있습니다. 이 기능을 사용하려면 관리자가 프로젝트에 글로벌 쿼리를 명시적으로 활성화해야 하며, 실행하는 사용자 또는 서비스 계정별로 특별 권한이 필요합니다.
위치 제어권 보유: 글로벌 쿼리가 실행되는 위치를 사용자가 직접 지정할 수 있습니다. 이를 통해 데이터가 처리되는 위치를 통제하고 데이터 상주 및 규정 준수 요구사항을 준수할 수 있습니다.
거버넌스 제어 준수: 글로벌 쿼리는 VPC 서비스 제어를 포함한 기존 보안 설정을 준수하므로 설정된 보안 정책을 위반하는 방식으로는 데이터가 이동하지 않습니다.

글로벌 쿼리 실제 작동 예시

실제 작동 예시로 단일 쿼리로 생성된 글로벌 매출 통합 보고서를 살펴보겠습니다. 이전에는 이러한 보고서를 만들이 위해 별도의 데이터 엔지니어링 프로젝트가 필요했습니다. 하지만 이제 권한이 있는 분석가라면 누구나 단일 쿼리로 몇 초 만에 답을 얻을 수 있습니다.

code_block: <ListValue: [StructValue([('code', "-- Set the location where the final query will be executed, can also be set in the Console.\r\nSET @@location = 'US';\r\n\r\n-- Combine transactions from both European and Asian datasets\r\nWITH transactions AS (\r\n SELECT customer_id, transaction_amount FROM `eu_transactions.sales_2024`\r\n UNION ALL\r\n SELECT customer_id, transaction_amount FROM `asia_transactions.sales_2024`\r\n)\r\n\r\nSELECT\r\n c.customer_name,\r\n SUM(t.transaction_amount) AS total_sales\r\nFROM\r\n hq_customers.customer_list AS c\r\n LEFT JOIN transactions AS t\r\n ON c.id = t.customer_id\r\nGROUP BY\r\n c.customer_name\r\nORDER BY\r\n total_sales DESC;"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b4298730>)])]>

보시는 것처럼 이 모든 과정은 표준 SQL로 이루어집니다. 유럽 및 아시아 데이터 세트에 저장된 모든 트랜잭션을 가져와 미국에 보관된 고객 데이터와 결합합니다. 이전과 다른 점은 이제 Big Query가 수천 마일 떨어진 데이터 세트에서 이 작업을 직접 수행한다는 것입니다. 이를 통해 아키텍처를 획기적으로 간소화할 뿐만 아니라, 인사이트를 얻기까지의 시간 역시 대폭 단축해 줍니다.

지금 바로 글로벌 쿼리를 시작해 보세요

글로벌 쿼리를 사용하면 분산된 데이터 전반에서 새로운 인사이트를 도출하고, 팀원들이 진정한 온디맨드 글로벌 분석 역량을 갖추도록 지원할 수 있습니다.

기능 활성화 및 사용 방법에 대한 자세한 내용은 official documentation를 참고하시기 바랍니다. Google Cloud는 정식 버전 출시를 목표로 기능을 지속적으로 발전시켜 나가고 있으며 여러분의 소중한 의견을 기다리고 있습니다.

BigQuery 내부 구조 심층 분석: Google이 분석에 임베딩을 도입한 방법

Tue, 11 Nov 2025 17:00:00 +0000

* 본 아티클의 원문은 2025년 11월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

임베딩은 데이터와 AI의 교차점에서 핵심적인 역할을 하는 구성요소입니다. 데이터 구조로서의 임베딩은 데이터가 가진 고유한 의미를 인코딩하며, 이들은 비교될 때 그 중요성이 분명해집니다. 벡터 검색은 공유 공간 내에서 임베딩 간의 거리를 평가하여 임베딩의 상대적 의미를 밝히는 기법입니다.

2024년 초 Google Cloud는 BigQuery 데이터 플랫폼에 벡터 검색 기능을 출시하여 모든 BigQuery 사용자가 이 강력한 기능을 이용할 수 있도록 했습니다. 이를 통해 특수 데이터베이스나 복잡한 AI 워크플로를 구축할 필요가 없어졌습니다. 벡터 검색을 범용화하기 위한 Google Cloud의 지속적인 노력은 BigQuery 사용자가 기대하는 규모, 간편함, 비용 효율성을 갖춘 고유한 접근방식으로 이어졌습니다. 이 글에서는 지난 2년간의 여정을 되돌아보며 제품 개발과 고객 상호작용을 통해 얻은 인사이트를 공유하고자 합니다.

과거의 방식: 어렵고 복잡했던 벡터 검색 구축

BigQuery에 벡터 검색에 대한 기본 지원이 추가되기 전에는 확장 가능한 벡터 검색 솔루션을 빌드하는 것이 복잡하고 여러 단계를 거쳐야 하는 프로세스였습니다. 데이터 전문가는 다음 작업을 수행해야 했습니다.

데이터 웨어하우스에서 데이터 추출
특수한 머신러닝 인프라를 사용하여 임베딩 생성
생성된 임베딩을 전용 벡터 데이터베이스에 로드
서버 프로비저닝, 확장, 색인 관리를 포함한 추가 인프라 유지보수
벡터 검색 결과를 핵심 비즈니스 데이터와 다시 연결하는 커스텀 파이프라인 개발
운영 시스템의 치명적 문제인 인덱스 재빌드 중 발생하는 다운타임 처리

이처럼 분산되고 비용이 많이 들며 유지보수 부담이 큰 아키텍처는 많은 팀의 진입 장벽이었습니다.

초기 단계: 간편함에 집중하다

Google Cloud는 시장에서 가장 간단한 벡터 데이터베이스를 만드는 것을 목표로 BigQuery 벡터 검색을 시작했습니다. 이 프레임워크는 다음과 같은 몇 가지 핵심 설계 요구사항을 충족하기 위해 빌드되었습니다.

완전한 서버리스: Google Cloud는 모든 BigQuery 고객에게 벡터 검색을 제공하는 가장 좋은 방법이 서버리스라는 것을 일찍이 깨달았습니다. 먼저 BigQuery 내에서 클러스터링과 인덱싱의 장점을 결합한 IVF 색인(Index)을 BigQuery 내부에 빌드했습니다. 따라서 BigQuery에서 벡터 검색을 사용하기 위해 새 서버를 프로비저닝할 필요가 전혀 없습니다. 즉, 벡터 데이터베이스의 기본 인프라를 관리할 필요가 없으므로 팀은 가장 중요한 데이터에만 집중할 수 있습니다. BigQuery는 확장, 유지보수, 안정성을 자동으로 처리하며 수십억 개의 임베딩을 처리할 수 있도록 쉽게 확장되므로 비즈니스 성장에 따라 솔루션을 확장할 수 있습니다.
최대한 간편한 색인 유지 보수: BigQuery의 벡터 색인은 이러한 간소화의 핵심 요소입니다. 간단한 CREATE VECTOR INDEX SQL 문으로 색인을 생성하면 BigQuery가 나머지를 처리합니다. 새로운 데이터가 수집되면 색인이 자동으로 비동기식으로 새로고침되어 변경사항을 반영합니다. 데이터 수집으로 인해 데이터 분포가 변경되어 검색 정확도가 떨어지더라도 문제없습니다. 모델 재빌드 기능을 사용하면 색인 다운타임 없이 단 하나의 SQL 문으로 색인을 완전히 재빌드할 수 있습니다.
GoogleSQL 및 Python과의 통합: 간단한 VECTOR_SEARCH 함수를 사용하여 기존 SQL 워크플로 내에서 직접 벡터 검색을 수행할 수 있습니다. 따라서 시맨틱 검색을 기존 쿼리 및 조인과 쉽게 결합할 수 있습니다. 데이터 과학자에게는 Python 및 LangChain, BigQuery DataFrames와 같은 도구와의 통합이 고급 머신러닝 애플리케이션을 빌드하는 데 자연스럽게 적합합니다.
보장된 일관성: 새로운 데이터는 수집 즉시 VECTOR_SEARCH 함수를 통해 검색할 수 있으므로 검색 결과의 정확성과 일관성이 보장됩니다.
사용한 만큼만 지불: BigQuery 벡터 검색 가격 책정 모델은 유연성을 고려하여 설계되었습니다. 이 '종량제(pay as you go)' 모델은 임시 분석과 가격 대비 성능이 뛰어난 배치 쿼리 모두에 적합합니다. 이 모델은 막대한 초기 투자 없이도 기능을 쉽게 사용해 볼 수 있다는 장점이 있습니다.
보안은 기본: BigQuery의 보안 인프라는 행 수준 보안(RLS) 및 열 수준 보안(CLS)을 통해 강력한 데이터 액세스 제어를 제공합니다. 이러한 다층적 접근방식은 사용자가 승인된 데이터에만 액세스할 수 있도록 보장하여 보호를 강화하고 규정 준수를 보장합니다.

성장기: 고객과 함께 발전하다

초기 프로젝트에서 성공을 거둔 고객들이 더 많은 데이터를 BigQuery로 이전하면서 새로운 임베딩 기반 접근방식을 사용하기 위해 '업데이트'하고 있는 다양한 데이터 과학 워크플로에 대해 알려주었습니다. 벡터 검색으로 개선할 수 있는 다양한 애플리케이션의 몇 가지 예는 다음과 같습니다.

검색 증강 생성(RAG)을 사용하는 LLM 애플리케이션: 벡터 검색은 관련 비즈니스 데이터를 제공하여 대규모 언어 모델(LLM)의 정확하고 그라운딩된 응답을 보장하는 데 도움이 됩니다.
비즈니스 데이터에 대한 시맨틱 검색: 내부 및 외부 사용자 모두를 위한 강력한 자연어 검색 기능을 지원합니다. 예를 들어 마케팅팀은 'Jane과 비슷한 구매 내역을 가진 고객'을 검색하여 의미상 유사한 고객 프로필 목록을 받을 수 있습니다.
Customer 360 및 중복 제거: 임베딩을 사용하여 이름이나 주소와 같은 세부정보가 약간 다르더라도 유사한 고객 레코드를 식별합니다. 이는 데이터를 정리하고 통합하여 고객에 대한 정확한 단일 뷰(Single view)를 확보하는 효과적인 방법입니다.
로그 분석 및 이상 징후 탐지: 로그 데이터를 임베딩으로 수집하고 벡터 검색을 사용하여 텍스트가 정확히 일치하지 않더라도 유사한 로그 항목을 빠르게 찾습니다. 이를 통해 보안팀은 잠재적인 위협과 이상 징후를 훨씬 더 빠르게 식별할 수 있습니다.
제품 추천 강화: 시각적으로나 텍스트로 유사한 항목(예: 의류) 또는 의미상 관련된 보완 제품을 추천합니다.

현재: 규모 및 비용 효율성 개선

고객 사용량이 증가함에 따라 Google Cloud는 RAG 및 생성형 AI 워크로드를 넘어 배치 처리에 대한 상당한 수요를 관찰하면서 제품을 개선했습니다. 기존 벡터 데이터베이스와 달리 BigQuery의 향상된 배치 벡터 검색은 대규모 데이터 세트에 대한 고처리량 분석적 유사성 검색에 탁월합니다. 이를 통해 데이터 과학자는 기존 데이터 환경 내에서 수십억 개의 레코드를 동시에 분석하여 이전에는 불가능했던 다음과 같은 대규모 작업을 수행할 수 있습니다.

대규모 클러스터링: 행동 임베딩을 기반으로 데이터베이스의 모든 고객을 그룹화
포괄적인 이상 징후 탐지: 금융 원장의 모든 계정에 대해 가장 비정상적인 거래를 찾기
대량 항목 분류: 수백만 개의 텍스트 문서 또는 제품 이미지를 동시에 분류

개발의 두 번째 단계에서는 벡터 검색 환경을 더욱 개선하기 위해 다음과 같은 새로운 가능을 출시했습니다.

ScaNN 색인을 사용하여 빌드된 TreeAH는 가격/성능 면에서 상당한 제품 차별화를 제공합니다. 고객의 데이터 과학팀은 더 많은 추천, 클러스터링, 데이터 파이프라인을 벡터 검색에 전환하고 있습니다. TreeAH를 사용한 결과 큰 개선이 있었습니다.
학습 및 색인 성능과 사용성을 높이기 위한 다양한 내부 개선사항이 적용되었습니다. 예를 들어 대규모 색인 학습 작업을 백그라운드로 이동시켜 사용성과 확장성을 높이는 비동기 색인 학습을 추가했습니다. 또한 사용자에게 추가 비용을 부과하지 않으면서 인덱싱 성능을 개선하고 지연 시간을 줄이는 다양한 내부 최적화를 수행했습니다.
저장된 컬럼을 통해 벡터 검색 성능을 개선할 수 있습니다.

사용자는 벡터 검색 쿼리에서 저장된 컬럼에 사전 필터(Prefilters)를 적용하여 검색 정확도를 저하시키지 않으면서 검색 성능을 크게 최적화할 수 있습니다.
사용자가 벡터 검색 쿼리에서 저장된 컬럼만 쿼리하는 경우 기본 테이블과의 비용이 많이 드는 조인을 피하여 검색 성능을 더욱 향상시킬 수 있습니다.

파티션된 색인을 사용해 관련 없는 파티션을 건너뛰어 I/O 비용을 획기적으로 줄이고 쿼리 성능을 가속화합니다. 이는 날짜나 리전과 같은 파티션 컬럼을 자주 필터링하는 고객에게 특히 유용합니다.
인덱스 모델 재빌드를 통해 시간이 지나도 벡터 검색 결과가 정확하고 관련성을 유지하도록 지원합니다. 기본 데이터가 진화함에 따라 이제 모델 드리프트를 선제적으로 수정하여 색인 다운타임 없이 벡터 검색 애플리케이션의 높은 성능을 유지할 수 있습니다.

미래를 향하여: 모든 것의 인덱싱

에이전트형 AI를 도입하려는 기업이 늘면서 데이터 플랫폼의 중요성이 그 어느 때보다 커졌습니다. 모든 비즈니스에 생산성을 위한 자체 AI 모드를 보유하는 세상을 상상하며, 관련 데이터를 검색(Retreiving)하는 것이 생산성의 핵심입니다. 여기에는 정형 및 비정형의 모든 관련 엔터프라이즈 데이터의 지능형 인덱싱이 포함되어 AI와 분석을 자동화합니다. 인덱싱과 검색은 Google의 핵심입니다. 앞으로도 관련 기술 혁신을 공유해 드리겠습니다.

데이터 분석 역량 강화: 이제 데이터 사이언스 에이전트가 BigQuery ML, DataFrames, Spark를 지원합니다

Tue, 16 Sep 2025 16:00:00 +0000

* 본 아티클의 원문은 2025년 09월 17일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud는 데이터 과학 및 분석 워크플로를 간소화하고 혁신하는 데 도움이 되는 BigQuery 및 Vertex AI를 위한 AI 중심 Colab Enterprise 노트북 환경을 최근 발표했습니다. Colab Enterprise 노트북에는 데이터 사이언스 에이전트가 기본 제공되어 데이터 탐색, 변환, 머신러닝 모델링을 용이하게 하는 에이전트 기능을 통해 데이터 사이언스 개발을 가속화할 수 있습니다. 에이전트는 간단한 프롬프트만으로 데이터 로드 및 정리부터 모델 학습 및 평가에 이르는 워크플로에 대한 상세한 계획을 생성합니다.

오늘은 특히 대규모 개방형 형식 데이터 세트의 분석 여정을 더욱 간소화하고 확장할 수 있는 데이터 사이언스 에이전트의 강력한 새로운 기능을 소개합니다.

BigQuery ML, BigQuery DataFrames, Spark 생성

이제 데이터 사이언스 에이전트 내에서 직접 대규모 데이터 처리를 위해 BigQuery 머신러닝(ML), BigQuery DataFrames(BigFrames), Spark의 기능을 활용할 수 있습니다. BigQuery ML과 BigQuery DataFrames를 사용하면 BigQuery에서 직접 데이터 변환, 모델 학습, 추론을 실행하여 확장할 수 있습니다. 또한 Apache Spark용 서버리스를 사용하면 대규모 데이터 세트에 대해 분산 데이터 처리를 수행할 수 있으므로 단일 머신의 메모리에 맞지 않는 대규모 데이터도 처리할 수 있습니다.

이러한 도구를 호출하려면 프롬프트에 다음 키워드를 포함하기만 하면 됩니다.

BigQuery ML: 'BigQuery ML', 'BQML' 또는 'SQL' 사용
BigQuery DataFrames: 'BigQuery DataFrames' 또는 'BigFrames' 지정
PySpark: 'Spark' 또는 'PySpark' 포함

향후에는 데이터 사이언스 에이전트가 선택한 데이터 세트의 크기나 노트북의 콘텐츠를 기반으로 사용 사례에 맞는 관련 프레임워크를 선택할 수 있게 될 것입니다.

시작하는 데 도움이 될 몇 가지 프롬프트 예시를 소개합니다.

“ project_id.dataset_id.table_id에서 BigQuery SQL을 사용하여 고품질 예측 모델을 빌드하여 재고 수요를 예측해. 모델의 평가 측정항목을 제시하고 95% 신뢰 구간으로 예측을 시각화해 줘.”
“BigQuery DataFrames를 사용하여 경사 부스팅 트리 모델을 학습시키고 평가하여 project_id.dataset_id.table_id테이블에서 주택 가격을 예측해 줘. 학습 전에 neighborhood 열을 원-핫 인코딩해 줘."
"타겟팅된 마케팅 캠페인을 위해 유사한 고객을 그룹화하고 싶은데, 먼저 PCA 모델을 사용해서 차원 축소를 진행해야 돼. Spark를 사용하여 project_id.dataset_id.table_id테이블에서 이 작업을 수행해 줘.”

제한사항: 현재 데이터 사이언스 에이전트는 Spark 4.0 코드를 생성합니다. 에이전트는 코드를 Spark 4.0으로 업그레이드하는 데 도움이 될 수 있습니다. 하지만 이전 버전의 Spark를 사용해야 하는 경우 지금은 PySpark용 데이터 사이언스 에이전트를 사용하지 않는 것이 좋습니다.

컨텍스트 및 @ 멘션을 사용하여 데이터 추가

또한 대화에 데이터를 더 쉽게 가져올 수 있도록 지원합니다. 이제 데이터 사이언스 에이전트가 BigQuery 테이블의 메타데이터와 테이블을 자동으로 검색할 수 있습니다. 즉, 프롬프트에서 테이블을 직접 설명하고 데이터 사이언스 에이전트가 사용자를 대신하여 가장 관련성 높은 테이블을 검색하도록 할 수 있습니다.

또한 이제 @ 멘션을 사용하여 현재 프로젝트 내에서 BigQuery 테이블을 검색할 수 있습니다. 업계 표준의 친숙한 메커니즘을 통해 키보드에서 손을 떼지 않고도 관련 컨텍스트를 사용하여 프롬프트를 작성할 수 있습니다.

제한사항: 현재 @ 멘션은 현재 프로젝트의 BigQuery 테이블만 검색합니다. 프로젝트 전반에 걸쳐 더 광범위하게 검색하거나 세션 스토리지 및 로컬 업로드에서 파일을 추가하려면 '+' 버튼을 계속 사용하세요.

지금 바로 데이터 사이언스 에이전트 사용해 보기

또한 첫 번째 메시지 이후에 더 빠르게 시작되도록 데이터 사이언스 에이전트를 최적화했습니다. 기다리는 시간은 줄어들고 인사이트는 더 빠르게 얻을 수 있습니다. Vertex AI의 Colab Enterprise에 대한 유사한 개선사항도 곧 제공될 예정입니다.

Google Cloud는 AI 기반 데이터 사이언스 환경을 발전시키기 위해 최선을 다하고 있으며, 앞으로 어떤 기능을 빌드할지 기대하셔도 좋습니다. 시작하려면 아래 참조를 확인하세요.

액세스:

BigQuery: Google Cloud 콘솔 > BigQuery > 노트북으로 이동합니다.
Vertex AI: Google Cloud 콘솔 > Vertex AI > Colab Enterprise로 이동합니다. (참고: 여기에 언급된 BigQuery ML, BigQuery Dataframes, Spark 개선사항은 아직 Vertex AI에서 사용할 수 없지만 곧 제공될 예정입니다.)

문서:

의견 및 지원: 여러분의 의견을 기다립니다. 궁금한 점이 있거나 문제가 발생하는 경우 문의해 주세요.

Gemini 및 OSS 텍스트 임베딩이 이제 Big Query ML에 포함됩니다

Tue, 16 Sep 2025 16:00:00 +0000

* 본 아티클의 원문은 2025년 09월 17일 Google Cloud 블로그(영문)에 게재되었습니다.

고품질 텍스트 임베딩은 시맨틱 검색, 분류, 검색 증강 생성(RAG)과 같은 최신 AI 애플리케이션의 엔진입니다. 하지만 이러한 임베딩을 생성할 모델을 선택할 때, 한 가지 솔루션으로 모든 기준을 만족시킬 수는 없습니다. 일부 사용 사례에서는 최첨단 품질을 요구하는 반면, 다른 사용 사례에서는 비용, 속도 또는 오픈소스 생태계와의 호환성가 중요할 수 있습니다.

선택의 폭을 넓히기 위해 BigQuery ML의 텍스트 임베딩 기능을 대폭 확장했습니다. 기존의 text-embedding-004/005 및 text-multilingual-embedding-OO2 모델 외에도 이제 BigQuery 내에서 직접 Google의 강력한 Gemini 임베딩 모델과 13,000개 이상의 오픈소스(OSS) 모델을 사용할 수 있습니다. 데이터가 있는 곳에서 작업에 적합한 모델을 사용하여 간단한 SQL 명령어로 임베딩을 생성할 수 있습니다.

요구사항에 따라 임베딩 모델 선택

Gemini와 다양한 OSS 모델이 추가됨에 따라 BigQuery는 이제 포괄적인 텍스트 임베딩 옵션 목록을 제공합니다. 모델 품질, 비용, 확장성 등 필요에 따라 적절한 모델을 선택할 수 있습니다. 결정하는 데 도움이 되도록 각 유형을 자세히 살펴보겠습니다.

모델 카테고리	모델 품질	비용	확장성	결제
text-embedding-005 및 text-multilingual-embedding-002	매우 높음	보통 비용	메우 높은 확장성: 6시간당 O(1억)	1,000자당 $0.00002
[New] Gemini 텍스트 임베딩	최첨단	더 높은 비용	높은 확장성: 6시간당 O(1,000만)	토큰 1,000개당 $0.00012
[New] OSS 텍스트 임베딩	SOTA 서드 파티 모델부터 품질보다 효율성을 우선시하는 소형 모델까지	모델 크기 및 하드웨어와 관련이 있으며, 소형 모델은 비용 효율성이 높음	더 많은 머신을 예약하여 최고의 확장성을 달성할 수 있음: 6시간당 O(B)	머신 시간당

모델 카테고리

모델 품질

비용

확장성

결제

text-embedding-005 및 text-multilingual-embedding-002

매우 높음

보통 비용

메우 높은 확장성:

6시간당 O(1억)

1,000자당 $0.00002

[New] Gemini 텍스트 임베딩

최첨단

더 높은 비용

높은 확장성:

6시간당 O(1,000만)

토큰 1,000개당 $0.00012

[New] OSS 텍스트 임베딩

SOTA 서드 파티 모델부터 품질보다 효율성을 우선시하는 소형 모델까지

모델 크기 및 하드웨어와 관련이 있으며, 소형 모델은 비용 효율성이 높음

더 많은 머신을 예약하여 최고의 확장성을 달성할 수 있음:

6시간당 O(B)

머신 시간당

BigQuery ML의 Gemini 임베딩 모델

Gemini 임베딩 모델은 업계 최고의 텍스트 임베딩 벤치마크인 Massive Text Embedding Benchmark(MTEB) 리더보드에서 지속적으로 1위를 차지한 최첨단 텍스트 임베딩 모델입니다. MTEB 리더보드에서 1위를 차지한 이 모델은 고품질 임베딩을 직접적으로 보여줍니다.

BigQuery에서 새로운 Gemini 임베딩 모델을 사용하는 방법은 다음과 같습니다.

1. BigQuery에서 Gemini 임베딩 모델 만들기

다음 SQL 문을 사용하여 BigQuery에서 Gemini 임베딩 모델을 만듭니다. 엔드포인트를 `gemini-embedding-001`로 지정합니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL bqml_tutorial.gemini_embedding_model\r\nREMOTE WITH CONNECTION DEFAULT\r\nOPTIONS(endpoint='gemini-embedding-001');"), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb0680d0>)])]>

2. 일괄 임베딩 생성

이제 BigQuery에서 직접 gemini-embedding 모델을 사용하여 임베딩을 생성할 수 있습니다. 다음 예시는 bigquery-public-data.hacker_news.full 데이터 세트에 텍스트를 임베딩합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n *\r\nFROM\r\n ML.GENERATE_EMBEDDING( \r\n MODEL bqml_tutorial.gemini_embedding_model,\r\n (\r\n SELECT\r\n text AS content\r\n FROM\r\n bigquery-public-data.hacker_news.full\r\n WHERE\r\n text IS NOT NULL\r\n LIMIT 10000\r\n )\r\n );'), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb0681c0>)])]>

Gemini 임베딩 모델은 분당 토큰 수(TPM)라는 새로운 할당량 제어 방법을 활용합니다. 평판 점수가 높은 프로젝트의 경우 기본 TPM 값은 500만 개입니다. 고객이 수동 승인 없이 설정할 수 있는 최대 TPM은 2,000만 개입니다.

작업이 처리할 수 있는 총 행 수는 행당 토큰 수에 따라 달라집니다. 예를 들어 행당 300개의 토큰이 있는 테이블을 처리하는 작업은 단일 작업으로 최대 1,200만 개의 행을 처리할 수 있습니다.

BigQuery ML의 OSS 임베딩 모델

OSS 커뮤니티는 텍스트 임베딩 모델 환경을 빠르게 발전시키고 있으며, 모든 요구사항에 맞는 다양한 선택지를 제공하고 있습니다. 최근 출시된 Qwen3-Embedding 및 EmbeddingGemma와 같은 최고 순위 모델부터 multilingual-e5-small과 같은 작고 효율적이며 비용 효율적인 소규모 모델까지 다양한 제품을 제공합니다.

이제 BigQuery ML에서 Vertex AI Model Garden에 배포된 모든 Hugging Face 텍스트 임베딩 모델(13,000개 이상의 옵션)을 사용할 수 있습니다. 이 기능을 보여주기 위해 이 예시에서는 multilingual-e5-small을 사용합니다. 이 모델은 대규모로 확장 가능하고 비용 효율적이면서도 상당한 성능을 제공하여 대규모 분석 작업에 적합합니다.

오픈소스 텍스트 임베딩 모델을 사용하려면 다음 단계를 따르세요.

1. Vertex 엔드포인트에서 모델 호스팅

먼저 Hugging Face에서 텍스트 임베딩 모델을 선택합니다. 이 경우 위에서 언급한 multilingual-e5-small을 선택합니다. 그런 다음 Vertex AI Model Garden > Hugging Face에서 배포로 이동합니다. 모델 URL을 입력하고 엔드포인트 액세스를 '공개(공유 엔드포인트)'로 설정합니다. 요구사항에 맞게 엔드포인트 이름, 리전, 머신 사양을 맞춤설정할 수도 있습니다. 기본 설정은 아래에 지정된 머신 유형의 단일 복제본을 프로비저닝합니다.

또는 BigQuery 노트북(튜토리얼 노트북 예시 참고)이나 공개 문서에 언급된 다른 방법을 사용하여 이 단계를 프로그래매틱 방식으로 수행할 수 있습니다.

2. BigQuery에서 원격 모델 만들기

모델 배포를 배포하는 데 몇 분 정도 걸릴 수 있습니다. 완료되면 다음 SQL 문을 사용하여 BigQuery에서 해당 원격 모델을 만듭니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL bqml_tutorial.multilingual_e5_small\r\nREMOTE WITH CONNECTION DEFAULT\r\nOPTIONS\r\n(endpoint='https://<region>-aiplatform.googleapis.com/v1/projects/<project_name>/locations/<region>/endpoints/<endpoint_id>'\r\n);"), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb0689a0>)])]>

위 코드 샘플의 자리표시자 엔드포인트를 엔드포인트 URL로 바꿉니다. endpoint_id에 대한 정보는 Vertex AI > 온라인 예측> 엔드포인트> 샘플 요청을 통해 콘솔에서 가져올 수 있습니다.

3. 일괄 임베딩 생성

이제 BigQuery에서 직접 OSS multilingual-e5-small 모델을 사용하여 임베딩을 생성할 수 있습니다. bigquery-public-data.hacker_news.full 데이터 세트에 텍스트를 임베딩하는 다음 예시를 참고하세요.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n *\r\nFROM\r\n ML.GENERATE_EMBEDDING( \r\n MODEL bqml_tutorial.multilingual_e5_small,\r\n (\r\n SELECT\r\n text AS content\r\n FROM\r\n bigquery-public-data.hacker_news.full\r\n WHERE\r\n text IS NOT NULL\r\n LIMIT 10000\r\n )\r\n );'), ('language', 'lang-sql'), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb0683a0>)])]>

모델 배포를 위한 기본 리소스를 선택하면 쿼리가 hacker_news 데이터 세트의 3,800만 개 행을 약 2시간 10분 만에 처리할 수 있습니다. 이는 단일 모델 복제본으로 달성한 기준 처리량입니다.

더 많은 컴퓨팅 리소스를 프로비저닝하거나 엔드포인트 자동 확장을 사용 설정하여 워크로드를 확장할 수 있습니다. 예를 들어 복제본 10개를 선택하면 쿼리가 10배 빨라지고 6시간 쿼리 작업당 수십억 개의 행을 처리할 수 있습니다.

4. 모델 배포 취소

Vertex AI 엔드포인트는 머신이 유휴 상태일 때도 활성 상태인 동안에는 비용이 발생합니다. 일괄 작업이 완료되고 예상치 못한 비용이 발생하지 않도록 하려면 일괄 추론 후 모델을 '배포 취소'해야 합니다. Google Cloud 콘솔(Vertex AI > 엔드포인트 > 나의 엔드포인트 > 엔드포인트에서 모델 배포 취소)을 사용하거나 예시 Colab 스크립트를 사용하여 이 작업을 수행할 수 있습니다.

일괄 워크로드의 경우 배포, 추론, 배포 취소를 연속적인 워크플로로 취급하여 유휴 상태의 비용을 최소화하는 것이 가장 비용 효율적인 패턴입니다. 이를 위한 한 가지 방법은 샘플 Colab을 순차적으로 실행하는 것입니다. 결과는 놀라웠습니다. 3,800만 개의 행을 모두 처리하는 데 드는 비용은 약 2~3달러에 불과했습니다.

지금 시작하기

다음 AI 애플리케이션을 빌드할 준비가 되셨나요? 지금 바로 BigQuery에서 Gemini 또는 즐겨 사용하는 오픈소스 모델로 임베딩을 생성해 보세요. 문서를 자세히 살펴보거나 단계별 Colab 튜토리얼을 따라해 보면서 실제로 작동하는 모습을 확인하세요.

새로운 Dataproc 멀티 테넌트 클러스터로 데이터 과학 가속화

Wed, 10 Sep 2025 01:00:00 +0000

* 본 아티클의 원문은 2025년 09월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

AI/ML이 빠르게 성장하면서 데이터 과학팀은 혁신을 주도하기 위해 업무의 중요성과 수요 증가에 부응할 수 있는 더 나은 노트북 환경이 필요합니다. 또한 데이터 과학 워크로드를 확장하면 인프라 관리에 새로운 과제가 발생합니다. 사용자별로 컴퓨팅 리소스를 할당하면 강력한 격리(워크로드, 프로세스, 데이터의 기술적 분리)가 가능하지만, 리소스가 사일로화되어 비효율이 발생할 수 있습니다. 공유 컴퓨팅 리소스는 효율성을 높일 수 있는 더 많은 기회를 제공하지만 격리 측면에서는 손해를 봅니다. 한쪽의 이점은 다른 쪽의 손실로 이어집니다. 이점만 얻을 수 있는 방법은 없을까요?

새로운 Dataproc 기능인 멀티 테넌트 클러스터를 소개합니다. 이 새로운 기능은 노트북 워크로드를 동시에 실행하는 많은 데이터 과학자에게 적합한 Dataproc 클러스터 배포 모델을 제공합니다. 공유 클러스터 모델을 사용하면 인프라 관리자가 Google Cloud Storage(GCS) 버킷과 같은 데이터 리소스에 대해 사용자별 세분화된 승인을 포기하지 않고도 컴퓨팅 리소스 효율성과 비용 최적화를 개선할 수 있습니다.

이는 단순히 인프라를 최적화하는 것이 아니라 비즈니스가 의존하는 혁신 주기를 가속화하는 것입니다. 데이터 과학 플랫폼이 원활하게 작동하면 팀은 가설에서 인사이트, 프로덕션으로 더 빠르게 진행할 수 있습니다. 이를 통해 조직은 중요한 비즈니스 질문에 더 빠르게 답하고, 머신러닝 모델을 더 자주 반복하며, 궁극적으로 경쟁사보다 먼저 고객에게 데이터 기반 기능과 개선된 경험을 제공할 수 있습니다. 데이터 플랫폼을 필수 비용 센터에서 성장을 위한 전략적 엔진으로 발전시키는 데 도움이 됩니다.

aside_block: <ListValue: [StructValue([('title', '$300 상당의 무료 크레딧으로 Google Cloud 데이터 분석을 사용해 보세요'), ('body', <wagtail.rich_text.RichText object at 0x7f27b9572c40>), ('btn_text', ''), ('href', ''), ('image', None)])]>

작동 방식

이 새로운 기능은 Dataproc의 기존 서비스 계정 멀티테넌시를 기반으로 합니다. 이 구성의 클러스터에서는 관리자가 선언한 제한된 사용자 집합만 워크로드를 제출할 수 있습니다. 관리자는 사용자와 서비스 계정 간의 매핑도 선언합니다. 사용자가 워크로드를 실행하면 Google Cloud 리소스에 대한 모든 액세스는 특정 매핑된 서비스 계정으로만 인증됩니다. 관리자는 Identity Access Management(IAM)에서 승인을 제어합니다. 예를 들어 하나의 서비스 계정에 Cloud Storage 버킷 세트에 대한 액세스 권한을 부여하고 다른 서비스 계정에 다른 버킷 세트에 대한 액세스 권한을 부여할 수 있습니다.

이번 출시의 일환으로 서비스 계정 멀티 테넌시에 몇 가지 주요 사용성 개선사항을 적용했습니다. 이전에는 사용자-서비스 계정 매핑이 클러스터 생성 시에 설정되었으며 수정할 수 없었습니다. 이제 실행 중인 클러스터에서 매핑을 변경할 수 있으므로 관리자가 변화하는 조직 요구사항에 더 빠르게 적응할 수 있습니다. 또한 대규모 사용자층을 더 쉽게 관리할 수 있도록 매핑을 YAML 파일로 외부화하는 기능도 추가했습니다.

Jupyter 노트북은 Jupyter Kernel Gateway를 통해 클러스터에 연결됩니다. 게이트웨이는 클러스터의 워커 노드에 분산된 각 사용자의 Jupyter 커널을 실행합니다. 관리자는 워커 노드 수를 수동으로 조정하거나 자동 확장 정책을 사용하여 최종 사용자 요구사항을 충족하도록 워커 노드를 수평 확장할 수 있습니다.

노트북 사용자는 완전 관리형 Google Cloud 환경을 위해 Vertex AI Workbench를 선택하거나 자체 서드 파티 JupyterLab 배포를 가져올 수 있습니다. 두 모델 모두에서 BigQuery JupyterLab 확장 프로그램은 Dataproc 클러스터 리소스와 통합됩니다. Vertex AI Workbench 인스턴스는 확장 프로그램을 자동으로 배포할 수 있으며, 사용자는 서드 파티 JupyterLab 배포에서 수동으로 설치할 수도 있습니다.

자세히 들여다보기

Dataproc 멀티 테넌트 클러스터는 독립적인 사용자 워크로드를 격리하기 위해 추가적인 강화로 자동 구성됩니다.

YARN에서 실행되는 모든 컨테이너는 인증된 Google Cloud 사용자와 일치하는 전용 운영체제 사용자로 실행됩니다.
또한 각 OS 사용자에게는 YARN과 같은 Hadoop 기반 리모트 프로시저 콜(RPC) 서비스에 대한 인증을 위해 전용 Kerberos 주 구성원이 있습니다.
각 OS 사용자는 매핑된 서비스 계정의 Google Cloud 사용자 인증 정보에만 액세스할 수 있습니다. 클러스터의 컴퓨팅 서비스 계정 사용자 인증 정보는 최종 사용자 노트북 워크로드에 액세스할 수 없습니다.
관리자는 IAM 정책을 사용하여 매핑된 각 서비스 계정에 대한 최소 권한 액세스 승인을 정의합니다.

사용 방법

1단계: 서비스 계정 멀티테넌시 매핑 만들기 | 사용자 서비스 계정 매핑이 포함된 YAML 파일을 준비하고 Cloud Storage 버킷에 저장합니다. 예를 들면 다음과 같습니다.

code_block: <ListValue: [StructValue([('code', 'user_service_account_mapping:\r\n bob@my-company.com: service-account-for-bob@iam.gserviceaccount.com\r\n alice@my-company.com: service-account-for-alice@iam.gserviceaccount.com'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b94ddc40>)])]>

2단계: Dataproc 멀티 테넌트 클러스터 만들기 | 사용자 매핑 파일과 새로운 JUPYTER_KERNEL_GATEWAY 선택적 구성요소를 사용하여 새로운 멀티 테넌트 Dataproc 클러스터를 만듭니다.

code_block: <ListValue: [StructValue([('code', 'gcloud dataproc clusters create my-cluster \\\r\n --identity-config-file=gs://bucket/path/to/identity-config-file \\\r\n --service-account=cluster-service-account@iam.gserviceaccount.com \\\r\n --region=region \\\r\n --optional-components=JUPYTER_KERNEL_GATEWAY \\\r\n other args ...'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b94dd2b0>)])]>

나중에 사용자 서비스 계정 매핑을 변경해야 하는 경우 클러스터를 업데이트하여 변경할 수 있습니다.

code_block: <ListValue: [StructValue([('code', 'gcloud dataproc clusters update my-cluster \\\r\n --identity-config-file=gs://bucket/path/to/identity-config-file \\\r\n --region=region'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b94dd1f0>)])]>

3단계: Dataproc 커널이 사용 설정된 Vertex AI Workbench 인스턴스 만들기 | Vertex AI Workbench 사용자는 Dataproc 커널이 사용 설정된 인스턴스를 만들어야 합니다. 이렇게 하면 BigQuery JupyterLab 확장 프로그램이 자동으로 설치됩니다.

4단계: 서드 파티 배포에 BigQuery JupyterLab 확장 프로그램 설치 | 로컬 노트북에서 실행하는 등 서드 파티 JupyterLab 배포를 사용하는 사용자는 BigQuery JupyterLab 확장 프로그램을 수동으로 설치해야 합니다.

5단계: Dataproc 클러스터에서 커널 실행 | Vertex AI Workbench 인스턴스 또는 로컬 머신에서 JupyterLab 애플리케이션을 엽니다.

JupyterLab 런처 페이지가 브라우저에 열립니다. Jupyter 선택적 구성요소 또는 Jupyter Kernel Gateway 구성요소가 있는 Dataproc 클러스터에 액세스할 수 있는 경우 Dataproc 클러스터 노트북 섹션이 표시됩니다.

리전 및 프로젝트를 변경하려면 다음을 수행하세요.

설정 > Cloud Dataproc 설정을 선택합니다.
설정 구성 탭의 프로젝트 정보에서 프로젝트 ID 및 리전을 변경한 후 저장을 클릭합니다.
변경사항을 적용하려면 JupyterLab을 다시 시작합니다.

멀티 테넌트 클러스터에 해당하는 커널 사양을 선택합니다. 커널 사양이 선택되면 커널이 실행되며 커널이 초기화 상태에서 유휴 상태로 전환되는 데 약 30~50초가 걸립니다. 커널이 유휴 상태가 되면 실행할 준비가 된 것입니다.

멀티 테넌트 클러스터 시작하기

보안과 효율성 사이에서 고민하지 마세요. Dataproc의 새로운 멀티 테넌트 클러스터를 사용하면 중앙 집중식 제어를 유지하고 비용을 최적화하면서 데이터 과학팀에 빠르고 협업적인 환경을 제공할 수 있습니다. 이 새로운 기능은 단순한 인프라 업데이트 이상으로, 혁신 수명 주기를 가속화하는 방법입니다.

이 기능은 현재 공개 프리뷰 버전으로 제공됩니다. 지금 바로 기술 문서를 살펴보고 첫 번째 멀티 테넌트 클러스터를 만들어 보세요. 플랫폼을 지속적으로 발전시켜 나가기 위해서는 여러분의 의견이 매우 중요합니다. dataproc-feedback@google.com으로 의견을 공유해 주세요.

Google Cloud DSPM으로 기본 데이터 보안을 넘어: 중요 데이터 보호를 위한 새로운 접근법

Wed, 20 Aug 2025 16:00:00 +0000

해당 블로그의 원문은 2025년 8월 21일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터 민주화와 생성형 AI 시대에 조직이 데이터를 다루는 방식은 극적으로 변화했습니다. 이러한 진화는 새로운 기회를 창출함과 동시에 보안 위험을 야기합니다. 이제 보안팀이 직면한 과제는 단순히 데이터를 보호하는 것에 그치지 않고, 이러한 새로운 현실에 맞춰 보안 및 규정 준수 기능을 확장하는 것입니다.

기존의 보안 제어가 위험 완화에 필수적인 것은 맞지만, 많은 데이터 보안 태세 관리(DSPM) 솔루션은 오늘날의 조직에 필요한 역량을 갖추지 못하고 있습니다. 예를 들어, AI 워크로드를 운영하는 조직은 민감한 데이터가 학습 환경으로 유출되지 않도록 해야 하며, 모델이나 가중치와 같은 지적 재산이 외부로 유출되지 않도록 보호하고, 모든 모델이 "규정 준수 설명 가능성"을 지원하는지 확인해야 합니다.

강력한 데이터 보안을 위해 조직이 이해해야 할 네 가지 핵심 고려 사항은 다음과 같습니다: 민감한 데이터가 어디에 있는지, 어떻게 사용되는지, 어떤 제어를 통해 데이터를 보호할 수 있는지, 그리고 규정 준수 증거를 제공하는 데 사용할 수 있는 모니터링 도구는 무엇인지입니다. 현재 미리 보기로 제공되는 새로운 DSPM(Data Security Posture Management)은 데이터 보안, 개인 정보 보호, 그리고 규정 준수를 위한 종단간(end-to-end) 거버넌스를 제공합니다.

DSPM 기능에는 보안, 개인 정보 보호 및 규정 준수 요구 사항을 충족하고 비즈니스 요구에 부합하는 고급 데이터 제어 기능이 포함됩니다. Security Command Center의 일부로 제공되는 이 Google Cloud 네이티브 솔루션은 도구의 복잡성을 줄이고 네이티브 플랫폼 경험을 제공합니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud 보안 제품을 경험해 볼 수 있는 $300의 무료 크레딧을 드립니다.'), ('body', <wagtail.rich_text.RichText object at 0x7f279c903610>), ('btn_text', ''), ('href', ''), ('image', None)])]>

DSPM은 Google Cloud 환경 전반의 데이터에 대한 전체적인 시야를 제공하는 데이터 맵을 구축하여, 데이터의 민감도 수준과 기본 보안 태세를 한눈에 파악할 수 있게 합니다. 이 검색 기능을 통해 정책을 적용하여 데이터를 모니터링하고 보호할 수 있으며, 선별된 제어 기능을 민감한 데이터 요구사항에 맞춰 적용할 수 있습니다.

Google Cloud DSPM을 통해 보안 및 규정 준수팀은 다음과 같은 이점을 얻을 수 있습니다.

데이터 검색: DSPM은 데이터 자산에 대한 포괄적인 가시성을 제공합니다. Google Cloud 환경 전반에 걸쳐 데이터 자산을 자동으로 검색하고, Sensitive Data Protection의 민감도 라벨을 활용하여 어떤 데이터가 어디에 있는지 파악하도록 돕습니다
위험 평가: DSPM은 현재의 데이터 보안 태세를 Google Cloud가 권장하는 모범 사례와 비교하여 평가하고, 잠재적인 취약점과 잘못된 구성을 식별하도록 돕습니다.
데이터 보호: DSPM은 보안 및 규정 준수 요구 사항을 제어 정책과 연결함으로써 데이터 보안 프레임워크를 배포하고, 이를 실시간에 가깝게 모니터링할 수 있도록 지원합니다.
규정 준수 간소화: DSPM은 관련 규정 준수 프레임워크에 맞춰 데이터를 감사하고, 격차를 정확히 찾아내며, 증거 기반의 상세 규정 준수 보고서를 생성할 수 있도록 돕습니다. 또한 HIPAA, GDPR, PCI DSS 준수 여부를 평가하는 데도 도움을 줄 수 있습니다.

Google Cloud의 데이터 보안 태세 관리(DSPM) 솔루션에 대한 시각적 개요

고급 DSPM 제어 기능이 보안 및 규정 준수 요구 사항에 어떻게 도움이 되는지

보안팀은 조직의 Google Cloud 환경에서 민감한 데이터를 식별하고, 원하는 보안 및 규정 준수 결과를 특정 데이터 제어와 연결하는 것부터 시작할 수 있습니다. 이 과정을 더 쉽게 만들기 위해 DSPM은 보안 및 규정 준수 결과를 충족하기 위한 데이터 접근 거버넌스, 흐름 거버넌스, 데이터 보호, 그리고 데이터 삭제 제어와 같은 고급 제어 기능을 제공합니다.

현재 이러한 제어 기능은 조직, 폴더, 프로젝트를 포함한 데이터 경계에서 탐지 모드로 적용될 수 있습니다. 또한 Google Cloud Sensitive Data Protection(SDP)을 사용하여 특정 유형의 민감한 데이터를 스캔할 수도 있습니다.

고급 데이터 제어 기능을 적용하여 데이터 보호하기

데이터 접근 거버넌스

데이터 접근 거버넌스 제어를 사용하면 민감한 데이터에 대한 접근을 관리하고, 승인된 주체에 대한 접근을 탐지 모드로 제한할 수 있습니다.

예를 들어, 고객 결제 데이터에 대한 거버넌스가 필요한 조직은 오직 사기 탐지팀만 민감한 고객 결제 정보에 접근하도록 허용하는 정책을 만들고, 이 제어 정책을 민감한 데이터 전반에 적용할 수 있습니다. 일단 적용되면, 정책은 데이터를 추적하며 규정을 준수하지 않는 모든 접근 이벤트를 표면화합니다.

흐름(Flow) 거버넌스

데이터 흐름 제어를 사용하면 데이터가 국가 경계를 넘어 이동하는 방식을 탐지 모드로 제한하여 민감한 고객 데이터가 국가 경계 밖으로 이동하지 않도록 할 수 있습니다. 예를 들어, 특정 국가 내에서 운영하며 고객 데이터를 해당 국가의 지리적 경계 밖으로 이동하지 않아야 하는 규정 준수 요건이 있는 조직을 생각해 봅시다. 데이터 흐름 거버넌스를 사용하면, 조직은 해당 국가 내에서만 데이터 흐름을 허용하는 정책을 만들고 이를 민감한 데이터에 적용할 수 있습니다. 일단 적용되면, 이 제어는 허용된 지리적 경계 외부로부터의 모든 규정 미준수 읽기 작업을 표면화합니다.

데이터 보호

데이터 보호 제어는 CMEK(고객 관리형 암호화 키)를 강제하는 것과 같은 암호화 키 구성을 관리하는 데 도움이 될 수 있습니다. 민감한 데이터를 보호하는 키에 CMEK를 정책으로 강제하는 정책을 생성할 수 있습니다.

데이터 삭제

데이터 삭제 제어를 사용하면 데이터가 보관되는 최대 기간을 관리할 수 있습니다. 허용된 최대 보관 기간을 설정하는 정책을 생성하고 이를 민감한 데이터에 적용할 수 있습니다.

데이터 보안의 미래를 만들어가는 데 동참하세요.

Google Cloud는 보안 및 규정 준수팀을 초대하여 Google Cloud DSPM의 강력한 기능을 가장 먼저 경험해 볼 수 있는 기회를 제공합니다. DSPM 미리 보기에 참여하는 조직은 다음을 할 수 있습니다.

DSPM을 활성화하고 특정 비즈니스 요구에 대한 기능을 평가하기 시작합니다. 자세한 가이드는 사용자 가이드를 참조하십시오.
기술 자문 위원회(Technical Advisory Council) 및 고객 디자인 패널(Customer Design Panels)에 참여하여 DSPM 개발에 영향을 줄 수 있는 귀중한 피드백을 제공합니다.
Google Cloud 전문가와 협력하여 데이터 보안 전략을 최적화하고 성공적인 구현을 보장합니다.

추가 문의사항은 Google Cloud 계정팀에 문의하거나 dspm-pm@google.com으로 피드백을 보내주시기 바랍니다.

Next 25 개발자 키노트: 프롬프트부터 에이전트, 업무, 즐거움까지

Thu, 01 May 2025 18:36:00 +0000

* 본 아티클의 원문은 2025년 4월 12일 Google Cloud 블로그(영문)에 게재되었습니다.

Google Cloud Next와 같은 기술 컨퍼런스에 참석하면 수많은 뉴스, 세션, 소그룹 세션에 모든 학습과 교류 활동까지 마치 소방호스로 물을 마시는 듯 버겁고 혼란스러울 수 있습니다. 하지만 며칠간의 바쁜 일정을 소화한 후 개발자 키노트를 시청하면 이 혼란 속에 명확한 방향이 있다는 걸 알게 됩니다. 그동안 얻은 모든 정보의 퍼즐이 하나의 그림으로 맞춰지기 시작하면서 사무실로 돌아가 바로 시도해 볼 수 있는 온갖 멋진 아이디어가 떠오르게 됩니다.

올해 개발자 키노트는 Google Cloud의 수석 에반젤리스트인 Richard Seroter와 개발자 기술 및 커뮤니티 책임자인 Stephanie Wong이 공동 진행하며 환상적인 호흡을 보여줬고, Google Cloud 제품팀, 엔지니어링팀, 개발자 지원팀의 전문가도 함께 참여했습니다. 키노트는 AI 개발자 경험 엔지니어인 Paige Bailey의 1970년대 주방을 리모델링하는 데 AI를 활용해 본다는 흥미롭고 공감할 수 있는 목표를 중심으로 구성되었습니다. 하지만 어떻게 할 수 있을까요?

모든 것의 시작은 프롬프트

생성형 AI 경험은 데이터와 사용자 의도를 담은 프롬프트를 모델에 작성하는 데에서 시작됩니다. Paige는 Google DeepMind의 선임 제품 관리자인 Logan Kilpatrick과 함께 무대에 올랐습니다. Logan과 Paige는 AI Studio에 Paige의 주방을 분석하라는 프롬프트를 입력하면서 텍스트 설명, 평면도, 이미지를 제공했습니다. 그 결과 AI는 Gemini의 기본 이미지 생성 기능을 활용하여 수납장, 통일성 있는 디자인, 색상 팔레트, 자재를 제안하며 아이디어를 실현했습니다. 중요한 비용 질문에 대한 답을 얻기 위해 특히 Paige가 거주하는 지역을 기준으로 Google 검색으로 그라운딩을 사용하여 실제 자재 비용, 지역 건축법 및 규정, 기타 관련 정보를 가져왔습니다.

Logan이 말했듯 "동영상 이해부터 네이티브 이미지 생성, Google 검색으로 실제 정보에 그라운딩하는 작업까지 이 모든 건 Gemini로만 가능합니다."

이를 가능하게 한 새로운 기술

Gemini 2.5 Pro: Gemini 앱과 Vertex AI에서 프리뷰 버전으로 사용할 수 있습니다.
Gemini 2.5 Flash: 지연 시간 단축과 비용 효율성을 위해 특별히 최적화된 주력 모델로서, 조만간 Vertex AI, AI Studio, Gemini 앱에서 제공될 예정입니다.

프롬프트부터 에이전트로

프롬프트가 생성형 AI 쿼리의 핵심이라는 점은 모두 알고 있는 사실입니다. Richard는 "그렇다면 에이전트는 도대체 뭘까요?"라고 질문하면서 "바로 그게 핵심"이라고 덧붙였습니다.

Stephanie의 설명에 따르면 "에이전트는 AI 모델과 소통하면서 보유한 도구와 컨텍스트를 사용해 목표 기반 작업을 수행하는 서비스"입니다. 그렇다면 어떻게 해야 프롬프트를 에이전트로 전환할 수 있을까요? 한 가지 방법은 Vertex AI와 에이전트 개발 키트(ADK)를 사용하는 것입니다. Vertex AI는 AI 애플리케이션과 에이전트를 빌드하고 관리하기 위한 종합 플랫폼이고, ADK는 에이전트를 설계하기 위한 오픈소스 프레임워크입니다. ADK를 사용하면 Gemini 모델과 Google AI 도구를 기반으로 하는 에이전트를 그 어느 때보다 쉽게 시작할 수 있습니다.

Google Cloud의 개발자 관계 엔지니어링 관리자인 Fran Hinkelman 박사가 무대에 올라 ADK를 소개했습니다. Fran의 설명에 따르면 에이전트에 필요한 세 가지는 1) 에이전트의 목표를 정의하는 요청 사항, 2) 작업 수행에 필요한 도구, 3) LLM의 작업을 처리하는 모델로 정리할 수 있습니다.

Fran은 Python을 사용해 에이전트 코드를 작성하고 몇 분 만에 배포하여 건축가가 주방 리모델링을 시작하는 데 필요한 모든 사항이 요약된 전문적인 레이아웃 PDF를 얻었습니다. "정말 시간을 엄청나게 절약해 주는 도구"라고 Fran은 이야기합니다.

이를 가능하게 한 새로운 기술

에이전트 개발 키트(ADK): 에이전트 동작을 정밀하게 제어하는 동시에 에이전트 및 정교한 멀티 에이전트 시스템을 빌드하는 프로세스를 간소화하는 새로운 오픈소스 프레임워크입니다. ADK를 사용하면 100줄 미만의 직관적인 코드로 AI 에이전트를 빌드할 수 있습니다.
Model Context Protocol(MCP)을 위한 ADK 지원: 이를 통해 LLM이 데이터 요청을 처리하는 데 필요한 모든 정보에 대해 표준화된 구조와 형식을 생성할 수 있습니다.

하나의 에이전트에서 다수의 에이전트로

에이전트 빌드 외에 에이전트 모음 조정도 중요합니다. 주방 리모델링 같은 복잡한 프로세스에 필요한 일이죠. Google Cloud의 직원 Developer Advocate인 Abirami Sukumaran 박사는 ADK를 사용하여 1) 건설 제안 에이전트, 2) 인허가 및 규정 준수 에이전트, 3) 자재 주문 및 배송용 에이전트 등 세 가지 유형의 에이전트로 구성된 멀티 에이전트 생태계를 만들었습니다.

멀티 에이전트 시스템이 준비되었을 때 Abirami는 ADK에서 이 시스템을 ADK 등 여러 에이전트 프레임워크를 지원하는 완전 관리형 에이전트 런타임인 Vertex AI Agent Engine으로 직접 배포했습니다.

이뿐만이 아닙니다. Abirami는 에이전트를 배포한 후 자체 에이전트와 서드 파티 에이전트를 공유하는 허브인 Google Agentspace에서 테스트까지 했습니다.

그러나 문제가 있었습니다. 작업 도중 에이전트 시스템이 실패한 듯했습니다. Abirami는 즉시 Gemini Cloud Assist 조사를 실행하여 로그 탐색기를 통해 문제의 원인에 관한 모니터링 항목과 가설을 얻었습니다. 에이전트에 권장되는 코드 수정사항도 얻었습니다. Abirami는 코드를 검토하고 수락한 후 에이전트를 재배포하여 상황을 해결했습니다.

이것이 핵심입니다. Abirami는 "복잡한 에이전트와 서비스를 조정하는 시스템을 빌드하는 것만으로도 충분히 힘듭니다. 개발자는 로그를 살펴보고 코드를 분석하며 여러 종속 항목을 일일이 디버깅하는 데 시간을 허비해서는 안 됩니다. 이러한 작업은 모두 많은 시간과 리소스를 소모하는데 개발자들에게는 보통 이런 여유가 없죠."라고 이야기합니다.

이를 가능하게 한 새로운 기술

Vertex AI Agent Engine: Vertex AI의 완전 관리형 런타임으로, 기본 제공되는 테스트, 출시, 안정성 기능을 통해 전 세계를 대상으로 안전한 규모로 커스텀 에이전트를 프로덕션에 배포하도록 지원합니다.
Cloud Assist 조사: 인프라 문제는 물론 코드의 문제까지 진단하는 데 도움이 됩니다.
Agent2Agent(A2A) 프로토콜: Google Cloud는 기업이 멀티 에이전트 생태계를 지원하도록 하여 에이전트가 기반 기술과 관계없이 서로 통신할 수 있는 개방형 프로토콜을 만든 최초의 하이퍼스케일러라는 사실에 자부심을 느끼고 있습니다.

IDE 및 모델 선택

Google Cloud의 선임 Developer Advocate인 Debi Cabrera는 다음 발표자로 나서 청중에게 '바이브 코딩', 즉 에이전트형 코딩을 아는지 물었습니다. 기본적으로 사용자는 아이디어와 코드를 포함한 프롬프트를 에이전트에 입력해 효과적인 프로그래밍 출력을 얻을 수 있습니다. 이 과정에 새로운 인기 통합형 개발 환경(IDE)인 Windsurf를 활용하는 사용자가 늘어나고 있으며 Debi도 그중 하나입니다.

Debi는 Cursor와 IntelliJ에서 Copilot과 함께 Gemini를 사용하는 사례를 보여줬지만 Visual Studio Code, Tabnine, Cognition, Aider 같은 다른 도구에서도 Gemini를 활용할 수 있습니다. 심지어 프롬프트를 스페인어로 작성했는데 Gemini가 sin problema(문제없이) 처리했습니다. Debi는 일정을 마무리하며 "Google Cloud는 개발자가 어디에서든 Gemini를 사용할 수 있도록 지원하고 있다"고 이야기했습니다.

Gemini를 모델로 사용하고 싶지 않다면 Vertex AI Model Garden에서 제공되는 200가지 이상의 모델 중에서 선택할 수도 있습니다. Llama, Gemma 3, Anthropic, Mistral, Hugging Face의 오픈소스 모델 등이 있습니다.

"어떤 도구를 사용하든 멋진 결과물을 얻을 수 있을 겁니다."

이를 가능하게 한 새로운 기술

Gemini 2.5 Pro: 현재 개인용 Gemini Code Assist에서 사용할 수 있습니다.
Android 스튜디오: Android 스튜디오에서 Gemini Code Assist 지원이 이제 프리뷰 버전으로 제공됩니다.
Firebase의 Gemini: 새로운 Firebase Studio에서 완전한 AI 지원을 제공합니다.

꿈의 구장에서

다음 발표자는 Paige의 주방 리모델링 시연을 잠시 멈추고 살펴볼 가치가 있는 또 다른 문제인 투구 방법을 다루었습니다.

MLB(Major League Baseball)에서 Google Cloud로 경기당 2,500만 개의 데이터 포인트를 처리하는 것을 고려할 때 투구 기법은 AI로 처리하기에 적합한 문제입니다.

시연은 Google Cloud x MLB 해커톤의 최근 우승자인 Jake DiBattista가 훌륭한 좌완 투수인 Clayton Kershaw의 동영상을 분석하는 것으로 시작되었습니다. Jake는 컴퓨터 비전 라이브러리를 사용하여 동영상을 사전 처리했고, Google Cloud에 저장하면서 투구 유형과 경기 상황 같은 선택 항목을 사용해 MLB 데이터를 가져왔습니다. 최종적으로 모든 정보를 Gemini API로 전송한 후 Kershaw가 자신의 이상적인 경로에서 거의 벗어나지 않는 주특기 커브볼을 던졌다는 결과를 얻었습니다.

훌륭한 기능이지만 프로 선수가 아닌 경우에도 활용할 수 있을까요? Jake는 숙련도가 낮은 선수를 위한 '아마추어 모드'를 만들고 진행자인 Richard가 공을 던지는 동영상을 사용했습니다. 프롬프트 엔지니어링을 통해 Kershaw를 위한 프로 모델을 조정하여 Richard를 위한 아마추어 모델로 바꾼 결과, Richard는 잠재력이 있으나 힘을 극대화하려면 팔을 조금 더 조이고 다리의 힘을 더 활용해야 한다는 안내가 제공되었습니다.

Jake는 대학교에서 투포환 선수로 활약하면서 자신의 투구법이 정확한지 측정하고 싶었던 경험이 이 프로젝트에 영감이 되었다고 이야기했습니다. 무엇을 잘하고 있는지 혹은 잘못하고 있는지 모르면 어떻게 발전할 수 있을까요? 당시 이러한 데이터가 있었다면 Jake의 발전에 큰 도움이 되었을 겁니다.

하지만 정말 놀라운 점은 Jake가 투구 분석을 위한 완전 맞춤형 프롬프트 생성기를 빌드하는 데 일주일밖에 걸리지 않았다는 사실입니다. Jake는 "큰 문제 없이 바로 작동했어요."라면서 "커스텀 모델을 구현하거나 지나치게 복잡한 데이터 세트를 빌드할 필요가 없었습니다."라고 이야기했습니다.

다시 업무 환경으로

다음으로는 Google Cloud의 Developer Advocate인 Jeff Nelson이 발표자로 나왔습니다. Jeff는 다시 업무로 주제를 바꿔 영업 관리자가 사용할 수 있도록 원시 데이터를 데이터 애플리케이션으로 전환한다는 명확한 목표를 토대로 발표를 진행했습니다. Jeff는 먼저 BigQuery 노트북을 열어 예측을 빌드하고 몇 가지 SQL 코드를 작성했습니다. BigQuery는 Python DataFrame에 결과를 로드했습니다. Python에서는 라이브러리를 사용하여 모든 크기의 테이블에서 코드를 실행하기가 쉽기 때문입니다.

그렇다면 이 에이전트를 실제로 어떻게 사용하면 판매를 예측할 수 있을까요? Jeff는 노트북에 기본 제공되는 Gemini 데이터 과학 에이전트를 선택하고 '에이전트에게 물어보기'를 누른 다음 테이블을 토대로 판매 예측을 요청하는 프롬프트를 입력했습니다. 그러자 놀랍게도 그 시점부터는 모든 코드가 Gemini 데이터 과학 에이전트에 의해 생성되고 실행되었습니다.

아울러 Jeff는 에이전트가 특성 추출에 Spark를 사용할 수 있었던 건 BigQuery의 새로운 서버리스 Spark 엔진 덕분임을 설명했습니다. SQL, Spark, Python 간 전환이 쉬워 사용자는 작업에 적합한 도구를 사용할 수 있습니다.

Jeff는 예측 자체를 빌드하기 위해 BigQuery에서 바로 액세스할 수 있는 새로운 Google 파운데이션 모델인 TimesFM을 사용했습니다. 기존 모델과 달리 이 모델은 방대한 시계열 데이터 세트로 선행 학습되었으므로 데이터를 입력하기만 하면 예측을 얻을 수 있습니다. Jeff는 "예측은 누구나 액세스할 수 있는 데이터 앱이 됩니다."라고 말했습니다.

이를 가능하게 한 새로운 기술 :

BigQuery의 서버리스 Spark 엔진
전문 에이전트: 데이터 엔지니어, 데이터 분석가, 비즈니스 사용자를 지원하며, 현재 프리뷰 버전으로 이용할 수 있습니다.
BigQuery 노트북에 통합된 데이터 과학 에이전트: 곧 출시될 예정이며, 지금 Colab에서 바로 시작할 수 있습니다.

재미있는 일에 집중하기

개발자 입장에서 기술 설계 문서 작성이나 제품 요구사항 문서 작성처럼 지루한 작업을 다른 사람에게 맡길 수 있다면 얼마나 좋을까요? 엔지니어링 부문 전무 이사인 Scott Densmore는 데모를 마무리하면서 지루한 업무를 단번에 해결하는 놀라운 방법인 Gemini Code Assist와 새로운 칸반 보드를 소개했습니다.

Code Assist는 소프트웨어 개발 수명 주기 전반의 에이전트를 조율하는 데 도움이 됩니다. Scott은 이를 모든 엔지니어링 컨텍스트가 담긴 '가방'에 비유했습니다. Scott이 Java 마이그레이션을 위한 기술 설계 문서를 예로 들어 설명하면서 Google 문서에서 직접 댓글을 작성해 Code Assist에 할당하자 새로운 작업이 즉시 칸반 보드에 표시되어 추적할 수 있게 되었습니다. Google Docs뿐만 아닙니다. 채팅방과 버그 추적기에서 바로 작업을 할당하거나 Code Assist를 통해 작업을 찾을 수도 있습니다.

Scott은 더 어려운 사례를 보여주기 위해 Code Assist에 제품 요구사항 문서의 프로토타입을 만들도록 요청했습니다. Code Assist에 변경사항을 알려주고, 원하는 결과가 나올 때까지 반복했습니다. 간단합니다.

"Gemini Code Assist는 코딩을 도와주는 추가적인 도구로, 애플리케이션을 만들고 반복적이고 지루한 작업을 없애주므로 개발자는 재미있는 작업에 집중할 수 있습니다."

이를 가능하게 한 새로운 기술 :

Gemini Code Assist 칸반 보드: Google 에이전트와 상호작용하고, Gemini가 작업 완료를 위해 생성한 업무 계획을 검토하고, 다양한 작업/요청의 진행 상황을 추적할 수 있습니다.

정말 놀랍지 않나요? 하지만 이 글만으로 판단하지 마세요. 오늘 소개한 모든 마법 같은 순간을 생생하게 느끼고 싶다면 개발자 키노트 전체 동영상을 다시 시청해 보세요. 분명히 유익한 한 시간이 될 것입니다.

aside_block: <ListValue: [StructValue([('title', 'Google Cloud Next에서 얻은 새로운 인사이트를 현장에 적용하세요'), ('body', <wagtail.rich_text.RichText object at 0x7f27bade3400>), ('btn_text', '시작하기'), ('href', 'https://cloud.google.com/events/next25-offer-11'), ('image', <GAEImage: next 25>)])]>

Dataflow 마스터: 실제 애플리케이션에 대한 5가지 심층 가이드

Mon, 17 Mar 2025 10:32:00 +0000

* 본 아티클의 원문은 2024년 10월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

효과적인 실시간 데이터 솔루션을 빌드하기란 어려울 수 있으며 이를 위해서는 전문 도구와 스트리밍 데이터에 대한 깊은 이해가 필요합니다. Dataflow는 다양한 사용 사례를 처리할 수 있는 성능과 유연성을 제공합니다. 때로는 Dataflow의 사용 방법에 대한 간단한 안내가 큰 도움이 될 수 있습니다. 그래서 Google Cloud는 개발자들이 실제로 겪는 시나리오를 바탕으로 5가지의 샘플 Dataflow 솔루션 아키텍처를 제작했습니다.

Dataflow 솔루션 가이드는 머신러닝 및 생성형 AI, ETL 및 통합부터 마케팅 인텔리전스 등을 아우르는 일반적인 사용 사례를 해결하는 데 실용적이고 처방적인 안내를 제공합니다. 아래에서 각 솔루션에 대한 개요, 자세한 설명, 자세한 가이드 링크를 확인하여 필요에 맞는 솔루션을 자세히 살펴보고 구현해 보세요.

실시간 ML 및 생성형 AI를 위한 Dataflow

예측을 생성합니다. 사용자는 Vertex AI 및 Hugging Face와 같은 소스에서 선행 학습된 모델이나 커스텀 모델을 활용하고, Apache Beam의 MLTransform, Enrichment 또는 RunInference와 같은 턴키 변환이나 Dataflow의 GPU 가속 지원 및 커스텀 컨테이너를 활용할 수 있습니다. 이를 통해 까다로운 워크로드에서 개발을 간소화하여 실시간 맞춤설정, 사기 감지, 기타 시간에 민감한 애플리케이션을 위해 더 빠른 피드백 루프와 동적 조정이 가능합니다. Spotify와 같은 회사에서 구현한 혁신적인 팟캐스트 미리보기 생성이 그 사례입니다.

여기를 클릭하여 실시간 ML 및 생성형 AI를 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 ETL을 위한 Dataflow

Dataflow는 실시간 ETL 및 통합을 위한 통합 플랫폼을 제공하여 배치와 스트리밍 시스템을 별도로 관리하는 복잡함을 최소화합니다. Dataflow를 사용하여 메시지 큐나 데이터베이스와 같은 소스에서 데이터를 수집합니다. Apache Beam의 유연한 프로그래밍 모델과 Dataflow의 뛰어난 실행 엔진을 사용하여 실시간으로 데이터를 보강하고 변환합니다. 사용자는 분석용 BigQuery 또는 Cloud SQL, 트랜잭션 워크로드를 위한 AlloyDB와 같은 대상으로 이 데이터를 전달하여 인벤토리를 즉시 업데이트하거나 추천을 개인화하거나 허위 거래를 감지할 수 있습니다. Dataflow의 자동 확장 기능과 기본 제공되는 내결함성은 효율적인 리소스 활용과 신뢰할 수 있는 파이프라인 작업을 보장합니다.

여기를 클릭하여 실시간 ETL 및 통합을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 로그 복제 및 분석을 위한 Dataflow

실시간 로그 분석은 보안 모니터링, 문제 해결, 규정 준수에 중요한 역할을 합니다. Dataflow는 이 복잡한 프로세스를 간소화하며, 애플리케이션 로그나 시스템 이벤트와 같은 여러 소스에서 다양한 데이터 스트리밍을 처리할 수 있도록 확장됩니다. 로그 형식을 표준화하고 이를 컨텍스트 데이터로 보강하고 BigQuery로 전송하여 거의 무제한의 규모로 분석할 수 있습니다. 이를 Splunk, Datadog 또는 Elasticsearch와 같은 로그 분석 플랫폼으로 라우팅할 수도 있습니다. 따라서 의심스러운 로그인 시도나 비정상적인 API 호출과 같은 이상치를 탐지하고 중요한 이벤트에 선제적으로 대응할 수 있습니다.

여기를 클릭하여 실시간 로그 복제 및 분석을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 마케팅 인텔리전스를 위한 Dataflow

Dataflow는 실시간 마케팅 인텔리전스를 지원하여 다양한 플랫폼에서 들어오는 데이터를 도착하는 즉시 처리해 느린 서드 파티 업데이트에 의존하지 않아도 됩니다. Apache Beam의 사전 빌드된 I/O 커넥터와 변환을 활용하여 데이터를 통합, 보강, 분석하고 Vertex AI를 통합하여 실시간 ML 추론을 수행합니다. 변환된 데이터를 마케팅 플랫폼에 라우팅하여 즉시 활성화하고 타겟 캠페인 및 맞춤형 사용자 경험을 제공합니다. 이를 통해 유동 가격 책정 및 예측 고객 세분화와 같은 사용 사례를 최소한의 지연 시간으로 실현할 수 있습니다.

여기를 클릭하여 실시간 마케팅 인텔리전스를 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

실시간 클릭스트림 분석을 위한 Dataflow

Dataflow는 실시간 클릭스트림 분석을 지원하여 대용량의 사용자 상호작용을 처리하고 즉각적인 인사이트와 맞춤형 경험을 제공합니다. 서드 파티 도구의 한계를 우회하여 모든 소스에서 데이터를 캡처하고 원하는 방식으로 분석을 실행합니다. 또한 턴키 변환과 실시간 AI/ML로 데이터를 보강합니다. Dataflow의 확장 가능한 아키텍처는 변동하는 워크로드를 손쉽게 처리하고 수요에 맞춰 확장합니다. 이를 통해 A/B 테스트 및 이탈 감소와 같은 까다로운 애플리케이션을 간소화합니다.

여기를 클릭하여 실시간 클릭스트림 분석을 위한 Dataflow의 자세한 솔루션 가이드를 확인하세요.

결론

주요 스트리밍 사용 사례에 대한 자세한 솔루션 가이드를 참고하면 Dataflow를 활용한 실시간 솔루션 빌드가 더 간편해집니다. 실시간 ML 및 생성형 AI를 통한 애플리케이션 개발, 실시간 ETL을 통한 데이터 파이프라인 현대화, 즉각적인 인사이트 확보를 위한 로그 분석, 맞춤형 마케팅 캠페인, 클릭스트림 분석을 통한 사용자 행동의 심도 있는 이해까지 Dataflow는 필요한 확장성, 유연성, 신뢰성을 사용자에게 제공합니다.

코드 샘플과 권장사항이 포함된 각 아키텍처에 대한 자세한 솔루션 가이드를 살펴보고 개발 여정을 가속화하세요. Google Cloud에서 앞으로도 새로운 실시간 과제를 해결하기 위한 솔루션 아키텍처를 계속해서 발표할 예정이므로 계속 지켜봐 주시기 바랍니다. 시각적인 학습 경험을 원하는 경우 YouTube 재생목록에서 이러한 솔루션을 다룬 종합적인 동영상을 확인해 보세요.

새로운 Apache Kafka용 관리형 서비스를 사용해 보고 할 일 목록에서 클러스터 관리를 지우세요

Mon, 17 Mar 2025 07:23:00 +0000

* 본 아티클의 원문은 2024년 8월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

Apache Kafka™와 같은 분산형 스토리지 시스템을 운영하다 보면 배우는 것이 많습니다. 먼저 클러스터를 위해 보안과 네트워킹을 설계 및 설정하고 안정적 운영과 업그레이드를 위한 프로세스 및 도구를 개발하는 과정을 진행하게 됩니다. 이 모든 과정에서 새로운 트래픽을 위한 확장이나 비용 절약을 위한 축소를 결정하기도 합니다. 보람되면서도 어려운 모험입니다.

이제 Google Cloud에서 지름길을 알려드립니다. 새로 나온 Apache Kafka용 Google Cloud 관리형 서비스를 사용해 보세요. 이 서비스는 위험 부담이 크고 때로는 지루한 인프라 운영 업무를 처리합니다. 지금 Google Cloud 프로젝트에서 프리뷰 버전을 사용해 보실 수 있습니다.

자체적인 Apache Kafka 인프라 운영을 생각하고 있다면 이 서비스를 사용해 보세요. 할 일 목록에 있는 다른 업무를 처리할 시간을 확보할 수 있습니다. 아래 내용을 읽으면서 새로운 서비스로 무엇을 할 수 있는지 알아보세요.

Apache Kafka란 무엇인가요?

본격적인 설명에 앞서 잠시 Apache Kafka가 확장 가능한 소프트웨어를 빌드하고 비즈니스를 구축하는 데 어떤 도움이 되는지 알아보겠습니다. 기술적인 차원에서 Apache Kafka는 애플리케이션에 이벤트를 공유하는 데 사용하는 확장 가능한 스토리지 시스템입니다. 이벤트에 반응하는 서비스를 빌드해야 한다면 그 이벤트를 Kafka에서 가져올 수 있습니다. 이벤트를 생성한 애플리케이션에 직접 통합하는 것보다 훨씬 쉽습니다. 이렇게 분리함으로써 내구성과 확장성을 갖춘 복잡한 소프트웨어를 빌드할 수 있게 됩니다. 이는 Kafka가 다른 스토리지 시스템과 달리 초당 기가바이트 단위의 처리량으로 수평 확장되기 때문에 가능합니다. Kafka는 객체 스토리지와 다르게 규모가 크고 변경이 불가능한 배치가 아니라 개별 레코드를 몇 마이크로초 안에 전송합니다.

이 시스템은 어느 분야에서 유용하게 사용될까요? 소매업의 경우 '사용자 X가 제품 Y를 클릭함'과 같은 이벤트를 처리하는 여러 서비스를 이용합니다. 예를 들어 추천 시스템을 빌드하거나 사용자에게 최근 본 제품의 기록을 보여주고자 할 수 있습니다. 데이터 사이언스팀에서는 당연히 사용자 상호작용의 전체 내역을 확인하고자 합니다. 제조업의 경우 '센서 X가 측정값 Y를 보고함'과 같은 형식의 이벤트가 발생합니다. 이러한 이벤트로 운영 모니터링 대시보드를 생성하거나 조기 장애 감지 알고리즘을 개발하고 실행하는 등 다양한 업무를 수행하게 됩니다. 금융 서비스 회사의 경우 주식 매매와 거래를 사기 감지 파이프라인과 잔액 계산기에 피드할 수 있습니다.

Apache Kafka용 관리형 서비스는 어떤 도움이 되나요?

Apache Kafka용 관리형 서비스를 사용해 Apache Kafka 클러스터를 실제로 운영하는 데 무엇이 필요한지 살펴보겠습니다. 구체적으로 말하자면 안전하고 확장 가능한 클러스터로 운영할 수 있어야 합니다.

가장 먼저, 서비스에 대한 액세스 권한을 받아야 합니다. 프로젝트 관리자라면 이미 권한이 있을 것입니다. 이러한 권한은 기존 계정과 서비스 약관에 포함되며 기존 결제 수단 또는 계약의 적용을 받습니다.

두 번째로, 클러스터의 보안 방식을 결정해야 합니다. Apache Kafka용 관리형 서비스는 보안 기능도 기본으로 제공합니다. 모든 클러스터는 암호화되고 인증된 연결만 허용합니다. 인증 시 서비스 계정과 직원 ID 제휴 계정을 포함해 Google IAM에서 지원하는 모든 ID를 사용할 수 있습니다. 하지만 Kafka 클러스터에서 이러한 ID를 관리할 필요가 없습니다. 클라이언트는 OAuth로 인증할 수 있으며 이는 Google Cloud의 사용자 인증 정보 처리나 기존 애플리케이션의 사용자 이름/비밀번호(SASL_PLAIN) 인증을 자동화합니다. 데이터는 저장 시 암호화되며 CMEK 지원이 포함됩니다.

세 번째로, 네트워크 설계입니다. Apache Kafka용 관리형 서비스는 네트워크 설계도 완전히 자동화합니다. 클라이언트가 서비스에 액세스하는 데 사용할 VPC 네트워크를 결정하기만 하면 나머지는 서비스에서 처리합니다. 최대 10개의 VPC 네트워크에 클러스터를 노출할 수 있습니다. 즉, 클라이언트를 서로 다른 네트워크에 분리할 수 있으며 클러스터에 리전 간 액세스가 가능합니다. VPC 페어링은 필요하지 않습니다. 서비스는 각 네트워크에서 브로커 및 부트스트랩 서버를 위한 비공개 IP 주소를 생성합니다. 그런 다음 클라이언트가 클러스터의 부트스트랩 URL만 알면 되도록 DNS 항목을 설정합니다. 참, 부트스트랩 URL은 하나뿐입니다. 각 클러스터에 부하 분산기가 설정되어 있기 때문입니다.

마지막은 크기 조정 단계입니다. 어떤 유형의 브로커 머신을 몇 개 사용할 것이며, 디스크는 어떻게 설정해야 할까요? 이 문제는 간단히 해결됩니다. 이 서비스에서 브로커와 스토리지를 완벽하게 관리합니다. vCPU 수와 클러스터의 RAM 크기만 사용자가 직접 관리하면 됩니다. 이 두 가지만 설정하면 브로커 관리는 자동화됩니다. 여기에는 브로커와 스토리지의 수평 및 수직 확장이 포함됩니다. 스토리지는 버퍼링을 위한 최소한의 로컬 스토리지와 사실상 무제한의 원격 스토리지를 포함하여 계층화됩니다. 따라서 디스크 공간이 부족해질 걱정 없이 원하는 만큼 Kafka 데이터를 저장할 수 있습니다.

이제 서비스를 사용할 준비가 되었습니다. 이 서비스는 오픈소스 Apache Kafka를 실행하기 때문에 Kafka 프로토콜을 사용하는 클라이언트는 예상대로 작동하게 됩니다. 중요한 운영 측정항목은 Cloud Monitoring에서, 로그는 Cloud Logging에서 얻습니다. 서비스는 Google Cloud API이므로 Terraform, UI, CLI를 포함한 클라이언트 라이브러리가 함께 제공됩니다.

클러스터가 최대 성능으로 가동되고 있다면 마지막 깜짝선물로 자동 업그레이드가 등장합니다. 서비스는 모든 소프트웨어를 자동으로 최신 상태로 유지합니다. 다시 시작할 필요도 없습니다.

직접 사용하여 약 1시간 만에 게시해 보세요

간단히 말해 Apache Kafka용 관리형 서비스는 Google Cloud에서 Apache Kafka 클러스터를 운영하는 업무를 서브넷 선택과 RAM 및 CPU 사용률을 살펴보는 수준으로 줄이는 데 도움이 됩니다. 직접 사용해 보세요. Google Cloud 콘솔에서 시작하거나 빠른 시작을 따라서 시작할 수 있습니다. 더 궁금한 점이 있다면 계정팀에 문의하거나 kafka-hotline@google.com으로 이메일을 보내주세요.

진정한 실시간: 최신 인사이트를 위한 BigQuery 연속 쿼리 도입

Mon, 17 Mar 2025 06:49:00 +0000

세계는 실시간으로 돌아갑니다. 고객이 제품을 구매하고 금융 거래가 이루어지고 상품이 배송되고 센서가 데이터를 생성하고 보안 위협이 발생합니다. 이러한 실시간 이벤트에서 믿기 어려울 정도로 많은 데이터가 생성됩니다. 하지만 여전히 많은 기업이 기존의 일괄 지향적 분석에 의존하는 탓에 데이터 생성 속도를 따라가지 못하고 있습니다.

데이터 분석가와 엔지니어가 BigQuery를 즐겨 사용하는 이유는 방대한 데이터 세트와 복잡한 쿼리를 쉽게 처리할 수 있기 때문입니다. 하지만 입력과 출력 모두의 연속적인 데이터 스트림을 관리할 수 있는 확장된 실시간 기능에 대한 사용자 요구가 증가하고 있습니다. 이러한 고객의 요구를 충족하기 위해 Google Cloud는 BigQuery를 실시간 이벤트 기반 분석 플랫폼으로 발전시켰습니다. 그리고 오늘 BigQuery 연속 쿼리의 프리뷰 버전이 출시되었다는 기쁜 소식을 전해드립니다.

Google Cloud는 진정한 실시간 데이터 분석에 수반되는 비용과 복잡성을 해결하기 위해 BigQuery 연속 쿼리를 개발했습니다. 지금까지 '실시간'은 몇 분 또는 몇 시간이 지난 데이터의 분석을 의미했습니다. 그러나 데이터 수집 및 분석 환경은 빠른 속도로 진화하고 있습니다. 데이터 생성이 급증하고 고객 참여, 의사 결정, AI 기반 자동화가 늘어남에 따라 의사 결정에 허용되는 지연 시간도 크게 줄었습니다. 이제는 몇 분이나 몇 시간이 아닌 초 단위의 인사이트가 요구됩니다.

고객의 기대치도 크게 달라졌습니다. 오늘날 고객은 온라인 경험에서 실시간 맞춤형 상호작용을 원합니다. 기업은 모든 관련 맥락을 고려해 즉각적으로 대응해야 한다는 압박을 받고 있지만 일괄 지향적 분석으로는 이를 간단하게 실현할 수 없습니다.

이러한 요구를 충족하기는 어렵습니다. BigQuery와 같은 엔터프라이즈 데이터 플랫폼도 높은 처리량의 실시간 데이터 수집이 가능하지만, 원래는 일괄 지향적 방식으로 분석을 수행하도록 설계되었습니다. 즉, 데이터를 이벤트 기반으로 '푸시'하는 대신 임시 작업이나 예약된 작업을 통해 시스템에서 '가져옵니다'. 또한 스트리밍 분석이 가능하도록 추가 기술을 BigQuery와 통합할 수는 있었지만 이 경우 아키텍처가 더 복잡해지고 다양한 프로그래밍 기술이 필요하며 해결 가능한 사용 사례의 수가 제한적이었습니다.

BigQuery 연속 쿼리 도입

BigQuery 연속 쿼리로 상황이 완전히 달라졌습니다. BigQuery 연속 쿼리를 사용하면 지속적으로 처리되는 SQL 문을 실행하여 새 이벤트가 BigQuery에 도착했을 때 데이터를 처리, 분석, 변환할 수 있어 인사이트가 항상 최신 상태로 유지됩니다. 이 기능은 Google Cloud 생태계와 기본적으로 통합되기 때문에 더욱 큰 잠재력이 있습니다. Vertex AI와 Gemini를 활용하여 실시간으로 수신 데이터에 대한 머신러닝(ML) 추론을 수행할 수 있습니다. 추가 처리 및 분석을 위해 Pub/Sub 주제, Bigtable 인스턴스 또는 다른 BigQuery 테이블에 대한 연속 쿼리의 결과를 복제할 수도 있습니다. 데이터 스트림을 지속적으로 모니터링하고 주목할 만한 이벤트가 발생하는 순간 작업을 트리거하는 등 필요할 때 언제든 부를 수 있는 분석가가 항상 대기하고 있는 것과 같습니다.

Google Cloud에서는 BigQuery 연속 쿼리로 BigQuery의 기능을 대폭 확장하여 기존 통합 데이터 플랫폼의 강점과 함께 새로운 이벤트 기반의 동적 데이터 처리 기능을 지원합니다. 이 기능을 사용하면 데이터 변화에 즉각적으로 대응하는 애플리케이션을 빌드할 수 있어 새로운 영역의 가능성이 열립니다. 전례 없는 민첩성을 발휘하여 맞춤형 고객 경험을 즉석에서 만들고 상황이 악화되기 전에 이상치를 감지하고 의사 결정 프로세스를 자동화할 수 있습니다.

BigQuery 연속 쿼리의 획기적인 잠재력

BigQuery 연속 쿼리의 도입은 데이터가 위치하는 실시간 및 이벤트 기반 데이터 분석의 큰 발전을 의미합니다. 다음과 같은 작업이 가능합니다.

실시간 파이프라인 간소화: 익숙한 SQL 언어를 사용해 복잡한 실시간 데이터 변환 및 분석을 표현할 수 있어 추가적인 기술이나 전문 프로그래밍 기술이 필요 없습니다.
실시간 AI 사용 사례 활용: 실시간 데이터 변환과 Vertex AI 및 Gemini를 사용하는 Google의 강력한 AI 제품을 통합하여 맞춤형 콘텐츠 생성, 데이터 보강 및 항목 추출, 즉각적인 이상치 감지, 이벤트 기반 아키텍처 지원 등 다양한 실시간 AI 기반 애플리케이션을 구현할 수 있습니다.
역방향 ETL 간소화: BigQuery 연속 쿼리는 Pub/Sub 및 Bigtable과 같은 다른 Google Cloud 서비스와 통합됩니다. 따라서 연속 쿼리의 결과를 Pub/Sub 주제로 보내 이벤트 기반 데이터 파이프라인과 실시간 애플리케이션 서빙을 위한 Bigtable 인스턴스를 만들 수 있습니다. 추가 분석을 위해 연속 쿼리의 결과를 다른 BigQuery 테이블에 쓸 수도 있습니다.
확장성 및 성능 제공: BigQuery의 강력한 서버리스 인프라를 기반으로 한 연속 쿼리는 방대한 양의 데이터를 높은 처리량과 짧은 지연 시간으로 처리할 수 있습니다.

즉, BigQuery 연속 쿼리는 실시간 이벤트 처리를 범용화하여 광범위한 대상의 접근성을 높이고 기업이 SQL을 사용해 자사 데이터의 잠재력을 최대한 발휘할 수 있도록 지원합니다.

세계 최대 규모의 제약 및 생물 의학 기업 중 하나인 Bayer와 같은 고객은 BigQuery의 연속 쿼리에 새로운 실시간 사용 사례를 실현할 가치가 있다고 평가했습니다.

“Bayer는 과거에 어렵다고 입증된 실시간 분석을 제공해야 하는 중압감을 안고 있습니다. 이제 BigQuery 연속 쿼리를 평가할 기회를 얻게 되어 향후 이 기능의 활용 가능성에 대한 기대감이 매우 큽니다. ERP, CRM, IoT 데이터의 실시간 통합부터 실시간 모니터링 및 알림 사용 사례에 이르기까지 연속 쿼리는 데이터 웨어하우스 내에서 더욱 다양한 비즈니스 과제 유형을 해결하는 획기적인 솔루션이 될 것입니다.” - Anthony Savio, Bayer 데이터 웨어하우스 엔지니어링 리드

실전 예시

실제로 어떻게 사용하는지 보는 것만큼 효과적인 학습 방법은 없습니다. 따라서 BigQuery 연속 쿼리가 장바구니 이탈이라는 일반적인 전자상거래 과제를 어떻게 해결하는지 살펴보겠습니다.

심혈을 기울여 좋은 제품을 만들었고 잠재고객을 웹사이트로 유치했으며 고객들이 장바구니에 상품을 추가했다고 가정하겠습니다. 하지만 구매를 완료하지 않은 채 고객들이 이탈합니다. 정말 답답한 상황일 것입니다. Baymard Institute에 따르면 평균 장바구니 이탈률이 70%에 달할 정도로 장바구니 이탈은 매우 흔한 문제입니다. 해결책을 제시해 드리겠습니다. BigQuery 연속 쿼리로 실시간 참여를 유도하여 고객의 관심을 다시 불러일으키세요.

시연을 위해 BigQuery 테이블을 사용하여 웹사이트의 장바구니 이탈 이벤트를 로깅하고 고객 연락처 정보, 이탈된 장바구니의 내용물, 이탈 시간을 캡처해 보겠습니다. BigQuery 연속 쿼리를 실행하여 장바구니 이탈 테이블에 새 이벤트가 있는지 지속적으로 모니터링한 후 Vertex AI를 통해 이탈된 새 장바구니를 전송하여 고객별로 맞춤설정된 프로모션 이메일을 생성하고 제품 추천 및 한시적 할인을 제공하고 맞춤형 이메일 콘텐츠를 Pub/Sub 주제에 게시할 것입니다. 마지막으로 간단한 Application Integration 플랫폼 트리거를 사용해 수신된 각 Pub/Sub 메시지에 대한 이메일을 전송합니다.

이 GitHub 저장소를 사용하여 단계별 안내를 따라 나만의 엔드 투 엔드 연속 쿼리 데모를 구축합니다.

데모 환경이 설정되고 실시간 이벤트가 BigQuery 장바구니 이탈 테이블로 스트리밍되면 아래와 같이 처리할 SQL 쿼리를 작성하고 생성형 AI를 사용하여 맞춤형 이메일을 만들어 Pub/Sub 주제에 작성할 수 있습니다.

code_block: <ListValue: [StructValue([('code', 'EXPORT DATA\r\n OPTIONS (format = CLOUD_PUBSUB,\r\n uri = "https://pubsub.googleapis.com/projects/production-242320/topics/recapture_customer")\r\nAS (SELECT\r\n TO_JSON_STRING(\r\n STRUCT(\r\n customer_name AS customer_name,\r\n customer_email AS customer_email, REGEXP_REPLACE(REGEXP_EXTRACT(ml_generate_text_llm_result,r"(?im)\\<html\\>(?s:.)*\\<\\/html\\>"), r"(?i)\\[your name\\]", "Your friends at AI Megastore") AS customer_message))\r\n FROM ML.GENERATE_TEXT( MODEL `Continuous_Queries_Demo.gemini_1_5_pro`,\r\n (SELECT\r\n customer_name,\r\n customer_email,\r\n CONCAT("Write an email to customer ", customer_name, ", explaining the benefits and encouraging them to complete their purchase of: ", products, ". Show other items the customer might be interested in and include details about our rewards program. Provide the response email in HTML format and include a hyperlink to the customer\'s shopping cart.") AS prompt\r\nFROM\r\n APPENDS(TABLE `Continuous_Queries_Demo.abandoned_carts`,\r\n -- Configure the APPENDS TVF start_timestamp to specify when you want to\r\n -- start processing data using your continuous query.\r\n -- Here we process data as ten minutes before the current time.\r\n CURRENT_TIMESTAMP() - INTERVAL 10 MINUTE)),\r\n\r\n STRUCT(\r\n 1024 AS max_output_tokens,\r\n 0.2 AS temperature,\r\n 1 AS candidate_count, \r\n TRUE AS flatten_json_output)))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df696d0>)])]>

그다음 BigQuery 편집기에서 BigQuery 연속 쿼리 모드를 간단하게 사용 설정하고 이 쿼리를 영구적으로 실행하여 새로운 이벤트가 도착할 때마다 데이터를 처리하도록 구성합니다.

이제 장바구니 이탈이 발생하면 몇 초 만에 아래 예시와 같은 맞춤형 이메일이 고객에게 전송되어 판매가 다시 진행될 가능성이 커집니다. BigQuery 연속 쿼리 내에서 단순하고도 강력한 SQL을 사용해 이 모든 것이 조정됩니다.

모든 사용자의 역량 강화

특히 파트너 통합을 고려하는 경우 BigQuery 연속 쿼리의 결과를 Pub/Sub에 복제하여 이벤트 기반 데이터 아키텍처를 빌드하는 매우 흥미로운 가능성을 열 수 있습니다. 실제로 Aiven, Census, Confluent, Estuary, Hightouch, Keboola, Lytics, Nexla, Qlik, Redpanda를 비롯한 여러 Google Cloud ISV 파트너가 이미 자사 제품 및 서비스에 연속 쿼리로 생성된 Pub/Sub 메시지를 지원한다고 인정했습니다.

“Confluent는 Confluent Cloud와 BigQuery 연속 쿼리를 통합하여 조직에서 실시간으로 데이터의 잠재력을 최대한 실현하도록 지원하고 있습니다. 이러한 협업을 통해 데이터 파이프라인을 간소화하고 의사 결정을 개선하고 혁신적인 데이터 기반 애플리케이션을 만들어 비즈니스에서 상당한 경쟁력을 확보하고 있습니다.” - Mike Agnich, Confluent 데이터 스트리밍 플랫폼 부문 부사장 겸 총괄 이사

보다 익숙한 대화형 경험을 원하는 데이터 과학자를 위해 BigQuery 연속 쿼리가 BigQuery DataFrames와 통합됩니다. 이제 Python 노트북 내에서 직접 실시간 데이터 처리를 활용하여 실험을 간소화하고 프로토타입을 빠르게 제작하고 기존 머신러닝 워크플로에 연속 쿼리를 원활하게 통합할 수 있습니다. 자세한 내용은 Python 스트리밍 Dataframes 노트북 예시를 확인하세요.

시작할 준비가 되셨나요?

오늘날의 급변하는 세계에서 과거 데이터 또는 거의 실시간에 가까운 데이터에만 의존하는 비즈니스는 불리할 수밖에 없습니다. 실시간 인사이트는 더 이상 선택 사항이 아닙니다. 오히려 정보에 입각한 결정을 내리고 특별한 고객 경험을 제공하며 경쟁에서 앞서 나가기 위한 필수 요소입니다. 숨겨진 패턴을 발견하는 데이터 과학자, 전략적 이니셔티브를 추진하는 비즈니스 분석가, 조직이 나아갈 방향을 정하는 최고 책임자 등 모두가 실시간 데이터가 지닌 힘을 이해해야 합니다.

BigQuery 연속 쿼리는 SQL이라는 범용화된 언어를 사용하여 데이터가 유입될 때 그 잠재력을 최대한 활용할 수 있는 혁신적인 솔루션을 제공합니다. 이제 이벤트 기반 데이터 분석이 가능해졌습니다. 지금 공개 프리뷰를 신청하고 BigQuery 연속 쿼리로 실현할 수 있는 가능성을 살펴보세요. 또한 여기에서 BigQuery 연속 쿼리를 집중적으로 다룬 Google Cloud Next 2024 세션을 시청할 수 있습니다.

미래에는 진정한 실시간 데이터가 곧 경쟁력입니다. BigQuery가 이를 돕겠습니다.

BigQuery의 새로운 Gemini 모델 추론, 튜닝, 그라운딩, 안전 설정 이해

Mon, 17 Mar 2025 06:32:00 +0000

* 본 아티클의 원문은 2024년 8월 1일 Google Cloud 블로그(영문)에 게재되었습니다.

소셜 미디어, 휴대기기, IoT 센서 등의 디지털 기기와 플랫폼의 확산으로 이미지, 오디오 파일, 동영상, 문서 같은 비정형 데이터가 급증하고 있습니다. 조직이 데이터에서 인사이트를 얻을 수 있도록 지원하기 위해 Google의 AI 지원 클라우드 데이터 플랫폼인 BigQuery가 생성형 AI 앱 빌드를 위한 Google의 완전 관리형 AI 개발 플랫폼인Vertex AI와 통합되어 있습니다. 이를 통해 다양한 생성형 AI 모델(즉, Gemini)과 AI 서비스(Document AI, Translation AI 등)를 활용하여 BigQuery 객체 테이블에 있는 비정형 데이터를 처리할 수 있습니다.

BigQuery에서는 이미 Gemini 1.0 Pro 및 Gemini 1.0 Pro Vision을 포함하여 Vertex AI에 호스팅된 여러 강력한 대규모 언어 모델(LLM)을 사용하여 데이터를 분석할 수 있습니다. 이러한 모델은 텍스트 요약과 감정 분석 같은 작업에 뛰어나며 대개는 프롬프트 엔지니어링만 필요합니다.

프롬프트 엔지니어링만으로는 충분하지 않은 시나리오의 경우 BigQuery에서 LoRA 기술을 지원하므로 text-bison 모델을 파인 튜닝할 수 있습니다. 이러한 추가 맞춤설정은 원하는 모델 동작을 프롬프트에서 간결하게 정의하기 어렵거나 프롬프트가 예상 결과를 일관되게 생성하지 않는 경우에 유용합니다. 파인 튜닝을 통해 모델은 특정 응답 스타일을 학습하고 새로운 동작(예: 특정 페르소나로서 응답)을 도입하고 최신 정보를 확인할 수 있습니다.

최근에는 BigQuery에 다음과 같이 최신 Gemini 모델에 대한 지원과 안전 개선, 그라운딩 지원을 추가했습니다.

ML.GENERATE_TEXT SQL 함수는 이제 Gemini 1.5 Pro 및 Gemini 1.5 Flash 파운데이션 모델을 지원합니다. BigQuery 사용자는 이미 텍스트에 대한 다양한 자연어 처리(NLP) 작업(예: 고급 텍스트 생성, 감정 분석)에 Gemini 1.0 Pro를 활용하고, 이미지와 동영상에 대한 이미지 캡셔닝, 시각적 질의 응답, 기타 비전 언어 작업에 Gemini 1.0 Pro Vision을 사용할 수 있습니다. Google의 차세대 멀티모달 파운데이션 모델인 Gemini 1.5를 사용하면 사용자는 앞서 언급한 NLP와 비전 작업을 향상된 품질로 처리할 수 있을 뿐만 아니라 오디오 및 PDF 파일을 분석(예: 오디오 스크립트 작성, PDF 요약)할 수도 있습니다. 이러한 모든 작업이 하나의 모델에서 이루어집니다.
Google 검색을 사용한 그라운딩을 지원하고 책임감 있는 AI(RAI) 응답을 위해 맞춤설정 가능한 안전 설정을 제공하기 위해 ML.GENERATE_TEXT SQL 함수를 개선하고 있습니다. 그라운딩을 사용하면 모델이 인터넷에서 추가 정보를 통합하여 정확성이 높고 사실에 기반한 응답을 생성할 수 있습니다. 안전 설정을 사용하면 사용자가 다양한 유해 카테고리(증오심 표현, 위험한 콘텐츠, 괴롭힘 등)에 대한 차단 기준을 정의할 수 있으며 모델은 이러한 설정을 위반하는 콘텐츠를 필터링합니다.
Gemini 1.0 모델을 튜닝하고 평가할 수 있도록 CREATE MODEL DDL 및 ML.EVALUATE SQL 함수를 확장하고 있습니다. BigQuery 사용자는 이미 text-bison PaLM 모델을 튜닝하고 평가할 수 있습니다. 이제 Gemini 1.0 Pro 모델을 파인 튜닝하고 평가하여 AI 기능을 더욱 세부적으로 맞춤설정할 수도 있습니다.

이어지는 섹션에서는 이러한 새 기능에 대해 자세히 살펴보겠습니다.

BigQuery ML 및 Gemini 1.5

BigQuery에서 Gemini 1.5 Pro를 사용하려면 먼저 호스팅된 Vertex AI Gemini 엔드포인트를 나타내는 원격 모델을 만듭니다. 일반적으로 이 단계는 몇 초 정도 걸립니다. 모델이 생성되면 이 모델을 사용하여 텍스트를 생성하고 데이터를 BigQuery 테이블과 바로 결합합니다.

code_block: <ListValue: [StructValue([('code', "CREATE MODEL `mydataset.gemini_1_5_pro`\r\nREMOTE WITH CONNECTION `us.bqml_llm_connection`\r\nOPTIONS(endpoint = 'gemini-1.5-pro');"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb47bcd0>)])]>

Gemini 1.5에서는 ML.GENERATE_TEXT() 함수에 BigQuery 관리형 테이블을 입력으로 제공하고, 각 데이터베이스 레코드에 PROMPT 문을 자동으로 추가하여 각 행에 대한 프롬프트를 맞춤설정할 수 있습니다. 'temperature' 프롬프트 파라미터는 생성된 대답의 무작위성을 제어합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT *\r\nFROM\r\n ML.GENERATE_TEXT(\r\n MODEL mydataset.gemini_1_5_pro,\r\n (\r\n SELECT CONCAT(\r\n \'Create a descriptive paragraph of no more than 25 words for a product with in a department named \', department,\r\n \', category named "\', category, \'"\',\r\n \'and the following name: \', name\r\n )\r\n AS prompt\r\n FROM mydataset.my_table\r\n ),\r\n STRUCT(0.8 AS temperature));'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27ba09e9d0>)])]>

Gemini 1.5 모델에서는 ML.GENERATE_TEXT() 함수에 객체 테이블이 입력으로 허용되므로 이미지, 동영상, 오디오 파일, 문서와 같은 비정형 데이터를 처리할 수 있습니다. 객체 테이블을 사용하는 경우 프롬프트는 STRUCT 옵션에 배치된 단일 문자열입니다. 그런 다음 이 프롬프트는 테이블의 객체마다 각각 행별로 적용됩니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n uri,\r\n ml_generate_text_llm_result\r\nFROM\r\n ML.GENERATE_TEXT( MODEL `mydataset.gemini_1p5_pro`,\r\n (\r\n SELECT\r\n *\r\n FROM\r\n `mydataset.my_audio_files`\r\n WHERE\r\n content_type="audio/mp3" ),\r\n STRUCT(TRUE AS flatten_json_output,\r\n 1024 AS max_output_tokens,\r\n "Please transcribe the audio, then translate it to English." AS prompt))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27bbd426d0>)])]>

샘플 결과를 살펴보겠습니다. 생성된 텍스트가 아주 많기 때문에 긴 출력 텍스트를 명확하게 볼 수 있도록 BigQuery UI에서 직접 JSON 형식으로 미리 봅니다. 프롬프트에서 지시한 대로, 모델이 먼저 오디오의 스크립트를 일본어로 작성한 다음 영어로 번역하는 것을 확인할 수 있습니다.

BQML과 LLM 그라운딩 및 안전 설정

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n ml_generate_text_llm_result,\r\n ml_generate_text_grounding_result,\r\n prompt\r\nFROM\r\n ml.generate_text(MODEL `mydataset.gemini_1p5_pro`,\r\n (\r\n SELECT\r\n concat(questions, ". Please only have answers and add no additional information.") as prompt\r\n FROM\r\n `mydataset.history_questions`\r\n LIMIT\r\n 10),\r\n STRUCT(TRUE AS flatten_json_output,\r\n 8192 AS max_output_tokens,\r\n TRUE AS ground_with_google_search,\r\n [STRUCT(\'HARM_CATEGORY_HATE_SPEECH\' AS category,\r\n \'BLOCK_LOW_AND_ABOVE\' AS threshold),\r\n STRUCT(\'HARM_CATEGORY_DANGEROUS_CONTENT\' AS category,\r\n \'BLOCK_MEDIUM_AND_ABOVE\' AS threshold)] AS safety_settings ))'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b89e00d0>)])]>

그라운딩 기능을 설명하는 예시를 살펴보겠습니다. 그라운딩 기능이 활성화되면 사용자는 다양한 검색 진입점 및 각 검색과 관련된 신뢰도 점수를 비롯해 Google 검색에서 얻은 자세한 그라운딩 결과에 액세스할 수 있습니다.

안전 설정이 LLM 출력에 어떤 영향을 미치는지 확인해 보겠습니다. 예를 들어 다음과 같은 프롬프트를 작성합니다. '프랑스 혁명으로 처형된 프랑스 국왕은 누구야? 추가 정보 없이 답만 알려줘. ' HARM_CATEGORY_HARASSMENT 및 HARM_CATEGORY_DANGEROUS_CONTENT 카테고리에 대해 안전 설정 BLOCK_LOW_AND_ABOVE가 지정되어 있는 경우 결과가 차단됩니다.

LLM에서 출력되는 내용을 직접 확인하고 싶을 때도 있습니다. HARM_CATEGORY_HARASSMENT 카테고리에 대한 안전 설정을 BLOCK_MEDIUM_AND_HIGH로 변경하면 LLM이 적게 필터링한 결과를 제공합니다.

BQML 및 Gemini 1.0 LLM 튜닝

현재 BQML은 Gemini 1.0 모델의 LORA 파인 튜닝을 지원하고 있습니다. 모델을 파인 튜닝하려면 gemini-1.0-pro-002 엔드포인트를 기본 모델로 지정하고 '프롬프트' 및 '라벨' 열을 포함한 추가 학습 데이터를 제공해야 합니다. 예시를 통해 텍스트 분류 문제를 해결하는 방법을 보여드리겠습니다. 의료 스크립트 작성 데이터 세트를 사용하여 각 스크립트를 '척추 교정', '치과', '피부과' 등 17개의 고유한 카테고리로 분류하도록 모델에 지시합니다.

다음과 같이 파인 튜닝된 모델을 만듭니다.

code_block: <ListValue: [StructValue([('code', '-- Fine tune a textbison model\r\n\r\nCREATE OR REPLACE MODEL\r\n `bqml_tutorial.text_bison_001_medical_transcript_finetuned` REMOTE\r\nWITH CONNECTION `LOCATION. ConnectionID`\r\nOPTIONS (endpoint="gemini-1.0-pro-002",\r\n max_iterations=300,\r\n data_split_method="no_split") AS\r\nSELECT\r\n CONCAT("Please assign a label for the given medical transcript from among these labels [Autopsy, Bariatrics, Chiropractic, Dentistry, Dermatology,. ", input_text) AS prompt,\r\n output_text AS label\r\nFROM\r\n `bqml_tutorial.medical_transcript_train`'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b89e0820>)])]>

모델이 학습되면 ML.EVALUATE를 활용하여 모델의 성능을 평가하고 ML.GENERATE_TEXT를 활용하여 모델 추론을 실행할 수 있습니다. 포괄적인 예시는 다음 튜토리얼을 참조하세요. https://cloud.google.com/bigquery/docs/tune-evaluate

Google Cloud와 함께 데이터와 생성형 AI의 미래에 관해 알아보기

이러한 흥미로운 새 기능에 대해 자세히 알아보려면 이 문서를 살펴보시기 바랍니다. Gemini의 기능을 활용하며 BigQuery 내에서 포괄적인 데이터 분석 및 AI 애플리케이션을 직접 빌드하는 방법에 대한 실무형 데모를 보려면 이 동영상을 시청하세요.

또한 최근 게시된 웹캐스트에서는 BigQuery의 최신 기능을 소개하고 BigQuery ML을 활용하여 간단한 SQL을 사용해 모델을 쉽게 만들고 배포하는 방법을 보여줍니다.

이러한 새로운 기능에 대한 의견이나 추가 기능 요청이 있다면 bqml-feedback@google.com을 통해 알려주세요.

_{Google 직원인 Tianxiang Gao, Eric Hao, Jasper Xu, Manoj Gunti가 이 블로그 게시물 작성에 도움을 주었습니다. 이러한 기능은 많은 Google 직원의 노력으로 실현됩니다.}

BigQuery와 Anthropic의 Claude: 데이터 기반 인사이트를 위한 강력한 조합

Mon, 17 Mar 2025 06:23:00 +0000

* 본 아티클의 원문은 2024년 9월 5일 Google Cloud 블로그(영문)에 게재되었습니다.

세계에서 가장 생산적이고 혁신적인 조직들은 신뢰할 수 있는 자사 비즈니스 데이터를 바탕으로 의사 결정을 내리고 운영 효율성과 인사이트를 확보하며 성장을 도모합니다. 생성형 AI가 등장하면서 풍부한 정보를 토대로 전례 없는 경쟁 우위를 점할 수 있는 가능성이 열렸습니다.

Google Cloud는 앞장서서 Google의 생성형 AI 지원 데이터 플랫폼인 BigQuery 자체에 생성형 AI 기능을 통합했습니다. 조직들은 BigQuery 플랫폼에서 Vertex AI로 Gemini 1.5 Pro를 사용하는 등 이미 생성형 AI 모델을 활용하고 있습니다. 오늘 Google Cloud의 개방형 플랫폼이 BigQuery의 새로운 통합 프리뷰로 확장됩니다. BigQuery가 Vertex AI 기반 Anthropic의 Claude 모델과 통합되면서 Claude 모델의 강력한 인텔리전스 기능을 BigQuery에 있는 데이터에 사용할 수 있게 되었습니다.

이제 조직은 BigQuery ML(BQML)을 통해 고급 생성형 AI 기능을 제공하는 Anthropic의 Claude 모델을 이용할 수 있습니다. BQML은 BigQuery 내 데이터에 머신러닝을 적용하는 과정을 간소화하므로 분석가와 SQL 사용자의 접근성이 좋습니다. 이번 통합으로 데이터에서 바로 텍스트 생성, 요약, 번역 등의 작업을 수행할 수 있게 되었습니다.

강력한 사용 사례

조직에서 BigQuery와 Anthropic Claude 모델의 통합을 활용하면 데이터 기반 의사 결정을 재정립하고 다음과 같은 다양한 작업의 생산성을 높일 수 있습니다.

보안 강화를 위한 로그 데이터 분석: 보안팀은 BigQuery에서 로그 데이터를 효율적으로 분석하고 복잡한 기술 정보를 읽을 수 있는 명확한 형식으로 변환하여 적절한 대응 전략을 수립할 수 있습니다.
마케팅 최적화: 이제 마케팅팀은 BigQuery에 저장된 사용자 및 제품 데이터를 활용해 타겟팅된 데이터 기반 캠페인을 대규모로 생성하여 참여도와 ROI를 높일 수 있습니다.
문서 요약: 조직에서 Google Cloud Storage에 저장된 내부 문서를 자동으로 요약해 정보 관리를 간소화하여 시간과 리소스를 절약할 수 있습니다.
콘텐츠 현지화: 글로벌 조직에서 BigQuery에 저장된 텍스트 콘텐츠를 빠르게 번역하여 언어 장벽 없이 원활하게 소통할 수 있습니다.

BigQuery의 Claude 모델 사용 사례를 몇 가지 더 살펴보겠습니다.

로그 요약 및 추천

조직은 일반적으로 사용 편의성, 확장성, 로그 분석에 도움이 되는 검색 및 벡터 색인과 같은 고급 기능을 위해 오류 로그 데이터를 BigQuery에 저장합니다. BigQuery 데이터를 Vertex AI에서 Claude 모델과 결합하면 이러한 사용 사례를 더욱 강화할 수 있습니다. 예를 들어 조직에서 로그 항목을 효율적으로 요약하고 추천 수정사항을 생성하여 문제 식별 및 해결 프로세스를 간소화할 수 있습니다.

그 방법을 살펴보겠습니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE MODEL\r\n`PROJECT_ID.DATASET_ID.MODEL_NAME`\r\nREMOTE WITH CONNECTION `PROJECT_ID.REGION.CONNECTION_ID`\r\nOPTIONS (ENDPOINT = 'claude-3-5-sonnet');"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb4ca4f0>)])]>

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n logName,\r\n Log_payload,\r\n ml_generate_text_result.content[0].text AS log_summary_and_suggestion\r\n FROM\r\n ML.GENERATE_TEXT(\r\n MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,\r\n (\r\n SELECT\r\n logName,\r\n TO_JSON_STRING(protopayload_auditlog) as Log_payload,\r\n concat("summarize this log payload in one sentence and recommend solutions, please remove sensitive information: ",TO_JSON_STRING(protopayload_auditlog)) AS prompt\r\n from `PROJECT_ID.DATASET_ID.Sample_log_table`\r\n )\r\n )'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27bb4ca160>)])]>

로그 항목 요약 및 수정사항 추천

완성된 결과를 확인하실 수 있습니다. SQL과 Claude의 AI 기능만 사용해 간결한 로그 요약과 추천 솔루션을 생성해 봤습니다.

미술관 작품 설명 번역

BigQuery 테이블에 저장된 대한민국 예술 작품의 작품명을 영어로 번역하는 또 다른 사례를 살펴보겠습니다. Claude는 이러한 작업을 효과적으로 처리합니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n object_id,\r\n title,\r\n ml_generate_text_result.content[0].text AS translations\r\n FROM\r\n ML.GENERATE_TEXT(\r\n MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,\r\n (\r\n SELECT\r\n object_id,\r\n\ttitle,\r\n concat("translate this into English and only return the translated result:" ,title) AS prompt\r\n from `PROJECT_ID.DATASET_ID.sample_Museum_objects_table`\r\n )\r\n )'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279db54340>)])]>

대한민국 미술관 작품의 설명을 영어로 번역

BigQuery에서 Claude 시작하기

BigQuery에서 Claude를 시작하려면 문서를 따라 진행하거나 샘플 노트북을 BigQuery Studio로 직접 가져와 실무형 실습 둘러보기를 참조하세요.

고급 Python 지원과 구성 유연성이 더 필요한 사용자를 위해 추가적인 2가지 통합 방법도 제공합니다.

BigQuery Studio에서 사용하는 Python (정식 버전): 데이터 과학자와 Python 개발자는 BigQuery UI에서 노트북을 활용하여 Python을 사용해 BigQuery 데이터를 Claude 모델에 직접 연결할 수 있습니다. 빠른 시작 가이드 및 예시 코드는 BigQuery DataFrames를 사용하는 샘플 노트북을 참고하세요.
BigQuery 원격 함수(정식 버전): 이 방법은 높은 유연성과 모든 Claude 모델에 대한 액세스를 제공하여 코딩 작업이 많은 사용자에게 적합합니다. 샘플 GitHub 저장소를 살펴보고 시작하세요. BigQuery DataFrames를 활용해 원격 함수를 자동으로 만들고 Claude에서 추론을 수행하는 이 샘플 노트북을 사용해 볼 수도 있습니다.

BigQuery와 Anthropic Claude의 통합으로 생성형 AI를 범용화하고 모든 규모의 기업이 데이터의 잠재력을 최대한 활용하는 데 큰 진전을 이루고 있습니다. 이 통합을 살펴보고 데이터 분석 워크플로를 어떻게 혁신할 수 있는지 확인하세요.

정식 버전으로 출시된 새로운 BigQuery의 Gemini 기능 사용해 보기

Sun, 16 Mar 2025 21:06:00 +0000

* 본 아티클의 원문은 2024년 8월 29일 Google Cloud 블로그(영문)에 게재되었습니다.

Google의 2024년 데이터 및 AI 트렌드 보고서에 따르면 생성형 AI로 인해 인사이트를 얻는 속도가 빨라질 것으로 생각하는 조직은 84%에 달하며, 특히 비기술직 사용자 중 52%는 이미 생성형 AI를 활용해 유용한 인사이트를 도출하고 있습니다.

Google Cloud는 Google의 데이터 클라우드를 통해 수십 년간 진행한 AI 연구 및 투자 결과를 데이터 관리와 분석에 혁신적으로 적용하여 조직이 환경을 새롭게 조성하고 조직의 독점 데이터로 그라운딩된 데이터 에이전트를 빌드할 수 있도록 지원하고 있습니다. Google Cloud Next 2024에서 Google Cloud가 소개한 BigQuery의 Gemini 프리뷰는 데이터 검색 및 탐색부터 데이터 준비 및 엔지니어링, 분석 및 인사이트 생성 등 데이터 여정 전반을 지원하는 AI 기반 경험과 함께 사용자 생산성을 높이고 비용을 최적화하는 지능형 추천도 제공합니다.

“BigQuery의 Gemini는 Julo의 쿼리 생성 프로세스에 혁신을 일으켰습니다. BigQuery에 통합되어 SQL 템플릿을 쉽게 생성할 수 있게 되었고, 중요한 머신러닝 모델 모니터링 쿼리를 포함한 라벨 및 특성 추출의 효율성을 높이는 데 도움이 되었습니다. 복잡한 데이터 구조를 이해하고 정확한 쿼리를 제공하는 Gemini의 기능 덕분에 워크플로가 그 어느 때보다 빠르고 원활합니다.” - Martijn Wieriks, Julo 최고 데이터 책임자

오늘 Google Cloud는 SQL 코드 생성 및 설명, Python 코드 생성, 데이터 캔버스, 데이터 인사이트 및 파티셔닝, 클러스터링 추천을 비롯한 다양한 BigQuery의 Gemini 기능을 정식 버전으로 출시했습니다.

그중 바로 활용할 수 있는 몇 가지 BigQuery의 Gemini 기능을 자세히 살펴보겠습니다.

BigQuery의 Gemini가 보여주는 차별성

BigQuery의 Gemini에는 비즈니스 니즈에 최적화된 최첨단 모델과 함께 데이터 관리 및 AI 인프라 부문에 관한 Google의 기능이 결집되어 있습니다.

컨텍스트 인식: 사용자 의도를 파악하고 목표를 이해하고 능동적인 소통을 통해 워크플로를 가속화함
자체 데이터 그라운딩: 비즈니스 데이터를 지속적으로 학습하고 이에 맞게 변화해 새로운 기회를 발굴하고 문제를 예측함
통합 환경: BigQuery 인터페이스 내에서 직접 액세스 가능하며 분석 워크플로 전반에 걸쳐 원활한 경험을 제공함

데이터 인사이트 시작하기

데이터 분석 여정은 먼저 데이터를 발견하고 데이터 애셋에서 얻을 수 있는 인사이트를 평가하는 것으로 시작됩니다. 자사 데이터에 특화된 인사이트를 얻을 수 있는 질문 라이브러리가 있다고 상상해 보세요. 물어봐야 하는지조차 몰랐던 질문도 있을 수 있습니다. 데이터 인사이트는 사전 검증되고 즉시 실행할 수 있는 쿼리를 통해 즉각적으로 인사이트를 제공하므로 추측이 필요하지 않습니다. 예를 들어 고객 이탈 데이터가 포함된 테이블을 살펴볼 때 데이터 인사이트는 특정 고객 세그먼트에서 이탈이 발생한 요인을 살펴볼 것을 추천하는 등 미처 생각하지 못한 시각을 제시할 수 있습니다.

이처럼 실행 가능한 쿼리가 BigQuery Studio에 기본 제공되어 있어 클릭 한 번으로 필요한 순간에 인사이트를 얻어 분석을 진행할 수 있습니다.

BigQuery의 Gemini는 클릭 한 번으로 실행할 수 있는 테이블에 대한 실행 쿼리를 자연어 인사이트로 추천합니다.

SQL 코드 및 Python 코드 지원을 통한 생산성 향상

BigQuery의 Gemini는 직관적인 자연어 프롬프트를 사용하고 관련 스키마와 메타데이터를 참조하면서 SQL 코드 또는 Python 코드를 작성 및 수정하는 데 도움이 됩니다. 코드의 오류와 불일치를 줄이는 한편 코딩 경험이 부족한 사용자도 복잡하고 정확한 쿼리를 작성할 수 있도록 지원합니다.

“Unerry의 데이터팀은 BigQuery의 Gemini를 통해 더욱 신속하게 인사이트를 도출하고 데이터 파이프라인 및 분석의 주기를 단축하는 데 도움을 얻고 있습니다. AI를 사용해 SQL 코드를 생성하고 텍스트를 임베딩하면 생산성이 향상되어 효과가 큰 이니셔티브에 집중할 시간을 더 많이 확보할 수 있습니다. 결과적으로 고객에게 행동 기반 인텔리전스를 제공한다는 Unerry의 사명을 실현하는 데 도움이 되리라 기대합니다.” - Okayasu, Unerry, Inc. 최고 데이터 과학자

데이터 내 구조와 관계를 이해하는 BigQuery의 Gemini를 활용하면 단순한 자연어 프롬프트를 사용해 맞춤 코드를 추천받을 수 있습니다. 사용자가 요청할 수 있는 내용을 예로 들면 다음과 같습니다.

“테이블에 있는 제품별로 총매출액을 계산하는 SQL 쿼리를 생성해 줘.”
“Pandas를 사용해서 제품 판매량과 고객 리뷰 수 간의 상관관계를 분석하는 Python 코드를 작성해 줘.”
“구독자 유형별로 평균 이동 거리를 계산해 줘.”

BigQuery의 Gemini를 사용한 SQL 코드 생성

BigQuery의 Gemini는 복잡한 SQL 쿼리 및 Python 쿼리의 이해를 돕는 설명과 인사이트도 제공하여 모든 수준의 사용자가 코드 이면의 논리를 더 쉽게 이해할 수 있게 합니다. 이는 특히 SQL과 파이썬을 처음 접하거나 익숙하지 않은 데이터 세트를 다루는 사용자에게 유용합니다.

BigQuery의 Gemini를 활용한 SQL 코드 설명

자연어를 사용하는 분석 워크플로 재정립

BigQuery의 Gemini에는 데이터 탐색, 선별, 랭글링, 분석, 시각화를 위한 혁신적인 자연어 기반 인터페이스인 데이터 캔버스가 포함되어 있습니다. 데이터 캔버스를 통해 사용자는 그래픽 워크플로로 데이터 여정을 탐색하고 구조화할 수 있으며 원활하고 직관적인 데이터 탐색과 분석이 가능합니다.

“여러 쿼리가 나올 수밖에 없는 탐색 또는 조사 작업을 진행할 때 데이터 캔버스를 대체할 도구는 없습니다. 덕분에 시간을 절약하고 정신적 수고를 덜 수 있었습니다.” - Scott Schaen, Wunderkind 분석 부문 부사장

예를 들어 소매점 전반의 매출을 분석할 때 하나의 사용자 인터페이스에서 간단한 자연어 프롬프트를 사용하여 POS 시스템 같은 여러 소스의 데이터를 수집하거나 인벤토리, CRM, 외부 데이터와 통합하거나 매장 위치, 제품 카테고리, 매출 같은 요소 사이의 관계를 밝히거나 이해관계자를 위한 보고서와 시각화를 개발할 수 있습니다. BigQuery 데이터 캔버스에 대해 자세히 알아보려면 이 블로그를 참고하고 아래 데모를 시청하세요.

성능 및 속도를 위한 분석 최적화

데이터양이 증가하면서 데이터 관리자와 기타 분석 전문가는 효과적으로 용량을 관리하고 쿼리 성능을 개선하는 데 어려움을 겪고 있습니다. 이러한 어려움을 해결하기 위해 BigQuery의 Gemini는 테이블을 파티셔닝하고 클러스터링하기 위한 AI 기반 추천을 제공합니다. 이 추천 기능은 쿼리를 수정할 필요 없이 테이블을 최적화하여 결과 도출 속도를 높이고 쿼리 비용을 절감하기 위해 마련되었습니다.

시작하기

SQL 코드 생성 및 설명, Python 코드 생성, 데이터 캔버스, 데이터 인사이트, 파티셔닝 및 클러스터링 추천이 포함된 BigQuery의 Gemini 정식 버전 기능이 오늘부터 몇 개월에 걸쳐 단계적으로 출시될 예정입니다.

이번에 출시되는 정식 버전(GA) 기능은 모든 고객에게 추가 비용 없이 제공됩니다. 자세한 내용은 가격 책정 세부정보를 참고하세요.

Deutsche Bank가 Google Cloud에 새로운 소매 데이터 플랫폼을 구축한 방법

AI 기반 분석의 새로운 장을 여는 BigQuery 벡터 검색 정식 버전 출시

Thu, 16 Jan 2025 04:31:00 +0000

* 본 아티클의 원문은 2024년 09월 28일 Google Cloud 블로그(영문)에 게재되었습니다.

AI 덕분에 조직은 데이터를 대규모로 분석하고 이해할 수 있는 새로운 데이터 표현 방식을 활용하게 되었습니다. AI 모델은 단어와 기타 데이터를 벡터 임베딩으로 인코딩하여 시맨틱 의미를 해석하도록 학습됩니다. 이러한 임베딩을 통해, 인코딩되는 데이터가 벡터 공간에서 차지하는 상대적인 위치를 알 수 있습니다. 의미상 유사한 임베딩은 벡터 공간에서 가까이 위치하고 그렇지 않은 임베딩은 멀리 위치합니다. 데이터의 의미론적 이해를 코드화하고, 그 결과를 모든 유형의 데이터에 적용하며, 간단한 데이터 분석 도구를 제공하는 이 모든 과정을 통해 조직은 데이터 분석을 위한 새로운 접근방식을 활용할 수 있게 됩니다.

이처럼 BigQuery 데이터에 대해 벡터 유사성 검색을 지원하는 BigQuery 벡터 검색이 정식 버전(GA)으로 출시되었다는 기쁜 소식을 전해드립니다. 흔히 근사 최근접 이웃 검색으로도 알려져 있는 이 기능은 대규모 언어 모델(LLM)을 사용한 검색 증강 생성(RAG), 시맨틱 검색, 유사성 감지 등 수많은 새로운 데이터 및 AI 사용 사례를 지원하는 데 중요한 역할을 합니다.

지난 2월에 첫선을 보인 BigQuery 벡터 검색은 데이터 플랫폼 내에 임베딩 생성, 관리, 검색 기능을 통합하여 이상 감지, 멀티모달 검색, 제품 추천, 신약 개발 등 다양한 사용 사례를 지원하는 통합형 서버리스 벡터 분석 솔루션을 제공합니다.

BigQuery 벡터 검색에 필요한 역파일 색인(IVF)도 이번에 정식 버전으로 출시되었습니다. 이 색인은 k-평균 알고리즘을 사용해 벡터 데이터를 클러스터링하고 이를 이중 색인(two-piece index)에서 역방향 행 로케이터와 결합하여 데이터의 유사한 임베딩 표현을 효율적으로 검색할 수 있게 합니다. IVF는 프리뷰 버전 출시 이후 다음과 같은 몇 가지 개선사항이 새롭게 포함되었습니다.

확장성 향상: 100억 개의 임베딩 색인을 생성하여 대규모로 애플리케이션을 지원할 수 있습니다.
정확성이 보장되는 관리형 색인: 기본 데이터가 변경되면 기존 k-평균 모델을 사용해 자동으로 벡터 색인이 업데이트됩니다. 시스템에서 수정된 데이터의 색인을 다시 생성하기도 전에 벡터 검색은 데이터의 최신 변형을 기반으로 올바른 결과를 반환합니다.
저장된 열 사용: 이제 자주 사용하는 열을 색인에 저장할 수 있어 검색 결과에서 추가 데이터를 검색할 때 비용이 많이 드는 조인을 피할 수 있습니다. 이 최적화는 결과-집합 카디널리티가 높은 시나리오에서 가장 두드러진 성능 향상을 보입니다. 쿼리 데이터에 대량의 임베딩이 포함되어 있거나 높은 Top-K를 필요로 하는 경우가 이에 해당합니다. 예를 들어 10억 개의 96차원 임베딩이 있는 테이블에서 특정 임베딩과 가장 유사한 1,000개의 후보를 반환할 때 저장된 열이 있는 벡터 색인을 사용하면 저장된 열이 없는 경우보다 약 200배 더 적은 슬롯으로 약 4배 더 빠르게 반환할 수 있습니다.
사전 필터: 벡터 검색 결과를 저장된 열과 결합하면 기본 테이블 문을 필터가 적용된 쿼리로 재작성하여 사전에 필터링할 수 있습니다. VECTOR_SEARCH() 함수 뒤에 WHERE 절을 추가하는 사후 필터링 방식에 비해 쿼리 성능과 검색 품질이 더 좋고 결과가 누락될 위험도 최소화됩니다.

Palo Alto Networks는 BigQuery 벡터 검색을 통해 유사한 공통 쿼리를 찾아 인사이트 도출 시간을 단축한 대표적인 고객사입니다.

“당사는 BigQuery의 벡터 검색을 Copilot에 활용하여 관련성 높은 쿼리 예시를 제안하고 있으며, 덕분에 고객 경험이 크게 향상되었습니다. BigQuery에서 벡터 검색을 설정하고 사용하는 과정이 정말 간편했고 유사성 검색의 성능과 속도가 매우 뛰어났습니다.” - Sameer Merchant, Palo Alto Networks 선임 특별 엔지니어

Vilya의 신약 개발 프로젝트처럼 대규모 워크로드를 처리할 때도 BigQuery 벡터 검색을 활용하면 프로토타입 제작과 프로덕션 진행이 간편하게 이루어집니다. 게다가 주문형 가격 책정 및 예산 평가 도구 덕분에 용량 기반 과금 모델로 원활하게 확장할 수 있었습니다.

“BigQuery의 성능은 정말 인상적이었습니다. 정밀한 질병 생물학 표적화를 위해 새로운 거대고리를 검색하는 데 필요한 생물학적 데이터 규모로 쉽게 확장이 되었습니다. 사용이 간편하고 확장성이 뛰어난 BigQuery의 벡터 검색 덕분에 수십억 개의 거대고리를 빠르게 검색할 수 있었습니다.” - Patrick Salveson, Vilya 공동 창립자 겸 CTO

실전 예시

BigQuery 벡터 검색을 처음 접하셨나요? 실전에서 바로 시작할 수 있는 예시를 소개해 드리겠습니다.

내부 Q&A 포럼에 질문을 게시하기에 앞서 내 질문과 의미상 유사한 기존 질문이 있는지 확인하고 싶다고 가정해 보겠습니다. 또한 질문에 해당하는 임베딩을 생성하여 <my_posts_questions> 테이블에 저장했다고 가정해 보겠습니다. 이제 다음과 같이 벡터 색인을 생성하고 성능 향상을 위해 자주 사용되는 열(예: 제목, 콘텐츠, 태그)을 색인에 저장할 수 있습니다.

code_block: <ListValue: [StructValue([('code', "CREATE OR REPLACE VECTOR INDEX `<index_name>`\r\nON `<my_posts_questions>`(embedding)\r\nSTORING (title, content, tags)\r\nOPTIONS(distance_type='COSINE', index_type='IVF')"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df991f0>)])]>

물론 VECTOR_SEARCH()는 벡터 색인이 없어도 작동하지만 색인을 생성하면 일반적으로 쿼리 성능이 향상될 가능성이 높습니다. 준비가 되면 VECTOR_SEARCH()를 ML.GENERATE_EMBEDDING과 함께 사용하여, 가령 'Android app using RSS crashing(RSS를 사용하는 Android 앱 비정상 종료)'과 유사한 질문을 검색할 수 있습니다. 결과를 세부적으로 조정하기 위해 'tags' 열에 사전 필터를 사용하여 검색 범위를 제한할 수 있습니다.

code_block: <ListValue: [StructValue([('code', "SELECT query.query, base.title, base.content, distance\r\nFROM VECTOR_SEARCH(\r\n ( SELECT * FROM <my_posts_questions> WHERE SEARCH(tags, 'android') ), \r\n 'embedding',\r\n (\r\n SELECT ml_generate_embedding_result AS embedding, content AS query\r\n FROM ML.GENERATE_EMBEDDING(\r\n MODEL <LLM_embedding_model>,\r\n (SELECT 'Android app using RSS crashing' AS content)\r\n )\r\n ))"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df99400>)])]>

최근에는 Google에서 개발한 ScaNN을 기반으로 한 새 색인 유형의 프리뷰 버전을 발표해 검색 성능을 한층 더 향상할 수 있게 되었습니다. BigQuery 벡터 검색은 발전을 거듭하면서 정형 데이터, 비정형 데이터, 멀티모달 데이터로 구성된 정식 BigQuery 기술 자료에 최첨단 Gemini 모델을 사용하는 멀티모달 검색 증강 생성(RAG) 솔루션의 핵심 구성 요소로 자리 잡았습니다.

지금 시작하기

벡터 임베딩과 머신러닝의 결합은 신속하고 비용 효과적인 임베딩 검색부터 시작해, BigQuery 엔터프라이즈 데이터 웨어하우스에 저장된 데이터로 수행할 수 있는 작업에 혁신을 불러올 것입니다. BigQuery 벡터 검색을 시작하려면 다음 리소스를 살펴보세요.

Document AI Layout Parser를 사용하여 BigQuery에서 RAG 파이프라인을 간단하게 빌드하는 방법

Thu, 16 Jan 2025 01:46:00 +0000

* 본 아티클의 원문은 2024년 11월 8일 Google Cloud 블로그(영문)에 게재되었습니다.

문서 전처리는 검색 증강 생성(RAG) 파이프라인을 빌드할 때 흔히 마주하게 되는 장벽입니다. PDF 같은 문서를, 임베딩 생성에 사용할 수 있도록 관리에 용이한 청크로 파싱하려면 Python 기술과 외부 라이브러리가 필요한 경우가 많습니다. 이 블로그에서는 이러한 프로세스를 간소화하는 BigQuery와 Document AI의 새로운 기능을 살펴보고, 단계별로 예를 들어 설명하겠습니다.

BigQuery의 문서 처리 간소화

BigQuery는 이제 Document AI와의 긴밀한 통합을 통해 RAG 파이프라인 및 기타 문서 중심 애플리케이션을 위한 문서 전처리 기능을 제공합니다. 현재 정식 버전으로 제공되는 ML.PROCESS_DOCUMENT 함수를 통해 Document AI의 Layout Parser 프로세서를 비롯한 새로운 프로세서에 액세스하여 SQL 문법으로 PDF 문서를 파싱하고 청킹할 수 있습니다.

ML.PROCESS_DOCUMENT의 정식 버전은 개발자에게 다음과 같은 새로운 이점을 제공합니다.

개선된 확장성: 최대 100페이지의 대용량 문서를 처리할 수 있을 뿐 아니라 더 빠른 속도로 처리할 수 있음
간소화된 문법: RAG 워크플로에 더 쉽게 통합할 수 있도록 간소화된 SQL 문법 기반으로 Document AI 프로세서와 상호 작용
문서 청킹: RAG 파이프라인에 필요한 문서 청크를 생성하기 위해 Layout Parser와 같은 추가적인 Document AI 프로세서 기능에 액세스

특히, 문서 청킹은 RAG 파이프라인을 빌드하는 데 핵심적이면서도 까다로운 구성요소입니다. Document AI의 Layout Parser는 이 프로세스를 간소화해 줍니다. 이 기능이 BigQuery에서 어떤 방식으로 작동하는지 살펴보고 곧바로 실제 시나리오를 사용하여 그 효과를 확인해 보겠습니다.

aside_block: <ListValue: [StructValue([('title', '$300 상당의 무료 크레딧으로 Google Cloud 데이터 분석을 사용해 보세요'), ('body', <wagtail.rich_text.RichText object at 0x7f279d73f8e0>), ('btn_text', '무료로 빌드 시작하기'), ('href', 'http://console.cloud.google.com/freetrial?redirectPath=/bigquery/'), ('image', None)])]>

RAG용 문서 전처리

대규모 문서를 의미상 연관된 더 작은 단위로 나누면 검색된 정보의 관련성이 향상되어 대규모 언어 모델(LLM)에서 더 정확한 답을 얻을 수 있습니다.

문서 소스, 청크 위치, 구조 정보와 같은 메타데이터를 청크와 함께 생성하면 RAG 파이프라인을 더욱 향상시켜 검색 결과를 필터링하고, 정제하며, 코드를 디버깅하는 것이 가능해집니다.

다음 다이어그램은 기본 RAG 파이프라인의 전처리 단계를 간략하게 보여줍니다.

BigQuery에서 RAG 파이프라인 빌드

손익계산서와 같은 재무 문서는 구조가 복잡하고 텍스트, 숫자, 표가 섞여 있어 비교하기가 쉽지 않을 수 있습니다. Document AI의 Layout Parser로 BigQuery에서 RAG 파이프라인을 빌드하여 연방준비제도의 2023년 Survey of Consumer Finances(SCF, 소비자 재정조사) 보고서를 분석하는 방법을 알아보겠습니다. 이 노트북을 참고하면서 진행해 보세요.

연방준비제도(Federal Reserve)의 SCF 보고서와 같은 복잡한 재무 문서의 경우 기존 파싱 기법을 사용하는 데 큰 어려움이 있습니다. 이 문서는 60페이지에 가까운 분량에 텍스트, 상세한 표, 삽입된 차트가 섞여 있어 신뢰할 수 있는 정보를 추출하기가 어렵습니다. Document AI의 Layout Parser는 이처럼 복잡한 문서 레이아웃에서 주요 정보를 효과적으로 식별하고 추출하는 데 탁월합니다.

Document AI의 Layout Parser를 사용하여 BigQuery RAG 파이프라인을 빌드하는 작업은 일반적으로 다음과 같은 단계로 이루어집니다.

1. Layout Parser 프로세서 만들기

Document AI에서 LAYOUT_PARSER_PROCESSOR 유형의 새 프로세서를 만듭니다. 그런 다음, BigQuery에서 이 프로세서를 가리키는 원격 모델(Remote model)을 만들어 BigQuery가 문서에 액세스하여 처리할 수 있도록 합니다.

2. 프로세서를 호출하여 청크 만들기

Google Cloud Storage 상의 PDF에 액세스하려면 먼저 손익계산서가 있는 버킷에 대한 객체 테이블(Object table)을 만듭니다. 그런 다음, ML.PROCESS_DOCUMENT 함수를 사용하여 객체를 Document AI로 전달하고 BigQuery에서 결과를 반환합니다. Document AI는 문서를 분석하고 PDF를 청킹합니다. 결과는 JSON 객체로 반환되며 소스 URI나 페이지 번호와 같은 메타데이터를 추출하기 위해 쉽게 파싱할 수 있습니다.

Survey of Consumer Finances 보고서(p.12)의 표 요소 샘플 이미지

code_block: <ListValue: [StructValue([('code', 'SELECT * FROM ML.PROCESS_DOCUMENT(\r\n MODEL docai_demo.layout_parser,\r\n TABLE docai_demo.demo,\r\n PROCESS_OPTIONS => (\r\nJSON \'{"layout_config": {"chunking_config": {"chunk_size": 300}}}\')\r\n);'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df99700>)])]>

ML.PROCESS_DOCUMENT에서 JSON을 파싱한 후의 샘플 문서 청크

3. 청크에 대한 벡터 임베딩 만들기

시맨틱 검색을 수행할 수 있도록 ML.GENERATE_EMBEDDING 함수를 사용하여 각 문서 청크에 대한 임베딩을 생성하고 BigQuery 테이블에 작성합니다. 이 함수에는 두 개의 인수가 사용됩니다.

Vertex AI 임베딩 엔드포인트를 호출하는 원격 모델
임베딩할 데이터가 포함된 BigQuery 테이블의 열

ML.GENERATE_EMBEDDINGS에서 반환된 BigQuery의 벡터 임베딩

4. 임베딩에 대한 벡터 색인(Vector Index) 만들기

시맨틱 유사성을 바탕으로 대규모 청크를 효율적으로 검색하기 위해 임베딩에 대한 벡터 색인을 만듭니다. 벡터 색인이 없으면 검색을 수행하기 위해 각 쿼리 임베딩을 데이터 세트의 모든 임베딩과 비교해야 하는데, 이러한 작업은 다수의 청크를 처리할 때 컴퓨팅 비용이 많이 들고 속도도 느립니다. 벡터 색인은 근사 최근접 이웃(Approximate Nearest Neighbor) 검색과 같은 기법을 사용하여 이 프로세스의 속도를 높입니다.

code_block: <ListValue: [StructValue([('code', 'CREATE VECTOR INDEX my_index\r\nON docai_demo.embeddings(ml_generate_embedding_result)\r\nOPTIONS(index_type = "TREE_AH",\r\n distance_type = "EUCLIDIAN"\r\n);'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df99eb0>)])]>

5. 관련 청크를 검색하여 LLM으로 보내고 답변 생성하기

이제 벡터 검색을 수행하여 입력 쿼리와 의미상 유사한 청크를 찾을 수 있습니다. 여기에서는 이 보고서에서 다루는 내용으로서 3년 동안 일반적인 가구의 순자산이 어떻게 변화했는지 살펴보겠습니다.

code_block: <ListValue: [StructValue([('code', 'SELECT\r\n ml_generate_text_llm_result AS generated,\r\n prompt\r\nFROM\r\n ML.GENERATE_TEXT( MODEL `docai_demo.gemini_flash`,\r\n (\r\n SELECT\r\n CONCAT( \'Did the typical family net worth change? How does this compare the SCF survey a decade earlier? Be concise and use the following context:\',\r\n STRING_AGG(FORMAT("context: %s and reference: %s", base.content, base.uri), \',\\n\')) AS prompt,\r\n FROM\r\n VECTOR_SEARCH( TABLE \r\n `docai_demo.embeddings`,\r\n \'ml_generate_embedding_result\',\r\n (\r\n SELECT\r\n ml_generate_embedding_result,\r\n content AS query\r\n FROM\r\n ML.GENERATE_EMBEDDING( MODEL `docai_demo.embedding_model`,\r\n (\r\n SELECT\r\n \'Did the typical family net worth increase? How does this compare the SCF survey a decade earlier?\' AS content\r\n )\r\n ) \r\n ),\r\n top_k => 10,\r\n OPTIONS => \'{"fraction_lists_to_search": 0.01}\') \r\n ),\r\n STRUCT(512 AS max_output_tokens, TRUE AS flatten_json_output)\r\n );'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f279df99160>)])]>

검색된 청크는 ML.GENERATE_TEXT 함수를 통해 전송되며 이 함수는 Gemini 1.5 Flash 엔드포인트를 호출하고 질문에 대한 간결한 답변을 생성합니다.

답을 확인해 보면, 중위 가구의 순자산은 2019년에서 2022년 사이에 37% 증가했습니다. 이는 10년 전 조사 기간에 확인된 2% 감소라는 결과에 비해 상당히 증가한 수치입니다. 원본 문서를 확인해 보면 이러한 정보가 텍스트, 표, 각주에 포함되어 있어 기존의 방식으로는 파싱하고 결과까지 함께 추론하기가 까다로운 부분임을 알 수 있습니다.

이 예에서는 기본적인 RAG 흐름을 살펴봤지만, 실제 애플리케이션에서는 지속적인 업데이트가 필요한 경우가 많습니다. 매일 새로운 재무 보고서가 Cloud Storage 버킷에 추가되는 시나리오를 생각해 보세요. RAG 파이프라인을 최신 상태로 유지하려면 BigQuery Workflows 또는 Cloud Composer를 사용하여 새로운 문서를 점진적으로 처리하고 BigQuery에서 임베딩을 생성하는 것을 고려하세요. 기본 데이터가 변경되면 벡터 색인이 자동으로 새로고침되어 항상 최신 정보를 쿼리할 수 있습니다.

BigQuery에서 문서 파싱 시작

Document AI의 Layout Parser와 BigQuery 간 통합 덕분에 개발자는 강력한 RAG 파이프라인을 더 쉽게 빌드할 수 있습니다. ML.PROCESS_DOCUMENT 및 기타 BigQuery 머신러닝 기능을 활용하면 SQL을 사용하여 BigQuery 내에서 문서 전처리 간소화, 임베딩 생성, 시맨틱 검색을 모두 수행할 수 있습니다.

자세히 알아볼 준비가 되셨나요? 아래 링크의 리소스와 문서를 살펴보세요.

의견이나 질문이 있다면 bqml-feedback@google.com을 통해 알려주세요.

Shopify에서 실시간 ML로 소비자 검색 의도를 개선한 방법

Wed, 15 Jan 2025 15:53:00 +0000

* 본 아티클의 원문은 2024년 10월 16일 Google Cloud 블로그(영문)에 게재되었습니다.

빠르게 변화하는 상거래 환경 속에서 Shopify 판매자는 잠재고객에게 관련성 높은 제품을 원활하고 안정적으로 제공할 수 있는 Shopify 플랫폼의 이점을 십분 활용하고 있습니다. 풍부하고 직관적인 검색 경험은 Shopify 서비스의 핵심입니다.

지난 한 해 동안 Shopify는 판매자의 오프라인 매장에 AI 기반 검색 기능을 통합했습니다. Shopify의 오프라인 매장 검색 기능은 소비자의 온라인 쇼핑 방식을 혁신했습니다. 특히 시맨틱 검색을 활용해 키워드 검색을 넘어 소비자 검색 이면의 의도를 더 깊이 이해하면서 가장 관련성 높은 제품을 검색 결과로 제공할 수 있었습니다.

그 결과, 판매자는 매출을 높이고 소비자는 더 나은 상호작용 경험을 누리면서 모두에게 이익이 되었습니다.

실시간 임베딩을 사용한 ML 애셋 구축

비슷한 시기에 Shopify는 기반이 되는 머신러닝(ML) 애셋을 생성하는 데 투자하기 시작했습니다. 이 애셋은 ML 기본 요소의 공유 저장소 형태로 구축되며, 보다 정교한 AI 시스템을 개발하는 빌딩 블록으로 재사용됩니다. Shopify 오프라인 매장 검색은 이러한 ML 애셋을 활용한 최적의 사용 사례입니다. 이와 같은 복잡한 시스템에는 텍스트와 이미지를 모두 처리 가능한 데이터 형식으로 변환할 수 있는 기본 요소가 필요합니다.

그렇다면 어떻게 해야 할까요?

텍스트 콘텐츠와 시각적 콘텐츠를 고차원 공간에서 수치형 벡터로 변환하는 임베딩을 활용하면 됩니다. 이 변환을 통해 텍스트나 이미지 등 서로 다른 콘텐츠 간의 유사성을 측정할 수 있어 보다 정확하고 맥락적으로 관련성 높은 검색 결과를 얻을 수 있습니다.

임베딩을 사용하여 검색 텍스트를 결과 코퍼스와 비교하는 간단한 예시

Shopify 오프라인 매장 검색에 사용되는 ML 기본 요소를 명확하게 이해했으니 이제 이러한 임베딩 업데이트를 시스템에 보내는 방식을 살펴보겠습니다.

ML 추론 스트리밍 파이프라인 설계

현재 Shopify는 이미지 및 텍스트 파이프라인 전반에서 초당 약 2,500개의 임베딩(하루 약 2억 1,600만 개)을 거의 실시간으로 처리하고 있습니다. 이러한 임베딩에는 판매자의 순 신규 콘텐츠와 업데이트된 콘텐츠가 포함됩니다. 데이터 플랫폼 인프라 대부분이 BigQuery에서 설계되었으므로 Google Cloud의 스트리밍 분석 서비스인 Dataflow를 사용하여 이러한 파이프라인을 구동합니다. Dataflow의 기본 스트리밍 기능, 전체 Google Cloud 생태계와의 간편한 통합, 끊임없이 진화하는 AI 및 데이터 니즈에 맞춘 확장 가능성이 Dataflow를 선택한 이유입니다.

이 설계의 전반적인 아키텍처는 꽤 단순합니다. 이미지 임베딩 스트리밍 파이프라인을 예로 들어 살펴보겠습니다.

시작 시 임베딩 모델이 로드됩니다.
파이프라인은 판매자 웹사이트에서 이미지가 생성되거나 수정되었음을 알리는 입력 이벤트 주제의 새 이벤트를 리슨합니다.
추론 실행 전에 새 이벤트가 사전 처리됩니다.

이미지를 작업자 머신에 다운로드합니다.
메모리에 이미지를 로드합니다.
이미지 크기를 조정합니다.

다음으로 이미지에 해당하는 임베딩 벡터가 생성됩니다.
임베딩에 최종 후처리가 적용됩니다.
임베딩이 작성되는 위치는 다음과 같습니다.

오프라인 분석을 위한 데이터 웨어하우스(보고서, 대시보드)
다운스트림 실시간 수집을 위한 출력 이벤트 주제(Shopify 오프라인 매장 검색)

Shopify가 더 단순한 일괄 처리 솔루션 대신 실시간에 가까운 임베딩을 선택한 이유가 궁금하실지도 모릅니다. 왜 파이프라인의 복잡성이 커질 수 있는 선택을 했을까요? 판매자와 고객은 Shopify 플랫폼에서 매끄러운 경험을 기대합니다. 판매자는 제품을 수정하거나 새로운 이미지를 업로드하는 즉시 이러한 업데이트가 웹사이트에 반영되길 바랍니다. 게다가 Shopify의 궁극적인 목적은 판매자의 매출을 높이면서 소비자에게 만족스러운 상호작용이 이루어지는 환경을 제공하는 것입니다. Shopify에서 조사한 결과에 따르면, 스트리밍 파이프라인을 통해 최신 임베딩을 유지할 때 일괄 처리 솔루션과 비교해 복잡성은 더 커지지만 앞서 설명한 목표에 맞는 최적화가 가능합니다.

스트리밍 파이프라인 유지보수에 따른 과제

스트리밍 파이프라인의 유지보수는 실제로 꽤 까다롭습니다. 여기에 GPU 가속 추론을 추가하면 더 복잡해집니다. 결과적으로 비용, 처리량, 지연 시간 사이에서 의미 있는 균형점을 계속 찾기 위해 몇 가지 기술 관련 결정을 내려야 했습니다. 그중 몇 가지를 소개합니다.

1. 메모리 내 데이터 관리이미지 임베딩 파이프라인을 배포할 때 가장 처음 선택한 Dataflow 기반 작업자 머신은 NVIDIA T4 GPU가 탑재된 n1-standard-16이었습니다. 그러나 메모리 부족(OOM) 오류가 발생하기 시작했습니다. 이미지가 소모하는 상당량의 메모리를 고려할 때 자연스러운 일이었습니다.

첫 번째 해결책은 작업자의 메모리 확장이었습니다. 그래서 n1-highmem-16 머신으로 전환해 작업자 메모리를 60GB에서 104GB로 확장했습니다. 이 방법은 한동안 효과적이었으나 비용이 14% 증가하는 결과를 낳았습니다. 결국 보다 나은 장기적 해결책이 필요했습니다.

이후 Dataflow 내부 구조를 더 잘 파악하기 위한 여정이 시작되었습니다. Dataflow의 Python Runner는 작업자의 하드웨어 활용도를 극대화하기 위해 일반적으로 머신에서 코어당 하나의 프로세스를 생성합니다. 따라서 n1-highmem-16 머신에서 병렬 처리 수를 최대화하면 16개의 프로세스를 실행할 수 있습니다. 그뿐 아니라 동시 실행을 늘리기 위해 이러한 각 프로세스는 기본적으로 12개의 스레드를 생성하며 각 스레드에는 추론을 실행하기 위한 요소가 할당됩니다.

즉, 16개의 프로세스가 실행될 때 동시에 요소를 처리하는 스레드가 16x12 = 192개가 됩니다. 이는 메모리에서 대략 192개의 이미지가 동시 실행된다는 의미로 해석됩니다. 실제로 요소가 번들로 묶이는 경우를 고려하면 조금 더 복잡해지지만 여기서는 다루지 않겠습니다.

다행히 Dataflow Runner를 사용하면 number_of_worker_harness_threads를 설정하여 스레드 수를 제어할 수 있습니다. 간단한 계산만으로도 스레드 수를 4개로 줄이면 이론상 메모리 사용량이 3배 감소한다고 예측할 수 있었습니다(예: 4x16 = 64개 스레드, 192/64 = 3). 스레드 수를 줄이면 자연스럽게 동시 실행이 적어져서 파이프라인의 전처리 단계 처리량이 감소합니다. 하지만 이 파이프라인은 이미 GPU에 의해 처리량이 제한되고 있기 때문에 GPU로 처리 가능한 수준을 초과해 이미지를 축적하고 있었으며 결과적으로 스레드 수 감소는 추론 단계의 처리량에는 큰 영향을 미치지 않았습니다.

이 변화는 어떤 결과를 가져왔을까요? 이전에는 고메모리 머신의 최대 메모리 용량이 항상 104GB를 상회했습니다. 이 변화 이후에는 메모리 사용량이 약 2.6배 줄어든 40GB에 가까워졌습니다. 결과적으로 n1-standard-16 머신으로 다시 전환해 추가된 14%의 비용을 절감할 수 있었습니다.

2. 메모리에서 모델 관리Apache Beam은 일괄 파이프라인 또는 스트리밍 파이프라인에서 추론을 실행하기 위한 두 가지 개념을 제공합니다.

ModelHandler: 추론에 사용될 ML 모델을 정의합니다.
RunInference: ModelHandler를 기반으로 임베딩을 생성하는 변환입니다.

기본적으로 작업자의 각 프로세스는 GPU에 임베딩 모델의 자체 인스턴스를 로드합니다. 앞서 설명한 것처럼 n1-standard-16을 사용하고 있기 때문에 모델은 GPU의 메모리에 16번 로드되고 있었습니다. 이 경우 더 많은 모델 인스턴스가 동시 로드로 실행될 수 있어 처리량은 물론 메모리 소비량도 높아지게 됩니다.

처음에는 모델이 메모리에 로드되는 방식을 제어할 수 있는지 판단하여 모델의 메모리 사용량을 줄이는 방안을 살펴봤습니다. 가장 직관적인 해결책은 ModelHandler가 프로세스 전반에 모델을 공유 프로세스 전반에 모델을 공유 (share_model_across_processes)하도록 설정하는 것입니다.

code_block: <ListValue: [StructValue([('code', 'class MyModelHandler(ModelHandler):\r\n ...\r\n\r\n def share_model_across_processes(self) -> bool:\r\n return True'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b91ae610>)])]>

이렇게 하면 모델이 공유 프로세스에 한 번만 로드되고 VM 기반 Pythorn 프로세스는 이 모델을 쿼리하여 추론을 수행합니다.

이 해결책은 메모리 소비량을 크게 줄이지만 병렬 처리 수 감소로 인해 처리량도 현저하게 줄어듭니다. 처리량 감소로 인해 이 접근 방식은 포기했습니다.

또 다른 해결책으로 작업자별로 생성되는 Python 프로세스 수를 제어하는 방안을 생각해 냈지만 현재로서는 실현 가능하지 않습니다. 유일한 해결책은 experiments=no_use_multiple_sdk_containers를 사용 설정하여 강제로 Dataflow Runner가 작업자당 하나의 프로세스만 생성하도록 하는 것입니다. 하지만, 이에 따라 처리량이 크게 감소하기 때문에 이 해결책을 선택하지 않았습니다.

결과적으로, 임베딩 모델의 규모는 추가적인 메모리 최적화가 필요하지 않을 만큼 작기 때문에 Dataflow의 기본 설정을 유지하기로 했습니다.

3. 일괄 처리일반적으로 CPU 활용도가 80%를 넘으면 스래싱 (thrashing)이 발생할 수 있어 피하는 것이 좋지만 GPU는 활용도가 100%에 가까울수록 이상적입니다. 처음 들었다면 놀라셨을지도 모릅니다. 이는 GPU 스트리밍 멀티 프로세서(SM)는 스레드 간 전환 비용이 거의 없기 때문입니다.

GPU의 높은 처리량으로 인해 호스트(CPU)와 기기(GPU) 간 데이터 전송이 스트리밍 데이터 파이프라인의 병목 현상을 일으키는 경우가 대부분입니다. 실제로는 GPU의 전역 메모리와 커널을 실행하는 SM 간 데이터 전송도 병목 현상을 일으키는 주요 요소이지만 이 블로그 글에서는 다루지 않습니다. 이때 일괄 처리는 작업자 GPU를 최대한 활용하는 데 중요한 역할을 합니다.

다행히도 Apache Beam은 스트리밍 파이프라인에서 데이터를 일괄 처리할 수 있는 유용한 시맨틱스를 제공합니다. ModelHandler에서 batch_element_kwargs 메서드를 재정의하여 GPU에 전송할 원하는 일괄 처리를 정의할 수 있었습니다.

code_block: <ListValue: [StructValue([('code', "class MyModelHander(ModelHandler):\r\n ...\r\n\r\n def batch_elements_kwargs(self) -> Dict[str, Any]:\r\n return {\r\n 'min_batch_size': 1,\r\n 'max_batch_size': 5,\r\n }"), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f27b91ae2e0>)])]>

아직 문제가 해결되기에는 이릅니다.

여전히 GPU로 전송되는 일괄 처리의 크기가 1입니다. 어떻게 된 걸까요?

RunInference는 일괄 처리를 수행하기 위해 내부적으로 BatchElements 변환을 사용합니다. 기본적으로 데이터를 일괄 처리하는 두 가지 방법이 있습니다. 데이터 일괄 처리를 기존 번들 내에서 시도하거나 스테이트풀(Stateful) 구현을 사용해 번들 전반에서 시도할 수 있습니다.

번들은 병렬 처리를 관리하기 위한 Dataflow 개념입니다. 기본적으로 함께 처리되는 요소의 모음을 번들이라고 합니다. 번들은 Dataflow Runner에 의해 결정되며 사용자가 직접 제어할 수 없습니다.

이 사례에서는 파이프라인의 입력 주제의 급증으로 인해 요소가 번들 1에 구성되고 있었습니다. 즉 Dataflow는 의미 있는 방식으로 요소를 일괄 처리할 수 없었습니다. 한편 max_batch_duration_secs를 추가하면 스테이트풀(Stateful) 일괄 처리 시 사용자가 원하는 일괄 처리 크기를 보장하려고 하지만 지연 시간이 늘어납니다. 이 문제는 주로 Dataflow Runner가 셔플을 강제하기 때문에 발생합니다.

결국 앞서 설명한 것처럼 Dataflow가 프로세스별로 모델 인스턴스를 로드하는 구조 때문에 GPU를 최대한 활용할 수 있습니다. 이 방식은 호스트(CPU)와 기기(GPU) 간에 데이터 전송 수가 늘어나는 것을 상쇄할 수 있을 만큼 충분한 병렬 처리를 생성합니다. 결과적으로, 지연 비용이 너무 높아 번들 내 일괄 처리 옵션을 유지하기로 했습니다. 지금도 이 분야의 권장사항을 찾기 위해 열심히 연구하는 중입니다.

결론

Shopify의 실시간 임베딩 파이프라인은 중앙화된 ML 애셋으로 텍스트 및 이미지 임베딩을 전송하며, 혁신을 지원하는 강력한 빌딩 블록으로서 멋진 신제품을 구축하는 기반이 됩니다. 시맨틱 검색은 그중 하나의 예시일 뿐입니다. 현재 Shopify는 사내 여러 팀과 협업하면서 해결할 가치가 있는 문제와 이를 해결하기 위해 구축할 수 있는 중앙화된 ML 애셋을 계속 모색하고 있습니다.

다음 단계

Shopify의 머신러닝에 대해 자세히 알아보고 싶으신가요? Shopify의 Building Shopify Inbox’s Message Classification Model 블로그 글을 확인해 보세요.

Dataflow ML 사용을 시작하고 싶으신가요? 이 문서를 확인해 보세요.

PayPal의 실시간 혁신: 스트리밍 분석을 위해 Google Cloud로 마이그레이션

Tue, 03 Dec 2024 02:00:00 +0000

* 본 아티클의 원문은 2024년 12월 3일 Google Cloud 블로그(영문)에 게재되었습니다.

PayPal은 25년이 넘는 시간 동안 전 세계 상거래를 혁신하는 것을 주요 사명으로 삼고 달려왔습니다. PayPal은 약 200개 시장에서 재화의 이동, 판매, 쇼핑을 간소화하고 개인화하며 보호하는 혁신적인 경험을 만들어 소비자와 기업을 지원하고 있습니다. 따라서 판매자와 소비자 모두에게 제공되는 서비스의 가용성을 보장하는 것이 매우 중요합니다.

Dataflow와 함께한 PayPal의 여정은 성공적이었습니다. 스트리밍 분석 문제를 해결하고, 새로운 기회를 활용할 뿐 아니라, 보다 안정적이고 효율적이며 확장 가능한 모니터링 가능성 플랫폼을 구축할 수 있었습니다.

PayPal의 모니터링 가능성 플랫폼팀은 개발자, 기술 계정팀, 제품 관리자를 위한 원격 분석 플랫폼을 제공하는 업무를 맡고 있습니다. 이 팀에서는 측정항목과 trace를 수신, 처리하고 백엔드로 내보내는 데 SDK, 개방형 원격 분석 수집기, 데이터 스트리밍 파이프라인을 사용합니다. PayPal 개발자들은 이 모니터링 가능성 플랫폼을 사용하여 원격 분석 데이터로 최단 시간 내에 문제를 감지하고 해결합니다. Java, Go, Node.js와 같은 다양한 스택에서 실행되는 애플리케이션에서 하루 약 3페타바이트의 로그가 생성되기 때문에 로그 기반 측정항목과 trace를 생성하려면 처리량이 많고 지연 시간이 짧은 강력한 데이터 스트리밍 솔루션이 필수적입니다.

2023년까지는 PayPal의 모니터링 가능성 플랫폼에서 자체 관리형 Apache Flink 기반 인프라를 사용해 측정항목 및 스팬을 생성하는 로그 기반 파이프라인을 스트리밍했습니다. 하지만, 이 솔루션에는 여러 가지 문제가 있었습니다.

안정성: 대부분의 파이프라인에 체크포인트가 없어서 재시작 중에 데이터가 손실되는 등 시스템의 안정성이 매우 낮았습니다.
효율성: 시스템 관리에 비용이 많이 들고 관리가 비효율적이었습니다. 또한 드물게 발생하더라도 최대 부하에 대비하여 파이프라인을 계획해야 했습니다.
보안: 배포의 보안 가이드라인 준수 수준이 충분하지 않았습니다.
클러스터 관리: 클러스터 생성 및 유지보수가 수작업으로 이루어져 엔지니어링에 상당히 많은 시간이 들었습니다.
커뮤니티 지원: 독점 솔루션이었기 때문에 커뮤니티 지원과 협업이 제한적이었습니다.
소프트웨어 업그레이드: 맞춤설정을 위해서는 바이너리를 업데이트해야 했지만, 더 이상 지원되지 않았습니다.
장기적인 지원: 이 솔루션은 판매 종료된 제품이었기 때문에 비즈니스 연속성에 대한 리스크가 있었습니다.

PayPal은 이 같은 문제를 해결하고 새로운 기회를 창출할 수 있는 클라우드 네이티브 솔루션이 필요했습니다. 주요 요구사항은 다음과 같았습니다.

손쉬운 확장성: 자동 확장 및 리소스 최적화를 통해 방대한 양의 데이터와 변동하는 워크로드를 처리할 수 있어야 합니다.
비용 절감: 리소스 사용률을 최적화하고, 비용이 많이 드는 인프라 관리 부담이 없어야 합니다.
원활한 통합: PayPal 생태계 내에서 다른 데이터 및 AI 도구와 연결할 수 있어야 합니다.
실시간 AI/ML 지원: 데이터 보강, 모델 학습, 실시간 추론에 고급 스트리밍 ML 기능을 활용할 수 있어야 합니다.

광범위한 조사와 성공적인 개념 증명 끝에 PayPal은 Google Cloud의 Dataflow로 마이그레이션하기로 결정했습니다. Dataflow는 Apache Beam을 기반으로 한 완전 관리형 서버리스 스트리밍 분석 플랫폼으로서 뛰어난 확장성, 유연성, 비용 효율성을 제공합니다.

마이그레이션 프로세스는 다음을 포함하는 몇 가지 주요 단계로 이루어졌습니다.

초기 POC: PayPal에서 Dataflow의 기능이 특정 요구사항을 충족하는지 테스트하고 검증했습니다.
수집 계층 전환: Dataflow와의 원활한 통합을 위해 Apache Pulsar에서 Apache Kafka로 전환했습니다.

파이프라인 최적화: PayPal은 Google Cloud 전문가와 협업하여 파티셔닝 스키마를 재설계하고 데이터 셔플링을 최적화하는 등 효율성이 극대화되도록 파이프라인을 세부 조정했습니다.

기술적 이점

Dataflow의 자동 확장 기능은 실시간 데이터 수요에 따라 리소스를 동적으로 조정하여 일관된 성능과 비용 효율성을 보장합니다. 강력한 상태 관리 기능으로 복잡한 스트리밍 작업에서 신뢰할 수 있는 정확한 실시간 인사이트를 수집하는 한편, 데이터를 처리할 때 지연 시간을 최소화하여 더 빠른 의사 결정에 도움이 되는 최신 인사이트를 확보할 수 있습니다. 또한 Dataflow의 포괄적인 모니터링 도구, 다른 Google Cloud 서비스와의 통합으로 문제 해결 및 성능 최적화가 간소화됩니다.

그림 2. 시간에 따른 단계별 데이터의 최신성을 보여주는 실행 세부정보 탭과 데이터 최신성에 대한 이상치 경고가 표시된 예시 이미지

비즈니스 이점

Dataflow의 서버리스 아키텍처와 동적 리소스 할당으로 인해 PayPal의 인프라 및 운영 비용이 크게 절감되었습니다. 중요한 스트리밍 파이프라인의 안정성과 업타임이 향상되어 비즈니스 연속성도 커졌습니다. 또한 Dataflow의 간소화된 프로그래밍 모델과 풍부한 도구로 개발 및 배포 주기가 가속화되어 개발자 생산성이 개선되었습니다.

비즈니스, 개발자, 커맨드 센터팀에 높은 카디널리티 분석을 제공하기 위해서는 처리량이 많고 지연 시간이 짧은 스트리밍 플랫폼을 구현하는 것이 중요합니다. Dataflow 통합 덕분에 이제 엔지니어링팀은 paypal.com을 연중무휴 모니터링할 수 있는 강력한 플랫폼을 갖추게 되었으며, 이를 통해 PayPal은 소비자와 판매자에게 높은 가용성을 보장할 수 있게 되었습니다. Varun Raju, PayPal 모니터링 가능성 플랫폼 부문 설계자

혁신 지원

무엇보다도 Dataflow 덕분에 PayPal은 당사의 엔지니어링 리소스를 가치가 더 큰 이니셔티브에 집중할 수 있게 되었습니다. 예를 들면 실패한 커스텀 상호작용(FCI)의 실시간 분석을 위해 Google BigQuery와 통합하여 사이트 안정성 엔지니어링팀에 즉각적인 인사이트를 제공하고 있습니다. 또한 실시간 판매자 모니터링을 구현하여 높은 카디널리티 판매자 API 트래픽을 분석해 인사이트 및 리스크 관리를 강화하고 있습니다.

PayPal은 계속해서 Dataflow의 기능을 탐구하고 활용하여 혁신을 주도하고 고객에게 탁월한 경험을 제공할 계획입니다.

Google Cloud Dataflow 시작 방법 자세히 알아보기

BigQuery가 이제 AI를 지원하는 단일 통합 데이터 플랫폼을 제공합니다

Fri, 26 Apr 2024 01:00:00 +0000

*본 아티클의 원문은 2024년 4월 10일 Google Cloud 블로그(영문)에 게재되었습니다.

데이터 분야 리더의 80%가 데이터와 AI 사이의 경계가 모호해지고 있다고 생각합니다. 비즈니스 데이터에 대규모 언어 모델(LLM)을 사용하면 경쟁 우위를 확보할 수 있지만, 이러한 우위를 실현하려면 데이터를 구조화, 준비, 제어, 모델링, 확장하는 방법이 중요합니다.

이미 수만 개의 조직이 데이터 클라우드를 강화하기 위해 BigQuery와 그 통합 AI 기능을 선택하고 있습니다. 하지만 데이터 기반 AI 시대에 조직은 모든 데이터 워크로드를 관리할 수 있는 간단한 방법을 필요로 합니다. 이제 Google은 한 걸음 더 나아가 Google Cloud의 핵심 데이터 분석 기능을 AI를 지원하는 단일 데이터 분석 플랫폼인 BigQuery로 통합합니다. BigQuery는 여러 Google Cloud 분석 서비스의 주요 기능을 단일 제품 환경에 통합하여 BigQuery 테이블의 구조화된 데이터는 물론 이미지, 잠재고객, 문서 등 구조화되지 않은 데이터와 스트리밍 워크로드까지 관리하는 데 필요한 단순성과 확장성을 최고의 가격 대비 성능으로 제공합니다.

BigQuery의 이점:

모든 데이터 유형과 개방형 형식을 지원하여 데이터 및 AI 기반을 확장합니다.
사전 크기 조정이 필요 없으며, 완전 관리형 서버리스 워크로드 관리 모델과 범용 metastore를 통해 규모와 상관없이 데이터를 간편하게 가져올 수 있습니다.
단일 데이터 사본에 여러 언어와 엔진(SQL, Spark, Python)을 지원하여 협업을 수행하는 데이터팀의 유연성과 민첩성을 향상합니다.
기본으로 제공되는 고가용성, 데이터 거버넌스, 엔터프라이즈 보안 기능을 통해 데이터에서 AI까지의 수명 주기를 엔드 투 엔드로 지원합니다.
모든 데이터 사용자를 위해 설계된 통합 제품 환경과 AI 기반 보조 및 협업 기능으로 분석을 간소화합니다.

BigQuery에서 데이터를 처리하면 빠르고 효율적으로 생성형 AI를 데이터에 접목하고 LLM의 이점을 활용할 수 있습니다. BigQuery는 BigQuery ML과 BigQuery DataFrames를 통해 Gemini 모델을 제공함으로써 엔터프라이즈를 위한 멀티모달 생성형 AI를 간소화합니다. Vertex AI가 제공하는 문서 처리 기능 및 음성 텍스트 변환 API와의 확장된 통합, 그리고 비즈니스 데이터에 대한 AI 기반 검색을 가능하게 하는 벡터 기능을 갖춘 BigQuery를 활용하면 구조화되지 않은 데이터에서 가치를 창출할 수 있습니다. 구조화된 데이터와 구조화되지 않은 데이터를 결합하여 얻은 인사이트를 통해 LLM을 더욱 세부적으로 조정할 수 있습니다.

모든 데이터 유형 및 개방형 형식 지원

여러 고객들이 BigQuery에서 세분화된 액세스 제어와 통합 거버넌스를 사용해 구조화 여부와 관계없이 모든 유형의 데이터를 관리하고 있습니다. BigQuery의 통합 스토리지 엔진인 BigLake는 개방형 테이블 형식을 지원하기 때문에 사용자가 기존 오픈소스 및 레거시 도구를 사용해 구조화된 데이터와 구조화되지 않은 데이터에 액세스하는 동시에 통합 데이터 플랫폼의 이점도 활용할 수 있습니다. BigLake는 Apache Iceberg와 Apache Hudi, 그리고 이제 BigQuery와 기본적으로 통합된 Delta Lake를 포함한 모든 주요 개방형 테이블 형식을 지원합니다. 또한 DDL, DML 및 스트리밍 지원을 포함해 Iceberg를 위한 완전 관리형 환경을 제공합니다.

데이터팀은 데이터가 구조화되었는지, 구조화되지 않았는지, 아니면 개방형 형식인지에 관계없이 범용적으로 정의된 데이터에 액세스할 수 있어야 합니다. 이를 지원하기 위해 Google Cloud는 확장 가능한 관리형 런타임 메타데이터 서비스인 BigQuery metastore를 출시합니다. metastore는 범용적인 테이블 정의를 제공하고 분석 및 AI 런타임에 세부 조정된 액세스 제어 정책을 시행할 수 있습니다. 지원되는 런타임에는 Google Cloud, 오픈소스 엔진(커넥터를 통해), 서드 파티 파트너 엔진이 포함됩니다.

단일 데이터 사본에서 여러 언어 및 서버리스 엔진 사용

점점 더 많은 고객이 단일 데이터 사본에서 여러 언어와 엔진을 실행하기를 원하지만, 현재 분석 및 AI 시스템이 파편화되어 있어 어려움을 겪고 있습니다. 이제 BigQuery를 떠나지 않고도 Python 및 PySpark의 프로그래매틱 기능을 데이터에 바로 적용할 수 있습니다.

BigQuery DataFrames는 최소한의 학습 곡선으로 Python의 강력한 성능과 BigQuery의 확장성 및 사용 편의성을 결합합니다. 이 솔루션은 투명하고 최적화된 방식을 통해 메서드를 BigQuery SQL 및 BigQuery ML SQL로 변환하여 Pandas와 scikit-learn에서 400개가 넘는 공통 API를 구현합니다. 데이터 과학자들은 이를 통해 클라이언트 측 역량의 한계를 허물고 BigQuery의 강력한 처리 성능을 활용해 테라바이트급 데이터에서 탐색, 변환, 학습 작업을 수행할 수 있습니다.

Apache Spark는 특히 데이터 엔지니어링 작업에서 널리 사용되는 데이터 처리 런타임으로 자리 잡았습니다. 실제로 지난 한 해 동안 Google Cloud에서 고객의 서버리스 Apache Spark 사용량이 500% 넘게 증가했습니다.¹ BigQuery의 새로 통합된 Spark 엔진을 사용하면 SQL을 다룰 때와 마찬가지로 PySpark를 사용하여 데이터를 처리할 수 있습니다. BigQuery의 다른 구성요소와 마찬가지로 Spark 엔진은 완전히 서버리스이므로 컴퓨팅 인프라를 관리할 필요가 없습니다. 뿐만 아니라 PySpark를 사용해 저장 프러시저를 생성하고 SQL 기반 파이프라인에서 이를 호출할 수도 있습니다.

거의 실시간으로 의사 결정 및 ML 모델 피드

데이터팀은 신호와 인사이트, 작업 사이의 시간을 단축하여 실시간 분석 및 AI 솔루션을 제공해 달라는 요청을 점점 더 많이 받고 있습니다. 이제 BigQuery는 연속적인 SQL 쿼리(제한 없는 SQL 쿼리, 데이터가 SQL 문을 통해 도착하는 즉시 처리)를 지원하여 실시간 스트리밍 데이터를 쉽게 처리할 수 있습니다. BigQuery 연속 쿼리는 데이터 및 AI 플랫폼에 대한 실시간 엔터프라이즈 지식을 제공해 Salesforce와 같은 다운스트림 SaaS 애플리케이션을 강화합니다. 또한, 오픈소스 스트리밍 워크로드를 지원하기 위해 Google Cloud는 Apache Kafka for BigQuery의 프리뷰 버전을 발표합니다. 고객은 버전 업그레이드, 리밸런싱, 모니터링 및 기타 운영상의 번거로움을 걱정할 필요 없이 Apache Kafka를 사용하여 스트리밍 데이터 워크로드를 관리하고 ML 모델을 피드할 수 있습니다.

거버넌스 및 엔터프라이즈 기능으로 분석 및 AI 확장

데이터를 더 쉽게 관리, 탐색, 제어할 수 있도록 지난해 Google Cloud는 데이터 품질, 계보, 프로파일링 등 Dataplex의 데이터 거버넌스 기능을 BigQuery에 바로 도입했습니다. 또한 통합 메타데이터 카탈로그를 기반으로 하는 Dataplex의 강화된 검색 기능을 포함하도록 BigQuery를 확장할 예정입니다. 이러한 기능을 활용하면 데이터 사용자가 Vertex AI의 모델과 데이터 세트를 비롯해 다양한 데이터와 AI 애셋을 탐색할 수 있습니다. 이제 BigQuery의 열 수준 계보 추적을 프리뷰 버전으로 사용할 수 있으며, 곧 Vertex AI Pipelines의 계보 기능도 프리뷰 버전으로 제공될 예정입니다. 세부 조정된 액세스 제어를 위한 거버넌스 규칙도 프리뷰로 제공되어 기업이 메타데이터를 기반으로 거버넌스 정책을 정의할 수 있습니다.

다수의 지리적 리전에 걸친 향상된 중복성을 원하는 고객을 위해서는 BigQuery를 위한 관리형 재해 복구 기능을 도입합니다. 현재 프리뷰로 제공되는 이 기능은 컴퓨팅 및 스토리지에 자동화된 장애 조치를 제공하며, 비즈니스에 필수적인 워크로드에 맞춤화된 새로운 지역 간 서비스수준계약(SLA)을 제공할 것입니다. 관리형 재해 복구 기능은 BigQuery Enterprise Plus 버전의 가격에 포함된 보조 리전에서의 대기 컴퓨팅 용량을 제공합니다.

모든 데이터 사용자를 위한 통합 환경

데이터 분석을 위한 Google Cloud의 단일 통합 플랫폼인 BigQuery는 데이터팀의 업무 수행 방식을 BigQuery Studio로 통합합니다. BigQuery Studio는 이제 정식 버전으로 출시되었으며, 모든 데이터 실무자가 데이터에서 AI로 이어지는 워크플로를 가속화하는 데 사용할 수 있는 협업용 데이터 작업공간을 데이터팀에 제공합니다. BigQuery Studio를 사용하면 데이터의 규모나 형식, 위치와 관계없이 하나의 통합된 분석 작업공간에서 SQL, Python, PySpark, 그리고 자연어를 사용할 수 있습니다. 팀 협업 및 버전 제어를 포함한 전체 수명 주기 기능을 통해 BigQuery Studio의 모든 개발 관련 자산을 활용할 수 있습니다. Next ‘23에서 BigQuery Studio가 출시된 후로 수십만 명의 사용자가 새로운 인터페이스를 적극적으로 사용하고 있습니다.²

AI 보조 및 협업 환경을 지원하는 BigQuery의 Gemini

Google Cloud는 BigQuery의 Gemini를 위한 새로운 혁신 몇 가지를 발표했습니다. 이러한 혁신은 데이터 준비, 분석, 엔지니어링을 돕는 AI 기반 환경, 그리고 사용자 생산성 향상 및 비용 최적화를 위한 지능형 추천을 통해 데이터팀을 지원하도록 설계되었습니다. 자연어 입력이 가능한 AI 중심 환경인 BigQuery 데이터 캔버스는 데이터 검색과 탐색, 분석을 더 빠르고 직관적으로 수행할 수 있도록 도와줍니다. BigQuery의 AI 증강 데이터 준비 기능은 사용자가 데이터를 정리 및 랭글링하고 로우 코드 방식으로 시각적 데이터 파이프라인을 빌드하거나 기존 파이프라인을 다시 빌드하는 데 도움을 줍니다. 또한 BigQuery의 Gemini를 활용하면 간단한 자연어 프롬프트를 사용해 관련 스키마 및 메타데이터를 참조하여 SQL 또는 Python 코드를 작성하고 수정할 수 있습니다.

Deutsche Telekom이 BigQuery 플랫폼을 통해 혁신을 실현한 방법

"Deutsche Telekom은 수평 확장이 가능한 데이터 플랫폼을 현재와 미래의 비즈니스 요구사항을 충족하도록 설계된 혁신적인 방식으로 구축했습니다. Deutsche Telekom이 보유한 단일 데이터 생태계의 중심에 BigQuery를 두고, 모든 데이터팀에서 데이터의 탈중앙화된 사용을 촉진하는 동시에 단일 정보 소스를 유지하기 위한 통합된 접근 방식을 만들었습니다. BigQuery와 Vertex AI를 통해 Deutsche Telekom은 데이터 주권 및 통합된 액세스 제어를 유지하면서 데이터 과학자가 AI 모델을 실험하고 프로덕션화할 수 있는 관리되고 확장 가능한 공간을 구축했습니다. 이를 통해 LLM을 실무에 신속하게 배포하여 데이터 엔지니어링 수명 주기를 가속화하고 새로운 비즈니스 기회를 창출할 수 있었습니다." - Ashutosh Mishra, Deutsche Telekom 데이터 아키텍처 부문 부사장

AI 지원 데이터 플랫폼 구축 시작하기

AI 지원 데이터 플랫폼 구축에 관해 자세히 알아보고 구축을 시작하려면 차세대 BigQuery를 지금 바로 살펴보세요. BigQuery의 Gemini에 적용된 최신 혁신에 대해 자세히 알아보고 Google Gloud가 추구하는 데이터 분석의 미래를 간략히 살펴보세요.

^{1. Google 내부 데이터 - Google Cloud에서 Apache Spark를 사용하여 처리된 데이터의 전년 대비 증가율(2023년 2월과 비교한 수치).}

^{2. 2023년 8월 BigQuery Studio 발표 이후, 월간 활성 사용자 수는 지속적으로 증가함.}

새로운 기능으로 생성형 AI 앱을 지원할 준비가 된 Google Cloud 데이터베이스

Thu, 11 Apr 2024 01:00:00 +0000

Google Cloud는 고객이 데이터를 통합하고 획기적인 AI와 연결하여 혁신적인 환경을 구축하도록 지원합니다. 운영 데이터베이스의 정형 데이터이든, 데이터 레이크의 비정형 데이터이든 데이터는 AI가 더 효과적으로 작동하도록 해줍니다. 기업에서 생성형 AI를 제대로 활용하기 위해서는 운영 및 분석 시스템 전반의 정형 데이터와 비정형 데이터에 액세스하여 이를 관리하고 활성화해야 합니다.

작년 Next ‘23에서 Google Cloud는 세계 최고 수준의 벡터 기능 제공, 개발자 생태계와의 강력한 통합 구축, AI 추론 서비스에 대한 손쉬운 연결을 포함하여 개발자가 엔터프라이즈 생성형 AI 애플리케이션을 빌드하도록 돕기 위한 비전을 제시했습니다. Google Cloud는 이 약속을 지키기 위해 열심히 노력해 왔으며, 오늘 엔터프라이즈 생성형 AI 앱을 손쉽게 빌드할 수 있는 AlloyDB 통합 기능 모음인 AlloyDB AI의 정식 버전(GA)을 출시합니다.

또한 개발자가 선호하는 데이터베이스를 사용하여 생성형 AI 앱을 빌드하도록 돕기 위해 Spanner, MySQL, Redis를 포함한 더 많은 데이터베이스 전반에 벡터 검색 기능을 구현하고, 언어 모델 기반의 애플리케이션 개발용으로 인기 있는 프레임워크인 LangChain과의 통합도 추가하고 있습니다.

개발자에게 통합 플랫폼을 제공하기 위해 이러한 모든 기능이 Vertex AI와의 기존 통합에 추가되고 있습니다. Spanner와 AlloyDB는 익숙한 SQL로 모델 서빙 및 추론을 수행할 수 있도록 Vertex AI와 기본적으로 통합되며, Firestore와 Bigtable은 Vertex AI 벡터 검색과 통합되어 생성형 AI 앱을 위한 의미 검색 기능을 제공합니다.

생성형 AI의 진정한 가치는 운영 데이터가 생성형 AI와 통합되어 엔터프라이즈 애플리케이션 전반에서 정확하고 상황에 맞는 실시간 경험을 제공할 때 발휘됩니다. 벡터 지원이 포함된 운영 데이터베이스는 기반 모델과 엔터프라이즈 생성형 AI 앱 간의 격차를 해소하는 데 도움이 됩니다. 또한 운영 데이터베이스는 일반적으로 애플리케이션 데이터의 대부분을 저장하므로 개발자가 새로운 AI 지원 사용자 환경을 구축하는 방식에 있어 핵심적인 역할을 합니다. 조직의 71%가 생성형 AI 기능이 통합된 데이터베이스를 사용할 계획인 것으로 나타나는 데에는 바로 이러한 이유가 있습니다. 성공적인 데이터베이스는 AI 우선 데이터베이스로 발전하면서 벡터 검색과 같은 기술을 심층적으로 통합하고, AI 모델에 대한 원활한 연결과 AI 도구 및 프레임워크와의 긴밀한 통합을 갖추게 될 것입니다. 이러한 모든 기술은 운영 데이터베이스 내에 또는 그 주변에 네이티브 방식으로 내장되는 기본 사양이 될 것입니다.

AlloyDB: 생성형 AI 워크로드를 위한 최신 PostgreSQL 데이터베이스

AlloyDB는 Google Cloud의 완전 관리형 PostgreSQL 호환 데이터베이스로, 뛰어난 성능과 규모, 가용성을 중심으로 설계되었습니다. 오늘 Google Cloud는 AlloyDB AI를 AlloyDB와 AlloyDB Omni에서 모두 정식 버전으로 출시합니다. 미래를 위해 설계된 AlloyDB의 특징은 다음과 같습니다.

정확한 실시간 응답이 필요한 엔터프라이즈 생성형 AI 앱에 최적화
트랜잭션, 분석, 벡터 워크로드를 위한 탁월한 성능 제공
온프레미스, 다른 클라우드를 포함해 어디서나 실행되므로 고객의 장소와 상관없이 현대화 및 혁신 가능

Character AI, FLUIDEFI, B4A, Regnology와 같은 고객이 AlloyDB를 사용하여 애플리케이션을 가동하고 있습니다. 예를 들어 Regnology의 규제 보고 챗봇은 자연어 처리를 활용하여 복잡한 규제 용어와 쿼리를 파악합니다.

"AlloyDB는 규제 가이드라인, 규정 준수 문서, 과거 보고 데이터의 저장소를 색인화하여 챗봇의 기반이 되는 동적 벡터 저장소 역할을 합니다. 규정 준수 분석가와 보고 전문가들은 대화 형식으로 챗봇과 상호작용하여 시간을 절약하고 다양한 규제 보고 질문을 처리합니다." - 앙투안 모로, Regnology CIO

모든 Google Cloud 데이터베이스에 걸친 벡터 검색

벡터 검색은 유용하고 정확한 생성형 AI 기반 애플리케이션을 빌드하기 위한 핵심적인 기능으로 부상했으며, 최근접 이웃 알고리즘을 사용하여 제품 카탈로그에서 텍스트, 이미지와 같은 비정형 데이터의 비슷한 검색 결과를 더 쉽게 찾을 수 있게 해줍니다. 오늘 Google Cloud는 MySQL용 Cloud SQL, Memorystore for Redis, Spanner를 포함한 여러 Google Cloud 데이터베이스 전반에 걸쳐 벡터 검색을 모두 프리뷰 버전으로 공개합니다.

작년에 PostgreSQL용 Cloud SQL과 AlloyDB에 출시한 pgvector 기능에 더해 이제 MySQL용 Cloud SQL은 근사(ANN) 또는 정확한 최근접 이웃(KNN) 벡터 검색을 모두 지원합니다. 이제 개발자는 이미 사용 중인 동일한 MySQL 인스턴스에 수백만 개의 벡터를 저장할 수 있습니다. MySQL이든 PostgreSQL이든 벡터 검색에 Cloud SQL을 활용하면 새로운 시스템을 배우거나 설정할 필요 없이 이미 사용 중인 운영 데이터베이스에서 직접 벡터 검색을 저장하고 수행할 수 있습니다.

Google Cloud는 또한 생성형 AI 애플리케이션에 초고속 성능을 제공하기 위해 벡터 스토리지에 대한 기본 지원과 Memorystore for Redis 검색을 출시합니다. 각 Redis 인스턴스는 수천만 개의 벡터를 저장할 수 있으며, 몇 밀리초의 지연 시간으로 벡터 검색을 수행할 수 있습니다. 이는 LLM 시맨틱 캐싱 및 추천 시스템과 같은 다양한 사용 사례를 위한 초저지연 데이터 스토어를 제공합니다.

Spanner는 분할 가능성이 높은 워크로드에 대해 벡터 검색을 확장할 수 있습니다. 수십억 개의 벡터와 초당 수백만 개의 쿼리가 포함된 대규모 벡터 워크로드를 감당할 수 있는 시스템은 많지 않습니다. 이러한 워크로드는 Spanner의 정확한 최근접 이웃 검색(KNN)과 아주 잘 맞습니다. Spanner가 검색 공간을 효율적으로 줄여 주므로 정확한 실시간 결과를 낮은 지연 시간으로 제공할 수 있기 때문입니다.

LangChain을 위한 생태계 지원 가속화

LangChain은 가장 인기 있는 오픈소스 LLM 조정 프레임워크 중 하나입니다. Google Cloud는 애플리케이션 개발자에게 생성형 AI 앱을 신속하게 빌드하는 데 도움이 되는 도구를 제공하기 위한 노력의 일환으로 모든 Google Cloud 데이터베이스에 대한 LangChain 통합을 오픈소스로 제공하고 있습니다. Google Cloud는 벡터 저장소, 문서 로더, 채팅 메시지 메모리를 포함한 세 가지 LangChain 통합을 지원합니다.

개발자는 Google Cloud 데이터베이스에서 LangChain의 강력한 기능을 활용하여 이제 문맥을 인지하는 생성형 AI 애플리케이션을 쉽고 더 빠르게 만들 수 있습니다. LangChain 통합은 개발자가 선호하는 데이터 소스 전반에서, 개발자가 선택한 엔터프라이즈급 Google Cloud 데이터베이스를 사용하는 검색 증강 생성(RAG) 워크플로를 기본 제공합니다. 사용 사례 예시에는 맞춤형 제품 추천, 질의 응답, 문서 검색 및 취합, 고객 서비스 자동화 등이 있습니다.

특정 LangChain 구성요소와의 통합은 Google 데이터베이스를 애플리케이션에 통합하는 프로세스를 간소화해 줍니다. 지원되는 구성요소에는 다음이 포함됩니다.

벡터 저장소: 벡터 유사성 쿼리 지원. LangChain 벡터 저장소 통합은 AlloyDB, PostgreSQL용 Cloud SQL, MySQL용 Cloud SQL, Memorystore for Redis, Spanner에서 제공됩니다.
문서 로더: 웹페이지 콘텐츠, YouTube 동영상 스크립트와 같은 다양한 외부 소스에서 원활한 데이터 로드를 지원합니다.
채팅 메시지 메모리: 과거 대화를 바탕으로 더욱 심층적인 문맥을 제공하여 나중에 참조할 수 있도록 채팅 기록을 저장할 수 있습니다.

문서 로더와 메모리 통합은 AlloyDB, Firestore, Bigtable, Memorystore for Redis, Spanner와 MySQL용, PostgreSQL용, SQL Server용 Cloud SQL을 포함한 모든 Google Cloud 데이터베이스에서 사용할 수 있습니다.

이 패키지는 현재 GitHub에서 사용할 수 있습니다.

AI 기반 미래 수용

운영 데이터베이스에는 미래의 혁신적인 생성형 AI 모델과 애플리케이션의 기반이 될 수 있는 데이터가 풍부하게 있습니다. 개발자는 엔터프라이즈급 운영 워크로드에 맞게 AlloyDB AI를 강화하고, Google Cloud 데이터베이스 포트폴리오 전반에 걸쳐 광범위한 벡터 검색 기능을 추가하며, 커뮤니티의 생성형 AI 프레임워크를 수용함으로써 엔터프라이즈 데이터베이스의 풍부한 데이터를 기반으로 하는, 지능적이고 정확하며 유용한 생성형 AI 기능을 애플리케이션에 추가하는 데 필요한 도구를 갖출 수 있습니다.

시작하는 방법을 자세히 알아보려면 2024년 3월 7일 오전 9~10시(태평양 표준시)에 라이브로 진행되는 데이터 클라우드 혁신 라이브 웹 세미나에 참석하세요. 제품 엔지니어링 리더들에게 이러한 최신 혁신에 대한 이야기를 들을 수 있습니다.