Bases de données

Comment obtenir du code SQL de qualité avec l’IA : décryptage des techniques de Text-to-SQL

Mon, 29 Dec 2025 08:00:00 +0000

Pour prendre de bonnes décisions, les entreprises doivent pouvoir exploiter rapidement et avec précision leurs données. Et, dans ce domaine, le langage SQL reste la référence. Avec Gemini, Google peut générer du code SQL directement à partir de requêtes en langage naturel. C’est le principe du « Text-to-SQL ». Cette approche accroît la productivité des développeurs et des analystes, tout en donnant la possibilité aux utilisateurs non techniques d’interagir directement avec les données dont ils ont besoin.

Ainsi, les fonctionnalités Text-to-SQL sont-elles désormais directement présentes dans de nombreux produits Google Cloud :

BigQuery Studio, à la fois dans l’éditeur SQL et l’outil de génération SQL, ainsi que dans SQL node de Data Canvas.
La fonction « Help me code » dans Cloud SQL Studio (Postgres, MySQL et SQL Server), AlloyDB Studio et Cloud Spanner Studio.
AlloyDB AI, qui propose une interface en langage naturel directement connectée à la base de données.
Et via Vertex AI, qui permet d’accéder directement aux modèles Gemini sur lesquels reposent ces différents produits.

Les LLM comme Gemini 2.5, grâce à leurs puissantes capacités de raisonnement et de synthèse, ont permis de réaliser des avancées remarquables dans le domaine du « Text-to-SQL ». À travers cet article, premier d’une série à venir, nous vous proposons d’explorer les rouages techniques des agents Text-to-SQL de Google Cloud. Nous y aborderons les approches les plus avancées pour la construction de contexte et la récupération de tables, la manière d’évaluer efficacement la qualité du Text-to-SQL grâce aux techniques de type LLM-as-a-Judge (des méthodes d’évaluation automatisée où un LLM est utilisé pour juger les performances d’un autre modèle ou de ses propres réponses), les meilleures pratiques en matière de prompting et de post-traitement des LLM, ainsi que les méthodes qui permettent au système de fournir des réponses certifiées correctes avec une fiabilité proche de 100 %.

Relever les défis de la technologie text-to-SQL

Les LLM les plus avancés, comme Gemini 2.5, disposent de capacités de raisonnement qui les rendent particulièrement efficaces pour traduire des questions complexes (formulées en langage naturel) en code SQL fonctionnel, intégrant des jointures, filtres, agrégations et autres concepts complexes.

Prenons un exemple simple réalisé dans Vertex AI Studio pour illustrer la puissance de ces LLM. À partir du prompt « J’ai un schéma de base de données qui contient des produits et des commandes. Écris une requête SQL qui affiche le nombre de commandes de chaussures », Gemini génère du code SQL en s’appuyant sur schéma hypothétique :

code_block: <ListValue: [StructValue([('code', "SELECT COUNT(DISTINCT o.order_id) AS NumberOfShoeOrders FROM orders o JOIN order_items oi ON o.order_id = oi.order_id JOIN products p ON oi.product_id = p.product_id WHERE p.product_name LIKE '%shoe%'."), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f679c365cd0>)])]>

Voici une requête est bien construite… mais théorique. Dès qu’on sort de cet exemple trivial pour passer à une base de données réelle et à de vraies questions d’utilisateurs, le problème se complique. Pour y faire face, il faut enrichir la génération de code avec des méthodes qui :

spécifient le contexte métier,
interprètent correctement l’intention de l’utilisateur,
gèrent les différences entre les différents dialectes SQL.

Voyons comment résoudre chacun de ces défis.

Problème n°1 : spécifier le contexte métier

Tout comme les data analysts et les data engineers, les LLM ont besoin de beaucoup de connaissances — ou de contexte — pour générer du code SQL précis. Ce contexte peut être explicite (à quoi ressemble le schéma ? quelles sont les colonnes pertinentes ? à quoi ressemblent les données ?) ou plus implicite (quelle est la signification exacte d’une donnée ? que représente-t-elle dans un cas d’usage métier précis ?).

L’entraînement spécialisé du modèle, ou fine-tuning, n’est généralement pas une solution viable à grande échelle. Néanmoins, entraîner un modèle sur la structure de chaque base de données ou jeu de données, et suivre en permanence les évolutions de schéma ou du contenu de la base, se révèlerait à la fois trop complexe et trop coûteux. Sans compter que la connaissance métier et la sémantique sont rarement bien documentées et qu’elles sont généralement difficiles à transformer en données d’entraînement exploitables par un modèle.

Par exemple, même le meilleur DBA serait incapable d’écrire une requête correcte pour suivre les ventes de chaussures s’il ne savait pas que, dans la table pcat_extension, la valeur cat_id2 = 'Footwear' correspond à une chaussure. Il en va de même pour les LLM !

Problème n°2 : comprendre l’intention de l’utilisateur

Le langage naturel est moins précis que le langage SQL. Un data-engineer ou un data-analyst confronté à une question ambiguë saura détecter qu’il lui manque des informations et posera les bonnes questions pour clarifier le problème. Un LLM, en revanche, a tendance à vouloir fournir une réponse coûte que coûte, et face à une question ambiguë, il peut être sujet aux hallucinations.

Exemple : prenons une question comme « Quelles sont les chaussures les plus vendues ? » L’ambiguïté de la question saute aux yeux : que signifie exactement « les plus vendues » dans le contexte de l’entreprise ou de l’application ? Est-ce qu’on parle des chaussures qui ont généré le plus de commandes ? De la marque qui a rapporté le plus de chiffre d’affaires ? Faut-il inclure les commandes retournées dans le calcul ? Et combien de modèles doit-on afficher dans le rapport ?

De plus, selon l’utilisateur, les attentes peuvent varier. Pour un data-analyst ou un développeur qui pose une question vague, une requête SQL approximative mais globalement pertinente peut constituer un bon point de départ, car ils sauront la corriger ou l’affiner. En revanche, pour un utilisateur moins technique qui ne connaît pas SQL, il est essentiel de fournir une requête précise et correcte dès le départ car contrairement aux acteurs expérimentés précédents, il n’a pas les compétences pour la vérifier et la modifier. En matière de « text-to-SQL », la clé est de pouvoir poser des questions de suivi pour lever les ambiguïtés, expliquer le raisonnement qui a mené à une réponse et guider l’utilisateur vers ce qu’il cherche réellement.

Problème n°3 : les limites de la génération par LLM

De base, les LLM excellent dans des tâches comme la rédaction créative, le résumé ou l’extraction d’informations à partir de documents. Mais certains modèles ont plus de mal à suivre des instructions précises et à restituer les détails avec exactitude, en particulier lorsqu’il s’agit de fonctionnalités SQL peu usitées. Pour produire du SQL correct, le LLM doit s’en tenir strictement à des spécifications qui peuvent rapidement devenir complexes.

Exemple : prenons les différences entre les dialectes SQL, souvent plus subtiles que celles qui existent entre des langages de programmation comme Python et Java. Typiquement, en BigQuery SQL, la fonction correcte pour extraire un mois à partir d’une colonne de type timestamp est : EXTRACT(MONTH FROM timestamp_column. Mais en MySQL, on utilise : MONTH(timestamp_column).

Les techniques Text-to-SQL

Chez Google Cloud, nous faisons évoluer en permanence nos agents « text-to-SQL » afin d’en améliorer la qualité. Pour répondre aux problèmes évoqués plus haut, nous mettons en œuvre un ensemble de techniques.

Déchiffrons ensemble certaines de ces techniques :

Modèles « SQL-aware »
Nos solutions text-to-SQL reposent sur les puissants modèles de la famille de LLM Gemini 2.5. Celle-ci a déjà largement fait ses preuves en matière de génération de code et de SQL de haute qualité. Selon la tache de génération de code SQL, nous combinons différentes versions de modèles. Dans certains cas, nous appliquons même un fine-tuning personnalisé au modèle, afin d’obtenir un SQL fiable pour un dialecte donné par exemple.

Résolution des ambiguïtés grâce aux LLM
La levée d’ambiguïtés consiste à amener le système à répondre par une question demandant une clarification lorsqu’il est confronté à une requête trop vague. Par exemple, à la question « Quelle est la chaussure la plus vendue ? », l’agent text-to-SQL va réagir par une relance du type : « Voulez-vous voir les chaussures classées par nombre de commandes ou par chiffre d’affaires ? ».
Dans la pratique, nous orchestrons généralement les appels au LLM de façon à d’abord vérifier si une question peut réellement recevoir une réponse avec le schéma et les données disponibles. Si ce n’est pas le cas, le modèle génère alors les questions complémentaires nécessaires pour clarifier l’intention de l’utilisateur.

Recherche et in-context learning (apprentissage contextuel)
Comme mentionné plus haut, fournir aux modèles le contexte nécessaire pour générer du SQL est essentiel. Nous utilisons pour cela différentes techniques d’indexation et de recherche : d’abord pour identifier les jeux de données, tables et colonnes pertinents (généralement via une recherche vectorielle avec appariement sémantique en plusieurs étapes), puis pour charger du contexte supplémentaire utile. Selon le produit, cela peut inclure des éléments comme des annotations de schéma fournies par l’utilisateur, des exemples de requêtes SQL similaires, l’application de règles métier spécifiques, ou encore des échantillons de requêtes récentes exécutées par l’utilisateur sur les mêmes jeux de données. Toutes ces informations sont ensuite organisées dans des prompts soumis au modèle. Grâce à ses fenêtres de contexte étendues, Gemini peut prendre en charge des schémas volumineux ainsi qu’un grand nombre d’informations contextuelles, ce qui lui permet d’aller beaucoup plus loin dans le traitement du contexte.

Validation et reprompting
Même avec un modèle de haute qualité, la génération de code SQL par un LLM conserve une part de non-déterminisme et donc d’imprévisibilité. Pour y remédier, nous avons constaté que des approches non basées sur l’IA — comme l’analyse syntaxique de la requête ou l’exécution à blanc (dry run) du SQL généré — complètent efficacement les workflows de génération de code SQL pilotés par modèles. Ces techniques fournissent un signal clair et déterministe indiquant si le LLM a omis un élément crucial. Ce signal est ensuite renvoyé au modèle pour une seconde passe. Lorsqu’on lui fournit un exemple d’erreur accompagné de quelques indications, le modèle est généralement capable de corriger ce qu’il avait mal généré.

Contrôle de cohérence automatique
Le principe de contrôle automatique de cohérence repose sur l’idée de ne pas se contenter d’une seule réponse du modèle. Concrètement, le système génère plusieurs requêtes SQL pour une même question utilisateur, en variant les techniques de prompting et/ou les versions de modèles utilisées. Il compare ensuite les différentes réponses afin d’identifier celle qui semble la plus fiable et la plus pertinente. Lorsque plusieurs modèles, ou versions d’un même modèle, convergent vers le même résultat, les chances que la réponse soit correcte et qu’elle corresponde à ce que recherche l’utilisateur augmentent nettement.

Evaluer et mesurer les améliorations

L’amélioration de la génération de code SQL pilotée par l’IA repose sur une évaluation robuste. Les benchmarks text-to-SQL développés par la communauté académique — comme le très répandu BIRD-bench — fournissent une base de référence précieuse pour évaluer la performance des modèles et du processus complet de génération de code SQL.

Cependant, ces benchmarks montrent leurs limites dès qu’il s’agit de représenter la diversité des schémas et des workloads rencontrés en conditions réelles. Pour dépasser ces limites, nous avons développé notre propre suite de benchmarks dits synthétiques : des scénarios de tests construits avec des jeux de données fictifs, conçus pour simuler la complexité et la variété du monde réel. Ils enrichissent et complètent la base de référence fournie par les benchmarks académiques.

Couverture : nous nous assurons que nos benchmarks couvrent un large éventail de moteurs et de produits SQL, aussi bien les dialectes que les fonctionnalités propres à chaque moteur. Ils incluent non seulement les requêtes classiques, mais aussi le DDL, le DML et d’autres tâches d’administration de la base. Les benchmarks intègrent également des questions représentatives des usages courants, jusqu’aux requêtes et schémas plus complexes que l’on rencontre dans des environnements réels.

Métriques : nous combinons des métriques observées en conditions réelles (usages) et des métriques mesurées en laboratoire (benchmarks). Nous faisons appel à la fois à l’évaluation humaine et à l’évaluation automatisée — en particulier via les techniques de type LLM-as-a-judge, qui réduisent les coûts tout en permettant d’évaluer les performances sur des tâches ambiguës ou mal définies.

Évaluations continues : nos équipes d’ingénierie et de recherche utilisent ces évaluations pour tester rapidement de nouveaux modèles, de nouvelles techniques de prompting et d’autres améliorations. Elles nous fournissent des signaux rapides indiquant si une approche est prometteuse et mérite d’être poursuivie.

Ensemble, ces différentes techniques sont à l’origine de progrès remarquables réalisés dans le domaine du Text-to-SQL. Progrès que nous constatons aussi bien dans nos laboratoires que dans les environnements de nos clients. Si vous vous préparez à intégrer du Text-to-SQL dans vos propres systèmes, ne manquez pas nos prochains articles qui approfondiront à la fois le sujet et l’utilisation de nos propres solutions. En attendant, vous pouvez d’ores et déjà tester les capacités de Gemini Text-to-SQL dans BigQuery Studio, CloudSQL, AlloyDB et Spanner Studio, ainsi que dans AlloyDB AI. Vous allez voir, c’est bluffant…

Optimisez vos projets d'IA générative avec les nouvelles fonctionnalités des bases de données de Google Cloud

Mon, 15 Jul 2024 06:00:00 +0000

Chez Google Cloud, nous aidons nos clients à unifier leurs données et à les intégrer à des IA innovantes afin de faciliter la création d’expériences véritablement transformatrices. Structurées dans une base de production ou non structurées dans un datalake, les données sont essentielles pour rendre les IA plus efficaces. Et, pour que les entreprises puissent réellement tirer parti de l’IA générative, elles doivent non seulement pouvoir accéder aux données structurées et non structurées mais également pouvoir les gérer et les exploiter, qu’elles proviennent des systèmes analytiques ou opérationnels.

À l’occasion du Summit France ’24, nous avons partagé notre vision et expliqué comment nous voulions aider les développeurs à créer des applications IA, en leur proposant notamment des fonctionnalités vectorielles innovantes, en renforçant l’intégration avec leur écosystème ou encore en simplifiant la connexion avec les services d’inférence IA. Pour tenir nos promesses, nous n’avons pas chômé et nous sommes ravis aujourd’hui d’annoncer la disponibilité générale (GA) d’AlloyDB AI, solution qui regroupe un ensemble de fonctionnalités dans AlloyDB pour créer facilement des applications IA.

Nous sommes également ravis de vous annoncer qu’un grand nombre de nos bases de données, dont Spanner, MySQL et Redis, proposent désormais des fonctionnalités de recherche vectorielle. Les développeurs peuvent ainsi créer des applications dopées à l’IA générative en exploitant leurs bases de données préférées. En parallèle, nous avons aussi enrichi l’intégration avec LangChain, framework couramment utilisé par les développeurs pour concevoir des applications intégrant des modèles de langage.

Combinées aux intégrations existantes dans VertexAI, toutes ces nouvelles fonctionnalités témoignent de notre engagement à offrir une plateforme complète et parfaitement intégrée aux développeurs. Et ce n’est pas tout. Spanner et AlloyDB s'intègrent nativement à Vertex AI pour accéder aux services de modèles et d’inférence en utilisant un langage familier : SQL. Parallèlement, Firestore et Bigtable sont intégrés à Vertex AI Vector Search afin de fournir des fonctionnalités de recherche sémantique aux applications d'IA générative.

Nous sommes convaincus que pour libérer pleinement la valeur ajoutée de l’IA générative, vos données de production doivent être intégrées à l’IA, de sorte à pouvoir offrir des expériences en temps réel, précises et contextuelles. Intégrer des fonctions vectorielles au cœur des bases de données de production permet de créer un pont entre les modèles fondation (entraînés avec des données génériques) et les besoins de données à jour et propres à l’entreprise des applications Gen AI métier. Étant donné que les bases de données opérationnelles contiennent généralement la plupart des données utiles d'une application, elles sont cruciales pour le développement de nouvelles expériences utilisateur basées sur l'IA. C'est pourquoi 71 % des organisations prévoient d'utiliser des bases de données dotées de fonctionnalités adaptées aux besoins de l’IA générative. Pour s’imposer, les bases de données devront à l’avenir adopter une approche « AI first » et embarquer des technologies telles que la recherche vectorielle pour s’interfacer de manière complètement transparente avec les modèles, les outils et les frameworks AI. Toutes ces caractéristiques seront à l’avenir intégrées par défaut aux bases de données opérationnelles et s’imposeront comme des prérequis.

AlloyDB : une base de données PostgreSQL moderne, idéale pour vos workloads d’IA générative

Entièrement managée, AlloyDB est une base de données compatible PostgreSQL conçue pour la performance, l’évolutivité et la haute disponibilité. AlloyDB AI est désormais disponible en GA dans AlloyDB et AlloyDB Omni.

Pensé pour répondre aux besoins d’aujourd’hui et de demain, AlloyDB :

est optimisé pour les applications IA qui supposent des réponses précises et en temps réel
est performant dans tous les domaines, qu’il s’agisse de workloads transactionnels, analytiques ou vectoriels
fonctionne partout, y compris sur site et sur n’importe quel cloud, permettant aux clients de moderniser et d'innover quel que soit l’emplacement de leurs actifs IT.

Des clients tels que Character AI, FLUIDEFI, B4A et Regnology utilisent AlloyDB pour animer leurs applications. Le chatbot de reporting réglementaire de Regnology, par exemple, s'appuie sur le traitement en langage naturel pour comprendre la terminologie et les requêtes réglementaires complexes.

« AlloyDB se comporte comme une base dynamique vectorielle, indexant des bases de directives réglementaires, de documents de conformité ou encore l’historique de données de reporting pour alimenter le chatbot. Les analystes de la conformité et les spécialistes du reporting interagissent avec le chatbot en mode conversationnel, ce qui leur permet de gagner du temps et de traiter de nombreuses questions relatives au reporting réglementaire ». - Antoine Moreau, DSI, Regnology

Recherche vectorielle dans toutes les bases de données de Google Cloud

La recherche vectorielle s’impose désormais comme une fonctionnalité essentielle afin de créer des applications utiles et précises basées sur l'IA générative. Elle facilite la recherche de résultats similaires sur des données non structurées, telles que du texte et des images provenant d'un catalogue de produits, en s’appuyant sur un algorithme des « plus proches voisins ». C’est pourquoi nous sommes ravis d’annoncer que plusieurs de nos systèmes de bases de données intègrent désormais la recherche vectorielle (en mode preview), dont Cloud SQL for MySQL, Memorystore for Redis et Spanner.

En complément des fonctionnalités pgvector lancées l'année dernière dans Cloud SQL for PostgreSQL et AlloyDB, Cloud SQL for MySQL prend désormais en charge les recherches vectorielles approximatives ou exactes. Les développeurs peuvent désormais stocker des millions de vecteurs dans les instances MySQL qu'ils utilisent déjà. En utilisant Cloud SQL pour les recherches vectorielles - que ce soit sur MySQL ou PostgreSQL - vous pouvez stocker et effectuer des recherches vectorielles directement dans la base de production que vous avez l’habitude d’utiliser, ce qui vous évite d’avoir à appréhender ou à configurer un nouveau système.

Afin d’optimiser les performances de vos applications à base d’IA, nous annonçons également la gestion intégrée du stockage vectoriel et de la recherche vectorielle par Memorystore for Redis. Chaque instance Redis sera capable de stocker des dizaines de millions de vecteurs et d'effectuer des recherches vectorielles avec une latence de l'ordre de la milliseconde. Vous disposez ainsi d’une base hautement performante, solution indispensable dans de nombreux cas d’usage, tels que les caches sémantiques des LLM (pour accélérer les temps de réponse et limiter la charge des LLM) ou les systèmes de recommandation.

Spanner peut gérer la montée en charge des recherches vectorielles pour des workloads hautement partitionnables. Les workloads vectoriels très volumineux, qui impliquent des milliards de vecteurs et des millions de requêtes par seconde, peuvent constituer un défi pour certains systèmes. Mais pas pour Spanner qui excelle sur ces workloads car sa fonction de recherche exacte du plus proche voisin sait réduire efficacement l’espace de recherche afin de fournir des résultats précis en temps réel avec une faible latence.

Accélérer la gestion de l’écosystème LangChain

LangChain est devenu l'un des frameworks d'orchestration LLM open-source les plus populaires. Dans le cadre de nos efforts visant à fournir aux développeurs d'applications des outils leur permettant de créer rapidement des applications d'IA générative, nous avons publié en open-source les intégrations LangChain pour toutes nos bases de données Google Cloud. Trois types d’intégration LangChain sont supportés : les Vector stores, les Document loaders et la Chat Messages Memory.

En combinant la puissance de LangChain et celle de nos bases de données, les développeurs peuvent créer plus facilement et plus rapidement des applications d'intelligence artificielle tenant compte du contexte. L'intégration de LangChain leur fournit en effet des workflows RAG (Retrieval Augmented Generation) leur permettant de tirer profit de leurs sources de données préférées en s’appuyant sur les bases de données Google Cloud de leur choix. Pour rappel, le RAG est une technique qui permet de contraindre l’IA générative à votre propre contenu d’entreprise provenant de vos propres sources de données.
Les cas d’usage d’une telle approche vont des recommandations personnalisées de produits à des applications de type « question-réponse » en passant par la recherche d’informations multimodales, la synthèse de documents ou l'automatisation du service client.

Le support de ces composants LangChain spécifiques simplifie le processus d’intégration des bases de données Google dans les applications. En pratique :

Vector stores permet de réaliser des requêtes de similarité vectorielle. L'intégration de LangChain Vector stores est disponible pour AlloyDB, Cloud SQL for PostgreSQL, Cloud SQL for MySQL, Memorystore for Redis et Spanner.
Document loaders permet de charger des données de manière transparente à partir de diverses sources externes, telles que le contenu d'une page web ou la transcription d'une vidéo YouTube.
Chat Messages Memory permet de de stocker l'historique des chats afin de pouvoir s'y référer ultérieurement afin d’optimiser la contextualisation des échanges.

Document loaders et Chat Messages Memory sont intégrés à toutes les bases de données Google Cloud : AlloyDB, Firestore, Bigtable, Memorystore for Redis, Spanner, Cloud SQL for MySQL, PostgreSQL et SQL Server.

Les packages d’intégration sont disponibles sur GitHub.

Plonger dans un futur enrichi par l’IA

Les bases de production regorgent de données qui ne demandent qu'à alimenter les prochains modèles IA et les applications d'IA générative. En optimisant AlloyDB AI pour les workloads d’entreprises, en ajoutant des fonctionnalités de recherche vectorielle avancées à notre portefeuille de bases de données et en adoptant les frameworks pour IA générative open source, nous fournissons aux développeurs tous les outils dont ils ont besoin pour enrichir leurs applications de fonctionnalités Gen AI « intelligentes », précises et utiles, basées sur la richesse des données de leur entreprise.

Pour en savoir plus, consultez notre webinaire Data Cloud Innovation Live webinar réalisé par nos experts produits qui vous présentent en détail toutes ces innovations.

Faciliter le passage à Google Cloud et à des technologies Open Source

Mon, 12 Jun 2023 08:00:00 +0000

Pendant des décennies, avant que le cloud ne vienne bouleverser notre vision des bases de données et des applications, Oracle et SQL Server constituaient la clef de voûte des infrastructures applicatives des entreprises. Mais aujourd’hui, alors que vous entamez votre redéploiement vers le cloud, vous réévaluez probablement les choix effectués autrefois à la lumière des tendances actuelles et des vastes opportunités offertes par le cloud.

Dans le domaine des bases de données, plusieurs hypothèses s’offrent à vous : adoption des technologies open source (en particulier MySQL, PostgreSQL et leurs dérivés), bases de données non relationnelles, stratégies multicloud et cloud hybrides… pour supporter des applications à la fois globales et qui fonctionnent en 24/7.
Redéploiement rapide de type « lift-and-shift », modernisation d’un existant ou transformation complète avec adoption d’une base « cloud first » … selon l’application, l’évolution vers le cloud peut prendre des chemins différents.

Google Cloud propose un ensemble de services de bases de données managées qui couvrent les moteurs des bases open source mais également des bases provenant de tiers ainsi que les bases « cloud-first ». Nous avons publié cinq vidéos spécialement destinées aux clients qui cherchent à passer au cloud ou à se libérer complètement des problématiques de gestion des licences et autres restrictions. Nous espérons que ces vidéos vous permettront de mieux évaluer vos options, que vous envisagiez un redéploiement homogène (en utilisant la même base de données qu'aujourd'hui) ou un redéploiement hétérogène (en passant à un moteur de base de données différent).

Voici les cinq vidéos en question :

#1 Exécuter des applications Oracle Database dans Google Cloud

Par Jagdeep Singh et Andy Colvin

Migrer vers le cloud peut s’avérer difficile si l’activité de votre entreprise repose sur des applications fonctionnant avec des bases de données Oracle. Cette dépendance peut s’expliquer par des problématiques de licences, de compatibilité ou encore d’administration.
À travers cette vidéo, nous vous proposons de découvrir différentes options proposées par Google Cloud et adaptées à cette situation, qu’il s’agisse de Bare Metal Solution for Oracle (solution matérielle certifiée et optimisée pour les workloads Oracle) ou de solutions émanant de partenaires tels VMware et Equinix. Profitez-en pour découvrir comment vous pouvez continuer à exécuter votre existant dans le cloud tout en capitalisant sur les dernières avancées technologiques pour développer de nouveaux services.

#2 Exécuter des applications SQL Server dans Google Cloud

Par Isabella Lubin

Aujourd’hui encore, Microsoft SQL Server reste une base très populaire en entreprise. Apprenez à exécuter SQL Server de manière fiable et sécurisée avec Cloud SQL, un service de base de données entièrement managé permettant d'exécuter des workloads MySQL, PostgreSQL et SQL Server. Plus de 90 % des 100 plus gros clients de Google Cloud utilisent Cloud SQL. Autrement dit, les plus grandes entreprises du monde font aujourd’hui confiance à Cloud SQL. Dans cette vidéo, nous vous proposons de découvrir comment sélectionner la bonne instance de base de données, comment migrer votre base, comment travailler avec les outils SQL Server standards ou encore comment superviser votre base et la maintenir à jour.

#3 Opter pour une base PostgreSQL dans Google Cloud

Par Mohsin Imam

Plébiscitée pour la souplesse de son modèle de licence open source, sa richesse fonctionnelle, ses solides références ou encore pour l’étendue de sa communauté de développeurs et de ses outils, PostgreSQL est une base relationnelle leader sur le marché. Google Cloud propose, aux utilisateurs de PostgreSQL, trois services de bases de données entièrement managés:
* Cloud SQL, un service de base de données entièrement managé et facile à utiliser pour PostgreSQL open source ;
* AlloyDB, un service de base de données compatible avec PostgreSQL pour les applications nécessitant plus d'évolutivité, de disponibilité et de performances;
* et Cloud Spanner, une base de données "cloud-first" avec une montée en charge illimitée, une disponibilité de 99,999 % et une interface PostgreSQL.
Découvrez quelle solution convient le mieux à votre application, comment migrer votre base de données vers le cloud et comment bien démarrer.

#4 Comment migrer et moderniser vos applications avec les bases de données Google Cloud

Par Sandeep Brahmarouthu

Le redéploiement de vos applications et bases de données vers le cloud n'est pas toujours facile. Si des workloads simples peuvent se contenter d’un simple transfert de SGBD sur le mode « lift-and-shift », les applications d'entreprise de plus grande envergure et personnalisées ont, en revanche, parfois besoin d’être modernisées, voire entièrement transformées. Découvrez les services managés de bases de données proposés par Google Cloud ainsi que notre approche de la « modernisation progressive ». Explorez également nos frameworks de redéploiement pour bases de données et découvrez comment nous pouvons vous aider à mieux démarrer, avec notre offre gratuite d’évaluation des risques.

#5 Bien démarrer avec Database Migration Service

Par Shachar Guz & Inna Weiner

L’augmentation des coûts de maintenance peut aussi être une excellente raison de migrer ses bases vers le cloud. Que vous envisagiez un simple transfert, une modernisation avec adoption d’une alternative plus moderne et open source ou une transformation complète d’une application, Google Cloud peut vous accompagner dans votre démarche. Découvrez comment Database Migration Service simplifie votre modernisation par le cloud avec son approche serverless et sa plateforme sécurisée qui s’appuie sur des mécanismes de réplication native afin d’effectuer des redéploiements plus fidèles et plus fiables. Moins complexe, le redéploiement est aussi moins long et moins risqué. Résultat, vous pouvez redémarrer en moins d’une heure après le redéploiement…

Nous avons hâte de vous aider à réussir votre redéploiement

Quelle que soit votre approche du cloud, nous avons la solution pour vous accompagner dans votre démarche avec des bases de données évolutives, fiables, sécurisées et ouvertes. Nous sommes d’ores et déjà enchantés à l’idée d’offrir un nouveau « foyer » à vos applications.

N’hésitez pas à profiter de l’offre d’essai gratuite pour explorer les avantages de Cloud SQL ou Spanner et accélérer votre redéploiement vers Google Cloud avec Database Migration Program.

Établir un langage métier cohérent pour plus de confiance dans ses données

Fri, 26 May 2023 08:00:00 +0000

Le “business glossary” (ou glossaire des termes métiers aussi appelé glossaire d’entreprise en français) de Dataplex est disponible en mode preview publique.

Brique d’infrastructure data intelligente, Dataplex permet de gérer, surveiller et gouverner les données distribuées à grande échelle. Solution cloud native, le business glossary ou glossaire d’entreprise de Dataplex permet aux utilisateurs de définir et gérer les termes métier, favorisant ainsi la contextualisation des données et le partage d’un langage métier cohérent au sein de l’entreprise. Dès lors, la confiance dans les données grandit et l’utilisation de la data en libre-service s’en trouve simplifiée.

Qu'elles soient petites, moyennes ou grandes, les entreprises sont organisées en équipes qui développent leur propre langage au fil du temps. Typiquement, certaines équipes interpréteront le terme « client » comme une « entité juridique » alors que d’autres y verront un « individu » ou une « entité gouvernementale ». Ces différences peuvent engendrer des problèmes de compréhension et de collaboration. Pire, elles peuvent entraîner une mauvaise interprétation des données et affecter la perception des informations et la prise de décision. Par ailleurs, ces différences tendent également à isoler et bloquer les collaborateurs qui ne maîtrisent pas le langage métier spécifique à chaque équipe, les obligeant à d’abord apprendre à maîtriser les différents jargons utilisés par chaque « clan » au sein de l’entreprise. Ce qui engendre bien entendu une surcharge de travail d’autant plus importante qu’il faut sans cesse mettre à jour ses connaissances.

Grâce au glossaire d’entreprise de Dataplex, les utilisateurs peuvent désormais :

Capturer, saisir et définir leur terminologie métier dans des glossaires communs ;
Enrichir les données cataloguées avec leur terminologie métier (en rattachant leurs définitions aux colonnes des données) afin d’améliorer la compréhension et l’organisation des informations par tous les collaborateurs de l’entreprise ;
Décrire les relations sémantiques entre des termes en les associant et en les rapprochant.

Le glossaire d’entreprise (business glossary) de Dataplex constitue ainsi une aide précieuse pour tous les utilisateurs de données, et ce à différents niveaux.

Tout d’abord, il favorise la cohérence sémantique et une interprétation partagée des données entre les différentes équipes, réduisant par la même occasion les redondances ainsi que les risques de confusion et de mauvaise interprétation lors de l’exploitation de ces données. Typiquement, lorsque deux équipes partagent une définition centralisée du terme "transaction de vente", elles peuvent capturer des informations sur une vente sous des angles différents mais structurer l’information de manière cohérente pour l’entreprise, selon une terminologie prédéfinie et partagée.

Cette cohérence sémantique favorise aussi une compréhension partagée et renforce la confiance dans les données. Lorsqu’ils sont associés aux données, les termes du glossaire apportent une couche supplémentaire - centralisée et cohérente - de contextualisation des données métier, permettant ainsi aux utilisateurs d’avoir la certitude d’utiliser les bonnes données pour remplir leurs objectifs. Dans l'exemple évoqué plus haut, l’analyste effectue une requête pour remonter toutes les tables comportant des données clients. Il n’a pas à s’inquiéter des potentielles différentes interprétations, à savoir si les données se réfèrent à des clients personnels, des entités légales, etc., la notion de client ayant été préalablement définie dans le glossaire par des termes associés. Dès lors, l’analyste peut exploiter ses données remontées en toute confiance.

Combinées, cohérence sémantique, compréhension partagée et confiance renforcée, libèrent le potentiel de l’utilisation des données en libre-service. Les collaborateurs peuvent utiliser le contenu du glossaire pour mieux exploiter le patrimoine de données avec des requêtes telles que : « montre-moi toutes entrées qui contiennent des termes de glossaire faisant référence à ‘transaction de vente’ dans leurs définitions ». Au passage, on notera qu’une recherche peut prendre en compte les métadonnées associées aux différents termes comme leurs descriptions ou leurs propriétaires. Dotés d’une meilleure compréhension des jeux de données remontés, les collaborateurs peuvent aussi identifier les meilleurs scénarios d’usage pour ces données.

Enfin, le glossaire d’entreprise de Dataplex contribue à une meilleure (et nécessaire) gouvernance des données. Les équipes chargées de la gouvernance peuvent en effet s’appuyer sur ce glossaire commun pour décider des politiques et règles à mettre en place. Par exemple, elles peuvent décréter que toutes les interrogations associées au terme « client » du glossaire seront soumises à des contrôles d'accès supplémentaires.

En d’autres termes, le glossaire d’entreprise de Dataplex peut être utilisé en complément des autres fonctionnalités de gouvernance de Dataplex pour favoriser la mise en place d’un langage métier commun et cohérent, renforcer la confiance dans les données, promouvoir l'utilisation en libre-service et ainsi obtenir plus de valeur de vos données.

Par où commencer ?

Vous pouvez commencer à utiliser le glossaire d’entreprise de Dataplex dès maintenant en cliquant sur « Glossaires » dans la liste à gauche sur la page. Vous pouvez arrêter votre terminologie métier en créant des glossaires, en définissant des termes et en établissant des liens entre les termes.

Vous pouvez ensuite associer vos données existantes aux termes prédéfinis en parcourant les entrées de données avec Dataplex Search.

Une fois le contenu du glossaire défini et associé aux entrées de données, vous pouvez exploiter le contenu du glossaire pour rechercher des informations et explorer vos jeux de donnes.

Pour plus d'informations :

Apprendre à utiliser le glossaire d’entreprise de Dataplex
Visitez la page Dataplex sur Google Cloud

Réduire l’impact sur le stockage d’une restauration Point-in-time

Fri, 14 Apr 2023 08:00:00 +0000

La restauration Point-in-time (PITR), ou restauration d’une base à un instant précis, est une fonctionnalité essentielle au bon fonctionnement des applications en entreprise. Elle permet en effet aux administrateurs des bases données (DBA) de restaurer une base en production après un effacement accidentel de données, en spécifiant un point de restauration dans le temps avant l’incident.

Cloud SQL for PostgreSQL a introduit la prise en charge de cette fonctionnalité la restauration Point-in-time (PITR) en juillet 2020. Vous pouvez ainsi aisément restaurer votre base Cloud SQL après une corruption de données ou une suppression accidentelle en revenant à un point antérieur à l’incident.

Nous sommes ravis d’annoncer le lancement d’une fonction supplémentaire qui rend l’activation de PITR pour Cloud SQL for PostgreSQL encore plus facile et incontournable : les fichiers write-ahead logging (WAL) des instances pour lesquelles la fonction PITR a été activée ne consommeront désormais plus d’espace de stockage disque. Essentiels pour remonter le temps, les fichiers de journalisation WAL (aussi appelés journaux de transactions) enregistrent toutes les modifications apportées aux données.

En lieu et place du stockage sur instance, PostgreSQL, après activation de cette nouvelle fonctionnalité, va directement stocker dans Google Cloud Storage les multiples fichiers WAL collectés pendant la fenêtre de rétention. Ils seront également directement lus depuis Google Cloud Storage en cas d’opération de restauration. Parce que la taille d’un fichier WAL peut rapidement croître lorsque la base de données enregistre un pic d’activité, cette fonctionnalité permet de réduire de façon significative l’impact de tels pics de charge sur votre espace de stockage disque provisionné (au niveau de l’instance). Ces fichiers WAL sont donc désormais stockés pendant sept jours maximum dans la même région Google Cloud que votre instance, sans engendrer de frais supplémentaires.

La fonction PITR est dès aujourd’hui activée par défaut lorsque vous créez une nouvelle instance Cloud SQL for PostgreSQL à partir de la console Google Cloud et vos journaux de transactions ne sont plus stockés par défaut sur ces nouvelles instances mais sur Google Cloud Storage.
Pour les instances PostgreSQL existantes, si PITR était déjà activé, cette nouvelle fonctionnalité sera déployée un peu plus tard. Mais vous pouvez en profiter dès aujourd’hui simplement en désactivant et réactivant manuellement la fonction PITR sur vos instances existantes de sorte à réinitialiser la fonctionnalité et bénéficier immédiatement de ce nouvel avantage.

Sur les instances où la fonction est activée, vous remarquerez que l'espace de stockage consommé est automatiquement réduit, à hauteur du volume des fichiers WAL générés par l’instance. Le stockage consommé par les fichiers WAL varie selon l’instance et l’activité de la base de données, la taille des journaux pouvant en effet diminuer et au contraire augmenter de façon significative selon les périodes d’activité de la base. Quelle que soit la volumétrie de vos journaux de transaction, leur stockage n’impactera votre instance que pendant un délai très bref, en l’occurrence le laps de temps nécessaire pour actualiser les éventuels réplicas de l’instance et pour les enregistrer en toute confiance sur le cloud. Après ça, les fichiers WAL sont automatiquement supprimés de votre instance.

Continuer d’améliorer Cloud SQL for PostgreSQL est notre préoccupation quotidienne. Nous faisons tout pour que les restaurations après incident deviennent une fonction non seulement facile à mettre en œuvre mais également aussi économique que possible pour vous. Pour en savoir plus sur cette amélioration PITR, consultez notre documentation.

Les nouveautés liées à l’infrastructure data cloud unifiée de Google Cloud

Thu, 06 Oct 2022 08:00:00 +0000

Google compte parmi ses clients de nombreuses entreprises qui se distinguent par leur capacité à innover. Beaucoup d’entre elles se sont tournées vers Google Cloud afin de bénéficier de notre expertise reconnue dans le domaine de l’analyse de données et de l’IA.

Au fil de notre collaboration avec ces entreprises bien avancées sur l’exploitation de la donnée, nous avons constaté que la majorité partageait des priorités similaires : éliminer les obstacles liés à la complexité des données, faire émerger de nouveaux cas d’usage et maximiser l’impact de la donnée tout en démocratisant son accès au plus grand nombre.

Pour innover, ces entreprises qui bousculent leur marché s’appuient sur une infrastructure data cloud qui permet à leurs collaborateurs d’avoir accès à tout type de données, provenant de n’importe quelle source quelle que soit sa taille. Et ce, sans limite de capacité et avec des performances optimales. Ce data cloud permet également aux collaborateurs de passer facilement d’un workload à l’autre, en toute sécurité, et avec une configuration d’infrastructure minimale, qu’il s’agisse de basculer de SQL à Spark, de la BI (Business Intelligence) au ML (Machine Learning). Autrement dit, ces entreprises s’appuient sur un data cloud pour donner naissance à un écosystème de données ouvert, socle indispensable pour créer des services que les collaborateurs, les clients et les partenaires utilisent afin de prendre des décisions à même de changer la donne.

Le 11 octobre prochain, à l'occasion du Google Cloud Next '22, vous pourrez découvrir les nouvelles fonctionnalités de notre data cloud. Elles ont été spécialement conçues pour répondre aux attentes des entreprises qui souhaitent mettre en place cette approche moderne de la donnée. Si vous n’êtes pas encore inscrit aux sessions Data Cloud, réservez votre place dès aujourd’hui !

Je suis toutefois convaincu que les passionnés de data n’auront pas la patience d’attendre. C’est pourquoi je vous propose de découvrir en avant-première certaines des dernières innovations apportées à notre data cloud. La plupart sont disponibles dès à présent. Considérez-les comme un hors-d'œuvre en attendant le foisonnant festin qui vous sera proposé le 11 octobre.

Supprimer les barrières, obtenir des analyses en temps réel et ouvrir les écosystèmes

Les données dont vous avez besoin sont rarement stockées dans un seul endroit. Le plus souvent, elles sont éparpillées entre plusieurs sources et dans différents formats. Des mécanismes d’échange entre ces différentes sources ont été mis en place il y a déjà plusieurs années, voire des décennies. Mais les résultats sont plutôt mitigés. L’approche traditionnelle suppose en effet des déplacements de données d’autant plus laborieux qu’ils sont complexifiés par des problématiques de sécurité et de réglementations.

Cette situation nous a conduits à concevoir Analytics Hub. Disponible à tous dès à présent, cette solution se concrétise sous la forme d’une plateforme de partage de données, utilisée par les équipes et les organisations qui veulent réaliser des échanges sécurisés et fiables en interne comme avec l’extérieur de l’entreprise.

Cette innovation permet non seulement de conserver et de partager un large éventail de jeux de données prêts pour l’analyse mais également de les combiner aux jeux de données uniques proposés par Google, tels que Google Search Trends ou encore notre graphe de connaissances Data Commons.

Analytics Hub fait partie intégrante de BigQuery. Autrement dit, vous pouvez l’essayer gratuitement en passant par BigQuery, sans avoir à saisir de données de paiement.

Analytics Hub n’est évidemment pas le seul moyen que nous proposons pour simplifier l'intégration de données à des fins analytiques. Nous avons en effet récemment annoncé une solution pour extraire, charger et transformer des données en temps réel dans BigQuery : le nouveau type d’abonnement Pub/Sub "BigQuery Subscription". Cette innovation apportée à l’ETL simplifie la mise en place de workloads d’ingestion en continu (streaming). Plus facile à mettre en œuvre, cette solution est aussi plus économique car vous n’avez plus besoin d’exécuter de nouveaux traitements pour déplacer vos données et vous n’avez plus à payer pour l’ingestion en continu dans BigQuery.

Dans un monde où de plus en plus d’entreprises cherchent à réconcilier des informations réparties entre différents datalakes, entrepôts, clouds et formats de fichiers, l’approche traditionnelle pour dé-siloter les données peut s’avérer coûteuse, risquée, et difficile à passer à l’échelle.

Afin de les accompagner dans leur démarche, nous avons lancé BigLake, un nouveau moteur de stockage qui étend les nouveautés apportées à BigQuery aux formats de fichiers ouverts, stockés sur les « objects store » de clouds publics.

BigLake permet aux clients de créer aisément des datalakes sécurisés à partir de formats de fichiers ouverts. Il propose aussi des contrôles de sécurité fins et cohérents que ce soit pour Google Cloud ou pour des moteurs de requête open-source. La configuration de la sécurité est donc centralisée à un seul endroit et appliquée partout.

Des clients comme Deutsche Bank, Synapse LLC et Wizard ont eu l’occasion d’exploiter BigLake avant sa sortie. Cette solution est depuis peu accessible à tous. Je vous invite à découvrir dès à présent comment BigLake peut vous aider à construire votre propre écosystème de données.

Simplifier l’exploitation de la donnée

Quand les données sont hétérogènes et éparpillées entre des sources très variées, les entreprises ont généralement du mal à innover car leurs collaborateurs doivent sans cesse changer d’outils en fonction de la tâche à réaliser.

C’est un problème récurrent rencontré en Machine Learning, où les interfaces ML diffèrent généralement de celles utilisées pour la BI. Mais ce n’est pas le cas avec BigQuery ML : les clients ne sont pas freinés dans leur capacité à innover car les fonctionnalités ML sont intégrées à BigQuery (et non pas en option comme dans bien des solutions du marché).

Nous appliquons désormais la même philosophie aux données de logs en proposant un service Log Analytics directement intégré au service Cloud Logging. Cette nouvelle fonctionnalité, actuellement en « preview », permet d’approfondir l’analyse des données de journalisation avec BigQuery. Log Analytics n'entraîne pas de facturation supplémentaire aux tarifs actuels de Cloud Logging et tire profit des fonctionnalités d’analyse de journaux de BigQuery qui seront bientôt disponibles : index de recherche (et son nouveau type de données JSON) et l’API « Storage Write » (API d’ingestion de données par lots de BigQuery).

Les clients qui stockent, explorent et analysent leurs propres « données machines » (autrement dit des données générées par des machines telles que des serveurs, des capteurs et autres dispositifs) peuvent exploiter ces mêmes fonctionnalités BigQuery pour faciliter l'interrogation de leurs journaux. Les données des journaux opérationnels peuvent ainsi être explorées avec le langage SQL BigQuery, comme n’importe quelle autre donnée de l’entreprise !

Tout ceci n’est bien entendu qu’un avant-goût des surprises que nous vous réservons à l’occasion de Next'22. Nous avons hâte de vous présenter notre nouvelle génération de solutions data cloud, dès le 11 octobre prochain. Pour participer aux sessions dédiées à vos centres d’intérêt ou à votre domaine de compétences, n’hésitez pas à consulter notre sélection des « Top sessions » pour Data-Engineers, Data-Scientists et Data-Analysts ou à créer vos propres listes et à les partager.

Rejoignez-nous à Next'22 pour découvrir comment des entreprises leader sur leur marché, telles que Boeing, Twitter, CNA Insurance, Telus, L'Oréal ou encore Wayfair, transforment l’exploitation de leurs données grâce au data cloud de Google.

Faites-en plus avec moins : optimisez les coûts de Cloud SQL avec Active Assist

Fri, 05 Aug 2022 09:00:00 +0000

Avec Cloud SQL, les équipes consacrent moins de temps aux opérations et à la maintenance des bases de données et plus de temps aux efforts d'innovation et de transformation numérique. Toutefois cette bande passante gagnée et accordée au travail stratégique peut mécaniquement se traduire par une croissance significative du nombre de bases de données. Croissance qui peut à son tour induire davantage de complexité opérationnelle en matière de gestion des coûts.
Or tout dépassement de budget pointé par l’équipe financière peut nécessiter beaucoup de travail, d'expertise et de temps pour identifier les gaspillages au travers d’un grand nombre de projets. Et étant donné la nature critique de vos bases de données, il peut être difficile d'y apporter des changements en toute confiance dans votre chasse aux gaspillages.

C’est pourquoi nous sommes aujourd’hui particulièrement enthousiastes à l’idée de vous présenter les recommandations Cloud SQL animées par Active Assist afin d’adresser ces défis et vous permettre de garder des coûts opérationnels optimaux. Ces nouvelles recommandations vous aideront à détecter et à dimensionner correctement les instances Cloud SQL surprovisionnées, à détecter les instances inactives et à optimiser votre facturation Cloud SQL.

S’appuyant sur des analyses avancées et du Machine Learning, les recommandations Cloud SQL identifient avec un haut degré de confiance vos instances surdimensionnées, celles inactives, mais aussi celles qui peuvent potentiellement bénéficier de remises (contre engagement d’utilisation).
Cette nouvelle fonctionnalité est dès aujourd’hui disponible pour Cloud SQL for MySQL, PostgreSQL et SQL Server via l’API « Recommander » et le « Recommandation Hub ». Vous pouvez aisément l’intégrer dans vos outils de communication et de gestion des workflows ou exporter les résultats vers une table BigQuery pour des analyses personnalisées.

Le Groupe Renault, multinationale française d’automobiles, a été l’un de nos premiers clients à expérimenter les recommandations Cloud SQL. Et ses équipes sont fans de la solution :

« Lorsque nous avons lancé le prototype fourni par Google, nous avons immédiatement été impressionnés par sa précision. Nous savons à quel point il peut être difficile d’analyser et interpréter l’activité de bases de données. Après avoir testé cette fonctionnalité en profondeur sur 140 projets pilotes, nous nous sommes aperçus que 20% de nos instances Cloud SQL étaient inactives et avons pu prendre les mesures appropriées. Ces recommandations nous ont non seulement permis de réduire les gaspillages mais nous ont aussi épargné des efforts considérables d’écriture et de maintenance de scripts personnalisés. Nous envisageons aujourd’hui l’intégration de cette solution à notre tableau de bord général d’optimisation qui s’étend à toute l’entreprise. »
Stéphane Gamondes, Cloud Office Product Leader, Renault Group.

Quelles sont les principales sources de gaspillage dans les bases de données cloud ?

Sur la base de notre analyse Cloud SQL et des commentaires des clients, nous avons identifié les trois raisons les plus courantes de dépassement de budget :

Des ressources surdimensionnées : Lorsque les développeurs adoptent une approche préservatrice en provisionnant des instances plus grandes que nécessaire, cela entraîne des dépenses inutiles. Il est également fréquent que les administrateurs de bases de données qui ont l'habitude de provisionner des instances plus importantes sur site, où il peut être difficile d'augmenter rapidement la taille d'une instance, adoptent mécaniquement cette pratique sur l'environnement Cloud, où elle est loin d’être aussi utile (en raison de l’élasticité native du cloud).
Des ressources inactives : Cloud SQL permet aux développeurs de créer très facilement de nouvelles instances pour construire un prototype ou exécuter temporairement un environnement de développement ou de test. Par conséquent, il n'est pas rare de voir de telles instances laissées en fonctionnement dans des environnements de non-production alors qu’elles ne sont plus utilisées.

Des remises non exploitées : Les workloads dont les besoins en ressources sont prévisibles peuvent bénéficier d’importantes remises grâce aux engagements d’utilisation. Quoique très intéressantes, nous constatons que de nombreux clients n'utilisent pas toujours ces remises, notamment en raison de la complexité associée à leur calcul à grande échelle.

Jetons un coup d'œil à ces nouvelles recommandations de coûts Cloud SQL.

Exemple de carte récapitulative du Centre de Recommandations

Redimensionner des instances surprovisionnées

L'un des principaux défis associés à la détection et à la remédiation des instances surdimensionnées réside dans la définition même de ce que signifie une instance de base de données « trop grande » pour une charge de travail donnée. Active Assist utilise du Machine Learning et les données télémétriques de Google Cloud SQL pour identifier les instances qui ont une faible utilisation de CPU et/ou de mémoire et s'assurer qu'elles peuvent être redimensionnées avec un risque minimal tout en disposant d’une capacité suffisante pour continuer à gérer leurs pics de charge après avoir été redimensionnées.

Pour vous permettre d'agir plus facilement sur chacune de ces recommandations de redimensionnement, cette fonctionnalité fournit également une vue d'ensemble de l'utilisation de votre instance au cours des 30 derniers jours :

Exemples de recommandations de tailles pour des instances surdimensionnées

Arrêter les instances inactives

Comme nous l’avons déjà expliqué, les ressources inactives ou abandonnées sont connues pour être l'un des principaux facteurs de gaspillage dans les dépenses Cloud, qu'il s'agisse de projets entiers ou d'instances Cloud SQL individuelles qui ont tendance à être oubliées. L'un des défis associés à la détection et à la correction de ces instances est d'apprendre à distinguer les instances Cloud SQL à faible activité (de par leur conception) de celles qui sont inactives mais montrent encore une certaine activité en raison du monitoring ou d’opérations de maintenance automatique. Là encore, le système de recommandations s’appuie sur du Machine Learning pour estimer l'activité réelle de toutes les instances Cloud SQL gérées par Google et pour identifier, avec un haut degré de précision, les instances susceptibles d'être inactives.

Tirer profit des remises sur les engagements à long terme

Les remises pour engagement d’utilisation de Cloud SQL permettent de bénéficier d'une réduction sur le prix « à la demande » de 25 % pour un engagement d'un an et de 52 % pour un engagement de trois ans. Déterminer les remises sur engagement les plus optimales se révèle souvent plus facile à dire qu'à faire, car cela nécessite une analyse approfondie des modèles d'utilisation de chaque workload afin d’établir une base d'utilisation stable et estimer l'impact des changements de modèle de facturation. Active Assist détecte les workloads Cloud SQL dont les besoins en ressources sont prévisibles et recommande alors l’achat de remises d’engagement d’utilisation.

Contrairement aux recommandations de dimensionnement et d'instance inactive, les recommandations de remises sur l'utilisation de Cloud SQL ne sont disponibles qu'en version préliminaire privée pour l’instant (veuillez utiliser ce formulaire si vous êtes intéressé par un accès anticipé). Ces recommandations vous offrent le choix entre une optimisation donnant la priorité à une utilisation stable ou une optimisation qui maximise les économies.

Bien démarrer avec les recommandations d'optimisation des coûts de Cloud SQL

Rendez-vous sur le Hub de Recommandations pour voir si des recommandations d'optimisation des coûts Cloud SQL sont déjà disponibles pour votre projet.

Vous pouvez également exporter automatiquement toutes les recommandations de votre organisation vers BigQuery, puis les étudier avec DataStudio ou Looker. Vous pouvez aussi utiliser Connected Sheets afin d'exploiter Google Workspace Sheets pour interagir avec les données stockées dans BigQuery sans avoir à écrire de requêtes.

Comme avec tout autre système de recommandations, vous pouvez choisir de refuser le traitement des données à tout moment en désactivant les groupes de données appropriés dans l'onglet « Transparence et contrôle » (Transparency & Control) sous les paramètres de confidentialité et de sécurité (Privacy & Security).

Nous espérons que vous pourrez tirer pleinement parti des recommandations de coûts de Cloud SQL pour optimiser votre parc de bases de données et réduire vos coûts. Nous sommes impatients d'entendre vos commentaires et vos réflexions sur cette fonctionnalité !
N'hésitez pas à nous contacter à l'adresse active-assist-feedback@google.com. Nous vous invitons également à vous inscrire à notre groupe de testeurs de confiance Active Assist si vous souhaitez bénéficier d'un accès anticipé aux nouvelles fonctionnalités au fur et à mesure de leur développement.

Découvrez les avantages des bases de données Google

Thu, 21 Apr 2022 09:00:00 +0000

Aujourd’hui, les consommateurs s’attendent à des services personnalisés et rapides, avec des temps de réponse quasi-instantanés, sous forme d’applications faciles à utiliser. De leur point de vue, la technologie offre des possibilités illimitées. Mais répondre à ces attentes (et, idéalement aller au-delà de leurs expectatives) suppose un travail colossal pour de nombreuses entreprises, et tout particulièrement pour celles dont les applications modernes reposent sur des bases de données existantes hébergées sur site (on-premises).

Une étude récente dévoile que près de 70 % des responsables informatiques estiment que la dette technique constitue une menace importante pour la capacité d'innovation de leur entreprise. En moyenne, ils consacrent environ un tiers de leur budget à y remédier. De plus, plutôt que de se consacrer à l’innovation qui pourrait leur apporter un avantage concurrentiel, les entreprises et leurs équipes de développement se retrouvent souvent aux prises avec des problèmes de latence, de débit, de disponibilité et de mise à l'échelle.

Dit autrement, malgré l’abondance de données générées et collectées aujourd’hui, de nombreuses entreprises sont incapables d'intégrer ces informations dans leur prise de décision et de stimuler leur innovation. Dans une enquête menée en 2021 auprès des entreprises du classement Fortune 1000, seuls 24 % des répondants ont déclaré considérer leur organisation comme ayant été « data-driven », autrement dit articulée autour des données, sur l’année écoulée et un peu moins de 30 % ont indiqué avoir obtenu des résultats « transformationnels » pour leur Business.

Si vous êtes dans une situation similaire, que pouvez-vous faire pour vous assurer que vos bases de données ne freineront pas votre innovation ?

Bases de données dans le cloud : le socle d’une transformation réussie

À l’heure de la création de nouvelles expériences client, le choix d’une base de données opérationnelle peut faire la différence entre une expérience réussie ou frustrante. Faire le bon choix est d’autant plus critique que les recherches d’IDC montrent que les entreprises qui réussiront à innover d'ici 2026 tireront plus de 25 % de leurs revenus des produits, services et expériences numériques.

C’est pourquoi il est essentiel que les entreprises adoptent dès aujourd’hui une stratégie moderne pour leurs bases de données. Pour la plupart, cette évolution passe par un redéploiement, une modernisation et/ou une transformation dans le cloud. Gartner prévoit en effet que 75% des bases seront déployées dans le cloud d’ici la fin de l’année 2022.

Dans notre guide « Transformez vos bases de données en avantage concurrentiel avec Google Cloud » récemment publié, nous vous expliquons pourquoi les services de base de données Google Cloud constituent la meilleure option, tant du point de vue de la fiabilité, de la mise à l’échelle ou encore du support de standards ouverts. Et pourquoi en optant pour nos services, vous pourrez réellement proposer des expériences modernes.

Les bases opérationnelles alimentent les applications les plus importantes et, par extension, elles sont au cœur des activités de votre entreprise. La « bonne » base rend l’exécution d’applications modernes plus simple, plus sécurisée et permet à vos développeurs de se concentrer sur les tâches à forte valeur ajoutée.

Dans cette perspective, nous vous proposons ci-après une liste de critères essentiels dont vous devrez tenir compte lorsque vous effectuerez votre choix de bases de données dans le cloud :

Innovation permanente et continue : à l’heure du numérique, les entreprises fonctionnent en 24/7 avec des services opérationnels en continu. De plus, les entreprises doivent pouvoir s’adapter aux évolutions de la fréquentation des services avec un minimum d’effort et d’interruption de service. Les bases cloud permettent de servir vos clients, où qu’ils soient dans le monde.
Gestion du cycle de vie des données étendu au-delà de la base : le stockage des données dans une base opérationnelle ne constitue qu’une première étape. Assurez-vous que votre fournisseur de cloud permet de combler facilement le fossé entre des données opérationnelles et des données analytiques avec des services avancés d'IA et de ML dans un environnement connecté et continu.
Faire table rase n'est pas la bonne option. Passer au cloud computing ne signifie pas repartir de zéro. C’est d’autant plus heureux que les consommateurs d'aujourd'hui n'attendront pas que vous reconstruisiez votre environnement. Vous avez besoin d'une plate-forme cloud qui facilite le redéploiement des applications reposant sur des bases existantes et qui propose les derniers outils et langages de développement open source.
Ne gaspillez pas le temps précieux des développeurs. Les développeurs consacrent souvent trop de temps à la maintenance, au réglage des performances et à la mise à l'échelle. Optez pour des solutions de cloud computing qui automatisent l'approvisionnement, la gestion de la capacité de stockage et d'autres tâches fastidieuses afin que vos développeurs puissent se concentrer sur la création de services.

Les bases de données Google Cloud animent les applications modernes d'aujourd'hui.

Les capacités des bases de données Google Cloud sont tout simplement inégalées sur le marché, que ce soit en termes de vitesse, de mise à l’échelle, de sécurité ou encore de fiabilité. En quelques clics et à moindre coût, les organisations de toute taille peuvent offrir les meilleures expériences à leurs clients, où qu'ils soient. Selon Gartner, les bases de données opérationnelles GCP satisfont 100% des critères essentiels requis et obtiennent une note globale supérieure à celle du plus grand fournisseur de cloud alternatif.

À titre d’exemple, la principale plateforme indienne de médias sociaux Sharechat a redéployé ses workloads transactionnels d'une base de données NoSQL vers Google Cloud, ce qui lui a permis de traiter efficacement des téraoctets de données tout en réduisant ses coûts de 30 %. Lorsque le trafic de l'entreprise a augmenté de 500 % en quelques jours, elle a pu s’adapter en ne modifiant aucune ligne de code et en gérant toute la charge supplémentaire sans stress supplémentaire pour son équipe.

Voici quatre raisons pour lesquelles Google Cloud est votre partenaire idéal pour transformer vos données en avantage concurrentiel :

1. Capitalisez sur l’expertise de Google dans le développement de SGBD uniques en leur genre.

Grâce à des décennies d'expérience dans le développement de systèmes de gestion de bases de données (SGBD), Google Cloud vous permet de créer et d'innover en profitant des plus hauts niveaux de disponibilité, de fiabilité, de mise à l’échelle et de sécurité. Concrètement, vos applications bénéficient de la même capacité d’évolution et de la même pérennité des données que toutes les solutions populaires de Google : YouTube, Search, Maps ou encore Gmail.

Nos services Cloud Spanner, BigQuery, Firestore, Cloud SQL et Cloud Storage, par exemple, tirent parti d'une infrastructure commune, telle que notre système de fichiers distribués à haute fiabilité (Colossus), notre système de gestion de clusters à grande échelle (Borg) et notre infrastructure réseau haute performance (Jupiter). Ils permettent ainsi d’obtenir les plus hauts niveaux de disponibilité et de fiabilité avec des SLA jusqu'à 99,999 % pour Spanner, Bigtable et Firestore, mais également des pics de performance se chiffrant en milliards de transactions par seconde (plus de 1 milliard pour Spanner et plus de 5 milliards pour Bigtable).

2. Conservez votre liberté de travailler comme vous l’entendez.

Avec les services Google Cloud, vous bénéficiez d'un large choix et d'un riche écosystème de bases de données capable de gérer toutes les applications et tous les cas d’usage. Afin de nous adapter à votre existant et réduire ainsi les besoins en formation, nous proposons les moteurs propriétaires et open-source les plus populaires, tels que MySQL, PostgreSQL, Oracle, SQL Server et Redis. Pour vous permettre de faire votre choix parmi les meilleures solutions du marché, vous disposez également d’un écosystème très riche d’API et de solutions tierces de base de données populaires, telles que MongoDB, Neo4j, Cassandra, etc. Dit autrement, vous restez maître de votre transformation en choisissant la meilleure stratégie, tout en capitalisant sur vos investissements existants.

3. Évoluez plus vite et créez des applications innovantes.

Offrant une expérience unique, les bases de données Google Cloud aident les développeurs à passer plus rapidement de l'idée au produit. Elles offrent des fonctionnalités avancées qui permettent aux développeurs d’itérer et de déployer plus rapidement, grâce à leur interface utilisateur intuitive, à la robustesse de leurs bibliothèques côté client comme serveur ou à l’automatisation du provisionnement et de la gestion offerts par nos services managés.

À la pointe du progrès, des services tels que Firestore et Firebase sont particulièrement appréciés par les développeurs, en raison de la rapidité avec laquelle ils permettent de créer une application de bout en bout. Firestore dispose d’une communauté très active de plus de 250 000 développeurs par mois et les applications Firestore alimentent plus de 750 millions d'utilisateurs finaux chaque mois via Firebase Auth. Des fonctions avancées d'observabilité des bases de données, telles que Cloud SQL Insights et Key Visualizer, aident les développeurs à résoudre les problèmes de performance, sans frais supplémentaires.

4. Construisez sur des technologies de pointe couvrant l’ensemble du cycle de vie des données.

Les bases de données Google Cloud s’intègrent au vaste écosystème de services innovants de Google Cloud. Supprimez les silos opérationnels, élaborez des flux de données, réalisez des analyses en temps réel et prenez de meilleures décisions grâce aux intégrations entre BigQuery, Google Kubernetes Engine, Dataflow, Datastream, Pub/Sub et Cloud Functions. Unifiez le cycle de vie de vos données en bénéficiant du meilleur de Google Cloud à chaque étape de votre développement. Notre service de redéploiement de bases serverless (DMS) est conçu pour rendre les redéploiements vers Cloud SQL plus faciles, plus rapides, plus prévisibles et plus fiables. Plus de 85 % des redéploiements effectués à l'aide de ce service de redéploiement sont réalisés en moins d'une heure.

Comblez le fossé entre les données opérationnelles et les analyses en utilisant la fédération de requêtes (autrement dit l’interrogation de bases externes) de BigQuery pour requêter les données dans Cloud SQL et Cloud Spanner sans les déplacer, ni les copier. Les utilisateurs de BigQuery interrogent en moyenne plus de 125 pétaoctets de données dans Cloud SQL par mois.

Prêts à redeployer, moderniser et transformer votre futur ? Consultez notre guide « Transformez vos bases de données en avantage concurrentiel avec Google Cloud » pour en savoir plus sur nos services de bases de données et l’expérience moderne qu’ils procurent.

Améliorer le classement des sites Web grâce à l'analyse SEO basée sur les données

Tue, 10 Aug 2021 11:00:00 +0000

En s'appuyant sur l'évolutivité et la puissance de traitement de Google Cloud, OnCrawl aide ses clients à améliorer leur classement SEO sur les moteurs de recherche. Pour cela, l'entreprise analyse les sites à la demande, même les plus volumineux.

Les bénéfices en utilisant Google Cloud :

Solutions centrées sur les clients fournissant à la demande des résultats SEO exploitables pour des sites ou projets de toute taille grâce à l'autoscaling de GKE

Mise en production plus rapide de nouvelles fonctionnalités et d'intégrations tierces en accélérant le déploiement de plus de 200 %

Libère les équipes IT des tâches de maintenance, permettant un développement plus rapide et plus d'innovation

Augmentation de 70 % du trafic pour les clients grâce à l'analyse basée sur les données

Pour qu'une entreprise s'implante sur un marché, il faut que ses clients potentiels la remarquent. Mais pour cela, elle doit avant tout être visible. À commencer sur le Web. Il faut pour cela qu'elle se fasse d'abord remarquer par les robots d'exploration (Web Crawlers). Ces derniers aident les moteurs de recherche à compiler rapidement des informations sur les sites, à les classer dans un index et à les afficher sur la page de résultats. Bien sûr, toute entreprise qui possède un site Web souhaite que son URL apparaisse la mieux placée possible sur cette page afin d’être aisément repérée par les clients. C'est là qu'entre en jeu la plateforme cloud d’optimisation du référencement naturel (Search Engine Optimization, SEO) d'OnCrawl.

Petites et grandes entreprises utilisent OnCrawl pour comprendre comment les robots d'exploration analysent les pages Web afin d’optimiser au mieux celles de leur site. Le service les aide à identifier les erreurs au niveau de l'optimisation « on-page » (architecture du contenu), du code HTML ou des structures de liens, autant d’éléments qui mal implémentés peuvent compromettre leur classement dans les moteurs de recherche et entraîner une baisse du trafic. Par exemple, un magasin de meubles utilisera OnCrawl pour évaluer quelles catégories de produits (comme "chambre" ou "armoires") conduisent les internautes vers son site Web. En étudiant les corrélations, l’entreprise pourra comprendre quelles caractéristiques rendent ces catégories plus performantes dans les moteurs de recherche. Autre exemple, les magazines en ligne peuvent augmenter la portée de leurs articles en surveillant le temps qu'il leur faut pour être listés dans les moteurs de recherche et en optimisant leur contenu avec les bons mots-clés et leurs structures de site pour générer des aperçus plus parlants dans les résultats de recherche.

« Notre plateforme doit pouvoir répondre à tous les besoins de nos clients, à tout moment. Pour cela, il nous fallait une technologie à la fois automatisée, disponible en permanence et capable de gérer des tâches gourmandes en ressources. Notre choix s'est rapidement porté sur Google Cloud, et c'est ce qui nous a permis d'en arriver où nous en sommes aujourd'hui, en partant de zéro. »

– Philippe David, Chief Technology Officer, OnCrawl

Grâce à des connecteurs compatibles avec les principales plateformes d'analyse et autres sources de données, les clients peuvent ajouter les informations collectées par OnClawl à leurs propres tableaux de bord. Ils bénéficient ainsi d'insights SEO exploitables à la volée. Aujourd'hui, l'entreprise traite 7 000 explorations par mois, ce qui représente plus de 250 millions d'URL explorées.

Offrir aux clients des explorations plus rapides et à la demande

Les robots d'exploration sont confrontés à des difficultés différentes selon le type de site Web. Typiquement, les sites JavaScript sont plus dynamiques et nécessitent des ressources importantes, ce qui les rend plus complexes à explorer que les sites Web standards. Mais même l'exploration de ces derniers requiert toute une séquence automatisée de tâches. À commencer par l’extraction de toutes les données et leur traitement sous Apache Spark. Pour améliorer la fiabilité et l'efficacité de ses explorations, OnCrawl a adopté en 2017 une approche orientée microservices s’appuyant sur Google Kubernetes Engine (GKE).

Grâce à GKE, les développeurs d'OnCrawl peuvent déployer de nouvelles fonctionnalités plus souvent et automatiser des tâches qui nécessitaient autrefois une intervention manuelle. Au lieu de provisionner un cluster pour chaque tâche Spark et le conserver, OnCrawl génère automatiquement des clusters éphémères avec Dataproc, qui sont supprimés une fois la tâche terminée. Cela permet d'automatiser davantage les explorations mais rend surtout les clusters moins coûteux et plus simples à maintenir.

« Grâce à Google Kubernetes Engine, nous pouvons lancer immédiatement des projets gigantesques. Nos clients peuvent donc explorer des centaines de millions de pages JavaScript du jour au lendemain s'ils le souhaitent. Il est déjà arrivé que notre robot d'exploration JavaScript passe de 10 pods Kubernetes à 750 en quelques minutes, sans le moindre problème. »

– Philippe David, Chief Technology Officer, OnCrawl

Déploiements plus fréquents et scaling automatique améliorent l'expérience utilisateur des clients avec des explorations plus rapides et disponibles à la demande. Comme l'évolutivité est illimitée, les clients de petite envergure ne sont pas lésés si d'autres clients plus importants ont besoin des ressources.

« Le Machine Learning est l'avenir du SEO. Grâce à ses puissantes capacités de traitement et ses fonctionnalités de scaling automatique, Google Cloud nous a permis de transformer OnCrawl en plateforme de Machine Learning. Et nous sommes ainsi bien partis pour devenir le leader mondial de l'analyse SEO basée sur les données dans les environnements de Machine Learning. »

– Vincent Terrasi, Head of Data and Product, OnCrawl

Mettre en place des traitements de données simplifiés et mieux intégrés

Grands ou petits, tous les clients d’OnCrawl expriment un besoin croissant d’accès aux données. En créant un lac de données de 500 To avec Cloud Storage, OnCrawl a instauré dans toute l'entreprise une véritable culture de la donnée. Des données qui sont traitées à grande échelle avec BigQuery. Avec ses bibliothèques prêtes à l'emploi, BigQuery s'intègre facilement aux outils d'analyse et de visualisation du marché, ce qui permet à OnCrawl de fournir à ses clients les données dont ils ont besoin, dans les outils qu'ils utilisent. D’autant que la connectivité des solutions de données de Google Cloud facilite l'intégration de nouveaux outils à mesure que la plateforme évolue.

En 2020, séduit par la popularité croissante de Google Data Studio, OnCrawl a lancé un connecteur dédié à ce service. L’infrastructure étant déjà en place, ses développeurs se sont simplement contentés d'interconnecter les API entre les services Google Cloud. Dans la configuration actuelle, BigQuery récupère automatiquement les données stockées dans Cloud Storage au format Apache Parquet et les exporte vers Data Studio.

Grâce à ce connecteur Data Studio, les clients peuvent automatiquement et en temps réel envoyer les données d’OnCrawl vers leur tableau de bord. Ainsi, de grandes quantités d’informations sont immédiatement accessibles aux services marketing, responsables et clients, qui peuvent en dégager des insights exploitables pour améliorer les pages et leur référencement.

« Mettre les données à la disposition de nos clients dans les formats dont ils ont besoin, c'est devenu une composante essentielle de nos activités SEO », indique Rebecca Berbel, Content Manager chez OnCrawl.

« Quand nous avons pris conscience de l'utilisation croissante de Data Studio en tant qu'outil de visualisation, il nous a été très facile de répondre à cette demande grâce à notre infrastructure Google Cloud et d'offrir aux clients les fonctionnalités qu'ils nous demandaient. »

Préparer, analyser et exporter les données rapidement

Plus les clients d'OnCrawl collectent de données, plus les efforts à déployer pour les interpréter sont importants. Pour simplifier l’analyse des données, le service propose une segmentation avancée et personnalisée divisant un ensemble de pages en groupes thématiques. Une telle segmentation permet des analyses plus systématiques des sites et aide à mieux identifier des tendances ou des anomalies en fonction des types de pages ou de métriques spécifiques. Grâce à cette segmentation personnalisée, les utilisateurs peuvent par exemple réaliser des analyses croisées plus pertinentes pour leur secteur d'activité et repérer des optimisations qui pourraient échapper à d'autres plateformes SEO.

« La puissance de traitement et l'évolutivité à la demande de Google Cloud nous permettent de préparer, d'analyser et d'exporter rapidement les données, même au sein des segmentations personnalisées créées par nos utilisateurs », indique Vincent Terrasi, Head of Data and Product chez OnCrawl. « C'est pourquoi notre solution est la seule sur le marché à pouvoir analyser les données de segmentations en temps réel. »

OnCrawl n'a de cesse de rendre les données SEO plus exploitables, ce qui lui a valu de recevoir de nombreux prix, y compris celui du meilleur logiciel SEO au monde en 2020. Mais sa vraie récompense, c'est la réussite de ses clients. « Certains ont enregistré une augmentation du trafic généré par les résultats naturels pouvant atteindre 70 % et même plus en améliorant la structure de leur site sur la base d'insights SEO exploitables », déclare Rebecca Berbel.

Dans le même temps, les Web crawlers actuels explorent également de nouveaux territoires. L’usage du Machine Learning rend les algorithmes des moteurs de recherche de plus en plus sophistiqués et donc de plus en plus difficiles à analyser. Pour continuer à obtenir les meilleurs classements dans les résultats des moteurs de recherche, les clients d'OnCrawl vont avoir besoin à l’avenir de données SEO encore plus pertinentes. C'est pourquoi OnCrawl a commencé à revoir ses composants afin de traiter toutes les données collectées à l'aide d'algorithmes ML (Machine Learning). Disposer d’une infrastructure Google Cloud déjà opérationnelle donne à l’éditeur les moyens d'adopter rapidement des technologies ML nécessitant d'importantes ressources de calcul.

« Le Machine Learning est l'avenir du SEO », ajoute Vincent Terrasi. « Grâce à ses puissantes capacités de traitement et ses fonctionnalités de scaling automatique, Google Cloud nous a permis de transformer OnCrawl en plateforme de Machine Learning. Nous sommes ainsi bien partis pour devenir le leader mondial de l'analyse SEO basée sur les données dans les environnements de Machine Learning ».

Songkick harmonise son infrastructure avec Memorystore

Fri, 04 Jun 2021 10:00:00 +0000

Songkick est une plate-forme de musique en direct doublée d'un service permettant aux utilisateurs de découvrir des concerts. Basée au Royaume-Uni, cette entreprise du Warner Music Group aide les amateurs de musique à trouver des événements en direct. Chaque année, grâce à Songkick, plus de 175 millions de mélomanes du monde entier peuvent suivre leurs artistes favoris, découvrir des concerts et diffusions en direct, et acheter des places en ligne (sur le site Web ou via l'application mobile), en toute sérénité.

Nous travaillons avec une quinzaine de développeurs répartis dans quatre équipes basées à Londres. Mon rôle consiste à les aider à prendre des décisions techniques et à concevoir des solutions. Une fois la migration vers Google Cloud effectuée, nous souhaitions disposer d'une solution de mise en cache entièrement gérée capable de s'intégrer aux autres outils Google que nous utilisons. Nous voulions par ailleurs limiter la charge de travail de nos développeurs pour leur permettre d'élaborer des produits innovants qui plairont à nos clients. Grâce à Memorystore, le service de stockage en mémoire évolutif, sécurisé et à disponibilité élevée développé par Google pour Redis, nous sommes parvenus à atteindre ces objectifs.

Les services entièrement gérés de Memorystore éliminent les difficultés

Notre infrastructure d’origine de mise en cache s'appuyait intégralement sur des instances Memcached sur site. Et à l'époque, cette solution nous semblait facile à utiliser. Avec le temps, nous nous sommes tournés vers Redis afin d'exploiter ses fonctionnalités avancées (les dictionnaires et les incréments, par exemple). Notre architecture orientée services intégrait donc ces deux datastores en Open Source. Par ailleurs, nous possédions deux clusters Redis : le premier était réservé aux données persistantes, tandis que le second nous servait simplement de couche de mise en cache entre notre frontend et nos services.

Au moment de déterminer comment nous allions utiliser Google Cloud, nous avons réalisé qu'exploiter deux technologies de mise en cache (à savoir Memcached et Redis) n'offrait aucun avantage. Nous avons donc décidé de n'utiliser que Redis, qui répondait à tous nos besoins (éliminant ainsi le besoin d'apprendre à maîtriser les deux bases de données). Nous savions que Redis était plus difficile à utiliser et à gérer, mais cela ne nous a pas inquiétés outre mesure, car Google Cloud s'en chargerait entièrement une fois que nous serions passés à Memorystore. Ce dernier automatise les tâches complexes de Redis, comme l'activation de la haute disponibilité, le basculement, l'application de correctifs et la surveillance, ce qui nous a permis de nous concentrer sur de nouvelles opportunités d'ingénierie.

Nous avons tenu compte du nombre d'heures passées à réparer les clusters Redis défectueux et à déboguer les problèmes réseau. Les membres de notre équipe étant plus habitués à développer des infrastructures qu'à en gérer, ils passaient beaucoup de temps à résoudre les problèmes liés à Redis, ce qui les empêchait de se concentrer. Nous savions aussi qu'un outil autogéré entraînerait sans doute des temps d'arrêt côté utilisateur. Memorystore représentait donc une option sécurisée, économique et entièrement gérée qui nous éviterait tous ces désagréments. Il offre tous les avantages de Redis, sans les difficultés liées à sa gestion. Le choix s'est donc imposé de lui-même.

Notre utilisation de Memorystore

Étudions quelques-uns de nos cas d'utilisation de Memorystore. Nous avons deux niveaux de mise en cache sur Memorystore : le frontend met en cache les résultats des appels d'API vers nos services, et certains services mettent en cache les résultats des bases de données. En règle générale, l'URL et toute valeur primitive transmise constituent la clé de mise en cache pour nos services frontend. À l'aide de l'URL et des paramètres de requête, le frontend détermine s'il possède déjà un résultat correspondant ou s'il doit contacter le service.

Certains de nos services intègrent une couche de mise en cache qui communique avec Redis avant de décider si elle doit contacter les bases de données, puis appelle notre logique métier et contacte les bases de données. Cette couche de mise en cache se trouve devant le service et fonctionne sur le même principe que la mise en cache frontend.

Nous utilisons également Fastly comme couche de mise en cache devant nos interfaces. Pour une page individuelle, l'intégralité du contenu est donc susceptible d'être mise en cache dans Fastly. C'est le cas des pages de classement des meilleurs artistes sur notre plate-forme, par exemple.

Memorystore intervient pour les contenus côté utilisateur (lorsque la page dédiée à un événement récupère des informations sur l'artiste et sur l'événement, voire des recommandations pour l'artiste, par exemple). Si le cache Fastly de la page de l'artiste a expiré, Memorystore se tourne alors vers le cache frontend, qui communique avec les différents services pour afficher toutes les informations demandées sur la page. Dans ce cas, trois ensembles de données distincts se trouvent dans le cache Redis. Les pages de nos artistes contiennent des éléments qui ne sont pas mis en cache dans Fastly. Nous nous appuyons donc plus largement sur Redis.

La valeur TTL (time-to-live) de notre cache Redis est assez limitée : il nous arrive parfois d'avoir un cache de 10 minutes seulement. En revanche, si les données sont particulièrement statiques, la mise en cache dans Redis peut durer quelques heures. Pour chaque élément de données, nous déterminons une durée de mise en cache raisonnable, puis nous définissons la valeur TTL en conséquence. Certains artistes peuvent enregistrer jusqu'à 100 000 appels par jour. Dans ce cas, une mise en cache de 10 minutes seulement influence déjà grandement le nombre d'appels que nous devons intégrer à notre service.

Pour ce cas d'utilisation, nous disposons d'un cluster Memorystore à disponibilité élevée d'environ 4 Go de mémoire, et nous utilisons une règle d'éviction du cache allkeys-lru (le moins récemment utilisé). À l'heure actuelle, nous recevons environ 400 requêtes par seconde sur ce cluster lors des pics d'activité (pour une journée typique). Mais dans certaines circonstances, ce nombre peut augmenter sensiblement.

Nous avions deux clusters Redis différents dans notre ancienne infrastructure. Le premier correspond à ce que je viens de décrire, et le second était un service Redis persistant. Lorsque nous avons envisagé de migrer vers Google Cloud, nous avons décidé d'exploiter les aspects de Redis dans lesquels ce service excelle. Pour cela, nous avons simplifié et redéfini les quatre ou cinq fonctionnalités utilisant le service Redis persistant à l'aide de Cloud SQL pour MySQL ou de BigQuery. Il nous arrive d'utiliser Redis pour agréger des données. Maintenant que nous sommes passés à Google Cloud, nous pouvons le faire simplement avec BigQuery, et les options d'analyse sont bien meilleures que celles dont nous disposions sur Redis.

Memorystore nous sert également de mutex distribué. Nous ne voulons pas que certaines actions soient réalisées simultanément dans notre système. Par exemple, nous ne voulons pas que deux administrateurs tentent de migrer les données associées à un événement spécifique au même moment. Si la migration de ces données s'effectuait de manière simultanée, notre système pourrait en être affecté. Nous utilisons donc un verrou mutex entre les différents processus pour nous assurer qu'ils ont lieu de façon consécutive, et non simultanée.

Memorystore et Redis : une combinaison gagnante

Depuis notre migration, nous n'avons pas rencontré de problème avec Redis. Nous sommes ravis des fonctionnalités de contrôle prêtes à l'emploi de Memorystore. Lorsque nous déployons une nouvelle fonctionnalité, nous pouvons facilement vérifier si elle remplit subitement le cache, ou si notre taux de succès est très bas (ce qui indiquerait une erreur de mise en œuvre de notre part).

Autre avantage de Memorystore : son interface fonctionne exactement comme si l'on communiquait directement avec Redis. Nous utilisons le service Redis standard dans un conteneur Docker dans nos environnements de développement. Ainsi, lorsque nous l'exécutons localement, nous pouvons facilement vérifier que notre code de mise en cache se comporte comme prévu.

Nous disposons d'un environnement de production et d'un environnement de préproduction, et de deux clouds privés virtuels. Chacun d'eux bénéficie de son propre cluster Memorystore. Nous avons également des tests unitaires qui n'entrent jamais vraiment en contact avec Redis, ainsi que des tests d'intégration qui communiquent avec un serveur MySQL local et un service Redis, l'un comme l'autre situé dans Docker. Nous possédons aussi des tests de validation, c'est-à-dire des tests automatiques du navigateur qui s'exécutent dans l'environnement de préproduction. Ils communiquent avec Cloud SQL et Memorystore.

Aller plus loin avec Memorystore

En prévision d'un éventuel cas d'utilisation futur de Memorystore, nous allons sans doute ajouter Pub/Sub à notre infrastructure. Nous utiliserons Redis pour dupliquer des messages provenant de Pub/Sub (pour éviter d'envoyer le même e-mail deux fois de suite, par exemple). Nous sommes impatients de découvrir les services entièrement gérés de Pub/Sub. En effet, nous exécutons actuellement RabbitMQ, et nous sommes fréquemment amenés à le déboguer. Nous avons testé Pub/Sub dans les mêmes circonstances, et il s'est révélé très efficace. Cette fois encore, nous n'avons pas eu de mal à prendre une décision.

Memorystore fait partie des solutions cloud de données de Google que nous utilisons au quotidien. Nous employons aussi Cloud SQL, BigQuery et Dataflow pour un pipeline ELT, l'entreposage de données et nos produits d'analyse. Nous agrégeons ensuite les données qui intéressent l'artiste, nous les transmettons à MySQL, puis nous les faisons apparaître dans nos produits destinés aux artistes. Lorsque nous aurons intégré Pub/Sub, nous disposerons de presque tous les types de bases de données Google Cloud possibles. Cela prouve à quel point nous apprécions les outils Google Cloud !

Pour en savoir plus sur les services et les produits pour la musique de Songkick, cliquez ici. Vous souhaitez en savoir plus sur Memorystore ? Consultez le blog Google Cloud et découvrez nos bonnes pratiques de réglage des performances pour Memorystore pour Redis.

Découvrez pourquoi Ricardo a choisi d'associer Bigtable à BigQuery

Wed, 07 Apr 2021 11:00:00 +0000

Avec plus de 3,7 millions de membres, Ricardo est le plus grand fiable et important marché en ligne suisse. En 2019, nous avons procédé à la migration de notre infrastructure sur site vers Google Cloud. Ce faisant, nous avons rencontré de nouveaux cas d'utilisation, que nous souhaitions absolument résoudre. Avec la fermeture de notre centre de données sur site, nous devions rapidement trouver une solution pour ces cas d'utilisation, en commençant par notre traitement de flux de données. Nous avons décidé d'utiliser les services Cloud Bigtable et Dataflow de Google Cloud.

Analyse de nos cas d'utilisation de données

Avant de passer à BigQuery, l'entrepôt de données de Google Cloud pour les entreprises, nous utilisions Microsoft SQL afin d’effectuer les analyses. Nous devions donc migrer toutes nos charges de travail vers la nouvelle plate-forme. Nous avons alors décidé d'exécuter les importations et les chargements par lot de Kafka vers BigQuery via Apache Beam.

Nous souhaitions également que nos équipes internes puissent effectuer des détections de fraudes via notre portail d'informations client, afin de protéger notre clientèle contre la vente de produits frauduleux ou les usurpations d'identité.

Nos ingénieurs ont également dû rapidement trouver comment déporter nos deux principaux flux de données, ces dernières étant stockées dans des systèmes distincts. L'un est principalement destiné aux articles mis en vente sur notre plate-forme. L'autre regroupe les éléments qui contiennent les différentes descriptions des articles. Avant, nous insérions les flux dans BigQuery, puis nous procédions à une jointure. Or, cela fait maintenant un certain temps que Ricardo est présent sur le marché. Il arrive donc parfois qu'un article n'ait pas été stocké depuis 2006 ou soit répertorié à nouveau, ce qui peut entraîner l'absence de certaines informations dans le flux des éléments.

Quelle solution pour résoudre ce problème ?

Alors que je cherchais à résoudre notre problème de flux de données, je suis tombé sur le blog Google Cloud. J'y ai trouvé un guide sur les modèles d'utilisation courants pour Dataflow, le service de traitement par lot et par flux unifié de Google Cloud, avec une section sur les grandes tables de correspondance en mode flux". En plus de notre flux d'articles, nous disposons d'une table de correspondance de 400 Go regroupant nos éléments. Cependant, nous voulions être en mesure de rechercher l'élément associé à un article donné. Ce guide suggérait qu'un système orienté colonnes pourrait exécuter ce type de requête en quelques millisecondes, et pourrait être utilisé dans un pipeline Dataflow pour effectuer la recherche et mettre à jour le tableau.

Nous avons donc examiné deux options pour résoudre le cas d'utilisation. Nous avons essayé un prototype avec Apache Cassandra, le système de gestion de base de données NoSQL, Open Source et orienté colonnes, que nous pouvons insérer en flux continu depuis BigQuery en préchargeant les données de l'historique à l'aide d'Apache Beam.

Nous avons développé un cluster Cassandra sur Google Kubernetes Engine (GKE) à l'aide de CASS Operator, publié en Open Source par Datastax. Nous avons créé une structure d'index, optimisé l'ensemble et effectué des benchmarks, et nous nous sommes rendu compte que tout fonctionnait correctement. Nous disposions donc du nouveau cluster, le pipeline consommait des éléments et des articles, et la recherche des éléments était effectuée depuis Cassandra, où ils étaient également stockés.

Concernant les tâches routinières et les problèmes liés aux opérations, notre équipe d'intelligence des données doit être entièrement autonome. Nous sommes une petite entreprise, alors nous devons évoluer rapidement. Cependant, nous ne voulons pas créer un système qui pourrait être rapidement dépassé.

Nous étions déjà satisfaits des services gérés de BigQuery. C'est pourquoi Bigtable, un service de base de données NoSQL orienté colonnes, à faible latence et entièrement géré, s'est naturellement imposé à nous.

Des économies nettes de 13 % avec Bigtable

Le point faible de Cassandra par rapport à Bigtable résidait dans son coût. Cassandra avait besoin de trois nœuds pour assurer les garanties de disponibilité. Avec Bigtable, nous pouvions bénéficier d'un pipeline de données tolérant aux pannes et d'un pipeline Apache Beam s'exécutant sur Apache Flink. Nous pouvions également profiter d'une tolérance aux pannes en cas de faible disponibilité. Il n'était donc pas nécessaire d'exécuter les trois nœuds. Nous pouvions bénéficier de 18 nœuds lors de l'ingestion de l'historique de BigQuery dans Bigtable pour la table de correspondance. Ensuite, une fois l'ingestion terminée, nous pouvions passer à un ou deux nœuds, chaque nœud étant capable de lire jusqu'à 10 000 lignes par seconde. Bigtable se charge de la disponibilité et de la durabilité en arrière-plan, et offre ainsi des garanties même avec un seul nœud.

Cet aspect nous a fait prendre conscience que la solution Bigtable était plus économique et facile à gérer que la solution basée sur Cassandra. En tenant compte des coûts d'opérations, du temps d'arrêt et de l'assistance technique inhérents à la solution Cassandra sur GKE, il convenait plus à notre petite équipe de commencer par utiliser un To dans une instance Bigtable. Bigtable était l'option la plus simple, rapide et économique. En transférant de telles requêtes de recherche vers Bigtable, nous avons réduit nos coûts BigQuery de 13 %. Il est important de garder à l'esprit qu'il s'agit d'économies nettes, les coûts supplémentaires liés à l'exécution de Bigtable sont déjà comptabilisés.

Une fois cette nouvelle solution en place, nous avons migré une autre charge de travail vers Bigtable, où nous avons intégré les informations liées aux tickets de Zendesk pour notre service client. Les rendant accessibles dans Bigtable pour associer la recherche de clé de production aux données Zendesk. Ainsi, nos agents peuvent immédiatement accéder à ces informations.

Profiter de l'intégration des outils Google Cloud

Si, comme nous, vous êtes une petite entreprise, créer une infrastructure de données où les données sont facilement accessibles est d'une importance cruciale. Bigtable est l’endroit où nous avons traité les données prêtes à être utilisées par des services. Grâce à l'intégration des services entre Bigtable, BigQuery et Dataflow, nous pouvons faciliter l'accès à ces données.

L'un des atouts majeurs de la plate-forme Google Cloud, c'est également la possibilité d'apporter rapidement des ajustements avec Dataflow et BigQuery. Ce matin, par exemple, alors que je réfléchissais à un projet en cours, je me suis rendu compte que nous aurions dû inverser l'ID d'article de sorte que la chaîne soit inversée pour empêcher le hotspotting. Pour ceci nous avons pu augmenter le nombre de noeuds à 20 pour Bigtable ainsi que le nombre de noeuds de calcul à 50 pour Dataflow. Les tâches par lot ont ensuite procédé à la lecture dans BigQuery et à l'écriture dans le nouveau schéma avec Bigtable. L'opération n'a duré que 25 minutes. Avant l'adoption de la solution Bigtable, ce genre d'ajustement aurait duré des jours.

De nouvelles opportunités grâce à l'outil Key Visualizer de Bigtable

J'ai eu l'idée d'inverser l'ID d'article alors que je pensais à Key Visualizer de Bigtable, qui est pratique et facile à utiliser par rapport à notre ancienne configuration. Cet outil offre une intégration étroite, mais il est facile d'expliquer son fonctionnement.

Mis à part le nombre de nœuds et le choix d'obtenir ou non une réplication, nous n'avons pas à nous soucier de la configuration avec les nœuds SSD. C'est aussi facile que de tourner le bouton de volume sur une chaîne hi-fi, ce qui nous a vraiment impressionnés. L'extensibilité à la hausse ou à la baisse se fait très rapidement, et, avec Dataflow, vous ne subissez aucune perte. Ainsi, vous n'avez pas à instancier quoi que ce soit, vous pouvez simplement effectuer la programmation et le partage lors de l'exécution. Nous n'avions encore jamais vu une telle capacité d'extensibilité.

Envisager de futurs cas d'utilisation pour Bigtable

Pour les cas futurs, nous utilisons le machine learning pour améliorer notre projet de détection des fraudes, que nous espérons déplacer vers Bigtable. Actuellement, nous disposons d'un processus qui est déclenché toutes les heures par Airflow dans Cloud Composer. Celui-ci extrait les données de BigQuery de l'heure précédente, puis il les passe en revue pendant que le conteneur Python s'exécute avec le modèle qui fait l'objet d'un chargement et qui reçoit les données en entrée. Si l'algorithme est sûr à 100 % que l'article est frauduleux, il bloque le produit qui pourra uniquement être libéré via une demande manuelle émise par le service client. Si l'algorithme n'est pas aussi catégorique, le produit est signalé et envoyé au service client à des fins de vérification.

Il manque actuellement une boucle de rétroaction automatisée au sein du processus, un ajustement au cas où l'agent chargé de la vérification indique que l'article n'est pas frauduleux. Nous pourrions écrire du code pour exécuter cette action, mais il nous faut une solution plus rapide. Il serait plus judicieux de le faire directement depuis Bigtable.

À l'avenir, nous aimerions également que le pipeline Dataflow procède à l'écriture dans BigQuery et Bigtable de manière simultanée pour tous les points importants. Nous pourrions alors résoudre ce genre de cas d'utilisation et les diffuser directement et quasiment en temps réel à partir de Bigtable plutôt que BigQuery.

Grâce à la diminution des coûts BigQuery de 13 % et à l'intégration étroite de tous les services gérés Google Cloud comme Bigtable, notre équipe d'intelligence des données, petite mais tenace, ne rencontre plus de problèmes avec les opérations sur notre plate-forme de données. Nous pouvons, entre autres, consacrer le temps gagné au développement de solutions pour ces cas d'utilisation futurs.

Allez faire un tour sur Ricardo.ch, puis visitez notre site Web pour en savoir plus sur le stockage cloud natif des valeurs/clés avec Bigtable.

Gartner classe Google parmi les leaders dans son rapport "Magic Quadrant for Cloud Database Management Systems" de 2020

Tue, 19 Jan 2021 20:27:00 +0000

Nous annonçons aujourd'hui que Google a été cité comme l'un des leaders dans le tout premier rapport Magic Quadrant for Cloud Database Management Systems (Magic Quadrant pour les systèmes de gestion de bases de données cloud) de Gartner (2020). Cette distinction récompense selon nous la stratégie et la vision de Google Cloud en matière d'analyses et de bases de données, et fait écho à l'augmentation du nombre de clients de divers secteurs d'activité et pays qui adoptent Google Cloud comme plate-forme de données.

Gartner a classé Google comme l'un des trois premiers leaders en matière d'exhaustivité de la vision dans son rapport Magic Quadrant. En effet, nous tenons notre promesse de fournir des solutions multicloud et hybrides, nous touchons une clientèle diverse dans toutes les régions et tous les secteurs, nous instaurons une nouvelle norme de tarification flexible avec des contrôles de gouvernance financière solides, et nous collaborons avec un vaste réseau de partenaires. Nous appliquons concrètement notre vision et nous sommes fiers d'être le premier fournisseur hyperscale à offrir un entrepôt de données multicloud avec BigQuery Omni. De plus, nous proposons les tarifs les plus flexibles du marché avec nos remises sur engagement d'utilisation pour les moteurs Cloud SQL, nous offrons des insights instantanés sur l'ensemble de votre entreprise grâce à Data QnA, et nous améliorons sans cesse la fiabilité et l'expérience de développement via Cloud Spanner, pour ne citer que quelques exemples.

Dans le monde actuel, il est évident que vous devez envisager d'adopter un écosystème complet de bout en bout de services d'analyse et de bases de données afin d'exploiter pleinement vos données. Il n'est donc pas logique d'évaluer les cas d'utilisation analytiques et opérationnels séparément. Selon nous, comme les marchés opérationnels et analytiques pour les systèmes de gestion de bases de données ont convergé, Gartner a fusionné ses évaluations dans un seul rapport Magic Quadrant sur les systèmes de gestion de bases de données, qui présente des fournisseurs et des produits pour ces deux types de cas d'utilisation. Nous avons été cités comme l'un des leaders dans les deux précédents rapports Magic Quadrant et nous soutenons pleinement ce changement, car il reflète la manière dont nos clients professionnels achètent, déploient et consomment nos services.

Se consacrer à l'innovation pour les clients, et non à l'infrastructure

Des entreprises comme Procter & Gamble, Vodafone et Sharechat ont fait appel à Google Cloud pour développer leurs produits et les faire évoluer plus rapidement, tout en améliorant l'expérience client en ligne à l'aide de notre plate-forme de données entièrement gérée.

"Nous cherchons constamment à offrir une expérience client optimale dans toutes nos catégories de produits, de la santé à la beauté et bien d'autres encore", déclare Vittorio Cretella, CIO de Procter & Gamble. "En tant que leader sur le marché de l'analyse et de l'IA, Google Cloud est un partenaire stratégique qui nous aide à fournir à nos clients des produits et services de qualité, leur apportant de la valeur de manière sécurisée et transparente."

Nous sommes fiers de figurer parmi les leaders dans le rapport "Magic Quadrant for Cloud Database Management Systems" (Magic Quadrant pour les systèmes de gestion de bases de données cloud) de Gartner (2020), et nous sommes impatients de continuer à innover et à vous accompagner dans votre transformation numérique.

Téléchargez l'intégralité du rapport Magic Quadrant for Cloud Database Management Systems (Magic Quadrant pour les systèmes de gestion de bases de données cloud) de Gartner (2020). Profitez dès maintenant d'un essai gratuit de Google Cloud.

_{Gartner, rapport "Magic Quadrant for Cloud Database Management Systems" (Magic Quadrant pour les systèmes de gestion de bases de données cloud), 23 novembre 2020, Donald Feinberg, Adam Ronthal, Merv Adrian, Henry Cook et Rick Greenwald. Ce graphique a été publié par Gartner Inc. Il provient d'un document de recherche plus complet et doit être analysé dans le contexte fourni par l'ensemble du document. Le document de Gartner est disponible sur demande auprès de Google. Gartner est indépendant des fournisseurs, produits et services cités dans ses publications de recherche, et ne conseille pas aux utilisateurs de technologie de limiter leur choix aux fournisseurs classés parmi les meilleurs. Les rapports de recherche de Gartner expriment les points de vue de Gartner et ne doivent en aucun cas être interprétés comme des déclarations factuelles. Gartner décline toute responsabilité explicite ou implicite concernant cette publication, y compris toute garantie de qualité marchande et d'adéquation à un usage particulier.}

Cloud de données moderne : Google trace la voie à suivre

Mon, 18 Jan 2021 20:09:00 +0000

Google Cloud figure parmi les leaders en matière de données, et ces dernières années, nous avons réalisé des progrès considérables pour aider nos clients professionnels à améliorer leurs bases de données et leurs capacités d'analyse. C'est principalement pour notre plate-forme de données que les plus grandes entreprises internationales (comme The Home Depot, HSBC et UPS) ont choisi d'exécuter leurs applications critiques sur Google Cloud. Nous avons également suscité l'intérêt de la communauté des analystes grâce à Gartner, Forrester et IDC, qui ont désigné Google comme leader dans leurs rapports sur l'analyse de données, les bases de données et l'IA. Nos services entièrement gérés de bases de données et d'analyse continuent de faciliter la transformation numérique des entreprises, dans un monde constamment hyperconnecté qui les incite à migrer vers le cloud.

Google s'est donné pour mission d'organiser les informations à l'échelle mondiale dans le but de les rendre accessibles et utiles à tous. Pour y parvenir, nous traitons et analysons les plus grands ensembles de données du monde sur l'infrastructure cloud la plus verte et la plus fiable du secteur. En nous appuyant sur cette expertise, nous avons mis à la disposition de nos clients un nouveau type de cloud de données adapté aux entreprises, à la fois simple, intelligent et ouvert. Grâce à ses fonctionnalités d'automatisation intégrées, il assure le fonctionnement optimal de vos opérations axées sur les données, tout en vous offrant la possibilité d'évoluer simplement selon vos besoins futurs.

Voici les cinq raisons qui expliquent notre place de leader dans ce domaine.

1. Les principaux bureaux d'étude reconnaissent que les services de base de données et d'analyse de Google Cloud sont performants et adaptés aux entreprises de toutes les tailles. Aujourd'hui, nos clients traitent et analysent des pétaoctets de données sur la plate-forme la plus avancée et évolutive du monde. Quels que soient leur envergure et leur niveau de maturité, ils sont capables de transformer facilement de simples prototypes en produits populaires à l'international. Cloud Spanner, qui allie une structure de base de données relationnelle et une évolutivité non relationnelle, est la solution de référence dans ce domaine. Cloud Bigtable libère toute la puissance des applications à haut débit et faible latence, et permet aux clients de traiter des millions de requêtes par seconde. Google Cloud offre un niveau de fiabilité incomparable dans toutes les régions : ainsi, vos applications critiques sont toujours opérationnelles. Google propose certains des meilleurs contrats de niveau de service du secteur. Spanner est assorti d'un contrat de niveau de service garantissant une disponibilité de 99,999 %, et BigQuery a depuis peu le sien (à hauteur de 99,99 %). Concernant les performances, des bureaux d'étude indépendants ont classé Google Cloud parmi les leaders en termes de gestion hautement efficace et évolutive des données pour l'analyse. Vous avez besoin de contrôles robustes de sécurité et de gouvernance pour orchestrer tout cela et protéger les données des clients. Ces dernières sont chiffrées par défaut, et Cloud Identity and Access Management (Cloud IAM) assure la gestion de l'authentification et des accès dans l'ensemble de nos solutions.

2. Google Cloud est l'une des plates-formes cloud qui se développent le plus rapidement dans le monde, tous secteurs d'activité confondus. Notre croissance se poursuit sur tous les segments de clientèle. BigQuery est largement considéré comme la solution de pointe pour l'analyse et l'entreposage de données. Looker, avec sa couche sémantique multicloud universelle, génère rapidement des insights à partir de données. Nos services de bases de données comme Spanner et Cloud SQL assurent quant à eux le fonctionnement des applications les plus critiques tout en repoussant les limites de l'évolutivité, de la disponibilité et des performances. Cloud Firestore, notre base de données de documents, est même celle qui satisfait le plus les développeurs, d'après une étude comparative sur le marché des bases de données cloud menée récemment par SlashData. L'année dernière, la popularité de Cloud SQL n'a cessé de croître : c'est désormais l'un des services Google Cloud qui se développe le plus rapidement. Avec le lancement de Database Migration Service, il est maintenant plus facile pour les entreprises de passer à Cloud SQL depuis une base de données sur site ou d'autres clouds, sans interrompre leurs activités. Notre place de leader dans le domaine des données explique en grande partie pourquoi des organisations comme HSBC, Major League Baseball, Mayo Clinic et ShareChat ont choisi Google pour exécuter leurs applications basées sur les données. Et c'est également la raison pour laquelle IDC a récemment désigné notre plate-forme de données parmi les leaders dans son rapport MarketScape 2020 sur les fournisseurs de plate-forme d'analyse de données cloud dans la région Asie-Pacifique.

3. Les services de base de données et d'analyse de Google Cloud ont été développés selon une approche qui se caractérise par l'ouverture, avec des logiciels et des bases de données Open Source, des API et des formats de données ouverts, ainsi qu'un écosystème inclusif de partenaires. Les clients peuvent faire leur choix parmi une vaste gamme de moteurs opérationnels et analytiques, d'outils Open Source et de services de machine learning. Cloud SQL offre un service géré pour les bases de données Open Source les plus populaires au monde : MySQL et PostgreSQL. Les clients bénéficient ainsi des dernières améliorations apportées par la communauté, combinées à un niveau de disponibilité, de sécurité et de performance adapté aux entreprises. Et grâce aux API ouvertes qui simplifient la migration et la portabilité, vous pouvez facilement accéder aux données via vos outils préférés. De plus, notre plate-forme ouverte assure une interopérabilité directe entre divers services d'ingestion, de stockage, de traitement et d'analyse, y compris Apache Spark, Presto et bien plus. Enfin, notre écosystème étendu de partenaires et les intégrations aux principaux services Google (comme Google Analytics) vous permettent d'utiliser rapidement et sans la moindre difficulté les sources de données et les technologies que vous et votre équipe avez déjà adoptées. Nous nous engageons à contribuer à la réussite de nos partenaires et de nos clients. Notre plate-forme ouverte répond non seulement aux besoins croissants de nos clients en matière de données et d'analyses, mais aide aussi nos partenaires (comme Elastic, Confluent et MongoDB) à commercialiser leurs solutions cloud à grande échelle.

4. Google permet aux entreprises de résoudre rapidement leurs plus gros problèmes liés aux données grâce à des packages de solutions d'analyse horizontales et verticales intégrant des fonctionnalités d'IA de pointe. Ces packages de solutions partenaires tarifés et compatibles permettent entre autres d'améliorer le fonctionnement des centres d'appels, de traiter des documents ou de répondre à des besoins plus ciblés dans des secteurs spécifiques (santé, commerce, fabrication et industrie, services financiers, et multimédia et divertissement). Les entreprises cherchent à développer leurs activités sur de nouveaux canaux et à proposer des expériences en temps réel, et Firestore peut les y aider en accélérant le développement d'applications Web, mobiles et IoT. Avec Firestore, les développeurs sont en mesure de créer rapidement et à grande échelle des applications fiables en temps réel, capables de gérer les fluctuations de la demande dans l'environnement actuel. Pour les entreprises qui souhaitent concevoir leurs propres solutions d'analyse et exploiter leurs données, nous avons lancé BigQuery ML, Dataproc Hub, les feuilles connectées et Data QnA. Ces solutions accessibles à tous, de l'utilisateur professionnel au data scientist, permettent de dégager des insights des données. "Avec les feuilles connectées, les données ne sont pas vraiment extraites et importées dans des feuilles de calcul, elles sont conservées dans la base de données d'origine", indique Pieter Van Nieuwerburgh, Global Change Manager chez PwC. "On peut y accéder facilement pour visualiser les données et les analyser à la demande, ce qui est très pratique."

5. Nous sommes le seul fournisseur cloud hyperscale à avoir adopté une vision multicloud. L'engagement de Google Cloud pour le multicloud permet aux clients d'utiliser leurs données où et comme ils le souhaitent. Ils peuvent créer leurs applications ou les moderniser n'importe où, et déployer de nouvelles fonctionnalités plus rapidement, ce qui est gage de succès dans un environnement en constante évolution. Des analystes du secteur ont désigné Google Cloud comme l'un des seuls fournisseurs cloud hyperscale à tenir la promesse du multicloud. En plus de faciliter l'innovation pour les clients grâce à l'adoption de normes ouvertes, Google Cloud leur assure de pouvoir choisir le bon fournisseur ou environnement cloud pour chacune de leurs charges de travail, ce qui leur évite de dépendre d'un seul prestataire. Les clients peuvent exécuter leurs applications où ils le souhaitent tout en bénéficiant des services de gestion et d'assistance de Google Cloud. Les développeurs ont ainsi la possibilité de créer et d'innover rapidement dans n'importe quel environnement, y compris sur site. Grâce à des produits comme Anthos, les clients peuvent mettre en place des solutions cloud dans un environnement hybride à l'aide de conteneurs. Cette architecture fonctionne également dans un environnement multicloud et est désormais compatible avec AWS. Plus haut dans la pile, Dataproc sur Kubernetes permet aux entreprises de créer des tâches Spark conteneurisées de machine learning et de traitement des données qui peuvent être déployées n'importe où. Et avec BigQuery Omni, vous pouvez analyser des données dans AWS en SQL standard, sans quitter l'interface familière de BigQuery.

Nous n'en sommes qu'au début

Google figure parmi les leaders dans le domaine des données. Lorsque nous avons créé l'infrastructure de données sur laquelle reposent les produits Google dont se servent des milliards de personnes, comme la recherche, Maps, Ads et YouTube, nous avons soumis nos systèmes et nos services à des tests très rigoureux. En nous appuyant sur l'expertise ainsi acquise, nous avons mis à la disposition de chaque entreprise un nouveau type de cloud de données avec des fonctionnalités automatisées entièrement gérées. Il assure le fonctionnement optimal de vos opérations axées sur les données, tout en offrant la possibilité d'évoluer simplement en fonction de vos besoins futurs. Nous allons continuer à aider nos clients à consacrer moins de temps à la gestion et davantage à la création. Cela implique de leur proposer un cloud de données offrant une expérience intégrée dans des environnements multicloud et hybrides, et répondant à tous leurs besoins en données et analyses.

Ne manquez pas nos prochains articles et en attendant, lancez-vous dès aujourd'hui avec un essai gratuit.

_{Gartner, rapport "Magic Quadrant for Cloud Database Management Systems" (Magic Quadrant pour les systèmes de gestion de bases de données cloud), 23 novembre 2020, Donald Feinberg, Adam Ronthal, Merv Adrian, Henry Cook et Rick Greenwald. Gartner est indépendant des fournisseurs, produits et services cités dans ses publications de recherche, et ne conseille pas aux utilisateurs de technologie de limiter leur choix aux fournisseurs classés parmi les meilleurs. Les rapports de recherche de Gartner expriment les points de vue de Gartner et ne doivent en aucun cas être interprétés comme des déclarations factuelles. Gartner décline toute responsabilité explicite ou implicite concernant cette publication, y compris toute garantie de qualité marchande et d'adéquation à un usage particulier.}

Migrez vos charges de travail Microsoft SQL Server vers Google Cloud

Mon, 24 Feb 2020 10:30:00 +0000

Les charges de travail des bases de données d'entreprise représentent l'épine dorsale de bon nombre d'applications et d’écosystèmes. La garantie de disponibilité constitue également un facteur essentiel lors du choix d'un fournisseur de cloud. Par ailleurs, beaucoup d'entreprises ont développé leurs applications critiques sur Microsoft SQL Server 2008, et elles exécutent encore souvent des versions plus anciennes de SQL Server pendant la modernisation d'environnements sur site. Selon Business Insider, 60 % des utilisateurs Microsoft exploitent encore SQL Server 2008 (arrivé en fin de vie en juillet 2019). Cela donne l'occasion à nombre d'entre vous d'héberger vos instances SQL Server 2008 sur une technologie plus récente occasionnant moins de charge opérationnelle.

Premiers pas avec la migration de SQL Server 2008

Cloud SQL pour SQL Server est à présent disponible dans le monde entier. Autrement dit, Cloud SQL vous aide désormais à maintenir l'exécution de vos charges de travail SQL Server en fournissant une disponibilité à 99,95 % dans le cadre d'un contrat de niveau de service (SLA), comme les autres moteurs de base de données Cloud SQL. Cloud SQL pour SQL Server est entièrement géré et compatible avec SQL Server 2017. Vous pouvez migrer vos charges de travail SQL Server de production critiques vers Google Cloud et compter sur la stabilité et la fiabilité du service.

Les entreprises nous font part de l'importance que la capacité de migrer vers Cloud SQL pour SQL Server revêt pour leurs objectifs plus larges de modernisation de l'infrastructure et de stratégie multicloud. Les applications sur site (ressources humaines, finances, paie, etc.) dépendent souvent de ces anciennes bases de données pour continuer à fonctionner. Maintenir la compatibilité avec ces systèmes et ensembles de données existants, tout en rationalisant les déploiements et le scaling horizontal pour un coût nettement plus bas, est l’un des défis souvent cités par nos clients. La migration de ces instances vers Cloud SQL pour SQL Server peut réduire les coûts et le temps de maintenance, et améliorer l'efficacité et la vitesse.

La migration de Microsoft SQL Server 2008 vers Cloud SQL pour SQL Server peut être réalisée en cinq étapes simples. Pour plus de détails, consultez le guide complet de migration de SQL Server 2008 R2 vers Cloud SQL pour SQL Server .

1. Créez une instance Cloud SQL pour SQL Server

code_block: <ListValue: [StructValue([('code', 'gcloud beta sql instances create target \\\r\n --database-version=SQLSERVER_2017_ENTERPRISE \\\r\n --cpu=2 \\\r\n --memory=5GB \\\r\n --root-password=sqlserver12@ \\\r\n --zone us-central1-f'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f6776b51be0>)])]>

2. Créez un bucket Cloud Storage

code_block: <ListValue: [StructValue([('code', 'gsutil mb -b off -l US "gs://bucket-name"'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f679e902e20>)])]>

3. Sauvegardez votre base de données Microsoft SQL Server 2008

code_block: <ListValue: [StructValue([('code', 'osql -E -Q "BACKUP DATABASE db-name TO DISK=\'c:\\backup\\db-name.bak\'"'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f67a1493cd0>)])]>

4. Importez la base de données dans Cloud SQL pour SQL Server

code_block: <ListValue: [StructValue([('code', 'gcloud beta sql import bak target \\\r\n gs://bucket-namedb-name.bak \\\r\n --database db-name'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f67a1493bb0>)])]>

5. Validez les données importées

code_block: <ListValue: [StructValue([('code', '/opt/mssql-tools/bin/sqlcmd -U sqlserver -S 127.0.0.1 -Q "query-string"'), ('language', ''), ('caption', <wagtail.rich_text.RichText object at 0x7f67a1493940>)])]>

Si vous travaillez avec des versions plus récentes de SQL Server, consultez le guide de migration de SQL Server 2017 vers Cloud SQL pour SQL Server.

Depuis le lancement de Cloud SQL pour SQL Server, nous avons entendu vos commentaires et avons continué à améliorer les performances et la durabilité du service. Nous prévoyons de poursuivre notre rythme rapide d'innovation et de publication de fonctionnalités pour répondre aux besoins et aux retours de nos clients. Quant à Cloud SQL pour SQL Server, il a fait ses preuves en tant que composant clé lors de la migration d'applications et d'infrastructures d'entreprise existantes.

Cloud SQL for SQL Server

Nous continuons d'améliorer rapidement Cloud SQL pour SQL Server afin de répondre à tous vos besoins en matière de bases de données cloud. Tenez-vous informé des fonctionnalités en développement qui peuvent faciliter l'intégration d'Active Directory, les migrations en ligne, et découvrez d'autres options pour les instances dupliquées et les types de machines.

Découvrez ce que Google Cloud peut faire pour vous

Inscrivez-vous pour recevoir un crédit de 300 $ destiné à tester Cloud SQL et le reste de Google Cloud. Vous pouvez commencer avec des micro-instances peu coûteuses pour les tests et le développement. Lorsque vous êtes prêt, faites-les évoluer pour gérer des applications exigeantes en performances. Découvrez tous les avantages de Google Cloud et Cloud SQL pour SQL Server.

Bases de données

Comment obtenir du code SQL de qualité avec l’IA : décryptage des techniques de Text-to-SQL

Relever les défis de la technologie text-to-SQL

Les techniques Text-to-SQL

Evaluer et mesurer les améliorations

Optimisez vos projets d'IA générative avec les nouvelles fonctionnalités des bases de données de Google Cloud

AlloyDB : une base de données PostgreSQL moderne, idéale pour vos workloads d’IA générative

Recherche vectorielle dans toutes les bases de données de Google Cloud

Accélérer la gestion de l’écosystème LangChain

Plonger dans un futur enrichi par l’IA

Faciliter le passage à Google Cloud et à des technologies Open Source

#1 Exécuter des applications Oracle Database dans Google Cloud

#2 Exécuter des applications SQL Server dans Google Cloud

#3 Opter pour une base PostgreSQL dans Google Cloud

#4 Comment migrer et moderniser vos applications avec les bases de données Google Cloud

#5 Bien démarrer avec Database Migration Service

Nous avons hâte de vous aider à réussir votre redéploiement

Établir un langage métier cohérent pour plus de confiance dans ses données

Par où commencer ?

Réduire l’impact sur le stockage d’une restauration Point-in-time

Les nouveautés liées à l’infrastructure data cloud unifiée de Google Cloud

Supprimer les barrières, obtenir des analyses en temps réel et ouvrir les écosystèmes

Faites-en plus avec moins : optimisez les coûts de Cloud SQL avec Active Assist

Quelles sont les principales sources de gaspillage dans les bases de données cloud ?

Jetons un coup d'œil à ces nouvelles recommandations de coûts Cloud SQL.

Redimensionner des instances surprovisionnées

Arrêter les instances inactives

Tirer profit des remises sur les engagements à long terme

Bien démarrer avec les recommandations d'optimisation des coûts de Cloud SQL

Découvrez les avantages des bases de données Google

Bases de données dans le cloud : le socle d’une transformation réussie

Les bases de données Google Cloud animent les applications modernes d'aujourd'hui.

Améliorer le classement des sites Web grâce à l'analyse SEO basée sur les données

Offrir aux clients des explorations plus rapides et à la demande

Mettre en place des traitements de données simplifiés et mieux intégrés

Préparer, analyser et exporter les données rapidement

Google BigQuery nommé leader dans le rapport « The 2021 Forrester Wave »

Songkick harmonise son infrastructure avec Memorystore

Les services entièrement gérés de Memorystore éliminent les difficultés

Notre utilisation de Memorystore

Memorystore et Redis : une combinaison gagnante

Aller plus loin avec Memorystore

BeyondCorp Enterprise : une nouvelle ère informatique

Découvrez pourquoi Ricardo a choisi d'associer Bigtable à BigQuery

Gartner classe Google parmi les leaders dans son rapport "Magic Quadrant for Cloud Database Management Systems" de 2020

Gartner classe Google parmi les leaders dans son rapport "Magic Quadrant for Cloud Database Management Systems" de 2020

Cloud de données moderne : Google trace la voie à suivre

Migrez vos charges de travail Microsoft SQL Server vers Google Cloud

Cloud SQL for SQL Server

8 raisons fréquentes pour lesquelles les entreprises migrent vers le cloud