Stockage et transfert de données

Une cartographie Google Cloud : Un arbre de décision pour choisir le stockage cloud le plus adapté à votre workload

Tue, 21 Jan 2025 08:00:00 +0000

Google Cloud propose un large portfolio de solutions de stockage cloud pour répondre à chaque besoin spécifique, du stockage par blocs pour les applications hautes performances au stockage objet pour la diffusion de contenus médias ou les applications IA et ML en passant par le stockage de fichiers pour des workloads exigeants à écritures simultanées sans oublier le stockage spécialisé pour les datalakes et les entrepôts de données.

Nous poursuivons notre exploration de la richesse de Google Cloud. Après un premier arbre de décision consacré aux données et à l’analytique, voici un second guide pour vous aider à sélectionner les services de stockage Cloud les mieux adaptés à vos besoins spécifiques.

Un arbre de décision pour choisir le bon stockage sur Google Cloud. Cliquez pour télécharger et agrandir !

Examinons d’un peu plus près ces différents types de stockage et les options proposées par Google Cloud dans chaque catégorie :

Stockage par blocs

Le stockage par blocs suppose un stockage et un accès aux données avec des blocs de taille fixe. C’est le type de stockage historiquement utilisé par les baies SAN dans les datacenters. Cette méthode est particulièrement adaptée aux applications nécessitant un stockage haute performance avec une latence minimale, tel que des bases de données et des applications exigeant une réactivité quasi instantanée (moins d'une milliseconde), un grand nombre d'opérations par seconde, un débit élevé, ou une combinaison de ces caractéristiques.

Google Cloud propose plusieurs options de stockage par blocs :

SSD local : stockage temporaire haute performance directement rattaché aux machines virtuelles. Idéal pour les workloads intensifs requérant une latence minimale et un nombre élevé d'opérations par seconde.
Disque persistant : stockage durable et fiable pouvant être dynamiquement associé ou dissocié des machines virtuelles.
Hyperdisk : conçu pour optimiser les coûts des analyses de données à grande échelle et d’autres workloads exigeant de très hauts débits ou un grand nombre d'opérations par seconde (IOPS).

Stockage objet

Le stockage objet permet de stocker les données sous forme d'objets distincts, chacun accompagné de métadonnées et d'un identifiant unique. Cette approche est particulièrement adaptée aux applications nécessitant un stockage très évolutif (à l'échelle des pétaoctets, voire exaoctets) et durable. Parmi les cas d’usages typiques, on peut notamment citer les CDN (Content Diffusion Network) de diffusion multimédia, la reprise après sinistre, le stockage de sauvegardes pour les applications n'utilisant pas Cloud Storage, l'analyse de données ou encore les workloads d’IA et ML.

Dans l'environnement Google Cloud, le service idéal pour le stockage objet est Cloud Storage. Fortement évolutif et hautement disponible, Cloud Storage propose notamment la redondance et l’accessibilité sur plusieurs régions ainsi qu’une durabilité des données annuelle de 99,99999999999% (soit 11 neufs après la virgule).

Stockage fichiers en mode NFS et à écritures simultanées

NFS (Network File Storage) et « Multi-Writer File Storage » sont des systèmes de fichiers permettant à plusieurs utilisateurs et machines virtuelles de simultanément accéder et modifier des fichiers. NFS autorise l'accès concurrent en lecture et écriture aux fichiers partagés entre plusieurs clients, tandis que « Multi-Writer File Storage » (ou système de fichiers à écritures simultanées) permet l'écriture simultanée par plusieurs clients ou nœuds, caractéristique indispensable pour la collaboration en temps réel, les systèmes de gestion de versions et l'informatique distribuée.

Google Cloud propose plusieurs options :

Filestore : Service de stockage de fichiers entièrement managé, Filestore combine la compatibilité NFS et les fonctionnalités d’écritures simultanées. Il permet de créer des partages de fichiers NFS hautement disponibles et évolutifs, s'intégrant parfaitement aux solutions « compute » de Google Cloud, dont Google Kubernetes Engine (GKE) et Google Cloud VMware Engine. Filestore permet ainsi à plusieurs conteneurs et « pods » d'accéder, de partager et d'écrire simultanément sur le même système de fichiers.
Google Cloud NetApp Volumes : cette solution est également un service de stockage de fichiers entièrement managé offrant des performances élevées. Il permet de migrer et d'exécuter des applications et des workloads existants dans Google Cloud, sans nécessiter de refonte.

Stockage SMB

Le stockage SMB (Server Message Block) est un protocole de partage de fichiers en réseau couramment utilisé dans les environnements Windows. Il permet un partage de fichiers fluides entre les machines virtuelles connectées au réseau.

Google Cloud NetApp Volumes : en plus de prendre en charge le protocole NFS et d'offrir le support d’un double protocole, NetApp Volumes permet l'utilisation du protocole SMB pour provisionner le stockage de fichiers dans votre environnement applicatif.

Datalakes et entrepôts de données

Les datalakes et les entrepôts de données permettent de consolider les données provenant de multiples sources, facilitant ainsi leur intégration et offrant une vue unifiée des données de l'organisation. Ils permettent aux entreprises d'effectuer des analyses complexes et d'obtenir des insights à partir de grands volumes de données structurées et non structurées, tout en servant de solide fondation aux workloads ML et IA.

Google Cloud propose des solutions pour chaque usage :

Si votre priorité est l'analyse de données structurées, la BI et le reporting, optez pour BigQuery. Service managé d’entrepôt de données serverless, BigQuery permet de stocker, interroger et analyser des jeux de données volumineux avec des performances élevées et une grande évolutivité, en utilisant des requêtes SQL.
Pour construire un pur datalake, préférez Cloud Storage, solution de stockage évolutive et durable pour les données brutes, prenant en charge l'ingestion et le stockage de données structurées, semi-structurées et non structurées dans leur format d'origine. Il s'intègre parfaitement aux autres services Google Cloud. Par exemple, BigQuery a la capacité d'interroger directement les données stockées dans Cloud Storage, agissant ainsi comme moteur d'analyse pour votre datalake.

Pour en savoir plus sur l'intégration de ces solutions dans les processus d'ingestion, de traitement, de stockage, de gouvernance, d'orchestration et d'exploitation des données sur Google Cloud, nous vous invitons à consulter notre précédent « arbre de décision » consacré aux workloads de données et analytiques.

Pour aller plus loin…

Google Cloud a une solution pour chacun de vos besoins de stockage, que ce soit du stockage par blocs, objets, fichiers ou pour entreposer vos données. Notre arbre décisionnel devrait vous aider à y voir plus clair et à choisir la solution la plus adaptée à vos projets. N'hésitez pas à le garder sous la main, il pourrait vous être très utile à l’avenir ! Et rendez-vous sur ce Blog pour découvrir d’autres guides à même de vous aider dans vos choix de solutions cloud.

Dernière chose, n’hésitez pas à donner votre avis sur cet article et sur cet arbre décisionnel en nous rejoignant sur notre canal Cloud Discord. Assurez-vous d’avoir rejoint les groupes Innovators et Google Developers Discord au préalable.

Présentation de « gcloud storage » : des transferts de données jusqu'à 94 % plus rapides pour Cloud Storage

Thu, 24 Nov 2022 08:00:00 +0000

Les clients de Cloud Storage nous demandent souvent quel est le moyen le plus rapide d'ingérer et d'extraire des données de leurs « buckets ». Pour obtenir les meilleures performances, les utilisateurs doivent souvent connaître les bons réglages et paramètres afin d’optimiser les vitesses de transfert. Dans bien des cas, les clients utilisent Cloud Storage parallèlement à d'autres services Google Cloud et recherchent un outil unique qui puisse être utilisé pour gérer tous leurs actifs Google Cloud.

Présentation de gcloud storage – une nouveauté du Google Cloud CLI

Google Cloud CLI (alias, CLI gcloud) est une interface en lignes de commandes pour piloter Google Cloud et ses services sans passer par l’interface Web. La CLI gcloud peut être utilisée pour créer et gérer les ressources et services de Google Cloud directement à partir de lignes de commande ou via des scripts. « gcloud storage » est le tout dernier ajout à cet ensemble de commandes. Ce jeu de commandes vient moderniser l'expérience CLI des services Google Cloud Storage.

Performance du transfert de données

Aux yeux des clients, comme aux nôtres, les taux de transfert de données sont des données importantes car ils déterminent le taux d'utilisation des données pour obtenir des insights utiles à l’entreprise.

La nouvelle CLI « gcloud storage » offre des améliorations de performance significatives par rapport à l'option existante gsutil, une application Python vous permettant d'accéder à Cloud Storage via l’interface CLI.

Pour démontrer la différence de performance entre « gsutil » et « gcloud storage », nous avons testé des scénarios avec un seul puis de multiples fichiers. Lors du transfert de 100 fichiers d'une taille de 100 Mo, « gcloud storage » s’est révélé 79 % plus rapide que gsutil en download et 33 % plus rapide en upload en utilisant une stratégie d’upload de type « importation composite parallèle » (cf Figure 1).

Avec un unique fichier de 10 Go, « gcloud storage » s’est montré 94 % plus rapide que gsutil en download et 57 % plus rapide en upload (cf figure 2). Ces tests ont été effectués sur Google Cloud Platform en utilisant des machines « n2d-standard-16 » (avec 8 vCPUs, 32 GB de mémoire) dotées d’un disque de 375 Go en NVME et RAID0 sur la région « us-east4 ».

Ces taux de transfert plus rapides de « gcloud storage » résultent de deux innovations. Tout d'abord, « gcloud storage » utilise des outils de hachage plus rapides pour la vérification de l'intégrité des données CRC32C qui évitent la configuration compliquée requise pour gsutil. Deuxièmement, cette nouvelle interface CLI utilise une nouvelle stratégie de parallélisation qui traite la gestion des tâches comme un problème de graphes, ce qui permet d'effectuer plus de travaux en parallèle avec beaucoup moins de surcharge (overhead).

Un outil plus convivial

Outre les performances accrues, l’interface en ligne de commandes CLI gcloud fournit un moyen pratique et cohérent de gérer l’ensemble des ressources Google Cloud, y compris les Buckets de Cloud Storage Buckets, les VMs Compute Engine, et les clusters GKE (Google Kubernetes Engine).

La CLI « gcloud storage » détecte automatiquement les paramètres optimaux et accélère les transferts sans nécessiter aucun paramètre de la part des utilisateurs. Dans « gcloud storage », toutes les opérations se déroulent en parallèle. À titre d'exemple, les « importations composites parallèles » sont activées automatiquement en fonction de la configuration du bucket. Il s'agit d'une amélioration considérable par rapport à gsutil, qui nécessite le paramètre « -m » (opérations parallèles) pour améliorer les performances des téléchargements en amont et en aval.

De manière générale, la CLI « gcloud storage » réduit considérablement le nombre de commandes de premier niveau que les utilisateurs doivent connaître pour gérer leurs ressources Cloud Storage. En effet toutes les commandes sont ici regroupées sous des en-têtes communes faciles à mémoriser : par exemple, toutes les opérations de Bucket sont regroupées sous « gcloud storage buckets <command> » et toutes les opérations d'objets sont regroupées sous « gcloud storage objects <command> ».

La transition vers la CLI « gcloud storage » est d’autant plus simple que nous avons introduit un shim (autrement dit un outil de transcription) qui permet aux scripts gsutil existants d'être exécutés en tant que scripts « gcloud storage ». Cela vous permet de bénéficier de tous les avantages de performance de la nouvelle interface CLI sans avoir à réécrire vos scripts Cloud Storage existants basés sur gsutil.

Activer « gcloud storage »

L’interface CLI « gcloud storage » est disponible dès à présent et vous pouvez l'utiliser sans frais supplémentaires. Pour l’obtenir, installez - ou faites une mise à niveau vers - la dernière version du SDK Google Cloud. Pour en savoir plus sur l’interface CLI « gcloud storage », veuillez consulter la documentation en ligne.

4 bonnes pratiques pour garantir la confidentialité et la sécurité de vos données dans Cloud Storage

Fri, 12 Feb 2021 10:00:00 +0000

Cloud Storage permet aux entreprises de réduire leurs coûts et leurs charges opérationnelles, d’évoluer plus rapidement et de profiter des autres avantages du cloud computing. En parallèle, les entreprises doivent s'assurer de respecter les exigences de sécurité et de confidentialité afin de limiter les accès et de protéger les informations sensibles.

La sécurité est l'une des préoccupations les plus courantes des entreprises qui migrent leurs données vers le cloud, et l'un des objectifs prioritaires de tous nos produits et solutions. Cloud Storage est une solution simple, fiable et économique pour stocker et récupérer des données à tout moment, quel que soit leur volume. Elle intègre des fonctionnalités de sécurité comme le chiffrement en transit et au repos, et propose différentes options de gestion des clés de chiffrement (gérées par Google, fournies par le client, gérées par le client) ainsi que des modules de sécurité matériels. Google détient l'un des réseaux privés les plus étendus au monde, ce qui limite l'exposition de vos données sur l'Internet public lorsque vous utilisez Cloud Storage.

Bonnes pratiques pour sécuriser vos données avec Cloud Storage

Vous devez planifier la sécurisation de vos données de stockage d'entreprise pour les protéger contre de futures menaces et les préparer à de nouveaux défis. En plus de ses outils de base, Cloud Storage offre diverses fonctionnalités de sécurité comme l'accès uniforme au niveau du bucket, les clés HMAC de compte de service, les conditions IAM, les jetons de délégation et les signatures V4.

Nous voulions vous présenter quelques bonnes pratiques concernant ces fonctionnalités afin de vous aider à sécuriser et à protéger vos données à grande échelle :

N° 1 : Configurez des règles d'administration pour centraliser le contrôle et définir des limites de conformité

Cloud Storage, comme Google Cloud, suit une hiérarchie de ressources. Les buckets contiennent des objets, qui sont associés à des projets, qui sont eux-mêmes liés à des organisations. Vous pouvez également créer des dossiers pour mieux organiser les ressources d'un projet. Les règles d'administration sont des paramètres que vous pouvez configurer au niveau de l'organisation, d'un dossier ou d'un projet pour définir des comportements spécifiques au service.

Voici deux règles d'administration que nous vous conseillons d'activer :

Partage restreint au domaine : cette règle empêche le partage de contenus avec des personnes externes à votre organisation. Par exemple, si vous essayez de rendre le contenu d'un bucket disponible sur l'Internet public, cette règle bloque l'opération.

Accès uniforme au niveau du bucket : cette règle simplifie les autorisations et permet de gérer le contrôle des accès à grande échelle. Avec cette règle, un contrôle d'accès uniforme est configuré au niveau de tous les buckets nouvellement créés et régit l'accès à tous les objets sous-jacents.

N° 2 : Utilisez Cloud IAM pour simplifier le contrôle des accès

Cloud Storage propose deux systèmes pour accorder des autorisations d'accès à vos buckets et objets : Cloud IAM et les listes de contrôle d'accès (LCA). Pour qu'un utilisateur puisse accéder à une ressource, seul l'un de ces systèmes doit lui accorder l'autorisation.

Les LCA sont définies au niveau des objets et accordent l'accès à des objets individuels. Plus les objets dans un bucket sont nombreux, plus la charge supplémentaire nécessaire à la gestion des LCA individuelles est importante. Il devient alors difficile d'évaluer le niveau de sécurité de tous les objets stockés dans un bucket. Imaginez par exemple, le nombre d’itérations requises sur des millions d'objets pour savoir si un utilisateur dispose des bonnes autorisations d'accès.

Nous vous conseillons d'utiliser Cloud IAM pour contrôler l'accès à vos ressources. Cloud IAM est un mécanisme uniforme centré sur la plate-forme qui s'applique à l'ensemble de Google Cloud. Il vous permet de gérer le contrôle des accès à vos données Cloud Storage. Lorsque vous activez le contrôle des accès uniforme au niveau du bucket, les LCA des objets sont désactivées, et les stratégies Cloud IAM définies au niveau du bucket sont utilisées pour gérer les accès. Les autorisations accordées au niveau du bucket s'appliquent donc automatiquement à tous les objets qu'il contient.

N° 3 : Optez pour une solution alternative aux LCA si les stratégies IAM ne peuvent pas être utilisées

Nos clients continuent parfois d'utiliser des LCA pour différentes raisons, par exemple avec des architectures multicloud ou pour partager un objet avec un utilisateur spécifique. Cependant, nous vous déconseillons d'utiliser des LCA d'objets pour les utilisateurs finaux.

Optez plutôt pour l'une de ces solutions :

URL signées : les URL signées vous permettent d'accorder un accès limité dans le temps à vos ressources Cloud Storage. Lorsque vous générez une URL signée, sa chaîne de requête contient des informations d'authentification associées à un compte disposant d'un accès (par exemple, un compte de service). Vous pouvez, par exemple, envoyer une URL à un utilisateur pour l'autoriser à lire un document, et son accès sera révoqué au bout d'une semaine.

Buckets séparés : réalisez des audits sur vos buckets et identifiez des modèles d'accès. Si vous remarquez qu'un groupe d'objets partage le même ensemble de LCA d'objets, déplacez ces objets dans un bucket séparé afin de pouvoir contrôler l'accès au niveau du bucket.

Conditions IAM : si vous utilisez les mêmes préfixes dans les noms des objets de votre application, vous pouvez définir des conditions IAM pour segmenter les accès en fonction de ces préfixes.

Jetons de délégation : vous pouvez utiliser des jetons STS pour accorder un accès limité dans le temps aux buckets Cloud Storage et aux préfixes partagés.

N° 4 : Utilisez des clés HMAC pour les comptes de service, et non pour les comptes utilisateur

Une clé HMAC (Hash-based Message Authentification Code, code d'authentification des messages basé sur le hachage) est un type d'identifiant utilisé pour créer les signatures incluses dans les requêtes envoyées à Cloud Storage. En règle générale, nous conseillons d'utiliser des clés HMAC pour les comptes de service plutôt que pour les comptes utilisateur. Cela permet d'éliminer les problèmes de sécurité et de confidentialité inhérents aux comptes détenus par des utilisateurs individuels, mais également de réduire les risques d'interruption de l'accès au service lorsqu'un compte utilisateur est désactivé (car l'utilisateur quitte le projet ou l'entreprise).

Pour renforcer davantage la sécurité, nous vous recommandons également :

de modifier régulièrement vos clés dans le cadre d'une stratégie de rotation ;

d'accorder aux comptes de service l'accès minimal nécessaire pour effectuer une tâche (conformément au principe du moindre privilège) ;

de définir des délais d'expiration raisonnables si vous utilisez toujours des signatures V2 (ou migrer vers des signatures V4 qui appliquent automatiquement un délai maximal d'une semaine).

Pour en savoir plus sur Cloud Storage, et découvrir d'autres moyens de sécuriser vos données et d'assurer leur conformité, consultez la documentation sur le contrôle des accès et regardez notre session sur ce sujet sur Cloud Next 2020 : OnAir.

8 raisons fréquentes pour lesquelles les entreprises migrent vers le cloud

Wed, 28 Nov 2018 14:46:00 +0000

[Remarque de l'éditeur : Cet article a d'abord été publié sur le blog Velostrata. Depuis, Velostrata a rejoint le portefeuille Google Cloud et nous sommes heureux de vous présenter sa perspective aguerrie sur la décision de migrer vers le cloud. Cliquez ici pour découvrir le fonctionnement de la technologie de migration accélérée de Velostrata.]

Chez Velostrata, nous avons beaucoup discuté de la façon d'optimiser le processus de migration vers le cloud. On nous pose souvent la question : qu'est-ce qui pousse en premier lieu une entreprise à migrer vers le cloud ? Lors de la préparation de cet article, nous avons discuté avec des clients et examiné nos propres données, ainsi que les données du marché provenant d'organisations telles que RightScale afin de découvrir pourquoi les entreprises migrent vers le cloud. Si vous pensez qu'une migration vers le cloud vous attend peut-être, cet article peut vous aider à déterminer quels types d'événements peuvent engendrer un plan de migration.

1. Renouvellements contractuels des centres de données

De nombreuses entreprises disposent de contrats avec des centres de données privés devant être régulièrement renouvelés. Lorsque vient le moment de renégocier ces contrats, des considérations telles que l'ajustement des coûts ou d'autres facteurs limitants surgissent souvent. Par conséquent, c'est pendant ces périodes de renouvellement contractuel que de nombreuses entreprises commencent à envisager de migrer vers le cloud.

2. Acquisitions

Lors de fusions d'entreprises, rassembler les paysages applicatifs et les données est souvent un défi, en particulier lorsque plusieurs centres de données sur site entrent en jeu. De nombreuses entreprises en cours de fusion trouvent que le transfert d'applications et de données clés vers le cloud facilite ce processus. Faire appel au cloud permet également d'intégrer plus facilement de nouveaux sites et employés, ce qui assure une transition plus fluide.

3. Besoins de capacité supérieurs

Qu'il s'agisse de la progression normale d'une entreprise en croissance ou d'importants pics de capacité nécessaires pendant les changements saisonniers, votre entreprise peut bénéficier d'une augmentation ou une diminution rapide de sa puissance de calcul. Au lieu de payer pour une capacité sur site maximale, vous pouvez la modifier à la demande grâce au cloud et au paiement à l'usage.

4. Cycles d’actualisation logiciel et matériel

Lorsque vous gérez un centre de données sur site, c'est à vous de tout maintenir à jour. Cela peut impliquer des mises à jour matérielles et des licences logicielles sur site onéreuses pour gérer les exigences des logiciels récemment mis à jour. Nous avons vu que lors de l'évaluation d'un cycle d'actualisation à venir, de nombreuses entreprises pensent qu'il est moins cher de mettre hors service un logiciel et du matériel sur site et d'envisager un abonnement SaaS ou une migration Lift and Shift de cette application vers le cloud public. Votre choix dépendra grandement de l'application (et des options SaaS disponibles), mais dans tous les cas, c'est le début d'un projet de migration vers le cloud.

5. Menaces de sécurité

Avec des menaces de sécurité qui augmentent en nombre et en gravité, nous savons que de nombreuses entreprises migrent vers le cloud afin de réduire les risques. Les fournisseurs de cloud public offrent de vastes ressources de protection contre les menaces, supérieures à celles dans lesquelles une seule entreprise pourrait investir.

6. Exigences de conformité

Si vous travaillez dans des secteurs tels que les services financiers et les soins de santé, garantir la sécurité des données est essentiel pour les opérations commerciales. En migrant vers le cloud, les entreprises utilisent des outils et des services cloud déjà conformes, ce qui aide à réduire la charge des équipes informatiques des entreprises à ce sujet.

7. Avantages pour le développement de produits

En tirant profit d'avantages tels que le modèle de paiement à l'usage et le provisionnement dynamique des tests et du développement de produits, de nombreuses entreprises estiment que le cloud les aide à commercialiser leurs produits plus rapidement. Migrer vers le cloud ne permet pas seulement d'économiser du temps et de l'argent, mais aussi d'accélérer les revenus.

8. Événements de fin de vie

Toutes les bonnes choses ont une fin, les logiciels aussi. De plus en plus, lorsqu'un logiciel de centre de données stratégique arrive en fin de vie, l'équipe informatique peut profiter de l'occasion pour chercher comment répliquer ces services dans le cloud au lieu d'essayer de prolonger le cycle de vie sur site. Cela veut dire que les entreprises peuvent mettre hors service des licences et du matériel obsolètes tout en tirant profit des autres avantages du cloud.

Comme vous pouvez le voir, de nombreuses raisons expliquent pourquoi les organisations choisissent de démarrer leur transition vers le cloud. Dans certains cas, elles ont déjà commencé le processus lorsqu'elles découvrent de nouvelles façons d'optimiser les services cloud. Comprendre les types d'événements pouvant fréquemment donner suite à une migration vers le cloud peut vous aider à déterminer les bonnes stratégies de migration et d'architecture cloud afin de transférer vos charges de travail vers le cloud.

Cliquez ici pour en savoir plus sur la migration vers le cloud avec Velostrata.