Migrer les journaux Gmail vers les journaux Google Workspace dans BigQuery

Cet article s'adresse aux administrateurs Google Workspace qui n'utilisent que les journaux Gmail dans BigQuery, ou qui se servent à la fois des journaux Gmail et Google Workspace dans BigQuery. Il explique en détail comment migrer vos vues, requêtes et scripts Gmail BigQuery vers les journaux et les rapports Google Workspace dans BigQuery.

Pour simplifier les tâches BigQuery et vous permettre de regrouper toutes vos données BigQuery au même endroit, nous fusionnons les journaux Gmail dans BigQuery avec les journaux Google Workspace dans BigQuery.

Ce changement offre les avantages suivants :

Utilisation d'un emplacement unique pour stocker et gérer les exportations BigQuery pour tous les événements d'audit de vos services Google Workspace
Données plus complètes sur les événements Gmail dans BigQuery, y compris les types d'appareils et les actions dans la boîte de réception (par exemple, ouverture, suppression, liens cliqués et téléchargement de pièces jointes), ainsi que l'ensemble des événements et des colonnes de l'outil d'investigation de sécurité
Partitionnement des données permettant d'exporter des ensembles de données plus petits et de réduire les coûts de stockage des données BigQuery
Récupération des données permettant de corriger les erreurs de configuration et les modifications des autorisations

Que faire ?

Une fois les journaux Gmail fusionnés avec les journaux Google Workspace dans BigQuery, vous ne pourrez plus les utiliser dans BigQuery via la console d'administration Google.

Pour que vos données Gmail BigQuery restent disponibles, migrez vos vues, requêtes et scripts vers les journaux et les rapports Google Workspace dans BigQuery.

Étape	Description	Informations complémentaires
1	Configurer les exportations de journaux de service vers votre projet BigQuery Google Workspace	Si vous avez déjà configuré vos journaux et rapports Google Workspace dans BigQuery, ignorez cette étape et passez à l'étape 2. Si vous ignorez cette étape, assurez-vous de : récupérer l'ID de projet actuel et le nom de l'ensemble de données que vous utiliserez pour exporter les données Gmail ; bien mesurer les conséquences de la période d'exportation double sur vos besoins de stockage BigQuery.
2	Migrer les vues, requêtes et scripts des journaux Gmail BigQuery	Ne réalisez cette étape que si vous souhaitez migrer des vues personnalisées ou des requêtes enregistrées de journaux Gmail dans BigQuery vers des journaux Google Workspace dans BigQuery. Si vous n'avez pas de vues personnalisées ni de requêtes enregistrées à migrer, ignorez cette étape et passez directement à l'étape 3.
3	Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail	Nous vous recommandons de vérifier que vos requêtes enregistrées s'exécutent comme prévu avant de passer à cette étape.

Étape

Description

Informations complémentaires

Configurer les exportations de journaux de service vers votre projet BigQuery Google Workspace

Si vous avez déjà configuré vos journaux et rapports Google Workspace dans BigQuery, ignorez cette étape et passez à l'étape 2.

Si vous ignorez cette étape, assurez-vous de :

récupérer l'ID de projet actuel et le nom de l'ensemble de données que vous utiliserez pour exporter les données Gmail ;
bien mesurer les conséquences de la période d'exportation double sur vos besoins de stockage BigQuery.

Migrer les vues, requêtes et scripts des journaux Gmail BigQuery

Ne réalisez cette étape que si vous souhaitez migrer des vues personnalisées ou des requêtes enregistrées de journaux Gmail dans BigQuery vers des journaux Google Workspace dans BigQuery. Si vous n'avez pas de vues personnalisées ni de requêtes enregistrées à migrer, ignorez cette étape et passez directement à l'étape 3.

Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail

Nous vous recommandons de vérifier que vos requêtes enregistrées s'exécutent comme prévu avant de passer à cette étape.

Étape 1 : Configurer les exportations de journaux de service vers Google Workspace BigQuery

Effectuez cette étape dans la console d'administration Google.

Si vous avez déjà configuré vos journaux et rapports Google Workspace dans BigQuery, ignorez cette étape et passez à l'Étape 2: Migrer les vues, requêtes et scripts des journaux Gmail BigQuery. Si vous ignorez cette étape, assurez-vous de :

récupérer l'ID de projet actuel et le nom de l'ensemble de données que vous utiliserez pour les exportations de données Gmail ;
bien mesurer les conséquences de la période d'exportation double sur vos besoins de stockage BigQuery.

Pour en savoir plus sur les données de BigQuery et de l'API Reports, consultez Configurer les exportations de journaux de service vers BigQuery.

Connectez-vous à la Console d'administration Google.
Connectez-vous avec votre compte administrateur (ne se terminant pas par "@gmail.com").
Sur la gauche, cliquez sur Création de rapports.
Faites défiler la page vers le bas et cliquez sur BigQuery Export.
Placez le curseur sur BigQuery Export, puis cliquez sur Modifier.
Pour activer les journaux BigQuery, cochez la case Activer l'exportation des données Google Workspace vers Google BigQuery.
Sous ID de projet BigQuery, sélectionnez le projet dans lequel vous souhaitez stocker les journaux Gmail. Choisissez un projet avec un accès en écriture. Si le projet ne s'affiche pas, vous devez le configurer dans BigQuery. Pour en savoir plus, consultez le Guide de démarrage rapide sur l'utilisation de la console Google Cloud.
Sous Nouvel ensemble de données dans le projet, saisissez le nom du nouvel ensemble de données utilisé pour stocker les journaux dans le projet. Vous ne pouvez pas utiliser un ensemble de données existant, et les noms des ensembles de données doivent être uniques pour chaque projet.
Cliquez sur Enregistrer.
Remarque : Si vous ne pouvez pas enregistrer le projet, accédez à la console Google Cloud, supprimez le nouvel ensemble de données, puis enregistrez-le à nouveau dans la console d'administration.

L'ensemble de données est créé automatiquement. En général, les événements de journaux d'activité sont disponibles environ 10 minutes après l'activation de ce paramètre. Revenez plus tard pour vérifier que l'ensemble de données et la table des activités s'affichent. Les données des événements de journaux Gmail des six derniers mois sont renseignées dans la nouvelle table.

Période d'exportation double et besoins de stockage temporaires

Une fois que vous avez configuré l'exportation des journaux Gmail vers Google Workspace BigQuery, les données des journaux Gmail sont exportées vers deux destinations :

Votre ancien projet BigQuery réservé à Gmail
Votre projet Google Workspace BigQuery, nouveau ou existant, qui stocke les données de toutes les applications Google Workspace

Les données des journaux Gmail seront exportées vers les deux projets jusqu'à ce que vous ayez terminé l'Étape 3 : Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail. L'exportation temporaire de vos données vers les deux emplacements permet de s'assurer qu'elles sont transférées comme prévu et qu'aucune donnée n'est perdue.

Période d'exportation double et espace de stockage BigQuery

Pendant l'exportation de vos données vers les deux projets, vous aurez besoin de plus d'espace de stockage BigQuery. Une fois que vous aurez effectué l'Étape 3 : Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail, vos besoins de stockage devraient revenir à la normale. Nous vous recommandons de vérifier que vos requêtes enregistrées s'exécutent comme prévu avant de passer à l'étape 3.

Étape 2 : Migrer les vues, requêtes et scripts des journaux Gmail BigQuery

Effectuez cette étape dans la console Google Cloud.

Ne suivez cette étape que si vous souhaitez migrer des requêtes ou des vues personnalisées d'ensembles de données vers les journaux Google Workspace dans BigQuery :

Pour savoir si vous avez des requêtes enregistrées, référez-vous à ces instructions.
Pour vérifier vos vues personnalisées d'ensembles de données, suivez ces instructions.

Si vous n'avez pas de vues personnalisées ni de requêtes enregistrées à migrer, ignorez cette étape et passez à l'Étape 3 : Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail.

Pour stocker des données Gmail avec la même structure que vos tables Gmail daily_ actuelles, créez une vue pour la table des activités Gmail. Lorsque vous migrerez vos requêtes existantes vers Google Workspace BigQuery, vous modifierez le nom de la table. Vous ne modifierez pas le format de la table ni les noms des colonnes. Pour en savoir plus sur les vues BigQuery, consultez Présentation des vues.

Dans la Console Google Cloud, ouvrez un projet BigQuery actif. Ouvrez le projet contenant les requêtes enregistrées que vous souhaitez migrer.
Sélectionnez l'ensemble de données du projet que vous souhaitez migrer.

Afin de créer une vue unique pour la table des activités, exécutez le script comme suit :

Copiez le texte du script :

CREATE VIEW
 `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date)
AS
 SELECT
  gmail.event_info,
  gmail.message_info,
  _PARTITIONTIME
 FROM
  `PROJECT_ID.DATASET_NAME.activity`
 WHERE
  gmail IS NOT NULL;

Accédez au champ Éditeur. Si le champ Éditeur n'est pas visible, cliquez sur Saisir une nouvelle requête .
Collez le texte du script dans le champ Éditeur.
Dans le script collé, remplacez PROJECT_ID.DATASET_NAME par l'ID du projet et le nom de l'ensemble de données obtenus à l'Étape 1 : Configurer les exportations de journaux de service vers Google Workspace BigQuery.
En haut à gauche, cliquez sur le bouton Exécuter.

Examinez les requêtes enregistrées sélectionnées dans les tables daily_. Pour les requêtes existantes, mettez à jour les noms des tables et ajoutez une condition WHERE si besoin. Effectuez l'une des modifications suivantes :
- Remplacez FROM `daily_YYYYMMDD` par FROM `gmail_view` WHERE date = “YYYY-MM-DD”. Par exemple, remplacez FROM `daily_20220815` par FROM `gmail_view` WHERE date = “2022-08-15”.
- Remplacez FROM `daily_*` par FROM `gmail_view`.

Étape 3 : Désactiver les exportations de journaux Gmail vers votre projet BigQuery réservé à Gmail

Effectuez cette étape dans la console d'administration Google.

Les données des journaux Gmail seront exportées vers deux projets tant que vous n'aurez pas réalisé cette étape. La double exportation des données permet de s'assurer que les projets et les requêtes sont transférés comme prévu et qu'il ne manque aucune donnée. Nous vous recommandons de vérifier que vos requêtes enregistrées s'exécutent comme prévu avant de passer à cette étape.

Pour arrêter immédiatement l'exportation des journaux Gmail vers votre projet BigQuery réservé à Gmail :

Connectez-vous à la Console d'administration Google.
Connectez-vous avec votre compte administrateur (ne se terminant pas par "@gmail.com").
Sur la page d'accueil de la console d'administration, accédez à ApplicationsGoogle WorkspaceGmailConfigurationJournaux des e-mails dans BigQuery.
Placez le curseur sur le paramètre, puis cliquez sur Modifier .
Décochez la case Activer.
Cliquez sur Enregistrer.

Articles associés

Ces informations vous-ont elles été utiles ?

Comment pouvons-nous l'améliorer ?