Gmail-Protokolle in ein Workspace-Projekt in BigQuery migrieren

Dieser Artikel richtet sich an Google Workspace-Administratoren, die in BigQuery entweder ausschließlich Gmail-Protokolle oder sowohl Gmail- als auch Google Workspace-Protokolle verwenden. Sie erfahren hier, wie Sie in BigQuery Ansichten, Abfragen und Skripts von Gmail- zu Workspace-Protokollen und -Berichten in BigQuery migrieren.

Wenn wir Gmail-Protokolle mit Google Workspace-Protokollen in BigQuery zusammenführen, können Sie Aufgaben optimieren und alle Daten an einem Ort abrufen. 

Vorteile dieses neuen Ansatzes:

• BigQuery-Exporte zu allen Audit-Ereignissen Ihrer Google Workspace-Dienste lassen sich an einem Ort speichern und verwalten.
• Umfassendere Daten zu Gmail-Ereignissen in BigQuery, einschließlich Gerätetypen und Aktionen im Posteingang (z. B. Öffnen, Löschen, angeklickte Links und Downloads von Anhängen). Dazu gehören alle Ereignisse und Spalten aus dem Sicherheits-Prüftool.
• Dank partitionierter Daten können Sie kleinere Datasets exportieren und Ihre BigQuery-Datenspeicherkosten senken.
• Über die Datenwiederherstellung lassen sich Fehlkonfigurationen und Berechtigungsänderungen korrigieren.

So geht es weiter

Nachdem Gmail- mit Google Workspace-Protokollen in BigQuery zusammengeführt wurden, können Sie in der Admin-Konsole keine Gmail-Protokolle in BigQuery mehr verwenden.

Damit Ihre BigQuery-Daten zu Gmail verfügbar bleiben, sollten Sie die Ansichten, Abfragen und Skripts zu Google Workspace-Protokollen und -Berichten in BigQuery migrieren:

Schritt	Beschreibung	Weitere Informationen
1	Export von Dienstprotokollen in ein Workspace-Projekt in BigQuery einrichten	Wenn Sie Ihre Google Workspace-Protokolle und -Berichte bereits in BigQuery eingerichtet haben, können Sie diesen Schritt überspringen und mit Schritt 2 fortfahren. Wenn Sie diesen Schritt überspringen, sollten Sie Folgendes tun: Rufen Sie Ihre aktuelle Projekt-ID und den Dataset-Namen ab, die Sie zum Exportieren von Gmail-Daten verwenden. Beachten Sie, wie sich ein Zeitraum mit zweifachem Export auf Ihre BigQuery-Speicheranforderungen auswirkt.
2	In BigQuery Gmail-Protokolle mit Ansichten, Abfragen und Skripts migrieren	Führen Sie diesen Schritt nur aus, wenn Sie in BigQuery für Gmail-Protokolle benutzerdefinierte Ansichten oder gespeicherte Abfragen haben, die Sie zu Google Workspace-Protokollen in BigQuery migrieren möchten. Wenn nicht, können Sie diesen Schritt überspringen und direkt mit Schritt 3 fortfahren.
3	Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery deaktivieren	Bevor Sie diesen Schritt ausführen, sollten Sie prüfen, ob Ihre gespeicherten Abfragen wie erwartet ausgeführt werden.

Schritt 1: Export von Dienstprotokollen in ein Google Workspace-Projekt in BigQuery einrichten

Führen Sie diesen Schritt in der Admin-Konsole aus.

Wenn Sie Ihre Google Workspace-Protokolle und -Berichte bereits in BigQuery eingerichtet haben, überspringen Sie diesen Schritt und fahren Sie mit Schritt 2: In BigQuery Gmail-Protokolle mit Ansichten, Abfragen und Skripts migrieren fort. Wenn Sie diesen Schritt überspringen, sollten Sie Folgendes tun:

• Rufen Sie Ihre aktuelle Projekt-ID und den Namen Ihres Datasets ab, die Sie für Gmail-Datenexporte verwenden werden.
• Beachten Sie, wie sich ein Zeitraum mit zweifachem Export auf Ihre BigQuery-Speicheranforderungen auswirkt.

Ausführliche Informationen zu BigQuery- und Reports API-Daten finden Sie unter Dienstprotokollexporte nach BigQuery einrichten.

1. Melden Sie sich in der Google Admin-Konsole an.

   Melden Sie sich mit Ihrem Administratorkonto an. Dieses Konto endet nicht auf @gmail.com.

2. Klicken Sie links auf Berichterstellung.
3. Scrollen Sie nach unten und klicken Sie auf BigQuery Export.
4. Bewegen Sie den Mauszeiger auf BigQuery Export und klicken Sie auf Bearbeiten.
5. Wenn Sie BigQuery-Logs aktivieren möchten, setzen Sie ein Häkchen im Kästchen Export von Google Workspace-Daten zu Google BigQuery aktivieren. 
6. Wählen Sie unter BigQuery-Projekt-ID das Projekt aus, in dem die Gmail-Protokolle gespeichert werden sollen. Wählen Sie ein Projekt aus, auf das Sie Schreibzugriff haben. Wenn Sie das Projekt nicht sehen, müssen Sie erst ein neues in BigQuery einrichten. Weitere Informationen finden Sie in der Kurzanleitung zur Verwendung der Google Cloud Console.
7. Geben Sie unter Neues Dataset im Projekt einen Namen für das neue Dataset ein, das zum Speichern von Logs im Projekt verwendet werden soll. Sie können ein vorhandenes Dataset nicht verwenden und die Dataset-Namen müssen für jedes Projekt eindeutig sein.
8. Klicken Sie auf Speichern.
   Hinweis: Wenn Sie das Projekt nicht speichern können, rufen Sie die Google Cloud Console auf, löschen Sie das neue Dataset und speichern Sie es noch einmal in der Admin-Konsole.

Das Dataset wird automatisch erstellt. Ereignisse im Aktivitätsprotokoll sind normalerweise etwa 10 Minuten nach dem Aktivieren dieser Einstellung verfügbar. Kehren Sie später zurück, um zu prüfen, ob das Dataset und die Tabelle Activity (Aktivität) angezeigt werden. Die Ereignisdaten des Gmail-Protokolls der letzten sechs Monate werden in die neue Tabelle übernommen.

Speicheranforderungen im begrenzten Zeitraum mit zweifachem Export

Nachdem Sie den Export von Gmail-Protokollen in ein Google Workspace-Projekt in BigQuery eingerichtet haben, werden die Gmail-Protokolldaten in zwei Zielprojekte exportiert: 

• In Ihr vorheriges reines Gmail-Projekt in BigQuery 
• In Ihr neu erstelltes oder bereits vorhandenes Google Workspace-Projekt in BigQuery, in dem Daten für alle Google Workspace-Anwendungen gespeichert werden

Die Gmail-Protokolldaten werden bis zur Ausführung von Schritt 3: Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery deaktivieren in beide Projekte exportiert. Wenn Sie Ihre Daten vorübergehend an beide Orte exportieren, können Sie sicherstellen, dass sie wie erwartet übertragen werden und keine Daten verloren gehen. 

Zeitraum mit zweifachem Export und BigQuery-Speicher

Während Ihre Daten in beide Projekte exportiert werden, benötigen Sie mehr BigQuery-Speicher. Nachdem Sie Schritt 3: Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery deaktivieren ausgeführt haben, sollten sich Ihre Speicheranforderungen wieder normalisieren. Wir empfehlen Ihnen zu prüfen, ob Ihre gespeicherten Abfragen wie erwartet ausgeführt werden, bevor Sie mit Schritt 3 fortfahren.

Schritt 2: In BigQuery Gmail-Protokolle mit Ansichten, Abfragen und Skripts migrieren

Führen Sie diesen Schritt in der Google Cloud Console aus.

Führen Sie diesen Schritt nur aus, wenn Sie gespeicherte Abfragen oder benutzerdefinierte Dataset-Ansichten haben, die Sie zu Google Workspace-Logs in BigQuery migrieren möchten:

• Zum Abrufen gespeicherter Abfragen führen Sie diese Schritte aus.
• Wenn Sie die benutzerdefinierten Datasetansichten prüfen möchten, folgen Sie dieser Anleitung.

Falls Sie keine benutzerdefinierten Ansichten oder gespeicherten Abfragen für die Migration haben, können Sie diesen Schritt überspringen und mit Schritt 3: Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery deaktivieren fortfahren.

Möchten Sie Gmail-Daten mit derselben Struktur wie Ihre aktuellen Tabellen daily_ speichern, müssen Sie eine Ansicht für die Gmail-Aktivitätstabelle erstellen. Wenn Sie Ihre vorhandenen Abfragen zu einem Google Workspace-Projekt in BigQuery migrieren, ändern Sie den Tabellennamen, nicht jedoch das Tabellenformat und die Spaltennamen. Ausführliche Informationen zu BigQuery-Ansichten finden Sie unter Einführung in Ansichten.

1. Öffnen Sie in der Google Cloud Console ein aktives BigQuery-Projekt. Öffnen Sie das Projekt mit den gespeicherten Abfragen, die Sie migrieren möchten.  
2. Wählen Sie das Projekt-Dataset aus, das Sie migrieren möchten.
3. Um eine einzelne Ansicht für die Aktivitätstabelle zu erstellen, folgen Sie dieser Anleitung:
   1. Kopieren Sie den Skripttext:

      CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;

   2. Wechseln Sie zum Feld Editor. Wenn das Feld Editor nicht angezeigt wird, klicken Sie auf Neue Abfrage erstellen .
   3. Fügen Sie den Skripttext in das Feld Editor ein.
   4. Ersetzen Sie im eingefügten Script PROJECT_ID.DATASET_NAME durch die Projekt-ID und den Dataset-Namen aus Schritt 1: Export von Dienstprotokollen in ein Workspace-Projekt in BigQuery einrichten.
   5. Klicken Sie links oben auf die Schaltfläche Ausführen.
4. Sehen Sie sich gespeicherte Abfragen für die Tabellen daily_ an. Aktualisieren Sie die Tabellennamen der vorhandenen Abfragen und fügen Sie nach Bedarf eine WHERE-Bedingung hinzu. Nehmen Sie eine der folgenden Änderungen vor:
   • Ändern Sie FROM `daily_JJJJMMTT` zu FROM `gmail_view` WHERE date = „JJJJ-MM-TT“. Ändern Sie beispielsweise FROM `daily_20220815` zu FROM `gmail_view` WHERE date = „2022-08-15“.
   • Ändern Sie FROM `daily_*` zu FROM `gmail_view`.

Schritt 3: Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery deaktivieren

Führen Sie diesen Schritt in der Admin-Konsole aus.

Gmail-Protokolldaten werden in zwei Projekte exportiert, bis Sie diesen Schritt ausführen. Wenn Sie Daten in beide Projekte exportieren, können Sie sicherstellen, dass Projekte und Abfragen wie erwartet übertragen werden und keine Daten fehlen. Wir empfehlen Ihnen zu prüfen, ob Ihre gespeicherten Abfragen wie erwartet ausgeführt werden, bevor Sie diesen Schritt ausführen. 

So beenden Sie den Export von Gmail-Protokollen in ein reines Gmail-Projekt in BigQuery:

1. Melden Sie sich in der Google Admin-Konsole an.

   Melden Sie sich mit Ihrem Administratorkonto an. Dieses Konto endet nicht auf @gmail.com.

2. Klicken Sie auf der Startseite der Admin-Konsole auf AppsGoogle WorkspaceGmailEinrichtungE-Mail-Protokolle in BigQuery.
3. Bewegen Sie den Mauszeiger auf die Einstellung und klicken Sie auf Bearbeiten .
4. Entfernen Sie das Häkchen aus dem Kästchen Aktivieren.
5. Klicken Sie auf Speichern.

Weitere Informationen

• Google Workspace Admin-Hilfe: Logs und Berichte in BigQuery
• Google Workspace-Admin-Hilfe: Berichte und Monitoring
• BigQuery-Dokumentation zu Google Cloud