Gmail-Protokolle in BigQuery einrichten

Unterstützte Versionen für diese Funktion: Enterprise Standard und Enterprise Plus; Education Standard und Education Plus.  G Suite-Versionen vergleichen

In Gmail-Protokollen werden Einträge für die verschiedenen Phasen gespeichert, die eine E-Mail während der Gmail-Zustellung durchläuft. Wenn Sie die Schritte des Zustellprozesses in Gmail analysieren möchten, weisen Sie einem Dataset in einem BigQuery-Projekt Gmail-Protokolle zu. Anschließend können Sie Berichte zu den Daten aufrufen.   

Hinweis: Gmail-Protokolle, die vor der Einrichtung von Gmail-Logs in BigQuery erstellt wurden , können nicht nach BigQuery exportiert werden.

Ab Februar 2023 werden Gmail-Protokolle in BigQuery mit Workspace-Protokollen und -Berichten zusammengeführt. So können Sie Ihre BigQuery-Aufgaben optimieren und alle BigQuery-Daten an einem Ort in BigQuery verwalten. Sie verwalten BigQuery-Protokolle und -Berichte für alle Workspace-Dienste an einem Ort in der Admin-Konsole. Wir empfehlen, die Gmail-BigQuery-Ansichten, -Abfragen und -Skripts so schnell wie möglich zu Workspace-Protokollen und -Berichten in BigQuery zu migrieren. Eine ausführliche Anleitung finden Sie unter Gmail-Protokolle in ein Workspace-Projekt in BigQuery migrieren.

Einem BigQuery-Dataset Gmail-Protokolle hinzufügen

1. Melden Sie sich in der Google Admin-Konsole an.

   Melden Sie sich mit Ihrem Administratorkonto an. Dieses Konto endet nicht auf @gmail.com.

2. Klicken Sie auf der Startseite der Admin-Konsole auf AppsGoogle WorkspaceGmail​Einrichtung 

   E-Mail-Protokolle in BigQuery.

3. Klicken Sie auf Aktivieren.
4. Geben Sie eine Beschreibung ein, die in der Zusammenfassung der Einstellung angezeigt werden soll.
5. Wählen Sie für die Gmail-Protokolle ein BigQuery-Projekt aus, auf das Sie Schreibzugriff haben. 
6. Geben Sie einen Dataset-Namen ein, unter dem Gmail-Protokolle gespeichert werden, oder verwenden Sie den Standardnamen gmail_logs_dataset.
7. Optional: Klicken Sie auf Dataset auf einen bestimmten Standort beschränkenwählen Sie einen Standort aus (z. B. USA).

8. Klicken Sie auf Speichern.

9. Kehren Sie nach dem Speichern der Einstellungen zu Ihrem BigQuery-Projekt zurück. Das Projekt enthält jetzt ein Dataset mit den folgenden Informationen: 
   • Die Standardrollen: Projektinhaber, Projektbearbeiter und Projektbetrachter
   • Vier Dienstkonten, die als Dataset-Bearbeiter festgelegt sind: 
     – [e-mail]: Damit werden die Protokolle geschrieben. 
     – [e-mail]: Damit werden die Protokolle geschrieben.
     – [e-mail]: Sollte die Vorlagentabelle versehentlich gelöscht werden, wird sie hiermit wiederhergestellt. 
     – [e-mail]: Hiermit wird zukünftig das Schema aktualisiert.
     
     Hinweis: Entfernen Sie diese Dienstkonten nicht und weisen Sie ihnen keine anderen Rollen zu. Die Konten sind unbedingt erforderlich.
10. Um nachzusehen, ob diese Dienstkonten hinzugefügt wurden, zeigen Sie auf das neue Dataset und klicken Sie neben dem Namen auf Nach unten.
11. Klicken Sie auf Dataset freigeben. Sobald die Einrichtung abgeschlossen ist, werden täglich E-Mail-Protokolle nach BigQuery exportiert.

Es kann bis zu 24 Stunden dauern, bis Änderungen wirksam werden, aber normalerweise geschieht dies eher. Weitere Informationen

Tabelle "daily_"

Nachdem Sie E-Mail-Protokolle in BigQuery aktiviert haben, wird dem Dataset eine neue Tabelle mit dem Namen daily_ hinzugefügt. Diese Tabelle ist eine Vorlage, die das Schema für die täglich erstellten Tabellen enthält. Nachdem die Tabelle "daily_" erstellt wurde, werden die tagesaktuellen Tabellen automatisch in Ihrem Dataset erstellt. Sie können die Protokolle nun verwenden. 

Wichtige Hinweise zur Tabelle "daily_":

• Sie ist immer leer und unbegrenzt gültig. 
• Sie dürfen in dieser Tabelle keine Daten entfernen, bearbeiten, umbenennen oder einfügen.

• Es ist eine nach Datum partitionierte Tabelle. Echte Daten werden auf Basis der Uhrzeit (GMT), zu der ein Ereignis auftritt, in eine Tabelle mit dem Namen "daily_JJJJMMTT" geschrieben.

Gmail-Protokollabfragen

Beispielabfragen

Probieren Sie einige Beispielabfragen für Gmail-Protokolle in BigQuery aus. Die Beispiele sind gängige Anwendungsfälle für Gmail-Protokolle.

Benutzerdefinierte Abfragen

Mit dem Schema für Gmail-Protokolle in BigQuery können Sie auch eigene benutzerdefinierte Abfragen erstellen.

SQL-Dialekte für Abfragen

BigQuery unterstützt zwei SQL-Dialekte für Abfragen:

• Standard-SQL
• Legacy-SQL 

Für einige Felder werden die Daten möglicherweise abgeschnitten

Beachten Sie, dass es in BigQuery eine Größenbeschränkung von 1 MB für Zeilen gibt. Aus diesem Grund werden einige Felder abgeschnitten, um das Protokoll auf eine Größe bis maximal 1 MB–1 KB zu schrumpfen, damit es in BigQuery eingefügt werden kann. 1 KB wird absichtlich als Puffer belassen.

Die folgenden Felder werden möglicherweise abgeschnitten, wenn das Protokoll zu lang ist oder die Anzahl der ausgelösten Regeln (triggered_rule_info) im Protokoll zu groß ist:

message_info.subject
message_info.source.from_header_displayname
message_info.triggered_rule_info.string_match.match_expression
message_info.triggered_rule_info.string_match.matched_string

Weitere Informationen finden Sie unter Schema für Gmail-Protokolle in BigQuery.

Weitere Informationen

Streaming-Insert-Anweisungen

Ablauf der Sandbox

Die Ablaufzeit für die folgenden BigQuery-Sandbox-Objekte beträgt 60 Tage:

• Tabellen
• Partitionen
• Partitionen in partitionierten Tabellen
• Aufrufe

Sie können die Standardablaufzeit für Tabellen ändern.

Wenn eine Tabelle abläuft oder entfernt wird, kann sie innerhalb von 2 Tagen wiederhergestellt werden.