Gmail-logboeken migreren naar Google Workspace-logboeken in BigQuery

Dit artikel is bedoeld voor Google Workspace-beheerders die Gmail-logboeken in BigQuery gebruiken of die zowel Gmail- als Google Workspace-logboeken in BigQuery gebruiken. In dit artikel vindt u gedetailleerde stappen om uw Gmail BigQuery-weergaven, -query's en -scripts te migreren naar Google Workspace-logboeken en -rapporten in BigQuery.

We voegen Gmail-logboeken in BigQuery samen met Google Workspace-logboeken in BigQuery om BigQuery-taken te stroomlijnen en u al uw BigQuery-gegevens op één plek te tonen.

Hierdoor krijgt u het volgende:

• Eén plek om BigQuery-exports op te slaan en te beheren voor al uw controlegebeurtenissen voor Google Workspace-services.
• Uitgebreidere gegevens over Gmail-gebeurtenissen in BigQuery, waaronder apparaattypen en inboxacties (zoals openen, verwijderen, aangeklikte links en bijlagen downloaden). Deze gegevens bevatten alle gebeurtenissen en kolommen uit de tool voor beveiligingsonderzoek.
• Gepartitioneerde gegevens, zodat u kleinere datasets kunt exporteren en uw opslagkosten voor BigQuery-gegevens kunt verlagen.
• Gegevensherstel, zodat u onjuiste configuraties en gewijzigde rechten kunt corrigeren.

Wat u moet doen

Nadat Gmail-logboeken in BigQuery zijn samengevoegd met Google Workspace-logboeken in BigQuery, kunt u geen Gmail-logboeken in BigQuery meer gebruiken in de Google Beheerdersconsole.

Als u wilt dat uw BigQuery-gegevens van Gmail beschikbaar blijven, moet u uw weergaven, query's en scripts migreren naar Google Workspace-logboeken en -rapporten in BigQuery:

Stap	Beschrijving	Meer informatie
1	Instellen dat servicelogboeken worden geëxporteerd naar Google Workspace BigQuery	Als u uw Google Workspace-logboeken en -rapporten al heeft ingesteld in BigQuery, slaat u deze stap over en gaat u naar stap 2. Als u deze stap overslaat, moet u het volgende doen: Noteer de huidige project-ID en datasetnaam die u wilt gebruiken voor het exporteren van Gmail-gegevens. Breng in kaart welke gevolgen de dubbele exportperiode kan hebben voor uw BigQuery-opslagvereisten.
2	Gmail BigQuery-logboekweergaven, -query's en -scripts migreren	Voer deze stap alleen uit als u aangepaste weergaven of opgeslagen query's heeft voor Gmail-logboeken in BigQuery die u wilt migreren naar Google Workspace-logboeken in BigQuery. Als u geen aangepaste weergaven of opgeslagen query's heeft om te migreren, slaat u deze stap over en gaat u naar stap 3.
3	De export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail uitzetten	We raden u aan te controleren of uw opgeslagen query's worden uitgevoerd zoals verwacht voordat u deze stap uitvoert.

Stap 1: De export van servicelogboeken naar Google Workspace BigQuery

Voer deze stap uit in de Google Beheerdersconsole.

Als u uw Google Workspace-logboeken en -rapporten al heeft ingesteld in BigQuery, slaat u deze stap over en gaat u naar Stap 2: Gmail BigQuery-logboekweergaven, -query's en -scripts migreren. Als u deze stap overslaat, moet u het volgende doen:

• Noteer de huidige project-ID en datasetnaam die u wilt gebruiken voor Gmail-gegevensexports.
• Breng in kaart welke gevolgen de dubbele exportperiode kan hebben voor uw BigQuery-opslageisen.

Raadpleeg Instellen dat servicelogboeken worden geëxporteerd naar BigQuery voor meer informatie over BigQuery- en Reports API-gegevens.

1. Log in bij de Google Beheerdersconsole.

   Log in met uw beheerdersaccount (dit eindigt niet op @gmail.com).

2. Klik links op Rapporten.
3. Scroll naar beneden en klik op BigQuery Export.
4. Plaats de muisaanwijzer op BigQuery Export en klik op Bewerken.
5. Als u BigQuery-logboeken wilt activeren, vinkt u het vakje aan voor De export van Google Workspace-gegevens naar Google BigQuery activeren.
6. Selecteer onder Project-ID BigQuery het project waarin u de Gmail-logboeken wilt opslaan. Kies een project waartoe u schrijftoegang heeft. Als u het project niet ziet, moet u het eerst instellen in BigQuery. Zie Quickstart using the Cloud Console (Snel aan de slag via de Cloud Console) voor meer informatie.
7. Voer onder Nieuwe dataset in project een naam in voor de nieuwe dataset waarin logboeken in het project worden opgeslagen. U kunt geen bestaande dataset gebruiken en datasetnamen moeten uniek zijn voor elk project.
8. Klik op Opslaan.
   Opmerking: Als u het project niet kunt opslaan, gaat u naar de Google Cloud Console. Verwijder de nieuwe dataset en sla deze opnieuw op in de Beheerdersconsole.

De dataset wordt automatisch gemaakt. Gebeurtenissen in het activiteitenlogboek worden meestal beschikbaar ongeveer 10 minuten nadat deze instelling is aangezet. Kom later terug om te controleren of de dataset en de activity-tabel zichtbaar zijn. De afgelopen 6 maanden aan gebeurtenisgegevens uit uw Gmail-logboek worden aangevuld in de nieuwe tabel.

Tijdelijke dubbele exportperiode en opslagvereisten

Nadat u de export van Gmail-logboeken naar Google Workspace BigQuery heeft ingesteld, worden Gmail-logboekgegevens geëxporteerd naar 2 bestemmingen:

• Uw vorige BigQuery-project voor alleen Gmail
• Uw nieuwe of bestaande Google Workspace BigQuery-project, waarin gegevens worden opgeslagen van alle Google Workspace-apps

Gmail-logboekgegevens worden naar beide projecten geëxporteerd totdat u Stap 3: De export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail uitzetten uitvoert. Door uw gegevens tijdelijk naar beide locaties te exporteren, zorgt u dat ze correct worden overgezet en dat er geen gegevens verloren gaan.

Dubbele exportperiode en BigQuery-opslag

Terwijl uw gegevens naar beide projecten worden geëxporteerd, heeft u meer BigQuery-opslag nodig. Nadat u Stap 3: De export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail uitzetten heeft uitgevoerd, worden de opslagvereisten weer normaal. We raden u aan te controleren of de opgeslagen query's worden uitgevoerd zoals verwacht voordat u stap 3 uitvoert.

Stap 2: Gmail BigQuery-logboekweergaven, -query's en -scripts migreren

Voer deze stap uit in de Google Cloud Console.

Voer deze stap alleen uit als u opgeslagen query's of aangepaste datasets heeft die u wilt migreren naar Google Workspace-logboeken in BigQuery:

• Als u wilt controleren of er opgeslagen query's zijn, volgt u deze stappen.
• Als u uw aangepaste datasetweergaven wilt controleren, volgt u deze stappen.

Als er geen aangepaste weergaven of opgeslagen query's zijn om te migreren, slaat u deze stap over en gaat u naar Stap 3: De export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail uitzetten.

Als u Gmail-gegevens wilt opslaan met dezelfde structuur als uw huidige daily_-tabellen voor Gmail, maakt u een weergave voor de activity-tabel van Gmail. Wanneer u de bestaande query's migreert naar Google Workspace BigQuery, past u de tabelnaam aan. U wijzigt de tabelindeling of de kolomnamen niet. Ga naar Introduction to views (Over weergaven) voor meer informatie over BigQuery-weergaven.

1. Open een actief BigQuery-project in de Google Cloud Console. Open het project met de opgeslagen query's die u wilt migreren.  
2. Selecteer de projectdataset die u wilt migreren.
3. Als u één weergave voor de activity-tabel wilt maken, volgt u deze stappen om het script uit te voeren:
   1. Kopieer de scripttekst:

      CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;

   2. Ga naar het veld Editor. Als u het veld Editor niet ziet, klikt u op Compose new query (Nieuwe query opstellen) .
   3. Plak de scripttekst in het veld Editor.
   4. Vervang in het geplakte script de tekst PROJECT_ID.DATASET_NAME door de project-ID en datasetnaam uit Stap 1: Instellen dat servicelogboeken worden geëxporteerd naar Google Workspace BigQuery.
   5. Klik linksboven op de knop Run (Uitvoeren).
4. Bekijk opgeslagen query's die gegevens ophalen uit de daily_-tabellen. Voor bestaande query's wijzigt u de tabelnamen en voegt u zo nodig een WHERE-voorwaarde toe. Voer een van deze wijzigingen uit:
   • Wijzig de selecties voor FROM `daily_YYYYMMDD` in FROM `gmail_view` WHERE date = “YYYY-MM-DD”. Wijzig bijvoorbeeld FROM `daily_20220815` in FROM `gmail_view` WHERE date = “2022-08-15”
   • Wijzig selecties voor FROM `daily_*` in FROM `gmail_view`.

Stap 3: De export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail uitzetten

Voer deze stap uit in de Google Beheerdersconsole.

Gmail-logboekgegevens worden geëxporteerd naar 2 projecten totdat u deze stap uitvoert. Door gegevens naar beide projecten te exporteren, zorgt u dat projecten en query's worden overgezet zoals verwacht en dat er geen gegevens ontbreken. We raden u aan te controleren of uw opgeslagen query's worden uitgevoerd zoals verwacht voordat u deze stap uitvoert.

Zo stopt u meteen met de export van Gmail-logboeken naar het BigQuery-project voor alleen Gmail:

1. Log in bij de Google Beheerdersconsole.

   Log in met uw beheerdersaccount (dit eindigt niet op @gmail.com).

2. Ga op de homepage van de Beheerdersconsole naar AppsGoogle WorkspaceGmailInstellenE-maillogboeken in BigQuery.
3. Plaats de muisaanwijzer op de instelling en klik op Bewerken .
4. Haal het vinkje weg voor Aanzetten.
5. Klik op Opslaan.

Gerelateerde onderwerpen

• Google Workspace Hulp voor beheerders: Logboeken en rapporten in BigQuery
• Google Workspace Hulp voor beheerders: Rapporten en controle
• Google Cloud BigQuery-documentatie