Memigrasikan log Gmail ke log Google Workspace di BigQuery

Artikel ini ditujukan bagi administrator Google Workspace yang hanya menggunakan log Gmail di BigQuery, atau yang menggunakan log Gmail dan Google Workspace di BigQuery. Artikel ini berisi langkah-langkah mendetail untuk memigrasikan tampilan, kueri, serta skrip BigQuery Gmail ke log dan laporan Google Workspace di BigQuery.

Untuk menyederhanakan tugas BigQuery, dan memungkinkan Anda mendapatkan semua data BigQuery di satu tempat, kami menggabungkan log Gmail di BigQuery dengan log Google Workspace di BigQuery. 

Dengan perubahan ini, Anda mendapatkan:

• Satu tempat untuk menyimpan dan mengelola ekspor BigQuery bagi semua peristiwa audit layanan Google Workspace Anda.
• Data yang lebih lengkap tentang peristiwa Gmail di BigQuery, seperti jenis perangkat dan tindakan kotak masuk (misalnya, membuka, menghapus, link yang diklik, dan download lampiran). Data ini mencakup semua peristiwa dan kolom dari alat investigasi keamanan.
• Data yang dipartisi, sehingga Anda dapat mengekspor set data yang lebih kecil dan mengurangi biaya penyimpanan data BigQuery.
• Pemulihan data, sehingga Anda dapat memperbaiki kesalahan konfigurasi dan perubahan izin.

Yang perlu dilakukan

Setelah log Gmail di BigQuery digabungkan dengan log Google Workspace di BigQuery, Anda tidak akan dapat menggunakan log Gmail di BigQuery di konsol Google Admin.

Agar data BigQuery Gmail Anda tetap tersedia, migrasikan tampilan, kueri, dan skrip Anda ke log dan laporan Google Workspace di BigQuery:

Langkah	Deskripsi	Informasi selengkapnya
1	Menyiapkan ekspor log layanan ke BigQuery Google Workspace	Jika Anda telah menyiapkan laporan serta log Google Workspace di BigQuery, lewati langkah ini dan lanjutkan ke Langkah 2. Jika melewati langkah ini, pastikan Anda: Mendapatkan ID project dan nama set data saat ini yang akan digunakan untuk mengekspor data Gmail. Memahami bagaimana periode ekspor ganda dapat memengaruhi persyaratan penyimpanan BigQuery Anda.
2	Memigrasikan skrip, kueri, dan tampilan log BigQuery Gmail	Lakukan langkah ini hanya jika Anda memiliki tampilan kustom atau kueri tersimpan untuk log Gmail di BigQuery yang ingin dimigrasikan ke log Google Workspace di BigQuery. Jika Anda tidak memiliki tampilan kustom atau kueri tersimpan untuk dimigrasikan, lewati langkah ini dan langsung ke Langkah 3.
3	Menonaktifkan ekspor log Gmail ke project BigQuery khusus Gmail Anda	Sebaiknya verifikasi bahwa kueri tersimpan Anda berjalan seperti yang diharapkan sebelum menyelesaikan langkah ini.

Langkah 1: Siapkan ekspor log layanan ke BigQuery Google Workspace.

Lakukan langkah ini di konsol Google Admin.

Jika Anda sudah menyiapkan laporan serta log Google Workspace di BigQuery, lewati langkah ini dan lanjutkan ke Langkah 2: Migrasikan skrip, kueri, dan tampilan log BigQuery Gmail. Jika melewati langkah ini, pastikan Anda:

• Mendapatkan ID project dan nama set data saat ini yang akan digunakan untuk ekspor data Gmail.
• Memahami bagaimana periode ekspor ganda memengaruhi persyaratan penyimpanan BigQuery Anda.

Dapatkan informasi mendetail terkait data Reports API dan BigQuery di Menyiapkan ekspor log layanan ke BigQuery.

1. Login ke Konsol Google Admin.

   Login menggunakan akun administrator (bukan yang diakhiri dengan @gmail.com).

2. Di sebelah kiri, klik Pelaporan.
3. Scroll ke bawah, lalu klik BigQuery Export.
4. Arahkan kursor ke BigQuery Export, lalu klik Edit.
5. Untuk mengaktifkan log BigQuery, centang kotak Aktifkan ekspor data Google Workspace ke Google BigQuery. 
6. Pada bagian ID project BigQuery, pilih project tempat Anda ingin menyimpan log Gmail. Pilih project dengan akses tulis. Jika tidak melihat project, Anda harus menyiapkannya di BigQuery. Untuk mengetahui detailnya, buka Panduan memulai penggunaan konsol Google Cloud.
7. Di bagian Set data baru dalam project, masukkan nama bagi set data baru yang digunakan untuk menyimpan log dalam project. Anda tidak dapat menggunakan set data yang ada, dan nama set data harus unik untuk setiap project.
8. Klik Simpan.
   Catatan: Jika Anda tidak dapat menyimpan project, buka konsol Google Cloud, hapus set data baru, lalu simpan lagi di konsol Admin.

Set data dibuat secara otomatis. Peristiwa log aktivitas biasanya tersedia sekitar 10 menit setelah setelan ini diaktifkan. Kembali lagi nanti untuk memverifikasi bahwa set data dan tabel aktivitas muncul. Data peristiwa log Gmail Anda dalam 6 bulan terakhir akan diisi ulang ke tabel baru.

Persyaratan penyimpanan dan periode ekspor ganda sementara

Setelah Anda menyiapkan ekspor log Gmail ke BigQuery Google Workspace, data log Gmail diekspor ke 2 tujuan: 

• Project BigQuery khusus Gmail Anda sebelumnya 
• Project BigQuery Google Workspace baru atau yang ada, yang menyimpan data untuk semua aplikasi Google Workspace

Data log Gmail akan diekspor ke kedua project hingga Anda menyelesaikan Langkah 3: Nonaktifkan ekspor log Gmail ke project BigQuery khusus Gmail Anda. Mengekspor data untuk sementara ke kedua lokasi akan membantu memastikan bahwa data Anda ditransfer seperti yang diharapkan, dan tidak ada data yang hilang. 

Periode ekspor ganda & penyimpanan BigQuery

Ketika data diekspor ke kedua project, Anda memerlukan lebih banyak penyimpanan BigQuery. Setelah menyelesaikan Langkah 3: Nonaktifkan ekspor log Gmail ke project BigQuery khusus Gmail Anda, persyaratan penyimpanan Anda akan kembali normal. Sebaiknya pastikan kueri tersimpan Anda berjalan seperti yang diharapkan sebelum melakukan Langkah 3.

Langkah 2: Migrasikan skrip, kueri, dan tampilan log BigQuery Gmail

Lakukan langkah ini di konsol Google Cloud.

Lakukan langkah ini hanya jika Anda memiliki kueri tersimpan atau tampilan set data kustom yang ingin dimigrasikan ke log Google Workspace di BigQuery:

• Untuk memeriksa apakah Anda memiliki kueri tersimpan, ikuti langkah-langkah ini.
• Untuk memeriksa tampilan set data kustom, ikuti langkah-langkah ini.

Jika Anda tidak memiliki tampilan kustom atau kueri tersimpan untuk dimigrasikan, lewati langkah ini dan langsung ke Langkah 3: Nonaktifkan ekspor log Gmail ke project BigQuery khusus Gmail Anda.

Untuk menyimpan data Gmail dengan struktur yang sama seperti tabel daily_ Gmail Anda saat ini, buat tampilan untuk tabel aktivitas Gmail. Ketika memigrasikan kueri yang ada ke BigQuery Google Workspace, Anda akan mengubah nama tabel. Anda tidak akan mengubah format tabel atau nama kolom. Untuk mengetahui informasi mendetail tentang tampilan BigQuery, buka Pengantar tampilan.

1. Di konsol Google Cloud, buka project BigQuery yang aktif. Buka project yang kueri tersimpannya ingin Anda migrasikan.  
2. Pilih set data project yang ingin dimigrasikan.
3. Guna membuat tampilan tunggal untuk tabel aktivitas, ikuti langkah-langkah berikut untuk menjalankan skrip:
   1. Salin teks skrip:

      CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;

   2. Buka kolom Editor. Jika kolom Editor tidak terlihat, klik Compose new query .
   3. Tempelkan teks skrip ke dalam kolom Editor.
   4. Di skrip yang ditempelkan, ganti PROJECT_ID.DATASET_NAME dengan nama set data dan ID project dari Langkah 1: Siapkan ekspor log layanan ke BigQuery Google Workspace.
   5. Di kiri atas, klik tombol Run.
4. Tinjau kueri tersimpan yang Anda pilih dari tabel daily_. Untuk kueri yang ada, perbarui nama tabel dan tambahkan kondisi WHERE sesuai kebutuhan. Lakukan salah satu perubahan ini:
   • Ubah pilihan FROM `daily_YYYYMMDD` menjadi FROM `gmail_view` WHERE date = “YYYY-MM-DD”. Misalnya, ubah FROM `daily_20220815` menjadi FROM `gmail_view` WHERE date = “2022-08-15”
   • Ubah pilihan FROM `daily_*` menjadi FROM `gmail_view`

Langkah 3: Nonaktifkan ekspor log Gmail ke project BigQuery khusus Gmail Anda

Lakukan langkah ini di konsol Google Admin.

Data log Gmail akan diekspor ke kedua project hingga Anda menyelesaikan langkah ini. Mengekspor data ke kedua project akan membantu memastikan bahwa project dan kueri ditransfer seperti yang diharapkan, serta tidak ada data yang hilang. Sebaiknya verifikasi bahwa kueri tersimpan Anda berjalan seperti yang diharapkan sebelum melakukan langkah ini. 

Untuk segera berhenti mengekspor log Gmail ke project BigQuery khusus Gmail Anda:

1. Login ke Konsol Google Admin.

   Login menggunakan akun administrator (bukan yang diakhiri dengan @gmail.com).

2. Dari halaman beranda konsol Admin, buka AplikasiGoogle WorkspaceGmail​PenyiapanLog Email di BigQuery.
3. Arahkan kursor ke setelan, lalu klik Edit .
4. Hapus centang pada kotak Aktifkan.
5. Klik Simpan.

Topik terkait

• Google Workspace Bantuan Admin: Log dan laporan di BigQuery
• Bantuan Admin Google Workspace: Laporan dan pemantauan
• Dokumentasi BigQuery Google Cloud