Migrar os registros do Gmail para os registros do Workspace no BigQuery

Este artigo é destinado a administradores do Google Workspace que usam somente os registros do Gmail no BigQuery ou que usam o registros do Gmail e do Google Workspace no BigQuery. Este artigo mostra as etapas detalhadas de migração de visualizações, consultas e scripts do Gmail no BigQuery para os registros e relatórios do Workspace no BigQuery.

Para simplificar as tarefas do BigQuery e permitir que você acesse todos os dados do produto em um só lugar, estamos mesclando os registros do Gmail com os do Google Workspace no BigQuery. 

Com essa mudança, você vai ter:

• Um lugar para armazenar e gerenciar exportações do BigQuery para todos os eventos de auditoria dos serviços do Google Workspace
• Dados mais completos sobre os eventos do Gmail no BigQuery, como tipos de dispositivos e ações da caixa de entrada (por exemplo, downloads abertos, excluídos, links clicados e anexo). Esses dados incluem todos os eventos e colunas da ferramenta de investigação de segurança.
• Dados particionados, para que você possa exportar conjuntos de dados menores e reduzir os custos de armazenamento no BigQuery.
• Recuperação de dados para que você possa corrigir configurações incorretas e mudanças de permissões.

O que é preciso fazer

Depois que os registros do Gmail no BigQuery forem mesclados aos do Google Workspace no BigQuery, não vai ser possível usar os registros do Gmail no BigQuery no Google Admin Console.

Para manter os dados do BigQuery do Gmail disponíveis, migre suas visualizações, consultas e scripts para os registros e relatórios do Google Workspace no BigQuery:

Etapa	Descrição	Mais informações
1	Configure as exportações dos registros de serviço para o Workspace no BigQuery.	Se você já tiver configurado os registros e relatórios do Google Workspace no BigQuery, pule esta etapa e avance para a Etapa 2. Se você pular essa etapa, faça o seguinte: Informe o ID do projeto atual e o nome do conjunto de dados que você vai usar para exportar os dados do Gmail. Entenda como o período de exportação dupla pode afetar seus requisitos de armazenamento do BigQuery.
2	Migrar visualizações, registros e consultas de registros do BigQuery do Gmail	Só realize esta etapa se você tiver visualizações personalizadas ou consultas salvas para registros do Gmail no BigQuery que gostaria de migrar para registros do Google Workspace no BigQuery. Se você não tiver visualizações personalizadas ou consultas salvas para migrar, pule esta etapa e vá para a Etapa 3.
3	Desative as exportações de registros do Gmail para seu projeto do BigQuery exclusivo do Gmail	Recomendamos que você verifique se as consultas salvas são executadas como esperado antes de concluir esta etapa.

Etapa 1: configurar exportações de registros de serviço para o BigQuery do Google Workspace

Faça isso no Google Admin Console.

Se você já tiver configurado os registros e relatórios do Google Workspace no BigQuery, pule esta etapa e acesse Etapa 2: migrar visualizações, consultas e scripts de registros do Gmail no BigQuery. Se você pular essa etapa, faça o seguinte:

• Veja o ID do projeto atual e o nome do conjunto de dados que você vai usar nas exportações de dados do Gmail.
• Entenda como o período de exportação dupla afeta seus requerimentos de armazenamento do BigQuery.

Veja informações detalhadas sobre o BigQuery e os dados da API Reports em Configurar exportações de registros de serviço para o BigQuery.

1. Faça login no Google Admin Console.

   Use sua conta de administrador (não termina em @gmail.com).

2. À esquerda, clique em Relatórios.
3. Role para baixo e clique em BigQuery Export.
4. Aponte para BigQuery Export e clique em Editar.
5. Para ativar os registros do BigQuery, marque a caixa Ativar a exportação de dados do Google Workspace para o Google BigQuery. 
6. Em ID do projeto do BigQuery, selecione o projeto em que os registros do Gmail vão ser armazenados. Escolha um projeto com acesso para gravar. Se o projeto não aparecer, você vai precisar configurá-lo no BigQuery. Para saber mais detalhes, acesse Guia de início rápido para uso do Console do Google Cloud.
7. Em Novo conjunto de dados no projeto, digite um nome para o novo conjunto de dados usado para armazenar os registros no projeto. Não é possível usar um conjunto de dados existente, e os nomes dos conjuntos de dados precisam ser exclusivos para cada projeto.
8. Clique em Salvar.
   Observação: se não for possível salvar o projeto, acesse o console do Google Cloud, exclua o novo conjunto de dados e salve novamente no Admin Console.

O conjunto de dados é criado automaticamente. Normalmente, os eventos do registro de atividades ficam disponíveis cerca de 10 minutos após a ativação dessa configuração. Volte mais tarde para verificar se o conjunto de dados e a tabela activity são exibidos. Os últimos seis meses dos dados de eventos de registro do Gmail são preenchidos na nova tabela.

Período temporário de exportação dupla e requisitos de armazenamento

Depois que você configura a exportação de registros do Gmail para o BigQuery do Google Workspace, os dados dos registros do Gmail são exportados para dois destinos: 

• Seu projeto anterior do BigQuery, exclusivo para o Gmail 
• Seu projeto novo ou atual do BigQuery do Google Workspace, que armazena dados de todos os apps do Google Workspace.

Os dados de registro do Gmail vão ser exportados para os dois projetos até você concluir a Etapa 3: desativar as exportações de registros do Gmail para seu projeto do BigQuery somente para Gmail. Exportar temporariamente seus dados para os dois locais ajuda a garantir que eles sejam transferidos da forma esperada e que nenhum dado seja perdido. 

Período de exportação dupla e armazenamento do BigQuery

Enquanto seus dados estão sendo exportados para os dois projetos, você vai precisar de mais armazenamento do BigQuery. Quando você concluir a Etapa 3: desativar as exportações de registros do Gmail para seu projeto do BigQuery exclusivo para o Gmail, os requisitos de armazenamento devem voltar ao normal. Recomendamos que você verifique se as consultas salvas são executadas como esperado antes da Etapa 3.

Etapa 2: migrar visualizações, consultas e scripts de registros do Gmail para o BigQuery

Siga esta etapa no console do Google Cloud.

Só realize esta etapa se você tiver consultas salvas ou visualizações de conjuntos de dados personalizados que gostaria de migrar para os registros do Google Workspace no BigQuery:

• Para verificar se você salvou consultas, siga estas etapas.
• Para verificar as visualizações do seu conjunto de dados personalizados, siga estas etapas.

Se você não tiver visualizações personalizadas ou consultas salvas para migrar, pule esta etapa e acesse Etapa 3: desativar as exportações de registros do Gmail para seu projeto do BigQuery somente para Gmail.

Para armazenar dados do Gmail com a mesma estrutura das suas tabelas daily_ atuais do Gmail, crie uma visualização para a tabela de atividades do Gmail. Ao migrar suas consultas atuais para o BigQuery do Google Workspace, o nome da tabela é modificado. Você não vai modificar o formato da tabela nem os nomes das colunas. Para informações detalhadas sobre as visualizações do BigQuery, acesse Primeiros passos com as visualizações.

1. No Console do Google Cloud, abra um projeto ativo do BigQuery. Abra o projeto com as consultas salvas que você quer migrar.  
2. Selecione o conjunto de dados do projeto que você quer migrar.
3. Para criar uma única visualização da tabela de atividades, siga estas etapas para executar o script:
   1. Copie o texto do script:

      CREATE VIEW `PROJECT_ID.DATASET_NAME.gmail_view`(event_info, message_info, date) AS SELECT gmail.event_info, gmail.message_info, _PARTITIONTIME FROM `PROJECT_ID.DATASET_NAME.activity` WHERE gmail IS NOT NULL;

   2. Acesse o campo Editor. Se a guia Editor não estiver visível, clique em Criar nova consulta .
   3. Cole o texto do script no campo Editor.
   4. No script colado, substitua PROJECT_ID.DATASET_NAME pelo ID do projeto e o nome do conjunto de dados da Etapa 1: configurar exportações de registros de serviço para o Workspace do BigQuery.
   5. No canto superior esquerdo, clique no botão Executar.
4. Consulte as consultas salvas que são selecionadas nas tabelas daily_ . Para consultas atuais, atualize os nomes das tabelas e adicione uma condição WHERE conforme necessário. Faça uma destas mudanças:
   • Altere as seleções de FROM `Daily_YYYYMMDD` para FROM `gmail_view` WHERE date = “AAAA-MM-DD”. Por exemplo, mude FROM `daily_20220815` para FROM `gmail_view` WHERE date = “2022-08-15”
   • Altere as seleções de FROM `Daily_*` para FROM `gmail_view`.

Etapa 3: desativar as exportações de registros do Gmail para seu projeto do BigQuery exclusivo do Gmail

Faça isso no Google Admin Console.

Os dados dos registros do Gmail vão ser exportados para dois projetos até que você conclua essa etapa. Exportar dados para os dois projetos ajuda a garantir que os projetos e as consultas sejam transferidos como esperado e que nenhum dado esteja ausente. Recomendamos que você verifique se as consultas salvas são executadas como esperado antes de concluir esta etapa. 

Para interromper imediatamente a exportação dos registros do Gmail para seu projeto do BigQuery exclusivo do Gmail, faça o seguinte:

1. Faça login no Google Admin Console.

   Use sua conta de administrador (não termina em @gmail.com).

2. Na página inicial do Admin Console, acesse AppsGoogle WorkspaceGmail​ConfiguraçãoRegistros de e-mail no BigQuery.
3. Aponte para a configuração e clique em Editar .
4. Desmarque a caixa Ativar.
5. Clique em Salvar.

Temas relacionados

• Google Workspace Ajuda para admins: registros e relatórios no BigQuery
• Ajuda para admins do Google Workspace: relatórios e monitoramento
• Documentação do Google Cloud BigQuery