Configurar os registros do Gmail no BigQuery

Edições compatíveis com este recurso: Enterprise Standard e Enterprise Plus; Education Standard e Education Plus.  Comparar sua edição

Os registros do Gmail armazenam informações de cada estágio de uma mensagem no processo de entrega do Gmail. Para analisar o fluxo do Gmail pelo processo de entrega, atribua registros do Gmail a um conjunto de dados em um projeto do BigQuery. Depois de atribuir esses registros, você poderá analisar os relatórios.   

Observação: somente registros do Gmail criados após a configuração no BigQuery podem ser exportados para esse produto.

Para simplificar as tarefas do BigQuery e permitir que você gerencie todos os dados do BigQuery em um só lugar, estamos mesclando os registros do Gmail no BigQuery com os registros e relatórios do Workspace no BigQuery, a partir de fevereiro de 2023. Você vai gerenciar os registros e relatórios do BigQuery para todos os serviços do Workspace no mesmo lugar no Google Admin Console. Recomendamos que você migre as visualizações, as consultas e os scripts do BigQuery do Gmail para registros e relatórios do Workspace no BigQuery assim que possível. Confira as etapas detalhadas em Migrar os registros do Gmail no BigQuery para os registros do Workspace no BigQuery.

Atribuir registros do Gmail a um conjunto de dados do BigQuery

1. Faça login no Google Admin Console.

   Use sua conta de administrador (não termina em @gmail.com).

2. Na página inicial do Admin Console, acesse AppsGoogle WorkspaceGmail​Configuração 

   Registros de e-mail no BigQuery.

3. Clique em Ativar.
4. Digite uma descrição que vai aparecer no resumo da configuração.
5. Selecione o projeto do BigQuery que será usado para os registros do Gmail. Selecione um projeto com acesso de gravação. 
6. Digite um nome de conjunto de dados em que os registros do Gmail são armazenados ou use o nome padrão gmail_logs_dataset.
7. (Opcional) Clique em Restringir o conjunto de dados a uma localização geográfica específicaselecione um local (por exemplo, Estados Unidos).

8. Clique em Salvar.

9. Após salvar as configurações, volte para o projeto do BigQuery. Agora o projeto tem um conjunto de dados com as seguintes informações: 
   • Os papéis padrão: proprietários, editores e visualizadores do projeto
   • Quatro contas de serviço designadas como editores de conjuntos de dados: 
     - [e-mail]: grava os registros. 
     - [e-mail]: grava os registros.
     - [e-mail]: restaura automaticamente a tabela de modelos, caso ela seja removida acidentalmente. 
     - [e-mail]: atualiza o esquema posteriormente.
     
     Observação: não remova essas contas de serviço nem altere as respectivas funções. Essas contas são obrigatórias.
10. Para verificar se elas foram adicionadas, passe o cursor sobre o novo conjunto de dados e clique em seta para baixo ao lado do nome dele.
11. Clique em Compartilhar conjunto de dados. Registros de e-mail diários agora são exportados para o BigQuery.

As alterações podem levar até 24 horas, mas costumam ser mais rápidas. Saiba mais

Tabela daily_

Depois que você ativa os registros de e-mail no BigQuery, uma nova tabela chamada daily_ é adicionada ao conjunto de dados. Essa tabela é um modelo do esquema das tabelas diárias. Depois que você criar o modelo daily_, as tabelas diárias serão criadas automaticamente no seu conjunto de dados. Agora os registros estão disponíveis para uso. 

O que você precisa saber sobre a tabela daily_:

• Ela fica sempre vazia e nunca expira. 
• Não remova, modifique, renomeie ou adicione dados a essa tabela.

• Ela é particionada por data. Os dados reais são gravados na tabela daily_YYYYMMDD no fuso horário GMT quando ocorre um evento.

Consultas de registro do Gmail

Exemplo de consultas

Teste algumas consultas de exemplo com os registros do Gmail no BigQuery. Os exemplos são casos de uso comuns de registros do Gmail.

Consultas personalizadas

Crie consultas personalizadas usando o esquema para registros do Gmail no BigQuery.

Dialetos SQL para consultas

O BigQuery é compatível com dois dialetos SQL para consultas:

• SQL padrão
• SQL legado 

Dados podem aparecer truncados em alguns campos

É importante observar que a linha do BigQuery pode ter até 1 MB. Por isso, os dados de alguns campos são truncados para que o registro tenha menos de 1 MB - 1 KB e seja inserido no BigQuery. O buffer de 1 KB é intencional.

Se o registro for muito longo ou o número de regras acionadas (trigger_rule_info) for grande, os seguintes campos poderão ser truncados:

message_info.subject
message_info.source.from_header_displayname
message_info.triggered_rule_info.string_match.match_expression
message_info.triggered_rule_info.string_match.matched_string

Veja mais informações em Esquema de registros do Gmail no BigQuery.

Informações relacionadas

Inserções de streaming

Expiração do sandbox

O prazo de expiração dos seguintes objetos do sandbox do BigQuery é de 60 dias:

• Tabelas
• Partições
• Partições em tabelas particionadas
• Visualizações

Você pode alterar o tempo de expiração da tabela padrão.

Se uma tabela expirar ou for removida, ela poderá ser restaurada em até dois dias.