Talvez os recursos na fase Beta não estejam disponíveis na sua rede. Consulte as notas da versão para saber quando esse recurso vai estar disponível para todo mundo.
Os arquivos de relatório da Transferência de dados exibem dados não agregados e no nível do evento das suas campanhas publicitárias. Esses dados são basicamente conteúdo bruto dos registros do servidor de anúncios do Ad Manager, com um arquivo separado gerado para cada tipo de evento. Os arquivos da Transferência de dados contêm dados do evento com precisão de segundos. Além disso, é possível incluir outras informações nos arquivos, como o dispositivo, a área geográfica e outros dados relacionados ao evento.Os parceiros precisam aprovar blocos de anúncios no Ad Manager para serem exibidos nos arquivos da Transferência de dados.
Começar agora
Os arquivos de relatório da Transferência de dados têm um custo adicional. Entre em contato com seu gerente de contas para ativar o recurso. Depois que o recurso for ativado, você poderá configurar os tipos de arquivo da Transferência de dados. O Google Ad Manager oferece duas opções de transferência de dados: CSV e Parquet.
Caso sua organização não consiga gerenciar o processamento de extração, transformação e carregamento (ETL), oferecer suporte a arquivos grandes, manipular arquivos de texto, projetar e administrar um armazenamento de dados médio e projetar e implementar scripts, é recomendável contratar um parceiro aprovado do Google Marketing Platform.
Arquivos de relatório da Transferência de dados disponíveis
Cada arquivo da Transferência de dados contém informações sobre eventos diferentes. É possível adicionar campos a cada tipo de arquivo para ver informações contextuais relacionadas a esses eventos.
Backfill correspondente, o arquivo Network não incluirá impressões veiculadas a partir do Ad Exchange nem do Google AdSense via alocação dinâmica. Use o arquivo Backfill para ver informações sobre as impressões com alocação dinâmica.Sobre os dados nos arquivos da Transferência de dados
- Dados atrasados
Atrasos de algumas horas são normais, mas ocasionalmente os arquivos da Transferência de dados demoram mais tempo do que o normal para serem processados. Se os dados estiverem atrasados, eles aparecerão no próximo arquivo em lote por hora com um carimbo de data/hora exato. Isso pode indicar, por exemplo, que o arquivo tem mais carimbos de data/hora entre 8h e 9h e alguns carimbos com marcações anteriores, se o processamento tiver sido adiado. -
Horas sem atividade
Se não houver atividade durante uma certa hora, um arquivo da Transferência de dados somente com dados de cabeçalho será postado. - Limites de data e dia
O primeiro arquivo por hora de um determinado dia, em geral, contém eventos da meia-noite à 1h, horário do Pacífico, mas os carimbos de data/hora do evento estão no fuso horário da rede do editor. Se, por exemplo, o editor estiver definido para o horário da Costa Leste dos EUA, ele verá eventos entre 3h e 4h no primeiro arquivo por hora. As três horas anteriores estarão no arquivo do dia anterior. Portanto, é possível ter carimbos de data/hora de uma data diferente da indicada no nome do arquivo. Sempre consulte os carimbos de data/hora nos eventos do arquivo, e não o horário em que o arquivo foi postado nem o nome do arquivo. - Relatórios principais/complementares na Transferência de dados
Os arquivos da Transferência de dados mostram impressões de criativos principais e complementares, mas a ferramenta de consulta só conta as impressões veiculadas do conjunto de criativos principais/complementares (em vez de uma impressão por criativo), a não ser que as informações sejam detalhadas por principal/complementar.
IsCompanion será "TRUE" para a impressão do criativo complementar. O campo CreativeId contém os IDs individuais dos criativos principais e dos complementares e não o ID do conjunto de criativos. Não há um campo adicional na Transferência de dados para que o ID do conjunto de criativos associe as impressões complementares às principais. - Discrepâncias nos relatórios do Ad Manager
O tráfego de má qualidade ou dados de spam são removidos periodicamente dos relatórios do Ad Manager ou dos relatórios gerados pela API. Devido à programação de publicação dos arquivos da Transferência de dados, talvez parte dessa remoção não seja refletida. Como resultado, a Transferência de dados talvez mostre um pouco mais de impressões, cliques ou outros eventos. Quando ocorrem discrepâncias, elas tendem a ser de mais ou menos 1%.Os arquivos
CodeServesda Transferência de dados podem mostrar um valor maior que a métrica "Contagem de fornecimentos de códigos" nos relatórios do Ad Manager. Isso ocorre porque a Transferência de dados conta um fornecimento de código para cada impressão veiculada, mas os relatórios só contam um fornecimento de código por solicitação. Alguns formatos de criativo, como os anúncios de texto do Google Ads, podem conter várias impressões para uma única solicitação. Agrupe os arquivos da Transferência de dados pelos valores dos camposKeyParta fim de encontrar as impressões únicas para comparação.
Benefícios e desvantagens dos formatos de saída CSV e Parquet
| CSV (valores separados por vírgula) | Parquet (armazenamento em colunas) | |
|---|---|---|
| Legibilidade e acessibilidade | Altamente legível por humanos. Pode ser facilmente aberto e editado com editores de texto básicos ou softwares de planilhas. | Requer ferramentas especializadas para visualização e edição. Não tão acessível para usuários não técnicos. |
| Universalidade e compatibilidade | Tem suporte amplo de praticamente todas as ferramentas de análise e processamento de dados. | Pode exigir bibliotecas ou softwares complementares para compatibilidade total, especialmente em sistemas mais antigos. |
| Simplicidade e facilidade de uso | Estrutura simples, fácil de entender e trabalhar, especialmente para conjuntos de dados menores ou análises rápidas ad hoc. | A implementação inicial pode ser mais complexa, especialmente para usuários que não estão familiarizados com o armazenamento em colunas. |
| Desempenho e eficiência | Pode ser mais lento para grandes conjuntos de dados devido ao armazenamento em linhas e à falta de compactação. | Oferece desempenho superior para processamento e análise de dados em grande escala devido ao armazenamento em colunas e a técnicas de compactação eficientes. |
| Eficiência de armazenamento | Menos eficiente em termos de armazenamento devido à falta de compactação integrada e ao potencial de armazenamento redundante de dados. | Alta eficiência de armazenamento devido ao armazenamento em colunas e algoritmos de compactação avançados, reduzindo os custos de armazenamento. O Parquet pode ser de 50% a 75% menor que os arquivos CSV, especialmente para grandes conjuntos de dados. |
Se você já tiver ativado a Transferência de dados em CSV, entre em contato com seu gerente de contas para ter acesso ao Parquet.
Fazer o download de um arquivo de exemplo
É possível fazer o download de arquivos de exemplo como CSV ou Parquet para visualizar os dados e os campos incluídos em cada um dos arquivos do relatório de Transferência de dados.
| Tipo de evento | Nome e tipo do arquivo | O que é exibido | Arquivos de exemplo |
|---|---|---|---|
| Lances mescláveis | NetworkBackfillBidsJoinable |
Informações sobre lances. Pode ser mesclado com outros arquivos da Transferência de dados. 1 arquivo por hora. |
|
| CodeServe | NetworkCodeServes |
Registra todas as respostas do Ad Manager, quer tenham sido transferidas por download ou não. 2 arquivos por hora. Observação: os arquivos Request e de CodeServe são incluídos no arquivo Impression sem custo extra. |
|
| Impressão | NetworkImpressions |
Mostra informações sobre impressões obtidas por download. 2 arquivos por hora. |
|
| Solicitação | NetworkRequests |
Registra todas as solicitações de anúncios recebidas pelo Ad Manager, quer tenham sido preenchidas ou não. 2 arquivos por hora. Observação: os arquivos Request e de CodeServe são incluídos no arquivo Impression sem custo extra. |
|
| Active View | NetworkActiveViews |
Mostra informações sobre impressões baseadas no Ad Manager qualificadas para o Active View. 2 arquivos por hora. |
|
| Lances | NetworkBackfillBids (Beta) |
Mostra informações sobre os lances dos leilões do Open Bidding e o Authorized Buyers. 1 arquivo por hora. |
|
| Clique | NetworkClicks |
Mostra informações sobre cliques. 2 arquivos por hora. |
|
| Lance mínimo para vencer | NetworkMinimumBidToWin (Beta) |
Informa os lances mínimos que os compradores precisam para vencer o leilão quando pelo menos um item de linha remanescente está competindo. 1 arquivo por hora. |
|
| Conversão de Rich Media | NetworkRichMediaConversions |
Informações sobre os eventos do Studio, incluindo ações padrão e personalizadas (como reproduzir e pausar), duração da ação, entre outras. 2 arquivos por hora. |
|
| Conversão de vídeo | NetworkVideoConversions |
Informações sobre eventos específicos de vídeo, incluindo ações (como tocar e pausar), Content IDs, posicionamento no conjunto e muito mais. Veja todos os eventos de vídeo 2 arquivos por hora. |
|
Como os arquivos são enviados
Os arquivos da Transferência de dados são enviados aos buckets de armazenamento em nuvem do Ad Manager a cada hora. Recomendamos uma pesquisa em períodos regulares para conferir se há atualizações. A maioria dos dados é enviada e fica disponível entre 5 e 15 horas após o horário registrado. No entanto, alguns eventos atrasados podem demorar até 8 dias após a ocorrência do evento. O Ad Manager não fornece informações da Transferência de dados para servidores de terceiros.
Os nomes dos arquivos incluem o horário de início dos eventos no fuso horário do Pacífico dos EUA (observando o horário de verão). No entanto, os carimbos de data/hora desses arquivos são sempre criados de acordo com o fuso horário da rede do Ad Manager (que pode não observar o horário de verão). Isso pode levar a arquivos vazios/ignorados ou que contêm dados de mais do que uma hora, dependendo da interação entre as configurações desses fusos horários.
Nomes de arquivos
Os nomes dos arquivos da Transferência de dados seguem uma convenção previsível:
- CSV:
[Type]_[Network ID]_[YYYYMMDD]_[HH].gz - Parquet:
[Type][Network ID][YYYYMMDD]_[HH]-[Partition Index]-of-[Total Number of Partitions].parquet AAAAMMDDrepresenta o ano, o mês e o dia.HHé o horário de início no formato de 24 horas.O número da hora (por exemplo, 01, 02, 03) especificado em cada nome de arquivo está no fuso horário do Pacífico. No entanto, os editores recebem os dados específicos do fuso horário da rede deles nos carimbos de data/hora dos arquivos da Transferência de dados. Lembre-se dessa diferença quando calcular a exibição de arquivos.
[Partition Index]é a partição do arquivo em relação ao número total de arquivos (partições) criados, começando do zero[Total Number of Partitions]é o número de arquivos (partições) usados para criar o arquivo.
Arquivos da Transferência de dados no processo de solicitação de anúncio
Analise o gráfico a seguir para entender os tipos de arquivo da Transferência de dados associados a várias etapas do processo de solicitação de anúncio.
Usar os arquivos de relatório da Transferência de dados
Depois de configurar a Transferência de dados, os arquivos são mantidos em buckets de armazenamento em nuvem do Ad Manager. É possível acessá-los na Web com uma ferramenta de linha de comando ou com uma API. Saiba mais sobre como acessar os buckets de armazenamento em nuvem do Ad Manager
Ao limitar a ingestão e a análise de dados a um conjunto específico de arquivos da Transferência de dados com base no horário inicial no nome do arquivo, talvez você esqueça os dados de um arquivo posterior devido ao horário de verão, à coleta atrasada de dados ou a outros casos semelhantes. Uma abordagem melhor seria ler todos os arquivos da Transferência de dados em um sistema separado (como um armazenamento de dados ou mecanismo de consulta) e restringir sua análise com base nos carimbos de data/hora dos eventos.
Os arquivos da Transferência de dados estão disponíveis em dois formatos: CSV ou Parquet.
Os usuários podem escolher CSV, Parquet ou as duas saídas para cada arquivo. O Parquet é o formato ideal para casos de uso de data warehouse e ingestão, enquanto os arquivos CSV podem ser usados em um editor de planilhas, dependendo do tamanho do arquivo. Veja os exemplos mais comuns de como usar as informações da Transferência de dados:
- Agregação de usuário dimensional para eventos e atividades (como, por criativo)
- Cálculo de conversões únicas ao longo de vários dias
- Correspondência de usuários em comparação com um banco de dados de clientes
- Relatório de informações geográficas e demográficas de usuários
É possível usar as tabelas de correspondência para fornecer uma busca de nome para ID para valores contidos em arquivos da Transferência de dados, permitindo que você combine informações de veiculação de anúncios (como bloco de anúncios ou item de linha) com valores pré-atribuídos armazenados no banco de dados.
Armazenar arquivos localmente
É recomendado que cada evento utilize entre 25 e 35 bytes em um arquivo compactado. Dessa forma, 10 milhões de impressões exigiriam cerca de 300 MB de espaço em disco em um arquivo CSV compactado. Os tamanhos de arquivo tendem a ser menores com o formato de saída Parquet. Essas são somente estimativas, e o tamanho do arquivo pode ser maior. Como este é o tamanho dos dados na forma compactada, você precisa de espaço adicional para descompactar e usar os arquivos.
Os arquivos da Transferência de dados com mais de 60 dias são eliminados do Ad Manager. Se você quiser armazenar seus arquivos por mais tempo, é recomendável fazer isso localmente ou movê-los para uma solução permanente de armazenamento em nuvem, que pode incluir uma conta independente do Google Cloud Storage controlada totalmente por você.
Saiba mais sobre o serviço de transferência de dados do BigQuery
Facilitar o processo de grandes arquivos da Transferência de dados
O Google Code lançou um kit de ferramentas de código aberto chamado de Custom Reporting Utilities for Shell (CRUSH) para o processamento de dados delimitados por texto com scripts de linha de comando ou em shell. As ferramentas CRUSH foram desenvolvidas e testadas amplamente e funcionam melhor em sistemas operacionais Linux ou Unix. O suporte ao CRUSH está disponível na comunidade de código aberto.
Uma alternativa que não é de código aberto é o DMX, um software de integração de dados desenvolvido pela Syncsort.