Cloud Billing-Daten nach BigQuery exportieren

Mit dem Cloud Billing-Export nach BigQuery können Sie detaillierte Google Cloud-Abrechnungsdaten (z. B. Nutzung, Kostenschätzungen und Preisdaten) automatisch im Laufe eines Tages in ein BigQuery-Dataset exportieren, das Sie angeben. Anschließend haben Sie die Möglichkeit, über BigQuery auf Ihre Cloud Billing-Daten zuzugreifen und eine detaillierte Analyse auszuführen oder mit einem Tool wie Looker Studio zu visualisieren. Mit dieser Exportmethode lassen sich Daten auch in eine JSON-Datei exportieren.

Wichtig ist das Timing. Wenn Sie Zugriff auf einen umfassenderen Satz von Google Cloud-Abrechnungsdaten für Ihre Analyseanforderungen benötigen, empfehlen wir, dass Sie den Cloud Billing-Datenexport nach BigQuery gleichzeitig mit dem Erstellen eines Cloud-Rechnungskontos aktivieren.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Weitere Informationen

Das effektive Verwalten und Ermitteln von Kosten ist ein wichtiger Bestandteil der finanziellen Kontrolle, unabhängig davon, ob Sie ein Milliarden-Dollar-Unternehmen betreiben oder auf die Einhaltung eines kleinen Haushaltsbudgets achten müssen. Um datengestützte Entscheidungen über die Kosten und die Nutzung von Google Cloud treffen zu können, müssen Sie als Erstes die Daten erfassen, die Sie für diese Entscheidungen benötigen.

In den Anleitungen in diesem Abschnitt erhalten Sie Informationen zu folgenden Aufgaben:

Cloud Billing-Datenexport nach BigQuery einrichten

Damit Sie Cloud Billing-Daten erfassen können, müssen Sie den Export von Cloud Billing-Daten nach BigQuery aktivieren.

Der Einrichtungsleitfaden enthält Best Practices und eine detaillierte Anleitung zum Aktivieren des Cloud Billing-Datenexports nach BigQuery. Die folgenden Arten von Cloud Billing-Daten können Sie für den Export aktivieren:

  • Standardnutzungskosten: Enthalten Standardinformationen zur Kostennutzung eines Cloud-Rechnungskontos wie Konto-ID, Rechnungsdatum, Dienste, SKUs, Projekte, Labels, Standorte, Kosten, Nutzung, Gutschriften, Korrekturen und Währung.

    Mit dem Standardnutzungsexport können Sie allgemeine Trends in Ihren Kostendaten analysieren.

  • Detaillierte Nutzungskosten: Enthalten detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonten. Umfasst alle Messwerte zu Standardnutzungskosten sowie Kostendaten auf Ressourcenebene, z. B. eine virtuelle Maschine oder SSD, die die Dienstnutzung generiert.

    Verwenden Sie den detaillierten Nutzungsexport, um Kosten auf Ressourcenebene zu analysieren und bestimmte Ressourcen zu identifizieren, die möglicherweise die Kosten erhöhen. Der detaillierte Export enthält Informationen zu Ressourcen für die folgenden Produkte:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Cloud Functions
    • Cloud Run

    Wenn Sie Informationen zu GKE aufrufen möchten, aktivieren Sie die Kostenzuordnung in detaillierten Exporten.

    Weitere Empfehlungen und Einschränkungen finden Sie im Schema der detaillierten Nutzungskosten.

  • (Nur Reseller) Datenexport „Neuberechnung“: Enthält detaillierte Informationen zur Kostennutzung von Cloud-Rechnungskonten in allen Reseller-Rechnungskonten, die mit Partnerattributen versehen sind.

    Verwenden Sie den Datenexport „Neuberechnung“, um Abrechnungsvorgänge für Ihre Google Cloud-Kunden zu verwalten. Weitere Informationen zu Konfigurationen für die Preisneuberechnung, mit denen Sie Kosten für Endkunden generieren können

  • Preisdaten: Enthalten Preisinformationen zu Cloud-Rechnungskonten wie Konto-ID, Dienste, SKUs, Produkte, geografische Metadaten, Preiseinheiten, Währungen, Aggregation und Stufen.

    Sie können die Preisdaten für Ihr Cloud-Rechnungskonto auch so abrufen:

Die Verwendung von BigQuery zum Speichern und Abfragen von Cloud Billing-Daten verursacht nur geringe Gebühren. Weitere Informationen finden Sie unter Nutzungskosten.

Beachten Sie die Einschränkungen, die sich auf den Export Ihrer Abrechnungsdaten in BigQuery auswirken können.

Informationen zu den Cloud Billing-Datentabellen

Nachdem Sie den Cloud Billing-Export nach BigQuery aktiviert haben, werden die Datentabellen von Cloud Billing automatisch im BigQuery-Dataset erstellt.

Informationen zum Datenschema des exportierten Inhalts finden Sie in den Referenzinformationen zum Inhalt der Cloud Billing-Daten, die in jede Tabelle im BigQuery-Dataset exportiert werden.

Beispielabfragen für Cloud Billing-Daten finden

Tipps und Anleitungen zur Verwendung von SQL zum Ausführen von Abfragen für Ihre Cloud Billing-Daten finden Sie in den Beispielabfragen.

Auf der Seite mit den Beispielabfragen finden Sie verschiedene SQL-Beispiele, darunter die folgenden:

Nutzungskosten

Die Verwendung von BigQuery zum Speichern von Nutzungsdaten verursacht in der Regel geringe Gebühren.

  • Das Laden von Daten in das angegebene Dataset ist kostenlos. Bei diesem Vorgang wird der BigQuery-Pool freigegebener Ressourcen genutzt, um Daten in Batches zu laden.
  • Beim Exportieren und Analysieren von Cloud Billing-Daten mit BigQuery sind die damit verbundenen Kosten von der Datenmenge abhängig, die Sie streamen, speichern und abfragen.
  • Viele Vorgänge für partitionierte Tabellen sind kostenlos, einschließlich Laden von Daten in Partitionen, Kopieren von Partitionen und Datenexport aus Partitionen. Obwohl diese Vorgänge kostenlos sind, unterliegen sie dennoch den Kontingenten und Beschränkungen von BigQuery.

Im Allgemeinen kann das Abfragen des detaillierten Kostenexports mehr kosten als die Abfrage des Standardexports. Zur Optimierung Ihrer Kosten empfehlen wir die Verwendung des Standardexports, um Trends in Ihren Kosten zu analysieren, und des detaillierten Exports, um die Kosten auf Ressourcenebene zu verfolgen und bestimmte Ressourcen zu identifizieren, die möglicherweise Ihre Kosten erhöhen.

Informationen über die zu erwartenden Kosten finden Sie unter Speicher- und Abfragekosten schätzen.

Weitere Informationen zu Best Practices zur Optimierung der Kosten in BigQuery finden Sie unter Kosten in BigQuery kontrollieren.

Ausführliche Preise finden Sie unter BigQuery-Preise.

Beschränkungen

Das Exportieren von Cloud Billing-Daten nach BigQuery unterliegt folgenden Einschränkungen.

  • Für die Verwendung mit Cloud Billing-Daten unterstützte BigQuery-Dataset-Standorte

    BigQuery-Datasets sind so konfiguriert, dass sie einen Standort verwenden: entweder einen multiregionalen Standort (EU oder USA) oder einen regionalen Standort. Der Dataset-Speicherort wird bei der Erstellung festgelegt. Nachdem ein Dataset erstellt wurde, kann sein Standort nicht mehr geändert werden.

    Der Cloud Billing-Datenexport unterstützt alle multiregionalen Standorte (EU oder USA), aber nur einen Teil der regionalen Standorte. Wenn Sie Ihre Cloud Billing-Exporteinstellungen konfigurieren und ein Dataset erstellen, das für die Verwendung eines nicht unterstützten regionalen Standorts konfiguriert ist, wird beim Speichern der Exporteinstellungen wird der Fehler Ungültige Dataset-Region angezeigt.

    In der folgenden Tabelle sind die multiregionalen Standorte und die regionalen Standorte aufgeführt, die für die Verwendung mit BigQuery-Datasets, die Cloud Billing-Daten enthalten, unterstützt werden.

    Nord- und Südamerika Asiatisch-pazifischer Raum Europa

    Multiregional: USA

    Regionen:

    • northamerica-northeast1 (Montreal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (South Carolina)
    • us-east4 (Northern Virginia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regionen:

    • asia-east1 (Taiwan)
    • asia-east2 (Hongkong)
    • asia-northeast1 (Tokio)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seoul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapur)
    • asia-southeast2 (Jakarta)
    • australia-southeast1 (Sydney)

    Multiregional: EU

    Regionen:

    • europe-central2 (Warschau)
    • europe-north1 (Finnland)
    • europe-west1 (Belgien)
    • europe-west2 (London)
    • europe-west3 (Frankfurt)
    • europe-west4 (Niederlande)
    • europe-west6 (Zürich)

  • Für Ihre BigQuery-Datasets, die standardmäßige Nutzungskostendaten oder detaillierte Nutzungskostendaten enthalten, wirkt sich der Typ des Standorts, den Sie für das Dataset konfigurieren, auf den Zeitpunkt aus, zu dem Ihre Google Cloud-Rechnungsdaten in das Dataset exportiert werden:

    • Wenn Sie das Dataset für die Verwendung eines multiregionalen Standorts (EU or US) konfigurieren, enthält das Dataset die Google Cloud-Abrechnungsdaten, die ab dem Beginn der vorherigen Monats angefallen sind; ab dem Zeitpunkt, an dem Sie den Export zuerst aktiviert haben, sofern Sie den Export nicht wieder aktivieren. Das heißt, Google Cloud-Abrechnungsdaten werden für den aktuellen und den Vormonat rückwirkend hinzugefügt. Beim ersten Backfill exportierter Daten kann es bis zu fünf Tage dauern, bis die reaktiven Cloud Billing-Daten abgeschlossen sind und die neuesten Nutzungsdaten angezeigt werden.

    • Wenn Ihr Dataset für die Verwendung eines unterstützten regionalen Standorts konfiguriert ist, spiegeln Ihre standardmäßigen Nutzungskostendaten und ihre detaillierten Nutzungskostendaten nur die Google Cloud-Abrechnungsdaten wider, die ab dem Datum, an dem Sie den Cloud Billing-Export aktiviert haben, und danach angefallen sind. Das heißt, Google Cloud-Abrechnungsdaten werden nicht rückwirkend für Dataset-Standorte mit mehreren Regionen hinzugefügt. Sie sehen also keine Cloud Billing-Daten aus der Zeit bevor Sie den Export aktiviert haben.

    • Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Ihre BigQuery-Datasets, die Preisdaten enthalten, erfassen nur Google Cloud-Abrechnungsdaten, die ab dem Datum angefallen sind, an dem Sie den Cloud Billing-Export eingerichtet haben. Google Cloud-Preisdaten werden aber nicht rückwirkend hinzugefügt, sodass Sie keine vor dem Export erstellten Cloud Billing-Preisdaten sehen. Weitere Informationen finden Sie unter Datenverfügbarkeit.

  • Beim Exportieren von detaillierten Nutzungskostendaten enthält der detaillierte Export automatisch Informationen zu Compute Engine auf Ressourcenebene. Wenn Sie sich eine Aufschlüsselung der GKE-Clusterkosten (Google Kubernetes Engine) in einem detaillierten Datenexport ansehen möchten, müssen Sie auch die Kostenzuordnung für GKE aktivieren.

  • Dataset-Verschlüsselung Vom Kunden verwaltete Verschlüsselungsschlüssel (CMEK) werden beim Exportieren von Abrechnungsdaten in BigQuery nicht unterstützt. Wenn Sie CMEK-Verschlüsselung für Ihr Dataset der Abrechnungsdaten aktivieren, hindert diese Art der Verschlüsselung Cloud Billing daran, Abrechnungsdaten in die entsprechenden Tabellen innerhalb dieses Datasets zu schreiben. Sie müssen stattdessen das Dataset aktivieren, um einen von Google verwalteten Verschlüsselungsschlüssel zu verwenden.

  • Wenn Sie die BigQuery-Sicherheit auf Zeilenebene für die Tabelle verwenden möchten, die Ihre exportierten Daten enthält, müssen Sie dem Cloud Billing-Exportdienstkonto billing-export-bigquery@system.gserviceaccount.com vollständigen Zugriff auf die Tabelle gewähren und dabei den BigQuery-TRUE-Filter verwenden. Der folgende Befehl gewährt Zugriff auf das Cloud Billing-Dienstkonto:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • Es kann bis zu einer Stunde dauern, bis Tags auf Ressourcenebene in BigQuery-Exporte übernommen werden. Wenn ein Tag innerhalb einer Stunde hinzugefügt oder entfernt wurde oder eine Ressource weniger als eine Stunde lang existiert, wird sie möglicherweise nicht im Export angezeigt.

    Tags auf Ressourcenebene sind für die folgenden Ressourcen verfügbar:

    • Compute Engine-Instanzen
    • Cloud Spanner-Instanzen
    • Cloud Run-Dienste
    • Artifact Registry-Repositories

  • Wenn Sie VPC Service Controls verwenden, werden Ihre BigQuery-Exporte möglicherweise blockiert. Zur Behebung des Fehlers müssen Sie die VPC manuell ausnehmen.

Weiter
Export von Abrechnungsdaten in BigQuery einrichten