Struktur ekspor data Mendetail

Dokumen ini memberikan informasi referensi untuk skema data biaya penggunaan mendetail Penagihan Cloud yang diekspor ke setiap tabel di BigQuery.

Data biaya penggunaan mendetail memberikan semua informasi yang disertakan dalam data biaya penggunaan standar, beserta kolom tambahan yang menyediakan data biaya tingkat resource terperinci, seperti virtual machine atau SSD yang menghasilkan penggunaan. Ekspor mendetail mencakup informasi biaya terperinci tentang layanan berikut:

Mengidentifikasi data biaya terperinci berdasarkan layanan

Untuk menganalisis informasi biaya terperinci dalam ekspor mendetail, gunakan tabel berikut untuk mengidentifikasi kolom yang berisi informasi tentang resource tertentu.

Lihat contoh meng-kueri data terperinci untuk resource Anda.

Skema data biaya penggunaan mendetail

Dalam set data BigQuery, data biaya penggunaan Google Cloud mendetail Anda dimuat ke dalam tabel data bernama gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.

Saat Anda menggunakan data biaya penggunaan mendetail di BigQuery, perhatikan hal-hal berikut:

• Skema tabel untuk ekspor data Penagihan Cloud mendetail dapat berubah dari waktu ke waktu, misalnya saat kolom baru ditambahkan ke ekspor mendetail. Untuk melindungi kueri Anda dari perubahan skema di masa mendatang, daripada mengandalkan kueri yang mereferensikan secara langsung kolom yang diekspor, sebaiknya gunakan tampilan BigQuery untuk menormalisasi data sehingga tabel menampilkan skema yang sama untuk kueri Anda. Pelajari lebih lanjut batasan ini.
• Saat memilih atau membuat set data BigQuery untuk data biaya penggunaan mendetail, Anda dapat memilih lokasi set data yang didukung untuk digunakan dengan data Penagihan Cloud.
• Saat Anda mengaktifkan ekspor data biaya penggunaan mendetail untuk pertama kalinya di Penagihan Cloud, jika Anda memilih set data yang dikonfigurasi untuk menggunakan lokasi multi-region (EU atau AS), data Penagihan Cloud akan tersedia secara retroaktif dari awal bulan sebelumnya. Data diekspor dalam urutan kronologis. Untuk pengisian ulang awal data yang diekspor, mungkin perlu waktu hingga lima hari sampai data Penagihan Cloud berlaku surut Anda selesai diekspor sebelum Anda mulai melihat data penggunaan terbaru.
• Jika Anda mengaktifkan ekspor data biaya penggunaan mendetail dan memilih set data yang dikonfigurasi untuk menggunakan lokasi region yang didukung, data Penagihan Cloud Anda akan tersedia mulai dari tanggal saat Anda mengaktifkan ekspor.
• Jika Anda telah mengaktifkan, menonaktifkan, lalu mengaktifkan kembali ekspor data biaya penggunaan mendetail, data Penagihan Cloud mungkin tidak tersedia selama periode saat ekspor data dinonaktifkan secara eksplisit.
• Pelajari frekuensi pemuatan data ke tabel BigQuery lebih lanjut.
• Lihat batasan lain yang mungkin memengaruhi ekspor data penagihan Anda ke BigQuery, seperti set data dengan kunci enkripsi yang dikelola pelanggan (CMEK) diaktifkan.
• Pertimbangkan volume data tambahan yang mungkin diperlukan tabel BigQuery Anda dan biaya tambahan saat mengaktifkan data biaya penggunaan mendetail, bukan ekspor data biaya penggunaan standar. Peningkatan Perincian informasi tingkat resource dapat meningkatkan jumlah baris, yang digabungkan dalam format biaya penggunaan standar. Sebaiknya tinjau Mengontrol biaya di BigQuery untuk mengetahui praktik terbaik lebih lanjut dalam mengelola biaya BigQuery.

Memahami data biaya penggunaan standar dan mendetail

Bagian berikut menjelaskan data standar dan detail biaya penggunaan yang diekspor ke BigQuery.

Tentang label

Data biaya untuk label tertentu hanya menampilkan penggunaan sejak tanggal label diterapkan ke resource. Misalnya, jika Anda menambahkan label environment:dev ke VM Compute Engine pada 15 Januari 2024, analisis apa pun untuk environment:dev hanya mencakup penggunaan untuk VM tersebut sejak 15 Januari.

Anda juga dapat melihat data label pada waktu yang berbeda untuk berbagai layanan, bergantung pada kapan setiap layanan menyediakannya.

Label sistem yang tersedia

Label sistem adalah pasangan nilai kunci untuk metadata penting tentang resource yang menghasilkan penggunaan. Label sistem berikut otomatis disertakan pada penggunaan yang berlaku.

Perbedaan antara data yang diekspor dan invoice

Google Cloud melaporkan data penggunaan dan biaya ke proses Penagihan Cloud pada berbagai interval. Akibatnya, Anda mungkin melihat jeda antara penggunaan layanan Google Cloud dengan saat penggunaan dan biaya dapat dilihat di Penagihan Cloud. Biasanya, biaya Anda tersedia dalam satu hari, tetapi terkadang dapat memerlukan waktu lebih dari 24 jam.

Pada akhir bulan kalender, penggunaan yang terlambat dilaporkan mungkin tidak akan disertakan dalam invoice bulan tersebut dan mungkin akan dialihkan ke invoice bulan berikutnya.

Saat Anda membuat kueri biaya menggunakan kolom stempel waktu, data yang ditampilkan dapat mengambil penggunaan yang terakhir dilaporkan, yang awalnya tidak disertakan dalam invoice yang dibuat untuk bulan penggunaan yang sama. Akibatnya, data Penagihan Cloud yang ditampilkan mungkin tidak dipetakan langsung ke invoice tersebut.

Kolom stempel waktu mencakup:

• usage_start_time
• usage_end_time
• export_time

Untuk menampilkan data Penagihan Cloud yang dipetakan langsung ke invoice, buat kueri di invoice.month bukan kolom stempel waktu.

Pajak

Mulai 1 September 2020, data biaya penggunaan akan menunjukkan kewajiban pajak Anda untuk setiap project, bukan sebagai item baris tunggal. Jika memiliki kueri atau visualisasi yang bergantung pada data pajak, Anda mungkin perlu memperbarui kueri untuk memperhitungkan perubahan ini.

Misalnya, untuk biaya yang dicatat sebelum 1 September, data biaya penggunaan Anda tampak mirip dengan contoh berikut, yang menunjukkan total kewajiban pajak sebesar $10.

Untuk biaya yang dicatat setelah 1 September, $10 dibagi menjadi $6 untuk example-project, dan $4 untuk test-project:

Error dan penyesuaian

Jika data Penagihan Cloud Anda berisi error atau memerlukan penyesuaian, kemungkinannya kecil, data tersebut akan ditambahkan dengan data korektif. Penyesuaian ini termasuk dalam salah satu dari dua kategori: modifikasi atau koreksi penagihan.

Perubahan penagihan

Perubahan penagihan muncul sebagai item baris terpisah. Jika Anda menerima modifikasi penagihan, item baris baru di ekspor Penagihan Cloud Anda ke BigQuery akan menampilkan perubahan tersebut. Penyesuaian yang ditampilkan sesuai dengan dokumen invoice, nota kredit, dan nota debit yang tersedia di area Dokumen pada bagian Penagihan di konsol Google Cloud .

Untuk mengetahui informasi selengkapnya tentang perubahan penagihan dan cara penerapannya, lihat Memahami nota dan penyesuaian.

Koreksi

Koreksi muncul sebagai data baru yang meniadakan data yang salah pada SKU sumber. Dalam beberapa kasus, data baru menggantikan biaya yang salah. Semua kolom dalam ekspor data penagihan akan cocok dengan data asli, kecuali kolom berikut:

• cost
• credit
• usage.amount
• export_time

Misalnya, Anda dikenai biaya $10 untuk penggunaan SKU A pada 1 Januari. Pada invoice bulan Januari (diterbitkan pada awal Februari), Anda akan melihat tagihan sebesar Rp100.000 untuk SKU A. Namun, pada 2 Februari, Google Cloud mengeluarkan koreksi terhadap SKU A, sehingga mengurangi biaya penggunaan menjadi $5. Anda akan menerima dua item baris tambahan pada invoice bulan Februari (dikeluarkan pada awal Maret):

• -$10 untuk penggunaan pada 1 Januari (membatalkan tagihan asli)
• $5 untuk penggunaan pada 1 Januari (menyatakan tagihan yang dimaksud)

Item baru ini memiliki kolom adjustment_info dalam ekspor data penagihan. Invoice asli bulan Januari, yang menunjukkan kelebihan biaya, tidak akan disesuaikan. Anda dapat memverifikasi tagihan dalam ekspor data penagihan dengan melihat biaya menurut usage_start_time dan mengelompokkan menurut Day. Dalam tampilan ini, koreksi atau tagihan untuk penggunaan yang dimonetisasi terlambat akan diakumulasikan, dan Anda tidak perlu khawatir tentang data yang salah untuk sementara.

Jika Anda menginginkan informasi yang lebih mendetail tentang koreksi, lihat semua tagihan dalam bulan invoice, dan cari tagihan yang tanggal penggunaannya terjadi sebelum bulan invoice. Biaya ini adalah hasil dari koreksi atau penggunaan yang dimonetisasi terlambat.

Contoh kode berikut menunjukkan cara membuat kueri dasar yang menampilkan total biaya koreksi atau penggunaan yang dimonetisasi terlambat:

SELECT   SUM(cost)     + SUM(IFNULL((SELECT SUM(c.amount)       FROM   UNNEST(credits) c), 0))     AS total FROM `project.dataset.gcp_billing_export_v1_XXXXXX-XXXXXX-XXXXXX` WHERE   invoice.month = '202311' AND   DATE(TIMESTAMP_TRUNC(usage_start_time, Day, 'US/Pacific')) < '2023-11-01'; 

Untuk contoh kueri yang menampilkan perincian biaya menurut layanan, untuk biaya invoice, dengan tanggal penggunaan terjadi sebelum bulan invoice, lihat Kueri detail biaya untuk melihat koreksi atau penggunaan yang dimonetisasi terlambat menurut layanan untuk bulan invoice tertentu di "Contoh kueri untuk ekspor data Penagihan Cloud".

Tentang kredit promo dalam kontrak harga khusus

Jika memiliki kontrak harga khusus, Anda mungkin menerima kredit promo untuk digunakan di Google Cloud sebagai bagian dari kontrak. Misalnya, Anda mungkin menerima $1.000 untuk digunakan pada resource Compute Engine. Kredit promo biasanya dianggap sebagai metode pembayaran. Jika tersedia, kredit promo akan otomatis digunakan untuk mengurangi total tagihan Anda

Persyaratan kontrak Anda menentukan apakah kredit promo berlaku untuk biaya Anda yang dihitung pada harga jual SKU, atau harga bersih (setelah diskon).

Jika kredit promo berlaku untuk biaya yang dihitung pada harga jual, di laporan Tabel biaya, ada layanan yang disebut Invoice, dengan SKU yang disebut Contract billing adjustment. SKU ini menyesuaikan kredit Anda sehingga berlaku untuk biaya sesuai harga jual. Untuk melihat penggunaan yang merupakan penyesuaian, buat kueri kolom system.labels. Kunci dalam system.labels.key adalah cloud-invoice.googleapis.com/sku_id, dan nilai dalam system.labels.value berisi ID SKU tempat kredit dan penyesuaian diterapkan.

Tentang tag

Tag adalah resource dalam bentuk pasangan nilai kunci yang dapat dilampirkan ke resource secara langsung atau melalui pewarisan. Anda dapat menggunakan tag untuk melakukan penagihan balik, audit, dan analisis alokasi biaya lainnya. Anda juga dapat menggunakan tag dan penerapan kebijakan bersyarat untuk mendapatkan kontrol yang terperinci di seluruh hierarki resource.

Tag memiliki model izin yang andal dan dapat mendukung pewarisan, pengelolaan terpusat, standardisasi tata nama, dan integrasi mesin kebijakan, sementara label adalah alat terpisah yang memungkinkan Anda memberi anotasi pada resource.

Data tag muncul di BigQuery Export untuk Resource, Project, Folder, dan Organisasi.

Tag tersedia

Ekspor Biaya standar dan Biaya terperinci untuk Resource, Project, Folder, dan Organisasi mencakup kolom berikut untuk data tag: Kunci Tag, Nilai Tag, Tag Diwariskan, dan Namespace Tag.

Tag tingkat resource dalam ekspor data Penagihan Cloud tersedia untuk resource berikut:

• Cluster, instance, dan cadangan AlloyDB untuk PostgreSQL
• Repositori Artifact Registry
• Instance Bigtable
• Layanan dan tugas Cloud Run
• Bucket Cloud Storage
• Instance Compute Engine
• Instance Memorystore for Redis
• Secret global dan regional Secret Manager
• Instance Spanner
• Database Firestore

Batasan tag

• Tag mungkin memerlukan waktu hingga satu jam untuk diterapkan ke ekspor BigQuery. Jika tag telah ditambahkan atau dihapus dalam waktu satu jam, atau jika resource telah ada selama kurang dari satu jam, resource tersebut mungkin tidak muncul di ekspor.

Contoh kueri biaya penggunaan mendetail

Bagian ini memberikan contoh cara meng-kueri data biaya penggunaan mendetail Penagihan Cloud yang diekspor ke BigQuery.

• Menampilkan biaya tingkat resource di invoice
  • Menjumlahkan biaya untuk setiap resource, per invoice
  • Menampilkan detail menurut jenis biaya untuk setiap resource, per bulan invoice

• Mendapatkan perincian biaya cluster Google Kubernetes Engine (GKE)
  • Memfilter perincian biaya GKE

Karena skema biaya penggunaan mendetail mencakup semua kolom dari skema biaya penggunaan standar, contoh kueri yang diberikan untuk data standar yang diekspor ke BigQuery juga berfungsi dengan data mendetail yang diekspor. Contoh kueri standar tidak ditulis untuk mengambil informasi tingkat resource yang disediakan dengan opsi ekspor biaya penggunaan mendetail. Saat membuat kueri untuk data mendetail, Anda dapat menggunakan contoh kueri standar sebagai template, memperbaruiNama tabel, dan menambahkan salah satu kolom yang tersedia diskema biaya penggunaan mendetail.

Nilai umum yang digunakan dalam contoh kueri biaya mendetail

Contoh kueri di bagian ini menggunakan nilai berikut untuk Nama tabel: project.dataset.gcp_billing_export_resource_v1_XXXXXX_XXXXXX_XXXXXX

Menampilkan biaya tingkat resource pada invoice

Kueri berikut menunjukkan dua cara untuk melihat biaya tingkat resource dan nilai kredit di invoice menggunakan data penagihan yang diekspor.

• Kolom total menjumlahkan biaya floating point dan nilai kredit secara langsung, yang dapat menyebabkan error pembulatan floating point.
• Kolom total_exact mengonversi biaya dan nilai kredit menjadi mikro sebelum dijumlahkan, lalu dikonversi kembali ke dolar setelah penjumlahan, untuk menghindari error pembulatan floating point.

Menjumlahkan biaya untuk setiap resource, per invoice

Kueri ini menampilkan total invoice untuk setiap resource.name per bulan, sebagai jumlah biaya reguler, pajak, penyesuaian, dan error pembulatan. Semua biaya yang tidak terkait dengan item tingkat resource digabungkan dalam nama null untuk bulan tersebut.

SQL Standar

SELECT   invoice.month,   resource.name,   SUM(cost)     + SUM(IFNULL((SELECT SUM(c.amount)                   FROM UNNEST(credits) c), 0))     AS total,   (SUM(CAST(cost * 1000000 AS int64))     + SUM(IFNULL((SELECT SUM(CAST(c.amount * 1000000 as int64))                   FROM UNNEST(credits) c), 0))) / 1000000     AS total_exact FROM `project.dataset.gcp_billing_export_resource_v1_XXXXXX_XXXXXX_XXXXXX` GROUP BY 1, 2 ORDER BY 1 ASC, 2 ASC ;

Misalnya, hasil kueri sebelumnya mungkin adalah:

Menampilkan detail menurut jenis biaya untuk setiap resource, per bulan invoice

Kueri ini menampilkan total setiap cost_type untuk setiap resource.name per bulan. Jenis biaya mencakup biaya reguler, pajak, penyesuaian, dan error pembulatan. Semua biaya yang tidak terkait dengan item tingkat resource digabungkan berdasarkan nama null untuk bulan tersebut.

SQL Standar

SELECT   invoice.month,   cost_type,   resource.name,   SUM(cost)     + SUM(IFNULL((SELECT SUM(c.amount)                   FROM   UNNEST(credits) c), 0))     AS total,   (SUM(CAST(cost * 1000000 AS int64))     + SUM(IFNULL((SELECT SUM(CAST(c.amount * 1000000 as int64))                   FROM UNNEST(credits) c), 0))) / 1000000     AS total_exact FROM `project.dataset.gcp_billing_export_resource_v1_XXXXXX_XXXXXX_XXXXXX` GROUP BY 1, 2, 3 ORDER BY 1 ASC, 2 ASC, 3 ASC ;

Misalnya, hasil kueri sebelumnya mungkin adalah:

Mendapatkan perincian biaya cluster Google Kubernetes Engine (GKE)

Bagian ini memberikan contoh pemfilteran biaya cluster GKE dalam laporan BigQuery Export Anda. Untuk mempelajari biaya cluster GKE lebih lanjut, buka Melihat perincian biaya cluster.

Memfilter biaya GKE

Contoh kueri berikut menunjukkan cara memfilter dan mengelompokkan biaya GKE untuk jenis resource yang didukung berdasarkan nama cluster, namespace, dan label.

Biaya cluster GKE sebelum kredit

SELECT   SUM(cost) AS cost_before_credits,   labels.value AS cluster_name FROM  `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` LEFT JOIN UNNEST(labels) as labels   ON labels.key = "goog-k8s-cluster-name" GROUP BY labels.value ;

Biaya GKE setelah kredit berdasarkan namespace

SELECT   labels.value as namespace,   SUM(cost) + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0)) AS cost_after_credits, FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` LEFT JOIN UNNEST(labels) as labels   ON labels.key = "k8s-namespace" GROUP BY namespace ;

Biaya GKE berdasarkan SKU

SELECT   project.id AS project_id,   labels.value AS cluster_name,   sku.id AS sku_id,   sku.description AS sku_description,   SUM(cost) AS cost FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX` JOIN UNNEST(labels) AS labels   ON labels.key = "goog-k8s-cluster-name" GROUP BY   cluster_name, project_id, sku_description, sku_id ;

Contoh kueri dengan tag

Contoh berikut menggambarkan cara meng-kueri data dengan tag.

Menghitung biaya berdasarkan bulan invoice dengan tag

Kueri berikut menunjukkan cara menggunakan biaya pengembalian berdasarkan bulan invoice untuk tag cost_center.

SELECT   invoice.month AS invoice_month,   tag.value AS cost_center,   ROUND((SUM(CAST(cost AS NUMERIC))     + SUM(IFNULL((SELECT SUM (CAST(c.amount AS NUMERIC))                   FROM UNNEST(credits) AS c), 0))), 2)     AS net_cost FROM `project-ID.dataset.gcp_billing_export_resource_v1_XXXXXX-XXXXXX-XXXXXX`, UNNEST(tags) AS tag WHERE tag.key = "cost_center" AND tag.namespace = "821092389413" GROUP BY invoice.month, tag.value ORDER BY invoice.month, tag.value;

Misalnya, hasil kueri sebelumnya mungkin adalah:

Melihat biaya resource yang tidak diberi tag

Kueri ini menampilkan total invoice untuk resource yang tidak diberi tag, yang dikelompokkan menurut bulan invoice.

SELECT  invoice.month AS invoice_month,  ROUND((SUM(CAST(cost AS NUMERIC))    + SUM(IFNULL((SELECT SUM(CAST(c.amount AS NUMERIC))                  FROM UNNEST(credits) AS c), 0))), 2)    AS net_cost FROM  `project-ID.dataset.gcp_billing_export_v1_XXXXXX-XXXXXX-XXXXXX` WHERE "color" NOT IN (SELECT key FROM UNNEST(tags)) GROUP BY invoice_month ORDER BY invoice_month;

Misalnya, hasil kueri sebelumnya mungkin adalah:

Topik terkait

Topik terkait data Penagihan Cloud yang diekspor

• Menyiapkan ekspor data Penagihan Cloud ke BigQuery.
• Contoh kueri untuk ekspor data Penagihan Cloud ke BigQuery
• Memvisualisasikan pembelanjaan dari waktu ke waktu dengan Looker Studio

Laporan biaya dan harga tersedia di Google Cloud konsol

• Melihat laporan Penagihan Cloud dan tren biaya Anda
• Melihat dan mendownload detail biaya invoice atau laporan mutasi
• Melihat dan mendownload harga layanan cloud Google
• Memahami penghematan dengan laporan perincian biaya
• Menganalisis efektivitas diskon abonemen
• Melihat histori biaya dan pembayaran