Mengirim hasil pemeriksaan Perlindungan Data Sensitif ke Data Catalog

Panduan ini menunjukkan cara menggunakan Sensitive Data Protection untuk memeriksa tabel BigQuery dan mengirim hasil pemeriksaan ke Data Catalog.

Selain itu, Anda dapat melakukan pembuatan profil data, yang berbeda dengan operasi pemeriksaan. Anda juga dapat mengirim profil data ke Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Memberi tag tabel di Knowledge Catalog berdasarkan insight dari profil data.

Data Catalog adalah layanan pengelolaan metadata yang skalabel yang memungkinkan Anda menemukan, mengelola, dan memahami semua data Anda dengan cepat di Google Cloud.

Sensitive Data Protection memiliki integrasi bawaan dengan Data Catalog. Saat Anda menggunakan tindakan Sensitive Data Protection untuk memeriksa tabel BigQuery guna menemukan data sensitif, tindakan tersebut dapat mengirim hasil langsung ke Data Catalog dalam bentuk template tag.

Dengan menyelesaikan langkah-langkah dalam panduan ini, Anda akan melakukan hal berikut:

  • Mengaktifkan Data Catalog dan Sensitive Data Protection.
  • Menyiapkan Sensitive Data Protection untuk memeriksa tabel BigQuery.
  • Mengonfigurasi pemeriksaan Sensitive Data Protection untuk mengirim hasil pemeriksaan ke Data Catalog.

Untuk mengetahui informasi selengkapnya tentang Data Catalog, lihat dokumentasi Data Catalog.

Jika Anda ingin mengirim hasil operasi pembuatan profil data—bukan tugas pemeriksaan—ke Knowledge Catalog, lihat dokumentasi untuk membuat profil organisasi, folder, atau project sebagai gantinya.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen yang dapat ditagih berikut Google Cloud:

  • Sensitive Data Protection
  • BigQuery

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis. Google Cloud

Sebelum memulai

Sebelum dapat mengirim hasil pemeriksaan Sensitive Data Protection ke Data Catalog, lakukan hal berikut:

  • Langkah 1: Siapkan penagihan.
  • Langkah 2: Buat project baru dan isi tabel BigQuery baru. (Opsional.)
  • Langkah 3: Aktifkan Data Catalog.
  • Langkah 4: Aktifkan Sensitive Data Protection.

Subbagian berikut membahas setiap langkah secara mendetail.

Langkah 1: Siapkan penagihan

Anda harus menyiapkan akun penagihan terlebih dahulu jika belum memilikinya.

Pelajari cara mengaktifkan penagihan

Langkah 2: Buat project baru dan isi tabel BigQuery baru (Opsional)

Jika Anda menyiapkan fitur ini untuk pekerjaan produksi atau sudah memiliki tabel BigQuery yang ingin diperiksa, buka project yang berisi tabel tersebut dan lanjutkan ke Langkah 3.Google Cloud

Jika Anda mencoba fitur ini dan ingin memeriksa data pengujian, buat project baru. Untuk menyelesaikan langkah ini, Anda harus memiliki peran IAM Project Creator. Pelajari peran IAM lebih lanjut.

  1. Buka halaman Project Baru di Google Cloud konsol.

    Project Baru

  2. Di daftar drop-down Akun penagihan, pilih akun penagihan yang akan ditagih untuk project tersebut.
  3. Di daftar drop-down Organisasi, pilih organisasi tempat Anda ingin membuat project.
  4. Di daftar drop-down Lokasi, pilih organisasi atau folder tempat Anda ingin membuat project.
  5. Klik Buat untuk membuat project.

Selanjutnya, download dan simpan data contoh:

  1. Buka repositori tutorial fungsi Cloud Run di GitHub.
  2. Pilih salah satu file CSV yang memiliki data contoh, lalu download file tersebut.
  3. Selanjutnya, buka BigQuery di Google Cloud konsol.
  4. Pilih project Anda.
  5. Klik Buat Set Data.
  6. Klik Buat Tabel.
  7. Klik Upload, lalu pilih file yang ingin diupload.
  8. Beri nama tabel, lalu klik Buat Tabel.

Langkah 3: Aktifkan Data Catalog

Selanjutnya, aktifkan Data Catalog untuk project yang berisi tabel BigQuery yang ingin Anda periksa menggunakan Sensitive Data Protection.

Untuk mengaktifkan Data Catalog menggunakan Google Cloud konsol:

  1. Daftarkan aplikasi Anda untuk Data Catalog.

    Daftarkan aplikasi Anda untuk Data Catalog

  2. Di halaman pendaftaran, dari daftar drop-down Buat project, pilih project yang ingin Anda gunakan dengan Data Catalog.
  3. Setelah memilih project, klik Lanjutkan.

Data Catalog kini diaktifkan untuk project Anda.

Langkah 4: Aktifkan Sensitive Data Protection

Aktifkan Sensitive Data Protection untuk project yang sama dengan yang Anda aktifkan untuk Data Catalog.

Untuk mengaktifkan Sensitive Data Protection menggunakan Google Cloud konsol:

  1. Daftarkan aplikasi Anda untuk Sensitive Data Protection.

    Daftarkan aplikasi Anda untuk Sensitive Data Protection

  2. Di halaman pendaftaran, dari daftar drop-down Buat project, pilih project yang sama dengan yang Anda pilih pada langkah sebelumnya.
  3. Setelah memilih project, klik Lanjutkan.

Sensitive Data Protection kini diaktifkan untuk project Anda.

Mengonfigurasi dan menjalankan tugas pemeriksaan Sensitive Data Protection

Anda dapat mengonfigurasi dan menjalankan tugas pemeriksaan Sensitive Data Protection menggunakan konsol Google Cloud atau DLP API.

Template tag Data Catalog disimpan di project dan region yang sama dengan tabel BigQuery. Jika Anda memeriksa tabel dari project lain, Anda harus memberikan peran Pemilik TagTemplate Data Catalog (roles/datacatalog.tagTemplateOwner) kepada agen layanan Sensitive Data Protection di project tempat tabel BigQuery berada.

Google Cloud Konsol

Untuk menyiapkan tugas pemeriksaan tabel BigQuery menggunakan Sensitive Data Protection:

  1. Di bagian Sensitive Data Protection di Google Cloud konsol, buka halaman Buat tugas atau pemicu tugas.

    Buka Membuat tugas atau pemicu tugas

  2. Masukkan informasi tugas Sensitive Data Protection, lalu klik Lanjutkan untuk menyelesaikan setiap langkah:

    • Untuk Langkah 1: Pilih data input, beri nama tugas dengan memasukkan nilai di kolom Nama. Di Lokasi, pilih BigQuery dari menu Jenis penyimpanan, lalu masukkan informasi untuk tabel yang akan diperiksa. Bagian Sampling telah dikonfigurasi sebelumnya untuk menjalankan pemeriksaan sampel terhadap data Anda. Anda dapat menyesuaikan kolom Batasi baris menurut dan Jumlah baris maksimum untuk menghemat resource jika memiliki data dalam jumlah besar. Untuk mengetahui detail selengkapnya, lihat Memilih data input.

    • (Opsional) Di Langkah 2: Konfigurasikan deteksi, Anda mengonfigurasi jenis data apa yang akan ditelusuri, yang disebut "infoTypes." Untuk tujuan panduan ini, pertahankan infoType default yang dipilih. Untuk mengetahui detail selengkapnya, lihat Mengonfigurasi deteksi.

    • Untuk Langkah 3: Tambahkan tindakan, aktifkan Simpan ke Data Catalog.

    • (Opsional) Untuk Langkah 4: Jadwalkan, untuk tujuan panduan ini, biarkan menu ditetapkan ke Tidak Ada agar pemeriksaan dijalankan hanya satu kali. Untuk mempelajari lebih lanjut cara menjadwalkan tugas pemeriksaan berulang, lihat Jadwal.

  3. Klik Buat. Tugas akan segera dijalankan.

DLP API

Di bagian ini, Anda akan mengonfigurasi dan menjalankan tugas pemeriksaan Sensitive Data Protection.

Tugas pemeriksaan yang Anda konfigurasi di sini menginstruksikan Sensitive Data Protection untuk memeriksa data BigQuery contoh yang dijelaskan di Langkah 2 di atas atau data BigQuery Anda sendiri. Konfigurasi tugas yang Anda tentukan juga merupakan tempat Anda menginstruksikan Sensitive Data Protection untuk menyimpan hasil pemeriksaannya ke Data Catalog.

Langkah 1: Catat ID project Anda

  1. Buka Google Cloud konsol.

    Buka Google Cloud konsol

  2. Klik Pilih.

  3. Di daftar drop-down Pilih dari, pilih organisasi yang Anda aktifkan untuk Data Catalog.

  4. Di bagian ID, salin project ID untuk project yang berisi data yang ingin Anda periksa. Ini adalah project yang dijelaskan di langkah setel repositori penyimpanan sebelumnya di halaman ini.

  5. Di bagian Nama, klik project untuk memilihnya.

Langkah 2: Buka APIs Explorer dan konfigurasi tugas

  1. Buka APIs Explorer di halaman referensi untuk metode dlpJobs.create. Agar petunjuk ini tetap tersedia, klik kanan link berikut dan buka di tab atau jendela baru:

    Buka APIs Explorer

  2. Di kotak parent, masukkan hal berikut, dengan project-id adalah project ID yang Anda catat sebelumnya di langkah sebelumnya:

    projects/project-id

    Selanjutnya, salin JSON berikut. Pilih konten kolom Isi permintaan di APIs Explorer, lalu tempel JSON untuk mengganti konten. Pastikan untuk mengganti placeholder project-id, bigquery-dataset-name, dan bigquery-table-name dengan project ID serta nama set data dan tabel BigQuery yang sebenarnya.

    {
      "inspectJob":
      {
        "storageConfig":
        {
          "bigQueryOptions":
          {
            "tableReference":
            {
              "projectId": "project-id",
              "datasetId": "bigquery-dataset-name",
              "tableId": "bigquery-table-name"
            }
          }
        },
        "inspectConfig":
        {
          "infoTypes":
          [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "includeQuote": true,
          "minLikelihood": "UNLIKELY",
          "limits":
          {
            "maxFindingsPerRequest": 100
          }
        },
        "actions":
        [
          {
            "publishFindingsToCloudDataCatalog": {}
          }
        ]
      }
    }
    

Untuk mempelajari opsi pemeriksaan yang tersedia lebih lanjut, lihat Memeriksa penyimpanan dan database untuk data sensitif. Untuk mengetahui daftar lengkap jenis informasi yang dapat diperiksa oleh Sensitive Data Protection, lihat Referensi InfoType.

Langkah 3: Jalankan permintaan untuk memulai tugas pemeriksaan

Setelah mengonfigurasi tugas dengan mengikuti langkah-langkah sebelumnya, klik Jalankan untuk mengirim permintaan. Jika permintaan berhasil, respons akan muncul dengan kode keberhasilan dan objek JSON yang menunjukkan status tugas Sensitive Data Protection yang baru Anda buat.

Respons terhadap permintaan pemeriksaan Anda mencakup ID tugas pemeriksaan Anda sebagai kunci "name", dan status tugas pemeriksaan saat ini sebagai kunci "state". Karena Anda baru saja mengirimkan permintaan, status tugas pada saat itu adalah "PENDING".

Memeriksa status tugas pemeriksaan Sensitive Data Protection

Setelah Anda mengirimkan permintaan pemeriksaan, tugas pemeriksaan akan segera dimulai.

Google Cloud Konsol

Untuk memeriksa status tugas pemeriksaan:

  1. Di Google Cloud konsol, buka Sensitive Data Protection.

    Buka Sensitive Data Protection

  2. Klik tab Tugas &pemicu tugas, lalu klik Semua tugas.

Tugas yang baru Anda jalankan kemungkinan akan berada di bagian atas daftar. Periksa kolom Status untuk memastikan statusnya adalah Selesai.

Anda dapat mengklik ID Tugas tugas untuk melihat hasilnya. Setiap detektor infoType yang tercantum di halaman Detail tugas diikuti oleh jumlah kecocokan yang ditemukan dalam konten.

DLP API

Untuk memeriksa status tugas pemeriksaan:

  1. Buka APIs Explorer di halaman referensi untuk metode dlpJobs.get dengan mengklik tombol berikut:

    Buka APIs Explorer

  2. Di kotak name, ketik nama tugas dari respons JSON ke permintaan pemeriksaan dalam formulir berikut:

    projects/project-id/dlpJobs/job-id
    ID tugas dalam bentuk i-1234567890123456789.

  3. Untuk mengirim permintaan, klik Jalankan.

Jika kunci "state" objek JSON respons menunjukkan bahwa tugas adalah "DONE", berarti tugas pemeriksaan telah selesai.

Untuk melihat JSON respons lainnya, scroll ke bawah halaman. Di bagian "result" > "infoTypeStats", setiap jenis informasi yang tercantum harus memiliki "count" yang sesuai. Jika tidak, pastikan Anda memasukkan JSON dengan akurat, dan jalur atau lokasi ke data Anda sudah benar.

Setelah tugas pemeriksaan selesai, Anda dapat melanjutkan ke bagian berikutnya dalam panduan ini untuk melihat hasil pemeriksaan di Security Command Center.

Melihat hasil pemeriksaan Sensitive Data Protection di Data Catalog

Karena Anda menginstruksikan Sensitive Data Protection untuk mengirim hasil tugas pemeriksaannya ke Data Catalog, Anda kini dapat melihat tag dan template tag yang dibuat secara otomatis di UI Data Catalog:

  1. Buka halaman Data Catalog di Google Cloud konsol.

    Buka Data Catalog

  2. Telusuri tabel yang Anda periksa.
  3. Klik hasil yang cocok dengan tabel Anda untuk melihat metadata tabel.

Screenshot berikut menunjukkan tampilan metadata Data Catalog dari tabel contoh:

Temuan Sensitive Data Protection di Data Catalog.

Ringkasan pemeriksaan

Temuan dari Sensitive Data Protection disertakan dalam bentuk ringkasan untuk tabel yang Anda periksa. Ringkasan ini mencakup jumlah total infoType, serta data ringkasan tentang tugas pemeriksaan yang mencakup tanggal dan ID resource tugas.

Semua infoTypes yang diperiksa akan tercantum. InfoType yang memiliki temuan akan menampilkan jumlah yang lebih besar dari nol.

Pembersihan

Agar akun Anda tidak dikenai biaya untuk resource yang digunakan dalam topik ini, lakukan salah satu hal berikut, bergantung pada apakah Anda menggunakan data contoh atau data Anda sendiri: Google Cloud

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat saat mengikuti petunjuk yang diberikan dalam topik ini.

Untuk menghapus project:

  1. Di Google Cloud konsol, buka halaman Project.

    Buka halaman Project

  2. Dalam daftar project, pilih project yang ingin dihapus, lalu klik Hapus project. Setelah mencentang kotak di samping nama project, klik
    Hapus project
  3. Pada dialog, ketik project ID, lalu klik Nonaktifkan untuk menghapus project.

Saat Anda menghapus project menggunakan metode ini, tugas Sensitive Data Protection dan bucket Cloud Storage yang Anda buat juga akan dihapus, dan Anda selesai. Anda tidak perlu mengikuti petunjuk di bagian berikut.

Menghapus tugas Sensitive Data Protection atau pemicu tugas

Jika Anda memeriksa data Anda sendiri, hapus tugas pemeriksaan atau pemicu tugas yang baru Anda buat.

Google Cloud Konsol

  1. Di Google Cloud konsol, buka Sensitive Data Protection.

    Buka Sensitive Data Protection

  2. Klik tab Tugas &pemicu tugas, lalu klik tab Pemicu tugas.

  3. Di kolom Tindakan untuk pemicu tugas yang ingin Anda hapus, klik menu tindakan lainnya (ditampilkan sebagai tiga titik yang disusun secara vertikal) , lalu klik Hapus.

Secara opsional, Anda juga dapat menghapus detail tugas untuk tugas yang Anda jalankan. Klik tab Semua tugas, lalu di kolom Tindakan untuk tugas yang ingin Anda hapus, klik menu tindakan lainnya (ditampilkan sebagai tiga titik yang disusun secara vertikal) , lalu Hapus.

DLP API

  1. Buka APIs Explorer di halaman referensi untuk metode dlpJobs.delete dengan mengklik tombol berikut:

    Buka APIs Explorer

  2. Di kotak name, ketik nama tugas dari respons JSON ke permintaan pemeriksaan, yang memiliki formulir berikut:

    projects/project-id/dlpJobs/job-id
    ID tugas dalam bentuk i-1234567890123456789.

Jika Anda membuat tugas pemeriksaan tambahan atau jika ingin memastikan bahwa Anda telah berhasil menghapus tugas, Anda dapat mencantumkan semua tugas yang ada:

  1. Buka APIs Explorer di halaman referensi untuk metode dlpJobs.list dengan mengklik tombol berikut:

    Buka APIs Explorer

  2. Di kotak parent, ketik ID project dalam formulir berikut, dengan project-id adalah ID project Anda:

    projects/project-id

  3. Klik Jalankan.

Jika tidak ada tugas yang tercantum dalam respons, berarti Anda telah menghapus semua tugas. Jika tugas tercantum dalam respons, ulangi prosedur penghapusan di atas untuk tugas tersebut.

Langkah berikutnya