Menggunakan Agen Data Science

Panduan ini menjelaskan cara menggunakan Agen Data Science di Colab Enterprise untuk membantu Anda melakukan tugas ilmu data di notebook.

Pelajari cara dan waktu Gemini untuk Google Cloud menggunakan data Anda.

Dokumen ini ditujukan untuk analis data, data scientist, dan developer data yang menggunakan Colab Enterprise. Hal ini mengasumsikan bahwa Anda memiliki pengetahuan tentang cara menulis kode di lingkungan notebook.

Kemampuan Agen Data Science

Agen Data Science dapat membantu Anda menyelesaikan tugas mulai dari analisis data eksploratif hingga membuat prediksi dan perkiraan machine learning. Anda dapat menggunakan Agen Data Science untuk:

  • Membuat rencana: Buat dan ubah rencana untuk menyelesaikan tugas tertentu.
  • Eksplorasi data: Jelajahi set data untuk memahami struktur, mengidentifikasi potensi masalah seperti nilai yang hilang dan pencilan, serta memeriksa distribusi variabel utama.
  • Pembersihan data: Bersihkan data Anda. Misalnya, hapus titik data yang merupakan pencilan.
  • Penyiapan data: Mengonversi fitur kategoris menjadi representasi numerik menggunakan teknik seperti encoding one-hot atau encoding label. Buat fitur baru untuk analisis.
  • Analisis data: Menganalisis hubungan antara berbagai variabel. Menghitung korelasi antara fitur numerik dan menjelajahi distribusi fitur kategoris. Cari pola dan tren dalam data.
  • Visualisasi data: Buat visualisasi seperti histogram, diagram kotak, diagram sebar, dan diagram batang yang merepresentasikan distribusi setiap variabel dan hubungan di antara variabel tersebut.
  • Rekayasa fitur: Merekayasa fitur baru dari set data yang sudah dibersihkan.
  • Pemisahan data: Memisahkan set data yang telah direkayasa menjadi set data pelatihan, validasi, dan pengujian.
  • Pelatihan model: Latih model menggunakan data pelatihan.
  • Pengoptimalan model: Mengoptimalkan model menggunakan set validasi. Pelajari model alternatif seperti DecisionTreeRegressor dan RandomForestRegressor serta bandingkan performanya.
  • Evaluasi model: Evaluasi model dengan performa terbaik pada set data pengujian.

Batasan

  • Agen Ilmu Data mendukung sumber data berikut:
    • File CSV
    • Tabel BigQuery
  • Kode yang dihasilkan oleh Agen Data Science hanya berjalan di runtime notebook Anda.
  • Notebook Anda harus berada di region yang didukung oleh Agen Data Science. Lihat Lokasi.
  • Agen Data Science tidak didukung di project yang telah mengaktifkan Kontrol Layanan VPC.
  • Saat pertama kali menjalankan Agen Data Science, Anda mungkin mengalami beberapa latensi sekitar lima hingga sepuluh menit. Hal ini hanya terjadi sekali per project selama penyiapan awal.

Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI, Dataform, and Compute Engine APIs.

    Enable the APIs

    8.

    Peran yang diperlukan

    Untuk mendapatkan izin yang diperlukan untuk menggunakan Agen Ilmu Data di Colab Enterprise, minta administrator untuk memberi Anda peran IAM Colab Enterprise User (roles/aiplatform.colabEnterpriseUser) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

    Menggunakan Agen Data Science

    Untuk mulai menggunakan Agen Data Science (DSA) Colab Enterprise, lakukan hal berikut:

    1. Di konsol Google Cloud , buka halaman Notebook saya Colab Enterprise.

      Buka Notebook saya

    2. Di menu Region, pilih region yang berisi notebook Anda.

    3. Klik notebook yang ingin Anda buka.

    4. Di toolbar, klik tombol  Gemini untuk membuka dialog chat.

    5. Untuk mengupload file CSV, lakukan hal berikut:

      1. Di dialog chat, klik Tambahkan file.

      2. Jika perlu, beri otorisasi Akun Google Anda.

        Tunggu beberapa saat hingga Colab Enterprise memulai runtime dan mengaktifkan penjelajahan file.

      3. Di panel Files, klik  Upload to session storage.
      4. Cari lokasi file, lalu klik Buka.

      5. Klik OK untuk mengonfirmasi bahwa file runtime ini akan dihapus saat runtime dihapus.

        File diupload ke panel File.

      6. Di samping file yang Anda upload, klik menu Tindakan, lalu pilih Tambahkan ke Gemini.

        File ditambahkan ke dialog chat.

    6. Di dialog chat Gemini, masukkan perintah, lalu klik  Kirim. Untuk mendapatkan ide perintah, tinjau [Kemampuan Agen Data Science](#capabilities) dan lihat [Contoh perintah](#sample-prompts).

      Misalnya, Anda dapat memasukkan "Berikan analisis data yang telah saya upload."

    7. Gemini merespons perintah Anda. Respons dapat mencakup cuplikan kode untuk dijalankan, saran umum untuk project Anda, langkah berikutnya untuk mencapai sasaran Anda, atau informasi tentang masalah tertentu dalam data atau kode Anda.

      Setelah mengevaluasi respons, Anda dapat melakukan hal berikut:

      • Jika Gemini memberikan kode dalam responsnya, Anda dapat mengklik:
        • Terima untuk menambahkan kode ke notebook Anda.
        • Terima dan jalankan untuk menambahkan kode ke notebook dan jalankan kode.
        • Batal untuk menghapus kode yang disarankan.
      • Ajukan pertanyaan lanjutan dan lanjutkan diskusi sesuai kebutuhan.

    8. Untuk menutup dialog Gemini, klik  Tutup.

    Menonaktifkan Gemini di Colab Enterprise

    Untuk menonaktifkan Gemini di Colab Enterprise untuk Google Cloud project, administrator harus menonaktifkan Gemini untuk Google Cloud API. Lihat Menonaktifkan layanan.

    Untuk menonaktifkan Gemini di Colab Enterprise bagi pengguna tertentu, administrator harus mencabut peran Pengguna Gemini untuk Google Cloud (roles/cloudaicompanion.user) bagi pengguna tersebut. Lihat Mencabut satu peran IAM.

    Contoh perintah

    Contoh berikut menunjukkan jenis perintah yang dapat Anda gunakan dengan Agen Ilmu Data.

    • Temukan dan isi nilai yang tidak ada menggunakan algoritma machine learning k-Nearest Neighbors (KNN).
    • Buat plot gaji berdasarkan tingkat pengalaman. Gunakan kolom experience_level untuk mengelompokkan gaji, dan buat diagram kotak untuk setiap grup yang menampilkan nilai dari kolom salary_in_usd.
    • Gunakan algoritma XGBoost untuk membuat model guna menentukan variabel class buah tertentu. Pisahkan data menjadi set data pelatihan dan pengujian untuk membuat model, lalu evaluasi akurasi model. Buat matriks konfusi untuk menampilkan prediksi untuk setiap class, termasuk semua prediksi yang benar dan salah.
    • Buat dataframe pandas untuk data saya. Analisis data untuk nilai null, lalu visualisasikan distribusi setiap kolom menggunakan plot biola untuk nilai terukur dan plot batang untuk kategori.
    • Baca file CSV untuk set data dan buat DataFrame, jalankan analisis pada DataFrame untuk menentukan apa yang perlu dilakukan dengan nilai (ganti atau hapus nilai yang hilang, hapus baris duplikat), dan tentukan distribusi jumlah uang yang diinvestasikan dalam USD per lokasi kota. Visualisasikan hasil pada diagram batang dalam urutan menurun sebagai Lokasi versus Jumlah Rata-Rata Investasi (USD), yang hanya menampilkan 20 hasil teratas.
    • Perkirakan target_variable dari filename.csv selama enam bulan ke depan.
    • Membangun dan mengevaluasi model klasifikasi pada filename.csv untuk target_variable.

    Region yang didukung

    Untuk melihat region yang didukung untuk Agen Data Science Colab Enterprise, lihat Lokasi.

    Penagihan

    Selama Pratinjau, Anda hanya ditagih untuk menjalankan kode di runtime notebook. Untuk mengetahui informasi selengkapnya, lihat Harga Colab Enterprise.

    Langkah berikutnya