Pelatihan menggunakan algoritma klasifikasi gambar bawaan

Pelatihan dengan algoritma bawaan di Pelatihan AI Platform memungkinkan Anda mengirim set data dan melatih model tanpa menulis kode pelatihan apa pun. Halaman ini menjelaskan cara kerja algoritma klasifikasi gambar bawaan, dan cara menggunakannya.

Ringkasan

Algoritma klasifikasi image bawaan menggunakan set data pelatihan dan validasi Anda untuk melatih model secara terus menerus, lalu menghasilkanSavedModel paling akurat yang dihasilkan selama tugas pelatihan. Anda juga dapat menggunakan penyesuaian hyperparameter untuk mencapai akurasi model terbaik. SaveModel yang diekspor dapat digunakan secara langsung untuk prediksi, baik secara lokal maupun di-deploy ke AI Platform Prediction untuk layanan produksi.

Batasan

Algoritma bawaan gambar mendukung pelatihan dengan CPU tunggal, GPU, atau TPU. SaveModel yang dihasilkan kompatibel dengan penyaluran di CPU dan GPU.

Fitur berikut tidak didukung untuk pelatihan dengan algoritma klasifikasi gambar bawaan:

• Pelatihan terdistribusi. Untuk menjalankan tugas pelatihan terdistribusi TensorFlow pada Pelatihan AI Platform, Anda harus membuat aplikasi pelatihan.
• Pelatihan multi-GPU. Algoritma bawaan hanya menggunakan satu GPU pada satu waktu. Untuk memanfaatkan pelatihan dengan beberapa GPU di satu mesin secara maksimal, Anda harus membuat aplikasi pelatihan. Temukan informasi selengkapnya tentang jenis mesin.

Jenis mesin yang didukung

Tingkat skala dan jenis mesin Pelatihan AI Platform berikut didukung:

• Tingkat skala BASIC
• Tingkat skala BASIC_TPU
• Tingkat skala CUSTOM dengan salah satu jenis mesin Compute Engine yang didukung oleh AI Platform Training.
• Tingkat skala CUSTOM dengan salah satu jenis mesin lama berikut:
  • standard
  • large_model
  • complex_model_s
  • complex_model_m
  • complex_model_l
  • standard_gpu
  • standard_p100
  • standard_v100
  • large_model_v100
  • complex_model_m_gpu
  • complex_model_l_gpu
  • complex_model_m_p100
  • complex_model_m_v100
  • complex_model_l_v100
  • TPU_V2 (8 core)

Otorisasi Cloud TPU untuk mengakses project Anda

Memformat data input untuk pelatihan

Algoritma klasifikasi gambar bawaan mengharuskan data input Anda diformat sebagai tf.Examples, yang disimpan dalam file TFRecord. Struktur data tf.Example dan format file TFRecord dirancang untuk pembacaan data yang efisien dengan TensorFlow.

Format TFRecord adalah format sederhana untuk menyimpan urutan catatan biner. Dalam hal ini, semua kumpulan data berisi representasi biner dari gambar. Setiap gambar, beserta label class-nya, direpresentasikan sebagai tf.Example. Anda dapat menyimpan banyak tf.Example ke satu file TFRecord. Anda juga dapat melakukan sharding set data berukuran besar di antara beberapa file TFRecord.

Pelajari TFRecord dan tf.Example lebih lanjut.

Mengonversi gambar Anda ke TFRecords

TensorFlow menyediakan skrip yang dapat Anda gunakan untuk mengonversi gambar dari format JPEG ke TFRecord.

Anda dapat menggunakan skrip jika:

• Anda menyimpan gambar di Cloud Storage.

• Anda memiliki file CSV dengan jalur ke gambar di Cloud Storage, dan label yang sesuai. Contoh:

  gs://cloud-ml-data/img/flower_photos/daisy/754296579_30a9ae018c_n.jpg,daisy
  gs://cloud-ml-data/img/flower_photos/dandelion/18089878729_907ed2c7cd_m.jpg,dandelion
  

• Anda menyimpan file CSV ini di Cloud Storage.

Contoh berikut menunjukkan cara menjalankan skrip:

1. Download skrip:

   curl https://raw.githubusercontent.com/tensorflow/tpu/master/tools/datasets/jpeg_to_tf_record.py > ./jpeg_to_tf_record.py
   

2. Jika Anda belum melakukannya, tetapkan variabel untuk project ID dan nama bucket:

   PROJECT_ID="YOUR_PROJECT_ID"
   BUCKET_NAME="YOUR_BUCKET_NAME"
   

3. Buat daftar semua label yang mungkin untuk set data Anda dalam file sementara:

   cat << EOF > /tmp/labels.txt
   daisy
   dandelion
   roses
   sunflowers
   tulips
   EOF
   

4. Jalankan skrip menggunakan data bunga dari bucket cloud-ml-data publik dan daftar label Anda:

   python -m jpeg_to_tf_record.py \
          --train_csv gs://cloud-ml-data/img/flower_photos/train_set.csv \
          --validation_csv gs://cloud-ml-data/img/flower_photos/eval_set.csv \
          --labels_file /tmp/labels.txt \
          --project_id $PROJECT_ID \
          --output_dir gs://$BUCKET_NAME/flowers_as_tf_record
   

Memeriksa izin bucket Cloud Storage

Untuk menyimpan data Anda, gunakan bucket Cloud Storage di project Google Cloud yang sama dengan yang Anda gunakan untuk menjalankan tugas Pelatihan AI Platform. Jika tidak, berikan AI Platform akses ke bucket Cloud Storage tempat data Anda disimpan.

Format input yang diperlukan

Untuk berlatih dengan algoritma klasifikasi gambar bawaan, data gambar Anda harus disusun sebagai tf.Example yang mencakup kolom berikut:

• image/encoded adalah string gambar raw.

• image/class/label adalah label bilangan bulat tunggal untuk gambar yang sesuai. Beberapa label per instance tidak didukung.

  Kumpulan label bilangan bulat yang digunakan untuk set data Anda harus berupa urutan berurutan yang dimulai dari 1. Misalnya, jika set data Anda memiliki lima class, setiap label harus berupa bilangan bulat dalam interval [1, 5].

Contoh:

{
    'image/encoded': '<encoded image data>',
    'image/class/label': 2
}

Mendapatkan SaveModel terbaik sebagai output

Setelah tugas pelatihan selesai, Pelatihan AI Platform menulis TensorFlow TersimpanModel ke bucket Cloud Storage yang Anda tentukan sebagai jobDir saat mengirimkan tugas. SaveModel ditulis ke jobDir/model. Misalnya, jika Anda mengirimkan tugas ke gs://your-bucket-name/your-job-dir, AI Platform Training akan menulis SavedModel ke gs://your-bucket-name/your-job-dir/model.

Jika Anda mengaktifkan penyesuaian hyperparameter, Pelatihan AI Platform akan menampilkan TensorFlow SavedModel dengan akurasi tertinggi yang dicapai selama proses pelatihan. Misalnya, jika Anda mengirimkan tugas pelatihan dengan 2.500 langkah pelatihan, dan akurasinya mencapai tertinggi pada 2.000 langkah, Anda akan mendapatkan TensorFlowSavedModel yang disimpan dari titik tertentu tersebut.

Setiap uji coba Pelatihan AI Platform menulis TensorFlowSavedModel dengan akurasi tertinggi ke direktorinya sendiri dalam bucket Cloud Storage Anda. Contoh, gs://your-bucket-name/your-job-dir/model/trial_{trial_id}.

Tanda tangan SaveModel output adalah:

signature_def['serving_default']:
  The given SavedModel SignatureDef contains the following input(s):
    inputs['image_bytes'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: Placeholder:0
    inputs['key'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: key:0
  The given SavedModel SignatureDef contains the following output(s):
    outputs['classes'] tensor_info:
        dtype: DT_INT64
        shape: (-1)
        name: ArgMax:0
    outputs['key'] tensor_info:
        dtype: DT_STRING
        shape: (-1)
        name: Identity:0
    outputs['probabilities'] tensor_info:
        dtype: DT_FLOAT
        shape: (-1, 1000)
        name: softmax_tensor:0
  Method name is: tensorflow/serving/predict

Input:

• image_bytes: Byte gambar mentah (tidak didekode). Ini sama dengan image/encoded yang disimpan di tf.Example.
• key: ID nilai string dari input prediksi. Nilai ini diteruskan ke output key. Dalam prediksi batch, hal ini membantu memetakan output prediksi ke input.

Output:

• classes: Label class (bilangan bulat) yang diprediksi, yang merupakan label dengan probabilitas tertinggi.
• key: Tombol output.
• probabilities: probability (antara 0 dan 1) untuk setiap class (mulai dari 0 hingga num_classes).

Berikut adalah contoh input dan output prediksi:

prediction_input: {
  'image_bytes': 'some_raw_image_bytes',
  'key': ['test_key'])
}

prediction_output: {
  'probabilities': [[0.1, 0.3, 0.6]],
  'classes': [2],
  'key': ['test_key'],
}

Contoh konfigurasi

Jika mengirimkan tugas menggunakan gcloud, Anda harus membuat file config.yaml untuk spesifikasi jenis mesin dan hyperparameter. Jika menggunakan Konsol Google Cloud, Anda tidak perlu membuat file ini. Pelajari cara mengirimkan tugas pelatihan.

Contoh file config.yaml berikut menunjukkan cara mengalokasikan resource TPU untuk tugas pelatihan Anda:

cat << EOF > config.yaml
trainingInput:
  # Use a cluster with many workers and a few parameter servers.
  scaleTier: CUSTOM
  masterType: n1-highmem-16
  masterConfig:
    imageUri: gcr.io/cloud-ml-algos/image_classification:latest
  workerType:  cloud_tpu
  workerConfig:
   imageUri: gcr.io/cloud-ml-algos/image_classification:latest
   acceleratorConfig:
     type: TPU_V2
     count: 8
  workerCount: 1
EOF

Selanjutnya, gunakan file config.yaml untuk mengirimkan tugas pelatihan.

Konfigurasi penyesuaian hyperparameter

Untuk menggunakan penyesuaian hyperparameter, sertakan konfigurasi penyesuaian hyperparameter dalam file config.yaml yang sama dengan konfigurasi mesin Anda.

Anda dapat menemukan penjelasan singkat tentang setiap hyperparameter dalam Google Cloud Console, dan penjelasan yang lebih komprehensif di referensi untuk algoritma klasifikasi image bawaan.

Contoh file config.yaml berikut menunjukkan cara mengalokasikan resource TPU untuk tugas pelatihan Anda, dan menyertakan konfigurasi penyesuaian hyperparameter:

cat << EOF > config.yaml
trainingInput:
  # Use a cluster with many workers and a few parameter servers.
  scaleTier: CUSTOM
  masterType: n1-highmem-16
  masterConfig:
    imageUri: gcr.io/cloud-ml-algos/image_classification:latest
  workerType:  cloud_tpu
  workerConfig:
   imageUri: gcr.io/cloud-ml-algos/image_classification:latest
   tpuTfVersion: 1.14
   acceleratorConfig:
     type: TPU_V2
     count: 8
  workerCount: 1
  # The following are hyperparameter configs.
  hyperparameters:
   goal: MAXIMIZE
   hyperparameterMetricTag: top_1_accuracy
   maxTrials: 6
   maxParallelTrials: 3
   enableTrialEarlyStopping: True
   params:
   - parameterName: initial_learning_rate
     type: DOUBLE
     minValue: 0.001
     maxValue: 0.2
     scaleType: UNIT_LOG_SCALE
EOF

Mengirim tugas pelatihan klasifikasi gambar

Bagian ini menjelaskan cara mengirimkan tugas pelatihan menggunakan algoritma klasifikasi gambar bawaan.

Langkah selanjutnya

• Lihat referensi klasifikasi gambar bawaan untuk mempelajari semua parameter yang berbeda.