Previsões com pipelines do scikit-learn

Neste tutorial, você treinará um modelo simples para prever as espécies de flores usando o conjunto de dados Iris. Depois de treinar e salvar o modelo no local, implante-o no AI Platform Prediction e consulte-o para fazer previsões on-line.

É possível implantar e exibir pipelines do scikit-learn (em inglês) no AI Platform Prediction. Com o módulo de pipeline no scikit-learn, é possível aplicar várias transformações de dados antes do treinamento com um estimator. Isso inclui várias etapas do processamento de dados e garante o uso dos mesmos dados de treinamento em cada uma.

Visão geral

Neste tutorial introdutório, você concluirá as seguintes etapas:

• Usar um pipeline do scikit-learn para treinar um modelo com o conjunto de dados Iris.
• Salvar o modelo localmente.
• Fazer upload do modelo salvo no Cloud Storage.
• Criar um recurso e uma versão do modelo no AI Platform Prediction.
• Receber previsões on-line para duas instâncias de dados.

Antes de começar

Conclua as etapas a seguir para configurar uma conta do GCP, ativar a API AI Platform Prediction, instalar e ativar o SDK do Cloud.

Configurar o projeto do GCP

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the AI Platform Training & Prediction and Compute Engine APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Configurar o ambiente

Escolha uma das opções abaixo para configurar o ambiente localmente no macOS ou em um ambiente remoto no Cloud Shell.

Para usuários do macOS, recomendamos a configuração do ambiente usando a guia MACOS abaixo. O Cloud Shell, mostrado na guia CLOUD SHELL, está disponível para macOS, Linux e Windows. Com ele, você testa rapidamente o AI Platform Prediction. No entanto, ele não é adequado para trabalhos de desenvolvimento contínuo.

Instalar frameworks

(aip-env)$ pip install scikit-learn==1.0.2 pandas==1.3.5

pip install --user scikit-learn pandas

Treinar e exportar o modelo

É possível exportar objetos Pipeline. usando a versão do joblib incluída em scikit-learn ou pickle, assim como você exporta estimadores do scikit-learn. O exemplo a seguir configura um pipeline que usa RandomForestClassifier para treinar um modelo com o conjunto de dados Iris (em inglês).

from sklearn import datasets
from sklearn import svm
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline

from sklearn.externals import joblib

# Load the Iris dataset
iris = datasets.load_iris()

# Set up a pipeline with a feature selection preprocessor that
# selects the top 2 features to use.
# The pipeline then uses a RandomForestClassifier to train the model.

pipeline = Pipeline([
      ('feature_selection', SelectKBest(chi2, k=2)),
      ('classification', RandomForestClassifier())
    ])

pipeline.fit(iris.data, iris.target)

# Export the classifier to a file
joblib.dump(pipeline, 'model.joblib')

from sklearn import datasets
from sklearn import svm
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.ensemble import RandomForestClassifier
from sklearn.pipeline import Pipeline

import pickle

# Load the Iris dataset
iris = datasets.load_iris()

# Set up a pipeline with a feature selection preprocessor that
# selects the top 2 features to use.
# The pipeline then uses a RandomForestClassifier to train the model.

pipeline = Pipeline([
      ('feature_selection', SelectKBest(chi2, k=2)),
      ('classification', RandomForestClassifier())
    ])

pipeline.fit(iris.data, iris.target)

# Export the classifier to a file
with open('model.pkl', 'wb') as model_file:
  pickle.dump(pipeline, model_file)

Requisitos de nomenclatura do arquivo de modelo

O arquivo de modelo salvo enviado ao Cloud Storage precisa ser nomeado como model.pkl ou model.joblib, dependendo da biblioteca usada. Essa restrição garante que o AI Platform Prediction use o mesmo padrão de reconstrução do modelo na importação e na exportação.

Para iterações futuras do seu modelo, organize seu bucket do Cloud Storage de modo que cada novo modelo tenha um diretório dedicado.

Armazenar o modelo no Cloud Storage

Para este tutorial, é mais fácil usar um intervalo dedicado do Cloud Storage no mesmo projeto que você está utilizando no AI Platform Prediction.

Se você estiver usando um bucket em outro projeto, garanta que sua conta de serviço do AI Platform Prediction tenha acesso ao modelo no Cloud Storage. Sem as permissões adequadas, a solicitação para criar uma versão de modelo do AI Platform Prediction falhará. Veja mais sobre a concessão de permissões para armazenamento.

Configurar o bucket do Cloud Storage

Nesta seção, você aprende a criar um novo bucket. É possível usar um bucket atual, mas ele precisa estar na mesma região em que você planeja executar os jobs do AI Platform. Além disso, se ele não fizer parte do projeto que você usa para executar o AI Platform Prediction, é necessário conceder acesso explícito às contas de serviço do AI Platform Prediction.

1. Especifique um nome para o novo bucket. Ele precisa ser único em todos os buckets no Cloud Storage.

   BUCKET_NAME="YOUR_BUCKET_NAME"

   Por exemplo, use o nome do seu projeto com -aiplatform anexado:

   PROJECT_ID=$(gcloud config list project --format "value(core.project)")
   BUCKET_NAME=${PROJECT_ID}-aiplatform

2. Verifique o nome do bucket que você criou.

   echo $BUCKET_NAME

3. Selecione a região do bucket e defina a variável de ambiente REGION.

   Use a mesma região em que você planeja executar jobs do AI Platform Prediction. Consulte as regiões disponíveis para os serviços do AI Platform Prediction.

   Por exemplo, o código a seguir cria REGION e a define como us-central1:

   REGION=us-central1

4. Crie o novo bucket:

   gcloud storage buckets create gs://$BUCKET_NAME --location=$REGION

Fazer upload do arquivo de modelo exportado para o Cloud Storage

Execute o comando a seguir para fazer upload do arquivo do pipeline salvo no bucket do Cloud Storage:

gcloud storage cp ./model.joblib gs://$BUCKET_NAME/model.joblib

Você pode usar o mesmo bucket do Cloud Storage para vários arquivos de modelo. Cada arquivo do modelo precisa estar em um diretório próprio dentro do bucket.

Formatar a entrada para predição

[6.8,  2.8,  4.8,  1.4]
[6.0,  3.4,  4.5,  1.6]

{
  "instances": [

    [6.8,  2.8,  4.8,  1.4],
    [6.0,  3.4,  4.5,  1.6]

  ]
}

Veja mais informações sobre como formatar a entrada para predição on-line.

Testar o modelo com predições locais

É possível usar o comando gcloud ai-platform local predict para testar como seu modelo exibe previsões antes de implantá-lo no AI Platform Prediction. O comando usa dependências em seu ambiente local para realizar a previsão e retorna resultados no mesmo formato que gcloud ai-platform predict usa ao realizar previsões on-line. Testar previsões localmente pode ser útil para detectar erros antes de gerar custos para solicitações de previsões on-line.

Para o argumento --model-dir, especifique um diretório que contenha seu modelo exportado de machine learning, na sua máquina local ou no Cloud Storage. Para o argumento --framework, especifique tensorflow, scikit-learn ou xgboost. Não é possível usar o comando gcloud ai-platform local predict com uma rotina de previsão personalizada.

Veja no exemplo abaixo como realizar uma previsão local:

gcloud ai-platform local predict --model-dir LOCAL_OR_CLOUD_STORAGE_PATH_TO_MODEL_DIRECTORY/ \
  --json-instances LOCAL_PATH_TO_PREDICTION_INPUT.JSON \
  --framework NAME_OF_FRAMEWORK

Implantar modelos e versões

O AI Platform Prediction organiza seus modelos treinados usando recursos de modelo e versão. Um modelo do AI Platform Prediction é um contêiner para as versões do seu modelo de machine learning.

Para implantar um modelo, crie no AI Platform Prediction um recurso e uma versão desse modelo. Depois, vincule essa versão ao arquivo de modelo armazenado no Cloud Storage.

Criar um recurso de modelo

O AI Platform Prediction usa recursos de modelo para organizar versões diferentes do seu modelo.

Decida agora se quer que as versões de modelo pertencentes a esse modelo usem um endpoint regional ou o endpoint global. Na maioria dos casos, escolha um endpoint regional. Se você precisar de funcionalidades disponíveis apenas nos tipos de máquina legados (MLS1), use o endpoint global.

Decida agora também se você quer que as versões de modelo pertencentes a ele exportem os registros ao exibirem previsões. Os exemplos a seguir não ativam a geração de registros. Saiba como ativar a geração de registros.

gcloud ai-platform models create MODEL_NAME \
  --region=REGION

gcloud ai-platform models create MODEL_NAME \
  --regions=REGION

Consulte a API de modelo do AI Platform Prediction para mais detalhes.

Criar uma versão de modelo

Agora está tudo pronto para criar uma versão com o modelo treinado enviado anteriormente para o Cloud Storage. Ao criar uma versão, você pode especificar vários parâmetros. A lista a seguir descreve parâmetros comuns, alguns dos quais são obrigatórios:

• name: precisa ser exclusivo no modelo do AI Platform Prediction.

• deploymentUri: o caminho para o diretório do modelo no Cloud Storage.

  • Caso você esteja implantando um modelo do TensorFlow, será o diretório do SavedModel.
  • Caso você esteja implantando um modelo scikit-learn ou XGBoost, este será o diretório que contém seu arquivo model.joblib, model.pkl ou model.bst.
  • Caso você esteja implantando uma rotina de previsão personalizada, será o diretório que contém todos os artefatos de modelo. O tamanho total desse diretório não pode ultrapassar 500 MB.

• framework: TENSORFLOW, SCIKIT_LEARN ou XGBOOST.

• runtimeVersion: uma versão do ambiente de execução com base nas dependências que o modelo precisa. Precisa ser 1.4, no mínimo, se você estiver implantando um modelo scikit-learn ou XGBoost. Se você planeja usar a versão do modelo para previsão em lote, use a versão 2.1 ou anterior do ambiente de execução.

• pythonVersion: precisa ser definida como “3.5” (para as versões de ambiente de execução 1.4 a 1.14) ou “3.7” (para as versões de ambiente de execução a partir de 1.15) para que seja compatível com os arquivos de modelo exportados usando o Python 3. Ele também pode ser definido como "2.7" quando usado com a versão de ambiente de execução até 1.15.

• machineType (opcional): o tipo de máquina virtual que o AI Platform Prediction usa para os nós que exibem previsões. Saiba mais sobre os tipos de máquinas. Se não estiver definido, o padrão será n1-standard-2 em endpoints regionais e mls1-c1-m2 no endpoint global.

Veja mais informações sobre cada um desses parâmetros, bem como outros parâmetros menos comuns, na referência da API para o recurso de versão.

Além disso, se você tiver criado o modelo em um endpoint regional, crie também a versão no mesmo endpoint regional.

Enviar solicitação de previsão on-line

Depois de criar uma versão, o AI Platform Prediction iniciará um novo servidor pronto para exibir as solicitações de previsão.

import googleapiclient.discovery

def predict_json(project, model, instances, version=None):
    """Send json data to a deployed model for prediction.
    Args:
        project (str): project where the AI Platform Prediction Model is deployed.
        model (str): model name.
        instances ([[float]]): List of input instances, where each input
           instance is a list of floats.
        version: str, version of the model to target.
    Returns:
        Mapping[str: any]: dictionary of prediction results defined by the
            model.
    """
    # Create the AI Platform Prediction service object.
    # To authenticate set the environment variable
    # GOOGLE_APPLICATION_CREDENTIALS=<path_to_service_account_file>
    service = googleapiclient.discovery.build('ml', 'v1')
    name = 'projects/{}/models/{}'.format(project, model)

    if version is not None:
        name += '/versions/{}'.format(version)

    response = service.projects().predict(
        name=name,
        body={'instances': instances}
    ).execute()

    if 'error' in response:
        raise RuntimeError(response['error'])

    return response['predictions']

Veja mais informações sobre os parâmetros de entrada de previsão na página sobre a API AI Platform Prediction.

A seguir

• Veja como fazer o pré-processamento com pipelines do scikit-learn no bloco de notas do scikit-learn no GitHub.
• Veja mais exemplos de aplicativos para scikit-learn no GitHub.