Registrar dados em uma execução do experimento

Métricas de resumo

As métricas de resumo são métricas escalares de valor único armazenadas adjacentes às métricas de série temporal e representam um resumo final de uma execução de um experimento.

Um exemplo de caso de uso é a interrupção antecipada, em que uma configuração de paciência permite continuar o treinamento, mas o modelo candidato é restaurado de uma etapa anterior e as métricas calculadas para o modelo nessa etapa seriam representadas como uma métrica de resumo. porque a métrica de série temporal mais recente não representa o modelo restaurado. A API log_metrics para métricas de resumo é usada para essa finalidade.

def log_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name)

    aiplatform.log_metrics(metrics)

Métricas de série temporal

Para registrar métricas de série temporal, o Vertex AI Experiments requer uma instância de apoio do TensorBoard da Vertex AI.

Atribua o recurso TensorBoard do Vertex AI de apoio para a geração de registros de métricas de série temporal.

Todas as métricas registradas pelo log_time_series_metrics são armazenadas como métricas de série temporal. O TensorBoard da Vertex AI é o armazenamento de métricas de série temporal de apoio.

O experiment_tensorboard pode ser definido nos níveis de experimento e execução. Definir experiment_tensorboard no nível da execução substitui a configuração no nível do experimento. Depois que o experiment_tensorboard é definido em uma execução, não é possível mudar o experiment_tensorboard dela.

• Defina experiment_tensorboard no nível do experimento:

    aiplatform.init(experiment='my-experiment',
                 experiment_tensorboard='projects/.../tensorboard/my-tb-resource')

• Defina experiment_tensorboard no nível da execução. Observação: substitui a configuração no nível do experimento.

    aiplatform.start_run(run_name='my-other-run',
                      tensorboard='projects/.../.../other-resource')
  aiplatform.log_time_series_metrics(...)

def log_time_series_metrics_sample(
    experiment_name: str,
    run_name: str,
    metrics: Dict[str, float],
    step: Optional[int],
    wall_time: Optional[timestamp_pb2.Timestamp],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_time_series_metrics(metrics=metrics, step=step, wall_time=wall_time)

Passo e tempo decorrido

A API log_time_series_metrics tem a opção de aceitar step e walltime.

• step: opcional. Índice da etapa desse ponto de dados durante a execução. Se não for fornecido, será usado um incremento na etapa mais recente entre todas as métricas de séries temporais registradas. Se a etapa já existir para qualquer uma das chaves de métrica fornecidas, ela será substituída.
• wall_time: opcional. Os segundos após a época da métrica registrada. Se isso não for fornecido, o padrão será time.time do Python.

Exemplo:

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00})

Registre-se em uma etapa específica

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=8)

Incluir wall_time

aiplatform.log_time_series_metrics({"mse": 2500.00, "rmse": 50.00}, step=10)

Parâmetros

Os parâmetros são valores de entrada com chave que configuram uma execução, regulam o comportamento dela e afetam os resultados. Exemplos incluem taxa de aprendizado, taxa de desistência e número de etapas de treinamento. Parâmetros de registro usando o método log_params.

def log_params_sample(
    experiment_name: str,
    run_name: str,
    params: Dict[str, Union[float, int, str]],
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_params(params)

aiplatform.log_params({"learning_rate": 0.01, "n_estimators": 10})

Métricas de classificação

Além de métricas de resumo e métricas de série temporal, matrizes de confusão e curvas ROC são usadas com frequência. Elas podem ser registradas nos experimentos da Vertex AI usando a API log_classification_metrics.

def log_classification_metrics_sample(
    experiment_name: str,
    run_name: str,
    project: str,
    location: str,
    labels: Optional[List[str]] = None,
    matrix: Optional[List[List[int]]] = None,
    fpr: Optional[List[float]] = None,
    tpr: Optional[List[float]] = None,
    threshold: Optional[List[float]] = None,
    display_name: Optional[str] = None,
) -> None:
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log_classification_metrics(
        labels=labels,
        matrix=matrix,
        fpr=fpr,
        tpr=tpr,
        threshold=threshold,
        display_name=display_name,
    )