Modelo de datos y recursos

Vertex ML Metadata organiza los recursos de forma jerárquica, donde cada recurso pertenece a un MetadataStore. Primero debes tener un MetadataStore para poder crear recursos de metadatos.

Terminología de Vertex ML Metadata

A continuación, se presenta el modelo de datos y la terminología que se usan para describir los recursos y componentes de los metadatos de Vertex ML.

MetadataStore
  • MetadataStore es el contenedor de nivel superior de los recursos de metadatos. MetadataStore está regionalizado y asociado a un proyecto de Google Cloud específico. Normalmente, una organización usa un MetadataStore compartido para los recursos de metadatos de cada proyecto.
recursos de metadatos
  • Vertex ML Metadata expone un modelo de datos similar a un gráfico para representar los metadatos producidos y consumidos en los flujos de trabajo de aprendizaje automático. Los conceptos principales son los artefactos, las ejecuciones, los eventos y los contextos.
artefacto
  • Un artefacto es una entidad o un fragmento de datos discretos que produce y consume un flujo de trabajo de aprendizaje automático. Entre los artefactos se incluyen conjuntos de datos, modelos, archivos de entrada y registros de entrenamiento.
context
  • Un contexto se usa para agrupar artefactos y ejecuciones en una sola categoría con tipo y que se puede consultar. Los contextos se pueden usar para representar conjuntos de metadatos. Un ejemplo de contexto sería la ejecución de una canalización de aprendizaje automático.
Por ejemplo, puedes usar contextos para representar conjuntos de metadatos como los siguientes:

  • Una ejecución de un flujo de procesamiento de Vertex AI Pipelines. En este caso, el contexto representa una ejecución y cada ejecución representa un paso en la canalización de AA. Muestra cómo se combinan los artefactos, las ejecuciones y el contexto en el modelo de datos de gráfico de los metadatos de aprendizaje automático de Vertex.

  • Un experimento que se ha ejecutado desde un cuaderno. En este caso, el contexto podría representar el cuaderno y cada ejecución podría representar una celda de ese cuaderno.

    event
    • Un evento describe la relación entre artefactos y ejecuciones. Cada artefacto puede producirse mediante una ejecución y consumirse en otras ejecuciones. Los eventos te ayudan a determinar la procedencia de los artefactos en sus flujos de trabajo de aprendizaje automático encadenando artefactos y ejecuciones.
    ejecución
    • Una ejecución es un registro de un paso de un flujo de trabajo de aprendizaje automático, normalmente anotado con sus parámetros de tiempo de ejecución. Entre los ejemplos de ejecuciones se incluyen la ingestión de datos, la validación de datos, el entrenamiento de modelos, la evaluación de modelos y el despliegue de modelos.
    MetadataSchema
    • Un MetadataSchema describe el esquema de determinados tipos de artefactos, ejecuciones o contextos. Los MetadataSchemas se usan para validar los pares clave-valor durante la creación de los recursos de metadatos correspondientes. La validación de esquemas solo se realiza en los campos coincidentes entre el recurso y el MetadataSchema. Los esquemas de tipos se representan mediante objetos de esquema de OpenAPI, que deben describirse con YAML.

Ejemplo de MetadataSchema

Los esquemas de tipo se representan mediante objetos de esquema de OpenAPI, que deben describirse con YAML.

A continuación, se muestra un ejemplo de cómo se especifica el tipo de sistema Model predefinido en formato YAML.

title: system.Model
type: object
properties:
  framework:
    type: string
    description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
  framework_version:
    type: string
    description: "The framework version, for example '1.15' or '2.1'"
  payload_format:
    type: string
    description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"

El título del esquema debe tener el formato <namespace>.<type name>. Vertex ML Metadata publica y mantiene esquemas definidos por el sistema para representar tipos comunes que se usan en los flujos de trabajo de aprendizaje automático. Estos esquemas se encuentran en el espacio de nombres system y se puede acceder a ellos como recursos MetadataSchema en la API. Los esquemas siempre tienen versiones.

Para obtener más información sobre los esquemas, consulta Esquemas del sistema. Además, Vertex ML Metadata te permite crear esquemas personalizados definidos por el usuario. Para obtener más información sobre los esquemas del sistema, consulta Cómo registrar tus propios esquemas personalizados.

Los recursos de metadatos expuestos reflejan fielmente los de la implementación de código abierto de metadatos de aprendizaje automático (MLMD).

Siguientes pasos