Referencia principal de Dataform

En este documento se describen los métodos, las propiedades y las opciones de configuración de Dataform Core. Puedes usar Dataform Core en archivos SQLX y JavaScript.

assert()

Ejemplo:

// definitions/file.js

assert("name").query(ctx => "select 1");

CommonContext

Los métodos de contexto están disponibles al evaluar código SQL contextual, como en archivos SQLX, o al usar un argumento Contextable con Dataform Core.

Contextable

Los argumentos contextuales pueden transferir un valor simple para su tipo genérico T o una función a la que se llama con el objeto de contexto de este tipo de operación.

T | (ctx: Context) => T

Dataform

Variable global que contiene el objeto IProjectConfig. Obligatorio para obtener propiedades de IProjectConfig. Por ejemplo:

dataform.projectConfig.vars.myVariableName === "myVariableValue"

declare()

Ejemplo:

// definitions/file.js

declare({name: "a-declaration"})

defaultLocation

La propiedad defaultLocation especifica la ubicación predeterminada del conjunto de datos de BigQuery. Dataform usa esta ubicación para procesar tu código y almacenar los resultados. Esta ubicación de tratamiento debe coincidir con la de tus conjuntos de datos de BigQuery. Sin embargo, no tiene por qué coincidir con la ubicación del repositorio de Dataform.

Si no define la propiedad defaultLocation, Dataform determinará la ubicación en función de los conjuntos de datos a los que haga referencia su consulta de SQL. Funciona de la siguiente manera:

• Si tu consulta hace referencia a conjuntos de datos de la misma ubicación, Dataform usará esa ubicación.
• Si tu consulta hace referencia a conjuntos de datos de dos o más ubicaciones diferentes, se produce un error. Para obtener más información sobre esta limitación, consulta el artículo Réplica de conjuntos de datos entre regiones.
• Si tu consulta no hace referencia a ningún conjunto de datos, la ubicación predeterminada de Dataform es la US multirregión. Para elegir otra ubicación, define la propiedad defaultLocation. También puedes usar la variable de sistema @@location en tu consulta.

Para obtener más información, consulta Especificar ubicaciones.

IActionConfig

Define las etiquetas de Dataform y las dependencias aplicadas a una acción de flujo de trabajo.

IAssertionConfig

Opciones de configuración de los tipos de acciones assertion.

IBigQueryOptions

Opciones de almacén específicas de BigQuery.

IColumnsDescriptor

Describe las columnas de una tabla.

{ [name]: string | IRecordDescriptor }

IDeclarationConfig

Opciones de configuración de los tipos de acciones declaration.

IDependenciesConfig

Define las dependencias de una acción de flujo de trabajo.

IDocumentableConfig

Define las descripciones de un conjunto de datos y sus columnas.

INamedConfig

Define el tipo y el nombre de una acción de flujo de trabajo.

IOperationConfig

Opciones de configuración de los tipos de acciones operations.

IProjectConfig

Contiene los ajustes de compilación de un repositorio de Dataform.

Puedes definir propiedades de IProjectConfig en la configuración del flujo de trabajo a nivel de repositorio.

Puedes anular las propiedades defaultSchema y defaultDatabase de tablas concretas.

Puedes acceder a todas las propiedades de IProjectConfig en una instrucción SELECT de SQL en un archivo SQLX o JavaScript.

En el siguiente ejemplo de código se muestra la myVariableName variable de compilación personalizada definida en los ajustes del flujo de trabajo con la propiedad projectConfig.vars, a la que se accede en una instrucción SELECT de un archivo SQLX:

  config { type: "view" }
  SELECT ${when(
    dataform.projectConfig.vars.myVariableName === "myVariableValue",
    "myVariableName is set to myVariableValue!",
    "myVariableName is not set to myVariableValue!"
  )}

Para obtener más información sobre cómo anular la configuración de un proyecto para obtener resultados de compilación concretos, consulta el recurso REST projects.locations.repositories.compilationResults#CodeCompilationConfig en la API Dataform.

IRecordDescriptor

Describe una estructura, un objeto o un registro de una tabla que tiene columnas anidadas.

ITableAssertions

Opciones para crear aserciones como parte de una definición de tabla.

ITableConfig

Opciones de configuración de las acciones de table, incluidos los tipos de tabla table, view y incremental.

Extiende IActionConfig, IDependenciesConfig, IDocumentableConfig, INamedConfig y ITargetableConfig.

ITableContext

Los métodos de contexto están disponibles al evaluar código SQL contextual, como en archivos SQLX, o al usar un argumento Contextable con Dataform Core.

ITarget

Referencia a una tabla de BigQuery.

ITargetableConfig

Define la base de datos y el esquema de destino de una acción de flujo de trabajo.

onSchemaChange

Después de definir la propiedad onSchemaChange, Dataform comprueba la consulta SELECT para determinar si se han añadido o eliminado columnas. A continuación, Dataform realiza la acción especificada por el valor de la propiedad onSchemaChange. Puedes definir la acción como una de las siguientes:

• IGNORE (predeterminado): ignora las columnas añadidas y muestra un error si faltan columnas. Si no se define onSchemaChange, este es el comportamiento predeterminado cuando cambia el esquema.
• FAIL: detiene la acción si Dataform detecta algún cambio en el esquema, lo que ayuda a mantener la coherencia del esquema.
• EXTEND: añade nuevas columnas de la consulta a la tabla incremental y añade valores de NULL a los registros anteriores. Muestra un error si se elimina una columna o falta en el esquema original de la consulta. Puedes usar este ajuste para añadir nuevas columnas a tus tablas incrementales durante el tiempo de ejecución.

• SYNCHRONIZE: añade nuevas columnas de la consulta a la tabla incremental y añade valores NULL a los registros anteriores. Elimina las columnas que estaban en el esquema original, pero que ahora faltan en la consulta actual.

operate()

Ejemplo:

// definitions/file.js

operate("an-operation", ["SELECT 1", "SELECT 2"])

publish()

Ejemplo:

// definitions/file.js

publish("published-table", {
    type: "table",
    dependencies: ["a-declaration"],
  }).query(ctx => "SELECT 1 AS test");

Resoluble

Un elemento que se puede resolver puede ser el nombre de una tabla como string o el objeto que describe la ruta completa de la relación.

string | ITarget

TableType

Tipos de acciones de tabla admitidos.

Las tablas de tipo view se crearán como vistas.

Las tablas de tipo table se crearán como tablas.

Las tablas de tipo incremental deben incluir una cláusula where. Para obtener más información, consulta el artículo sobre cómo configurar una tabla incremental.