Kurzanleitung: Pipeline-Komponenten für Google Cloud

In dieser Kurzanleitung wird die Installation desGoogle Cloud Pipeline Components SDK (GCPC) beschrieben.

Neuesten Release installieren

Verwenden Sie den folgenden Befehl, um das Google Cloud SDK aus dem Python Package Index (PyPI) zu installieren:

pip install --upgrade google-cloud-pipeline-components

Vordefinierte Komponente mit dem Google Cloud SDK importieren

Nachdem Sie das Google Cloud SDK installiert haben, können Sie es zum Importieren einer vordefinierten Komponente verwenden.

Informationen zu SDK-Referenzen für unterstützte Komponenten finden Sie in der Dokumentation zumGoogle Cloud SDK.

Sie können beispielsweise den folgenden Code verwenden, um die Dataflow-Komponente in eine Pipeline zu importieren und zu verwenden.

from google_cloud_pipeline_components.v1.dataflow import DataflowPythonJobOp
from kfp import dsl

@dsl.pipeline(
    name=PIPELINE_NAME,
    description='Dataflow launch python pipeline'
)
def pipeline(
    python_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/wc.py',
    project_id:str = PROJECT_ID,
    location:str = LOCATION,
    staging_dir:str = PIPELINE_ROOT,
    requirements_file_path:str = 'gs://ml-pipeline-playground/samples/dataflow/wc/requirements.txt',
):
    dataflow_python_op = DataflowPythonJobOp(
        project=project_id,
        location=location,
        python_module_path=python_file_path,
        temp_location = staging_dir,
        requirements_file_path = requirements_file_path,
        args = ['--output', OUTPUT_FILE],
    )

Nächste Schritte