Modelle für generative KI und maschinelles Lernen in einem Unternehmen erstellen und bereitstellen

Modelle für generative KI und maschinelles Lernen (ML) werden in den Geschäftsaktivitäten und Geschäftsprozessen von Unternehmen immer häufiger verwendet. Unternehmen benötigen daher immer mehr Anleitungen bei der Modellentwicklung, um Konsistenz, Wiederholbarkeit, Sicherheit und Schutz zu gewährleisten. Zur Unterstützung großer Unternehmen beim Erstellen und Bereitstellen von Modellen für generative KI und ML haben wir den Blueprint für generative KI und maschinelles Lernen für Unternehmen erstellt. Dieser Blueprint bietet einen umfassenden Leitfaden für den gesamten Lebenszyklus der KI-Entwicklung, von der explorativen Datenanalyse und Experimentierung über das Modelltraining, die Bereitstellung und Überwachung.

Der Blueprint für generative KI und ML für Unternehmen bietet viele Vorteile, darunter:

  • Präskriptive Anleitung: Klare Anleitung zum Erstellen, Konfigurieren und Bereitstellen einer Entwicklungsumgebung für generative KI und ML auf der Grundlage von Vertex AI. Sie können mit Vertex AI eigene Modelle entwickeln.
  • Erhöhte Effizienz: Umfassende Automatisierung zur Reduzierung des Aufwands bei der Bereitstellung von Infrastruktur und der Entwicklung von Modellen für generative KI und ML. Dank Automatisierung können Sie sich auf Aufgaben mit Mehrwert wie Modelldesign und Experimente konzentrieren.
  • Erweiterte Governance und Nachvollziehbarkeit: Reproduzierbarkeit, Nachverfolgbarkeit und kontrollierte Bereitstellung von Modellen sind in das Design dieses Blueprints eingebunden. Mit diesem Vorteil können Sie den Lebenszyklus Ihres Modells für generative KI und ML besser verwalten und Modelle mit klaren Audit-Trails konsistent neu trainieren und bewerten.
  • Sicherheit: Der Blueprint ist so konzipiert, dass er den Anforderungen des NIST-Frameworks (National Institute of Standards and Technology) und des CRI-Frameworks (Cyber Risk Institute) entspricht:

Der Blueprint für Generative AI und ML für Unternehmen umfasst Folgendes:

  • Ein GitHub-Repository, das eine Reihe von Terraform-Konfigurationen, ein Jupyter-Notebook, eine Vertex AI Pipelines-Definition, einen gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) für Cloud Composer und Zusatzskripts enthält. Für die Komponenten im Repository ist Folgendes erforderlich:
    • Mit der Terraform-Konfiguration wird eine Vertex AI-Modellentwicklungsplattform eingerichtet, die mehrere Modellentwicklungsteams unterstützen kann.
    • Mit dem Jupyter Notebook können Sie ein Modell interaktiv entwickeln.
    • Die Vertex AI Pipelines-Definition übersetzt das Jupyter-Notebook in ein reproduzierbares Muster, das in Produktionsumgebungen verwendet werden kann.
    • Der Cloud Composer-DAG bietet eine alternative Methode zu Vertex AI Pipelines.
    • Die zusätzlichen Skripts helfen bei der Bereitstellung des Terraform-Codes und der Pipelines.
  • Einer Anleitung zu den Architektur-, Design-, Sicherheitskontrollen und Betriebsprozessen, die Sie mit diesem Blueprint implementieren (dieses Dokument).

Der Blueprint für generative KI und ML für Unternehmen ist so konzipiert, dass er mit dem Blueprint zu Unternehmensgrundlagen kompatibel ist. Der Blueprint für Unternehmensgrundlagen bietet eine Reihe von grundlegenden Diensten, auf die sich dieser Blueprint stützt, z. B. VPC-Netzwerke. Sie können den Blueprint für generative KI und ML für Unternehmen bereitstellen, ohne den Blueprint für Unternehmensgrundlagen bereitzustellen, wenn Ihre Google Cloud -Umgebung die erforderlichen Funktionen zur Unterstützung des Blueprints für generative KI und ML für Unternehmen bietet.

Dieses Dokument richtet sich an Cloud-Architekten, Data Scientists und Data Engineers, die den Blueprint verwenden können, um neue Generative AI- oder ML-Modelle in Google Cloudzu erstellen und bereitzustellen. In diesem Dokument wird davon ausgegangen, dass Sie mit der Entwicklung von Generative AI- und ML-Modellen sowie der Vertex AI-Plattform für maschinelles Lernen vertraut sind.

Eine Übersicht über architektonische Prinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI und ML.

Übersicht über Blueprint für generative KI und ML für Unternehmen

Der Blueprint für generative KI und ML für Unternehmen verwendet einen mehrstufigen Ansatz, um die Funktionen bereitzustellen, die das Training von Modellen für generative KI und ML ermöglichen. Der Blueprint soll über einen MLOps-Workflow bereitgestellt und gesteuert werden. Das folgende Diagramm zeigt, wie die von diesem Blueprint bereitgestellte MLOps-Ebene mit anderen Ebenen in Ihrer Umgebung zusammenhängt.

Die Blueprint-Ebenen.

Dieses Diagramm enthält Folgendes:

  • Die Google Cloud -Infrastruktur bietet Ihnen Sicherheitsfunktionen wie Verschlüsselung inaktiver Daten und Verschlüsselung während der Übertragung sowie grundlegende Bausteine wie Computing und Speicher.
  • Die Unternehmensgrundlage bietet Ihnen eine Referenz an Ressourcen wie Identitäts-, Netzwerk-, Logging-, Monitoring- und Bereitstellungssystemen, mit denen Sie Google Cloud für Ihre KI-Arbeitslasten verwenden können.
  • Die Datenschicht ist eine optionale Ebene im Entwicklungspaket, die Ihnen verschiedene Funktionen wie Datenaufnahme, Datenspeicherung, Datenzugriffssteuerung und Data Governance, Datenmonitoring und Datenfreigabe bietet.
  • Mit der Ebene für generative KI und ML (dieser Blueprint) können Sie Modelle erstellen und bereitstellen. Sie können diese Ebene für vorläufige Datenexploration und -experimente, Modelltraining, Modellbereitstellung und Monitoring verwenden.
  • CI/CD bietet Ihnen die Tools, um die Bereitstellung, Konfiguration, Verwaltung und Bereitstellung von Infrastruktur, Workflows und Softwarekomponenten zu automatisieren. Mit diesen Komponenten sorgen Sie für konsistente, zuverlässige und überprüfbare Bereitstellungen und können manuelle Fehler minimieren und den gesamten Entwicklungszyklus beschleunigen.

Der Blueprint enthält ein Beispiel für eine ML-Modellentwicklung, um zu zeigen, wie die Umgebung der generativen KI und ML verwendet wird. Die Entwicklung eines Beispielmodells führt Sie durch das Erstellen eines Modells, das Erstellen operativer Pipelines, das Trainieren des Modells, das Testen des Modells und das Bereitstellen des Modells.

Architektur

Der Blueprint für generative KI und ML für Unternehmen bietet Ihnen die Möglichkeit, direkt mit Daten zu arbeiten. Sie können Modelle in einer interaktiven Entwicklungsumgebung erstellen und die Modelle in eine Betriebsumgebung (Produktion oder Nicht-Produktion) hochstufen.

In der interaktiven Umgebung entwickeln Sie ML-Modelle mit Vertex AI Workbench, einem von Google verwalteten Jupyter Notebook-Dienst. Sie erstellen Funktionen zur Datenextraktion, Datentransformation und Modelloptimierung in der interaktiven Umgebung und stellen sie in der Betriebsumgebung bereit.

In der operativen (Nicht-Produktionsumgebung) verwenden Sie Pipelines, um ihre Modelle auf wiederholbare und steuerbare Weise zu erstellen und zu testen. Wenn Sie mit der Leistung des Modells zufrieden sind, können Sie es in der Betriebsumgebung (Produktionsumgebung) bereitstellen. Das folgende Diagramm zeigt die verschiedenen Komponenten der interaktiven und operativen Umgebung.

Die Blueprint-Architektur.

Dieses Diagramm enthält Folgendes:

  1. Bereitstellungssysteme:Dienste wie Service Catalog und Cloud Build stellen Ressourcen Google Cloud in der interaktiven Umgebung bereit. Cloud Build stellt außerdem Google Cloud Ressourcen und Workflows zur Modellerstellung in der Betriebsumgebung bereit.
  2. Datenquellen: Dienste wie BigQuery, Cloud Storage, Spanner und AlloyDB for PostgreSQL hosten Ihre Daten. Der Blueprint enthält Beispieldaten in BigQuery und Cloud Storage.
  3. Interaktive Umgebung: Eine Umgebung, in der Sie direkt mit Daten interagieren, Modelle testen und Pipelines für die Verwendung in der Betriebsumgebung erstellen können.
  4. Betriebsumgebung: Eine Umgebung, in der Sie Ihre Modelle auf wiederholbare Weise erstellen und testen und dann in der Produktion bereitstellen können.
  5. Modelldienste:Die folgenden Dienste unterstützen verschiedene MLOps-Aktivitäten:
  6. Artefaktspeicher: Diese Dienste speichern den Code und die Container für Ihre Modellentwicklung und -pipelines. Dazu gehören:
    • In Artifact Registry werden Container gespeichert, die von Pipelines in der Betriebsumgebung verwendet werden, um die verschiedenen Phasen der Modellentwicklung zu steuern.
    • Im Git-Repository wird der Codebasis der verschiedenen Komponenten gespeichert, die bei der Modellentwicklung verwendet werden.

Plattformidentitäten

Wenn Sie den Blueprint bereitstellen, erstellen Sie vier Arten von Nutzergruppen: eine MLOps-Entwicklergruppe, eine DevOps-Entwicklergruppe, eine Data-Scentist-Gruppe und eine Data-Entwickler-Gruppe. Die Gruppen haben die folgenden Aufgaben:

  • Die MLOps-Entwicklergruppe entwickelt die vom Service Catalog verwendeten Terraform-Vorlagen. Dieses Team stellt Vorlagen bereit, die von vielen Modellen verwendet werden.
  • Die DevOps-Entwicklergruppe genehmigt die Terraform-Vorlagen, die von der MLOps-Entwicklergruppe erstellt werden.
  • Die Gruppe Data Scientist entwickelt Modelle, Pipelines und die Container, die von den Pipelines verwendet werden. Normalerweise ist ein einziges Team dafür zuständig, ein einziges Modell zu erstellen.
  • Die Gruppe Data Engineer genehmigt die Verwendung der von der Data-Science-Gruppe erstellten Artefakte.

Organisationsstruktur

Dieser Blueprint verwendet die Organisationsstruktur des Blueprints der Unternehmensgrundlage als Grundlage für die Bereitstellung von KI- und ML-Arbeitslasten. Das folgende Diagramm zeigt die Projekte, die der Grundlage hinzugefügt werden, um KI- und ML-Arbeitslasten zu ermöglichen.

Die Blueprint-Organisationsstruktur.

In der folgenden Tabelle werden die Projekte beschrieben, die vom Blueprint für generative KI und ML verwendet werden.

Ordner Projekt Beschreibung

common

prj-c-infra-pipeline

 Enthält die Bereitstellungspipeline, mit der die Komponenten für generative KI und ML des Blueprints erstellt werden. Weitere Informationen finden Sie im Abschnitt zu Infrastrukturpipeline im Blueprint zu Unternehmensgrundlagen.

prj-c-service-catalog

 Enthält die Infrastruktur, die vom Service Catalog zum Bereitstellen von Ressourcen in der interaktiven Umgebung verwendet wird.

development

prj-d-machine-learning

 Enthält die Komponenten zur Entwicklung eines KI- und ML-Anwendungsfalls im interaktiven Modus.

non-production

prj-n-machine-learning

 Enthält die Komponenten zum Testen und Bewerten eines KI- und ML-Anwendungsfalls, der für die Produktion bereitgestellt werden kann.

production

prj-p-machine-learning

 Enthält die Komponenten zum Bereitstellen eines KI- und ML-Anwendungsfalls in der Produktion.

Netzwerk

Der Blueprint verwendet das freigegebene VPC-Netzwerk, das im Blueprint der Unternehmensgrundlage erstellt wurde. In der interaktiven Entwicklungsumgebung werden Vertex AI Workbench-Notebooks in Dienstprojekten bereitgestellt. Lokale Nutzer können über den privaten IP-Adressbereich im freigegebenen VPC-Netzwerk auf die Projekte zugreifen. Lokale Nutzer können über Private Service Connect auf Google Cloud APIs wie Cloud Storage zugreifen. Jedes freigegebene VPC-Netzwerk (Entwicklung, Nicht-Produktion und Produktion) hat einen eigenen Private Service Connect-Endpunkt.

Das Blueprint-Netzwerk.

Die Betriebsumgebung (Nicht-Produktion und Produktion) hat zwei separate freigegebene VPC-Netzwerke, auf die lokale Ressourcen über private IP-Adressen zugreifen können. Die interaktiven und operativen Umgebungen werden mithilfe von VPC Service Controls geschützt.

Cloud Logging

Dieser Blueprint nutzt die Cloud Logging-Funktionen des Blueprints für Unternehmensgrundlagen.

Cloud Monitoring

Zum Überwachen benutzerdefinierter Trainingsjobs enthält der Blueprint ein Dashboard, mit dem Sie die folgenden Messwerte überwachen können:

  • CPU-Auslastung jedes Trainingsknotens
  • Arbeitsspeicherauslastung der einzelnen Trainingsknoten
  • Netzwerknutzung

Wenn ein benutzerdefinierter Trainingsjob fehlgeschlagen ist, nutzt der Blueprint Cloud Monitoring für eine E-Mail-Benachrichtigung, um Sie über den Fehler zu informieren. Zum Monitoring bereitgestellter Modelle, die den Vertex AI-Endpunkt verwenden, enthält der Blueprint ein Dashboard mit folgenden Messwerten:

  • Leistungsmesswerte:
    • Vorhersagen pro Sekunde
    • Modelllatenz
  • Ressourcennutzung:
    • CPU-Nutzung
    • Arbeitsspeichernutzung

Einrichtung der Organisationsrichtlinie

Zusätzlich zu den Organisationsrichtlinien, die vom Blueprint zu Unternehmensgrundlagen erstellt wurden, fügt dieser Blueprint die Organisationsrichtlinien hinzu, die unter vordefinierter Status für sichere KI, erweitert aufgeführt werden.

Vorgänge

In diesem Abschnitt werden die im Blueprint enthaltenen Umgebungen beschrieben.

Interaktive Umgebung

Damit Sie unter Beibehaltung des Sicherheitsstatus Ihrer Organisation Daten untersuchen und Modelle entwickeln können, bietet Ihnen die interaktive Umgebung eine kontrollierte Reihe von Aktionen, die Sie ausführen können. Sie können Ressourcen Google Cloudmit einer der folgenden Methoden bereitstellen:

  • Mit Service Catalog, der durch Automatisierung mit Ressourcenvorlagen vorkonfiguriert ist
  • Codeartefakte mithilfe von Vertex AI Workbench-Notebooks erstellen und per Commit an Git-Repositories übergeben

Das folgende Diagramm zeigt die interaktive Umgebung.

Die interaktive Blueprint-Umgebung.

Ein typischer interaktiver Ablauf umfasst die folgenden Schritte und Komponenten, die damit assoziiert sind:

  1. Service Catalog bietet eine ausgewählte Liste vonGoogle Cloud -Ressourcen, die Data Scientists in der interaktiven Umgebung bereitstellen können. Der Data Scientist stellt die Notebook-Ressource von Vertex AI Workbench aus dem Service Catalog bereit.
  2. Notebooks von Vertex AI Workbench sind die Hauptschnittstelle, über die Data Scientists mit Ressourcen arbeiten, Google Cloud die in der interaktiven Umgebung bereitgestellt werden. Mit den Notebooks können Data Scientists ihren Code aus Git abrufen und nach Bedarf aktualisieren.
  3. Quelldaten werden außerhalb der interaktiven Umgebung gespeichert und getrennt von diesem Blueprint verwaltet. Der Zugriff auf die Daten wird von einem Dateninhaber gesteuert. Data Scientists können Lesezugriff auf Quelldaten anfordern, aber Data Scientists können nicht in die Quelldaten schreiben.
  4. Data Scientists können Quelldaten in die interaktive Umgebung in Ressourcen übertragen, die über Service Catalog erstellt wurden. In der interaktiven Umgebung können Data Scientists die Daten lesen, schreiben und bearbeiten. Data Scientists können jedoch keine Daten aus der interaktiven Umgebung übertragen oder Zugriff auf Ressourcen gewähren, die von Service Catalog erstellt werden. BigQuery speichert strukturierte und semistrukturierte Daten, während Cloud Storage unstrukturierte Daten speichert.
  5. Feature Store bietet Data Scientists Zugriff auf Features für das Modelltraining mit niedriger Latenz.

  6. Data Scientists trainieren Modelle mithilfe von benutzerdefinierten Vertex AI-Trainingsjobs. Der Blueprint verwendet auch Vertex AI für die Hyperparameter-Abstimmung.

  7. Data Scientists bewerten Modelle mithilfe von Vertex AI Experiments und Vertex AI TensorBoard. Mit Vertex AI Experiments können Sie mehrere Trainings an einem Modell mit verschiedenen Parametern, Modellierungstechniken, Architekturen und Eingaben ausführen. Mit Vertex AI TensorBoard können Sie die verschiedenen ausgeführten Tests verfolgen, visualisieren und vergleichen und dann das Modell mit den am besten beobachteten Eigenschaften für die Validierung auswählen.

  8. Data Scientists validieren ihre Modelle mit Vertex AI Evaluation. Um ihre Modelle zu validieren, teilen Data Scientists die Quelldaten in einen Trainings- und einen Validierungsdatensatz auf und führen eine Vertex AI-Bewertung für ihr Modell durch.

  9. Datenwissenschaftler erstellen Container mit Cloud Build, speichern sie in Artifact Registry und verwenden sie in Pipelines in der Betriebsumgebung.

Betriebsumgebung

In der Betriebsumgebung werden ein Git-Repository und Pipelines verwendet. Diese Umgebung umfasst die Produktionsumgebung und die Nicht-Produktionsumgebung des Blueprints der Unternehmensgrundlage. In der Nicht-Produktionsumgebung wählt der Data Scientist eine Pipeline aus einer der Pipelines aus, die in der interaktiven Umgebung entwickelt wurden. Der Data Scientist kann die Pipeline in der Nicht-Produktionsumgebung ausführen, die Ergebnisse bewerten und dann bestimmen, welches Modell in die Produktionsumgebung hochgestuft werden soll.

Der Blueprint enthält eine Beispielpipeline, die mit Cloud Composer erstellt wurde, und eine mit Vertex AI Pipelines erstellte Beispielpipeline. Das folgende Diagramm zeigt die Betriebsumgebung.

Die Betriebsumgebung des Blueprints.

Ein typischer operativer Ablauf umfasst die folgenden Schritte:

  1. Ein Data Scientist führt einen Entwicklungszweig erfolgreich mit einem Bereitstellungszweig zusammen.
  2. Die Zusammenführung in den Bereitstellungszweig löst eine Cloud Build-Pipeline aus.
  3. Eines der folgenden Ereignisse tritt auf:
    • Wenn ein Data Scientist Cloud Composer als Orchestrator verwendet, verschiebt die Cloud Build-Pipeline einen DAG nach Cloud Storage.
    • Wenn der Data Scientist Vertex AI Pipelines als Orchestrator verwendet, verschiebt die Pipeline eine Python-Datei in Cloud Storage.
  4. Die Cloud Build-Pipeline löst den Orchestrator aus (Cloud Composer oder Vertex AI Pipelines).
  5. Der Orchestrator ruft seine Pipelinedefinition aus Cloud Storage ab und beginnt mit der Ausführung der Pipeline.
  6. Die Pipeline ruft einen Container aus Artifact Registry ab, der von allen Phasen der Pipeline verwendet wird, um Vertex AI-Dienste auszulösen.
  7. Die Pipeline löst mithilfe des Containers eine Datenübertragung vom Quelldatenprojekt in die Betriebsumgebung aus.
  8. Die Daten werden transformiert, validiert, aufgeteilt und für das Modelltraining und die Validierung durch die Pipeline vorbereitet.
  9. Bei Bedarf verschiebt die Pipeline Daten in den Vertex AI Feature Store, um während des Modelltrainings leicht darauf zugreifen zu können.
  10. Die Pipeline verwendet das Training von benutzerdefinierten Vertex AI-Modellen, um das Modell zu trainieren.
  11. Die Pipeline verwendet die Bewertung von Vertex AI, um das Modell zu validieren.
  12. Ein validiertes Modell wird von der Pipeline in die Model Registry importiert.
  13. Das importierte Modell wird dann verwendet, um Vorhersagen über Onlinevorhersagen oder Batchvorhersagen zu generieren.
  14. Nachdem das Modell in der Produktionsumgebung bereitgestellt wurde, verwendet die Pipeline Vertex AI Model Monitoring, um zu ermitteln, ob die Leistung des Modells durch Monitoring auf Abweichungen zwischen Training und Bereitstellung und Vorhersage-Drift beeinträchtigt wird.

Bereitstellung

Der Blueprint verwendet eine Reihe von Cloud Build-Pipelines, um die Blueprint-Infrastruktur, die Pipeline in der Betriebsumgebung und die Container zum Erstellen von Modellen für generative KI und ML bereitzustellen. Folgende Pipelines werden verwendet und die Ressourcen bereitgestellt:

  • Infrastrukturpipeline: Diese Pipeline ist Teil des Blueprints für Unternehmensgrundlagen. Diese Pipeline stellt die Google Cloud -Ressourcen bereit, die der interaktiven Umgebung und Betriebsumgebung zugeordnet sind.
  • Interaktive Pipeline:Die interaktive Pipeline ist Teil der interaktiven Umgebung. Diese Pipeline kopiert Terraform-Vorlagen aus einem Git-Repository in einen Cloud Storage-Bucket, den Service Catalog lesen kann. Die interaktive Pipeline wird ausgelöst, wenn eine Pull-Anfrage zur Zusammenführung mit dem Hauptzweig erfolgt.
  • Containerpipeline:Der Blueprint enthält eine Cloud Build-Pipeline zum Erstellen von Containern, die in der Betriebspipeline verwendet werden. Container, die umgebungsübergreifend bereitgestellt werden, sind unveränderliche Container-Images. Unveränderliche Container-Images gewährleisten, dass dasselbe Image in allen Umgebungen bereitgestellt wird und während deren Ausführung nicht geändert werden kann. Wenn Sie die Anwendung ändern müssen, müssen Sie das Image neu erstellen und noch einmal bereitstellen. Im Blueprint verwendete Container-Images werden in Artifact Registry gespeichert und in den Konfigurationsdateien, die in der Betriebspipeline verwendet werden, referenziert.
  • Betriebspipeline: Die Betriebspipeline ist Teil der Betriebsumgebung. Diese Pipeline kopiert DAGs für Cloud Composer oder Vertex AI Pipelines, mit denen dann Modelle erstellt, getestet und bereitgestellt werden.

Service Catalog

Mit Service Catalog können Entwickler und Cloud-Administratoren ihre Lösungen für interne Unternehmensnutzer nutzbar machen. Die Terraform-Module in Service Catalog werden als Artefakte erstellt und mit der Cloud Build-CI/CD-Pipeline im Cloud Storage-Bucket veröffentlicht. Nachdem die Module in den Bucket kopiert wurden, können Entwickler mithilfe der Module Terraform-Lösungen auf der Service Catalog-Admin-Seite erstellen, die Lösungen zu Service Catalog hinzufügen und die Lösungen für interaktive Umgebungsprojekte freigeben, sodass Nutzer die Ressourcen bereitstellen können.

Die interaktive Umgebung verwendet Service Catalog, damit Data Scientists Google Cloud Ressourcen so bereitstellen können, wie es dem Sicherheitsstatus ihres Unternehmens entspricht. Bei der Entwicklung eines Modells, das Ressourcen vom TypGoogle Cloud benötigt, z. B. einen Cloud Storage-Bucket, wählt der Data Scientist die Ressource aus dem Service Catalog aus, konfiguriert sie und stellt sie in der interaktiven Umgebung bereit. Service Catalog enthält vorkonfigurierte Vorlagen für verschiedene Google Cloud Ressourcen, die der Data Scientist in der interaktiven Umgebung bereitstellen kann. Der Data Scientist kann die Ressourcenvorlagen nicht ändern, sondern die Ressourcen über die Konfigurationsvariablen konfigurieren, die die Vorlage zur Verfügung stellt. Das folgende Diagramm zeigt die Struktur der Beziehung zwischen Service Catalog und interaktiver Umgebung.

Der Blueprint-Katalog.

Data Scientists stellen Ressourcen mithilfe des Service Catalog bereit, wie in den folgenden Schritten beschrieben:

  1. Der MLOps-Entwickler fügt eine Terraform-Ressourcenvorlage fürGoogle Cloud in ein Git-Repository ein.
  2. Der Commit für Git löst eine Cloud Build-Pipeline aus.
  3. Cloud Build kopiert die Vorlage und alle zugehörigen Konfigurationsdateien in Cloud Storage.
  4. Der MLOps-Entwickler richtet die Service Catalog-Lösungen und den Service Catalog manuell ein. Der Entwickler gibt den Service Catalog dann für ein Dienstprojekt in der interaktiven Umgebung frei.
  5. Der Data Scientist wählt eine Ressource aus dem Service Catalog aus.
  6. Service Catalog stellt die Vorlage in der interaktiven Umgebung bereit.
  7. Die Ressource ruft alle erforderlichen Konfigurationsskripts ab.
  8. Der Data Scientist interagiert mit den Ressourcen.

Repositories

Die unter Bereitstellung beschriebenen Pipelines werden durch Änderungen im entsprechenden Repository ausgelöst. Um sicherzustellen, dass niemand unabhängige Änderungen an der Produktionsumgebung vornehmen kann, werden die Verantwortlichkeiten zwischen Nutzern, die Code senden können, und Nutzern, die Codeänderungen genehmigen können, getrennt. In der folgenden Tabelle werden die Blueprint-Repositories und deren Absender und Genehmiger beschrieben.

Repository Pipeline Beschreibung Absender Genehmiger

ml-foundation

 Infrastruktur
 Enthält den Terraform-Code für den Blueprint für generative KI und ML, der die interaktiven und operativen Umgebungen erstellt. MLOps-Ingenieur DevOps-Entwickler

service-catalog

 Interaktiv Enthält die Vorlagen für die Ressourcen, die der Service Catalog bereitstellen kann. MLOps-Ingenieur DevOps-Entwickler

artifact-publish

 Container Enthält die Container, die Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

machine-learning

 Betrieblich Enthält den Quellcode, den Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

Verzweigungsstrategie

Der Blueprint verwendet nichtflüchtige Verzweigung, um Code in der zugehörigen Umgebung bereitzustellen. Der Blueprint verwendet drei Zweige (Entwicklung, Nicht-Produktion und Produktion), die die entsprechenden Umgebungen widerspiegeln.

Sicherheitskontrollen

Der Blueprint für generative KI und ML für Unternehmen verwendet ein mehrschichtiges, gestaffeltes Sicherheitsmodell, das standardmäßige Google Cloud -Funktionen,Google Cloud -Dienste und Sicherheitsfunktionen verwendet, die über den Blueprint für Unternehmensgrundlagen konfiguriert werden. Das folgende Diagramm zeigt die Schichten der verschiedenen Sicherheitskontrollen für den Blueprint.

Die Blueprint-Sicherheitskontrollen

Die Ebenen haben folgende Funktionen:

  • Schnittstelle: stellt Data Scientists Dienste zur Verfügung, mit denen sie auf kontrollierte Weise mit dem Blueprint interagieren können.
  • Bereitstellung: Stellt eine Reihe von Pipelines bereit, die Infrastruktur bereitstellen sowie Container und Modelle erstellen. Die Verwendung von Pipelines ermöglicht Überprüfbarkeit, Rückverfolgbarkeit und Wiederholbarkeit.
  • Netzwerk:Bietet Schutz vor Daten-Exfiltration um die Blueprint-Ressourcen auf API- und IP-Ebene.
  • Zugriffsverwaltung: steuert, wer auf welche Ressourcen zugreifen kann, und verhindert den nicht autorisierten Zugriff auf Ihre Ressourcen.
  • Verschlüsselung:Hiermit können Sie Ihre Verschlüsselungsschlüssel und Secrets steuern und zum Schutz Ihrer Daten durch Standardverschlüsselung ruhender Daten und Verschlüsselung während der Übertragung beitragen.
  • Detective:Hilft Ihnen, Fehlkonfigurationen und schädliche Aktivitäten zu erkennen.
  • Präventiv: Bietet die Möglichkeit, die Bereitstellung Ihrer Infrastruktur zu steuern und einzuschränken.

In der folgenden Tabelle werden die Sicherheitskontrollen beschrieben, die jeder Ebene zugeordnet sind.

Layer Ressource Sicherheitskontrollen
Schnittstelle Vertex AI Workbench Verwaltete Notebook-Umgebung mit Nutzerzugriffssteuerung, Netzwerkzugriffssteuerung, IAM-Zugriffssteuerung und deaktivierten Dateidownloads Diese Funktionen ermöglichen eine sicherere Nutzererfahrung.
Git-Repositories Bietet Nutzerzugriffskontrollen zum Schutz Ihrer Repositories.
Service Catalog Stellt Data Scientists eine ausgewählte Liste von Ressourcen zur Verfügung, die nur in genehmigten Konfigurationen bereitgestellt werden können.
Bereitstellung Infrastrukturpipeline Bietet einen sicheren Ablauf zum Bereitstellen der Blueprint-Infrastruktur mithilfe von Terraform.
Interaktive Pipeline Bietet einen sicheren Ablauf zum Übertragen von Vorlagen aus einem Git-Repository in einen Bucket innerhalb Ihrer Organisation Google Cloud .
Container-Pipeline Stellt einen sicheren Ablauf zum Erstellen von Containern bereit, die von der Betriebspipeline verwendet werden.
Betriebspipeline Bietet einen kontrollierten Ablauf zum Trainieren, Testen, Validieren und Bereitstellen von Modellen.
Artifact Registry Speichert Container-Images mithilfe der Ressourcenzugriffssteuerung auf sichere Weise
Netzwerk Private Service Connect Ermöglicht die Kommunikation mit Google Cloud APIs über private IP-Adressen, sodass Sie keinen Traffic gegenüber dem Internet exponieren.
VPC mit privaten IP-Adressen Der Blueprint verwendet VPCs mit privaten IP-Adressen, um die Anfälligkeit gegenüber Bedrohungen im Internet zu senken.
VPC Service Controls Schützt geschützte Ressourcen vor Daten-Exfiltration.
Firewall Schützt das VPC-Netzwerk vor unbefugtem Zugriff.
Zugriffsverwaltung Cloud Identity Bietet eine zentralisierte Nutzerverwaltung und reduziert das Risiko nicht autorisierter Zugriffe.
IAM Bietet eine differenzierte Kontrolle darüber, wer was mit welchen Ressourcen tun kann, und ermöglicht so die geringsten Berechtigungen in der Zugriffsverwaltung.
Verschlüsselung Cloud KMS Ermöglicht die Steuerung der Verschlüsselungsschlüssel, die in Ihrer OrganisationGoogle Cloud verwendet werden.
Secret Manager Stellt einen geheimen Speicher für Ihre Modelle bereit, der von IAM gesteuert wird.
Verschlüsselung ruhender Daten In der Standardeinstellung Google Cloud werden ruhende Daten verschlüsselt.
Verschlüsselung während der Übertragung Google Cloud verschlüsselt Daten bei der Übertragung standardmäßig.
Erkennung Security Command Center Bietet Bedrohungsdetektoren zum Schutz Ihrer Google Cloud Organisation.
Kontinuierliche Architektur Prüft Ihre Organisation Google Cloud kontinuierlich anhand einer Reihe von von Ihnen definierten Open Policy Agent-Richtlinien (OPA).
IAM Recommender Analysiert Nutzerberechtigungen und macht Vorschläge zur Reduzierung von Berechtigungen, um das Prinzip der geringsten Berechtigung durchzusetzen.
Firewall Insights Analysiert Firewallregeln, identifiziert Firewallregeln mit zu umfangreichen Berechtigungen und schlägt restriktivere Firewalls vor, um Ihren Sicherheitsstatus insgesamt zu verbessern.
Cloud Logging Bietet Einblick in die Systemaktivität und unterstützt die Erkennung von Anomalien und schädlichen Aktivitäten.
Cloud Monitoring Verfolgt wichtige Signale und Ereignisse, die bei der Identifizierung verdächtiger Aktivitäten helfen können.
Prävention Organisationsrichtliniendienst Damit können Sie Aktionen innerhalb Ihrer Google Cloud Organisation einschränken.

Nächste Schritte