KI und ML: Kostenoptimierung

Dieses Dokument in Well-Architected Framework: AI and MLperspektive bietet einen Überblick über Prinzipien und Empfehlungen zur Kostenoptimierung Ihrer KI-Systeme im gesamten ML-Lebenszyklus. Durch einen proaktiven und fundierten Kostenmanagementansatz kann Ihr Unternehmen das volle Potenzial der KI- und ML-Systeme ausschöpfen und gleichzeitig die finanzielle Disziplin beibehalten. Die Empfehlungen in diesem Dokument entsprechen der Säule zur Kostenoptimierung des Google Cloud Well-Architected Framework.

Mit KI- und ML-Systemen können Sie aus Daten wertvolle Informationen und Prognosefunktionen gewinnen. Sie können beispielsweise Reibungspunkte in internen Prozessen reduzieren, die Nutzerfreundlichkeit verbessern und tiefere Kundeninformationen gewinnen. Die Cloud bietet große Mengen an Ressourcen und eine schnelle Wertschöpfung ohne große Vorabinvestitionen für KI- und ML-Arbeitslasten. Um den Geschäftswert zu maximieren und die Ausgaben an Ihren Geschäftszielen auszurichten, müssen Sie die Kostentreiber verstehen, die Kosten proaktiv optimieren, Ausgabenkontrollen einrichten und FinOps-Praktiken anwenden.

Kosten und Retouren definieren und messen

Damit Sie Ihre KI- und ML-Kosten in Google Cloudeffektiv verwalten können, müssen Sie die Ausgaben für Cloud-Ressourcen und den Geschäftswert Ihrer KI- und ML-Initiativen definieren und messen. Google Cloud bietet umfassende Tools für die Abrechnung und das Kostenmanagement, mit denen Sie Ausgaben detailliert im Blick behalten können. Zu den Messwerten für den Geschäftswert, die Sie messen können, gehören Kundenzufriedenheit, Umsatz und Betriebskosten. Indem Sie konkrete Messwerte für Kosten und Geschäftswert festlegen, können Sie fundierte Entscheidungen über die Ressourcenzuweisung und -optimierung treffen.

Beachten Sie die folgenden Empfehlungen:

  • Legen Sie klare Geschäftsziele und Leistungskennzahlen (KPIs) für Ihre KI- und ML-Projekte fest.
  • Verwenden Sie die von Google Cloud bereitgestellten Zahlungsinformationen, um Prozesse zur Kostenüberwachung und -berichterstellung zu implementieren, mit denen Sie Kosten bestimmten KI- und ML-Aktivitäten zuordnen können.
  • Richten Sie Dashboards, Benachrichtigungs- und Berichtssysteme ein, um Kosten und Erträge anhand von KPIs zu verfolgen.

Ressourcenzuweisung optimieren

Sie müssen die Ressourcenzuweisung optimieren, um die Kosteneffizienz für Ihre KI- und ML-Arbeitslasten in Google Cloudzu erreichen. Wenn Sie die Ressourcenzuweisung sorgfältig auf die Anforderungen Ihrer Arbeitslasten abstimmen, können Sie unnötige Kosten vermeiden und dafür sorgen, dass Ihre KI- und ML-Systeme die Ressourcen haben, die für eine optimale Leistung erforderlich sind.

Beachten Sie die folgenden Empfehlungen:

  • Mit Autoscaling können Sie Ressourcen für Training und Inferenz dynamisch anpassen.
  • Beginnen Sie mit kleinen Modellen und Daten. Sparen Sie Kosten, indem Sie Hypothesen nach Möglichkeit in einem kleineren Maßstab testen.
  • Ermitteln Sie Ihre Computing-Anforderungen durch Experimentieren. Passen Sie die Ressourcen, die für Training und Bereitstellung verwendet werden, anhand Ihrer ML-Anforderungen an.
  • Setzen Sie MLOps-Praktiken ein, um Duplikate, manuelle Prozesse und eine ineffiziente Ressourcenzuweisung zu reduzieren.

Datenmanagement- und Governance-Praktiken durchsetzen

Effektive Datenmanagement- und Governance-Praktiken spielen bei der Kostenoptimierung eine entscheidende Rolle. Gut organisierte Daten helfen Ihrem Unternehmen, unnötige Duplikate zu vermeiden, den Aufwand für die Beschaffung qualitativ hochwertiger Daten zu verringern und Teams die Wiederverwendung von Datasets zu erleichtern. Durch die proaktive Datenverwaltung können Sie Speicherkosten senken, die Datenqualität verbessern und dafür sorgen, dass Ihre ML-Modelle trainiert werden und mit den relevantesten und wertvollsten Daten arbeiten.

Beachten Sie die folgenden Empfehlungen:

  • Ein klar definiertes Data-Governance-Framework etablieren und übernehmen
  • Wenden Sie Labels und relevante Metadaten auf Datasets zum Zeitpunkt der Datenaufnahme an.
  • Sorgen Sie dafür, dass Datasets in der gesamten Organisation auffindbar und zugänglich sind.
  • Machen Sie Ihre Datasets und Features nach Möglichkeit während des gesamten ML-Lebenszyklus wiederverwendbar.

Mit MLOps automatisieren und optimieren

Ein Hauptvorteil der Einführung von MLOps-Praktiken ist die Senkung der Kosten, sowohl aus technologischer Sicht als auch in Bezug auf die Personalaktivitäten. Die Automatisierung hilft Ihnen, doppelte ML-Aktivitäten zu vermeiden und die Produktivität von Data Scientists und ML-Entwicklern zu verbessern.

Beachten Sie die folgenden Empfehlungen:

  • Erhöhen Sie das Maß an Automatisierung und Standardisierung in Ihren Technologien zur Datenerfassung und -verarbeitung, um Entwicklungsaufwand und -zeit zu reduzieren.
  • Entwickeln Sie automatisierte Schulungspipelines, um den Bedarf an manuellen Eingriffen zu reduzieren und die Produktivität der Entwickler zu steigern. Implementieren Sie Mechanismen für die Pipelines, um vorhandene Assets wie vorbereitete Datasets und trainierte Modelle wiederzuverwenden.
  • Verwenden Sie die Dienste zur Modellbewertung und -optimierung in Google Cloud , um die Modellleistung mit weniger Iterationen zu steigern. So können Ihre KI- und ML-Teams in kürzerer Zeit mehr Ziele erreichen.

Verwaltete Dienste und vortrainierte oder vorhandene Modelle verwenden

Es gibt viele Ansätze, um Geschäftsziele mithilfe von KI und ML zu erreichen. Verfolgen Sie einen inkrementellen Ansatz für die Modellauswahl und Modellentwicklung. So vermeiden Sie übermäßige Kosten, die mit einem jedes Mal neu beginnen müssen. Beginnen Sie zur Kostenkontrolle mit einem einfachen Ansatz: Verwenden Sie ML-Frameworks, verwaltete Dienste und vortrainierte Modelle.

Beachten Sie die folgenden Empfehlungen:

  • Ermöglichen Sie explorative und schnelle ML-Tests mithilfe von Notebook-Umgebungen.
  • Nutzen Sie vorhandene und vortrainierte Modelle als Ausgangspunkt, um die Modellauswahl und den Entwicklungsprozess zu beschleunigen.
  • Modelle mit verwalteten Diensten trainieren oder bereitstellen. Sowohl AutoML als auch verwaltete benutzerdefinierte Modelltrainingsdienste können dazu beitragen, die Kosten des Modelltrainings zu senken. Verwaltete Dienste können auch dazu beitragen, die Kosten Ihrer Modellbereitstellungsinfrastruktur zu senken.

Eine Kultur des Kostenbewusstseins und der kontinuierlichen Optimierung fördern

Schaffen Sie eine auf Zusammenarbeit ausgerichtete Umgebung, die Kommunikation und regelmäßige Überprüfungen fördert. Dieser Ansatz hilft Teams, Möglichkeiten zur Kosteneinsparung während des gesamten ML-Lebenszyklus zu identifizieren und zu implementieren.

Beachten Sie die folgenden Empfehlungen:

  • Wenden Sie die FinOps-Prinzipien über den gesamten ML-Lebenszyklus hinweg an.
  • Sorgen Sie dafür, dass für alle Kosten und geschäftlichen Vorteile von KI- und ML-Projekten die Verantwortlichen eindeutig nachvollziehbar sind.

Beitragende

Autoren:

Weitere Beitragende: