Zustand, Ressourcennutzung und Jobs überwachen

Als BigQuery-Administrator können Sie den Zustand Ihrer Organisation, die Slot-Nutzung und die Leistung der Jobs im Zeitverlauf mit Diagrammen zur betrieblichen Integrität und Ressourcenauslastung überwachen. BigQuery bietet konfigurierbare Diagramme, die Ihnen bei Folgendem helfen:

• Betriebszustand von BigQuery überwachen: Das Echtzeit-Monitoring des Betriebszustands von BigQuery ist ein zentrales Monitoringsystem, mit dem Sie die Nutzung von BigQuery in der gesamten Organisation an mehreren Standorten beobachten können.

• BigQuery-Ressourcennutzung ansehen Mit historischen Daten können Sie Ursachenanalysen durchführen, die Kapazität planen und Leistungsänderungen diagnostizieren.

Hinweise

• Zum Aufrufen der betrieblichen Integrität müssen Sie Reservierungen verwenden, auf die Sie mit einem Administrationsprojekt zugreifen können. Dies ist keine Voraussetzung für das Aufrufen von Diagrammen zur Ressourcenauslastung.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihre Organisation zuzuweisen, um die Berechtigungen zu erhalten, die Sie benötigen, um alle Daten in den Diagrammen zu Betriebsstatus und Ressourcennutzung anzusehen:

• BigQuery Resource Viewer (roles/bigquery.resourceViewer)
• BigQuery Metadata Viewer (roles/bigquery.metadataViewer)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Aufrufen aller Daten in den Diagrammen zur Betriebsgesundheit und Ressourcennutzung erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um alle Daten in den Diagrammen zum Betriebszustand und zur Ressourcennutzung aufzurufen:

• So rufen Sie alle Daten in den Diagrammen zum Betriebszustand und zur Ressourcennutzung für eine Organisation auf:
  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll für die Organisation
  • bigquery.reservationAssignments.list für das Administrationsprojekt, mit dem die Reservierungen erstellt wurden
  • bigquery.capacityCommitments.list für das Administrationsprojekt, mit dem die Reservierungen erstellt wurden
• Als On-Demand-Nutzer müssen Sie Folgendes haben, um alle Daten in den Diagrammen zur Ressourcennutzung für eine Organisation aufzurufen: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll für die Organisation
• So rufen Sie zusammenfassende Daten zum Betriebszustand für die Speicherung von BigQuery-Tabelle auf: bigquery.tables.get or bigquery.tables.list für die Organisation
• So rufen Sie Diagramme zum Betriebszustand und zur Ressourcenauslastung auf Reservierungsebene auf:
  • bigquery.reservations.list für das Administrationsprojekt, mit dem die Reservierungen erstellt wurden
  • bigquery.reservationAssignments.list für das Administrationsprojekt, mit dem die Reservierungen erstellt wurden
• So rufen Sie Diagramme zur Ressourcenauslastung auf Projektebene auf: bigquery.jobs.listAll für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Betriebszustand im gesamten Unternehmen überwachen

Das Dashboard für den betrieblichen Status zeigt wichtige Messwerte für Ihre Organisation und deren Reservierungen an allen Standorten an, an denen Sie Reservierungen haben. In diesem Dashboard können Sie die folgenden Messwerte überwachen:

• Slotnutzung
• Shuffle-Nutzung
• Jobnebenläufigkeit
• Fehler
• Jobdauer
• Verarbeitete Byte
• Gesamtspeicherplatz

Diagramme zum Betriebsstatus ansehen

So rufen Sie Informationen zum Betriebszustand Ihrer Organisation auf:

1. Rufen Sie in der Google Cloud Console die BigQuery-Seite Monitoring auf.

   Zu Monitoring

2. Wählen Sie das Administrationsprojekt aus, mit dem Sie Slots gekauft und Reservierungen erstellt haben.

3. Rufen Sie auf der Seite Monitoring den Tab Betriebszustand auf, um eine Zusammenfassung der wichtigsten Messwerte Ihrer Organisation für alle Standorte und Reservierungen zu sehen.

4. Optional: Wenn Sie Echtzeitmesswerte sehen möchten, bei denen Abfragen alle fünf Minuten für aktuelle Daten ausgeführt werden, klicken Sie auf den Schalter Live-Daten. Standardmäßig ist diese Einstellung deaktiviert und die maximale Datenveralterung beträgt etwa eine Stunde.

5. Konfigurieren Sie die folgenden Felder, um die Messwerte zu filtern:

   • Wählen Sie in der Liste Standort auswählen eine Region aus, die überwacht werden soll.
   • Wählen Sie in der Liste Reservierung auswählen die Reservierung aus.
   • Wählen Sie in der Liste Projekt auswählen das Projekt aus.
   • Wählen Sie in der Liste Zeitraum einen Zeitraum aus.

6. Optional: Wenn Sie weitere Details zur Betriebsbereitschaft in einem Diagramm zur Ressourcenauslastung oder im Job-Explorer ansehen möchten, klicken Sie auf Weitere Informationen.

BigQuery erfasst die Messwerte durch Abfragen der folgenden INFORMATION_SCHEMA-Ansichten:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

Aufrufe

Auf dem Tab Betriebszustand werden die folgenden Zusammenfassungs- und Detailansichten angezeigt.

Zusammenfassung

Die Zusammenfassungsansicht zeigt den Zustand der Subsysteme Ihrer Organisation, einschließlich Reservierungen und Regionen, in den letzten 30 Minuten.

So rufen Sie die Zusammenfassungsansicht auf:

• Wählen Sie auf dem Tab Betriebszustand in der Liste Standort auswählen die Option Alle Standorte aus.

Detailansicht

Die Detailansicht zeigt detaillierte Zeitachsendiagramme verschiedener Messwerte an einem Standort oder auf Reservierungsebene an.

So rufen Sie die Detailansicht auf:

• Wählen Sie auf dem Tab Betriebszustand in der Liste Standort auswählen die Region oder Edition aus.

Mit den folgenden optionalen Filtern können Sie die in der Detailansicht angezeigten Daten eingrenzen:

• Wählen Sie in der Liste Reservierung auswählen die Reservierung aus.
• Wählen Sie in der Liste Projekt auswählen das Projekt aus.

Diagramme

BigQuery bietet die folgenden Tabellen- und Diagrammoptionen, mit denen Sie Ihre Messwerte zum Betriebsstatus im Detail analysieren können.

Übersichtstabelle

Die Übersichtstabellen enthalten die folgenden Messwerte:

• Slotnutzung. Die durchschnittliche Slot-Auslastung. Die gesamte Slotkapazität entspricht der Basiskapazität plus der automatisch skalierten maximalen Kapazität.
• Shuffle-Nutzung. Das Maximum aller durchschnittlichen Reservierungs-Shuffle-Nutzungsraten.
• Nebenläufigkeit Die maximale Anzahl von Jobs, die gleichzeitig ausgeführt werden.
• Verarbeitete Bytes. Die Gesamtzahl der Byte, die von abgeschlossenen Jobs verarbeitet wurden.
• Jobdauer. Die durchschnittliche Laufzeit der abgeschlossenen Jobs, berechnet vom Zeitpunkt der Erstellung des Jobs bis zu dem Zeitpunkt, an dem der Job beendet wurde.
• Speicher insgesamt. Die Gesamtzahl der aktiven logischen Byte zum Zeitpunkt der letzten Aktualisierung.

In der Ansicht werden zwei Übersichtstabellen angezeigt: Standortübersicht und Reservierungsübersicht. Jede Tabellenzeile steht für die Nutzung eines Standorts oder einer Reservierung.

Die Tabellen enthalten Messwerte für die 30 Minuten vor der letzten Aktualisierung. Wenn Livedaten aktiviert ist, werden die abgefragten Daten alle fünf Minuten aktualisiert. Wenn Livedaten deaktiviert sind, beträgt die maximale Datenveralterung etwa eine Stunde.

Die Tabellenzelle ist farbcodiert, wenn der Messwert über dem vordefinierten Schwellenwert liegt und es eine erhöhte Anzahl von Leistungsinformationen für wiederholte Jobs gibt:

• Wenn der Messwert innerhalb der 30 Minuten vor der letzten Aktualisierung größer als der P99-Wert der Nutzung der Vorwoche für denselben Tag ist, wird die Tabellenzelle mit einem dunkelblauen Hintergrund markiert.
• Wenn der Messwert innerhalb der 30 Minuten zwischen dem P95- und P99-Wert der Nutzung der letzten Woche für denselben Tag liegt, wird die Tabellenzelle mit einem hellblauen Hintergrund markiert.

Alle Schwellenwerte sind vordefiniert und können nicht angepasst werden. Sie können einen Grenzwert prüfen, indem Sie auf Info Info klicken.

Daten filtern

Sie können Daten in Diagrammen nach den folgenden Werten filtern:

• Standort. Es sind auch Regionen verfügbar, in denen die Organisation in den letzten 30 Tagen Aktivitäten ausgeführt hat. Die Zusammenfassungsansicht enthält eine Tabelle, in der die Nutzung in allen aktiven Regionen zusammengefasst ist.
• Reservierung. Dieses Feld ist nur in der Detailansicht verfügbar. Alle Reservierungen, die zum Administrationsprojekt gehören, sind verfügbar. Sie können nur eine Reservierung auswählen.
• Projekt. Dieses Feld ist nur in der Detailansicht verfügbar. Alle Projekte mit Traffic in der Organisation sind verfügbar. Sie können nur ein Projekt auswählen.
• Zeitraum. Dieses Feld ist nur in der Detailansicht verfügbar. Sie wirkt sich auf die Zeitachsendiagramme und das Fehler-Ringdiagramm in der Detailansicht aus. Die Datenskala in den Zeitachsendiagrammen wird automatisch entsprechend dem ausgewählten Zeitraum angepasst.

Diagramm: Top-aktive Abfragen

In diesem Diagramm werden die zehn wichtigsten Jobs mit aktiven Ressourcen angezeigt, die in absteigender Reihenfolge sortiert sind. Im Drop-down-Menü können Sie eine Sortieroption basierend auf der Slotnutzung oder der Jobdauer auswählen. Die Job-ID und die relevante Anzahl der Ressourcennutzung werden im Balkendiagramm angezeigt. Wählen Sie im Diagramm „Aktive Abfragen“ oben Weitere Informationen oder die Job-ID aus, um weitere Details im Job-Explorer aufzurufen. Weitere Informationen zu den Ausführungsdetails und zur Diagnose von Leistungsproblemen für Ihre BigQuery-Jobs finden Sie unter Statistiken zur Abfrageleistung abrufen.

Fehler-Ringdiagramm

Dieses Diagramm zeigt den Anteil der häufigsten Fehlerursachen im ausgewählten Zeitraum. In der Zusammenfassungsansicht deckt sie standardmäßig die letzten 30 Minuten ab. In der Detailansicht wird über die Zeitraumauswahl die Abdeckung gesteuert. Sie können die Fehler nach Typ, Inhaberprojekt oder Reservierung gruppieren. Die Anzahl der fehlgeschlagenen Jobs wird im Ringdiagramm angezeigt.

Zeitachsendiagramme für Messwerte

Die Diagramme enthalten eine Übersicht über die unterstützten Messwerte über einen Zeitraum von maximal 30 Tagen. Standardmäßig beträgt der Zeitraum eine Stunde. Wenn sich der ausgewählte Zeitraum ändert, wird der Detaillierungsgrad jedes Datenpunkts im Diagramm automatisch skaliert.

In diesen Diagrammen wird ein aggregierter Wert für eine Region oder Reservierung angezeigt. Das Anzeigen von Daten für mehrere Regionen oder mehrere Reservierungen wird nicht unterstützt.

Die Zeitachsendiagramme für Messwerte unterstützen die folgenden Messwerte:

• Slotnutzung. Die durchschnittliche Slot-Nutzung im ausgewählten Zeitraum. Die gesamte Slot-Nutzung von allen Jobs und fehlgeschlagenen Jobs wird separat angezeigt.
• Jobnebenläufigkeit. Die maximale Anzahl von Jobs, die im ausgewählten Zeitraum gleichzeitig ausgeführt wurden. Die Anzahl der laufenden und ausstehenden Jobs wird separat angezeigt und als gestapeltes Balkendiagramm dargestellt.
• Gescannte Byte. Die Gesamtzahl der Byte, die im ausgewählten Zeitraum von abgeschlossenen Jobs verarbeitet wurden.
• Shuffle. Das Maximum aller durchschnittlichen Shuffle-Nutzungsverhältnisse für Reservierungen im ausgewählten Zeitraum.
• Jobdauer. Die durchschnittliche Laufzeit von Jobs, die im ausgewählten Zeitraum abgeschlossen wurden, berechnet von der Joberstellungszeit bis zur Endzeit des Jobs.
• Fehler nach Typ. Das Fehler-Ringdiagramm zeigt den Anteil verschiedener Fehlerursachen im ausgewählten Zeitraum.

Neben den Messwerttrends werden in den Diagrammen Referenzlinien der P95- und P99-Messwerte der Nutzung der letzten Woche für denselben Tag angezeigt. Im Diagramm Jobnebenläufigkeit wird der Schwellenwert für die Summe der ausstehenden und laufenden Jobs angezeigt. Diese referenzierten Werte werden als Schwellenwerte für die Farbcodierung in der Zusammenfassungstabelle verwendet.

Wenn Sie mehr über das Diagramm erfahren möchten, klicken Sie auf Weitere Informationen. Sie werden zum Tab Ressourcennutzung weitergeleitet.

Statistiktabelle

In dieser Tabelle werden Kontingentfehler, Fehler vom Typ „Zugriff verweigert“ und Leistungsstatistiken zusammengefasst, die während der Jobausführung im ausgewählten Zeitraum erfasst wurden. Statistiken werden auf Reservierungsebene zusammengefasst. Jede Zeile enthält Informationen zum Insight-Typ, zum Standort, zur Reservierung, zu den Insight-Details und zu Beispiel-Job-IDs. Klicken Sie auf Job-IDs, um weitere Jobdetails im Job-Explorer aufzurufen. In der Zusammenfassungsansicht umfasst der Standardbeobachtungszeitraum die letzten 30 Minuten. In der Detailansicht wird über die Zeitraumauswahl der spezifische Zeitraum gesteuert, für den Beobachtungsdaten angezeigt werden.

Betriebszustand für ein einzelnes Projekt überwachen

Das Dashboard für den betrieblichen Status des Projekts ist die Standardansicht, die Sie erhalten, wenn Sie keinen Zugriff auf die gesamte Organisation haben oder Ihrem Projekt keine Reservierung gehört. Diese Ansicht kann Projektanalysten dabei helfen, den Systemzustand für ihre Projekte zu überwachen, ähnlich wie das Dashboard zum operativen Zustand auf Organisationsebene. Die Diagramme und Filter enthalten jedoch nur Daten auf Projektebene.

BigQuery-Ressourcennutzung ansehen

Mit BigQuery-Ressourcendiagrammen können Sie die bisherige Ressourcennutzung nachvollziehen, um zukünftige Anforderungen zu planen und Leistungsprobleme zu beheben.

Die Diagramme enthalten Messwerte, die durch Abfragen der folgenden INFORMATION_SCHEMA-Ansichten erfasst werden:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATION_CHANGES

Die Daten können in Echtzeit aktualisiert werden und reichen maximal 30 Tage zurück.

Wenn Sie die Ressourcennutzung aufrufen, können Sie Folgendes konfigurieren:

• Im Diagramm für die Ereigniszeitachse werden Daten über einen Zeitraum von maximal 30 Tagen angezeigt. Der Standardwert ist 6 Stunden.

• Das Hauptdiagramm zeigt ausgewählte Messwerte wie die Slot-Nutzung oder die verarbeiteten Byte im Zeitverlauf für Ihre Organisation oder Ihr Administratorprojekt. Eine Legende für das Diagramm enthält weitere Details zu den angezeigten Daten.

• Im Bereich Diagrammkonfiguration können Sie vordefinierte Ansichten Ihrer Messwerte auswählen oder eigene Messwerte für die Ansichten anpassen.

Das Diagramm zur Ressourcenauslastung enthält die folgenden Elemente:

• Bewegen Sie den Mauszeiger auf dem Tab „Ressourcenauslastung“ auf den Status-Chip oben im Diagramm, um weitere Informationen zu einem Messwert aufzurufen.

• Die Status-Chips enthalten auch die folgenden Informationen:

  • Wenn der Messwert noch geladen wird, wird ein Ladesymbol angezeigt.
  • Wenn für den Messwert veraltete Daten verwendet werden, wird ein Uhrsymbol angezeigt.
  • Wenn der Messwert aufgrund nicht unterstützter Filter auf Seitenebene nicht geladen werden kann, wird er durchgestrichen.
  • Wenn der Messwert nicht geladen werden kann, wird der Status-Chip hervorgehoben.

Diagramme zur Ressourcennutzung ansehen und konfigurieren

So rufen Sie die Diagramme zur Ressourcenauslastung auf und konfigurieren sie:

1. Rufen Sie in der Google Cloud Console die BigQuery-Seite Monitoring auf.

   Zu Monitoring

2. Wählen Sie das Projekt aus. Wenn Sie als Administrator die Nutzung von Reservierungsressourcen überwachen, wählen Sie das Administrationsprojekt aus, mit dem Sie Slots gekauft und Reservierungen erstellt haben. Wenn Sie als Fachkraft für Datenanalyse die Ressourcennutzung von Jobs überwachen, wählen Sie das entsprechende Projekt aus.

3. Rufen Sie auf der Seite Monitoring den Tab Ressourcennutzung auf, um eine Zusammenfassung der Ressourcennutzung aufgeschlüsselt nach Standort zu sehen.

4. Wählen Sie einen Zeitraum für die Messwerte in dieser Ansicht aus, z. B. 1 Tag. Wenn Sie Echtzeitmesswerte sehen möchten, bei denen Abfragen für aktuelle Daten ausgeführt werden, klicken Sie auf den Schalter Live-Daten. Diese Einstellung ist standardmäßig deaktiviert, um die Leistung zu verbessern. Die maximale Datenveralterung beträgt etwa eine Stunde.

5. Konfigurieren Sie im Bereich Diagrammkonfiguration die folgenden Felder:

   • Wählen Sie im Feld Messwertansicht eine der Ansichten aus.
   • Wählen Sie im Feld Messwerte einen Messwert aus, der angezeigt werden soll. Sie können einen Messwert hinzufügen oder bearbeiten.
   • Wählen Sie im Feld Gruppieren nach aus, wie die Daten gruppiert werden sollen.
   • Wählen Sie im Feld Filter aus, wie die Daten gefiltert werden sollen.

6. Klicken Sie auf Übernehmen, um die Änderungen an der Diagrammkonfiguration zu speichern.

Messwertansicht

BigQuery bietet vorkonfigurierte Ansichten von Messwerten zur Ressourcennutzung. In den folgenden Abschnitten werden die Messwerte beschrieben, die Sie in diesen Ansichten konfigurieren können.

Nutzung von Reservierungsslots

In dieser Ansicht sehen Sie Messwerte zur Aufschlüsselung der Slot-Nutzung für die Reservierungen im Administrationsprojekt. Für jeden Messwert gelten die folgenden Standardeinstellungen, die Sie im Bereich Diagrammkonfiguration bearbeiten können. Klicken Sie dazu auf den Namen des Messwerts:

• Die Standardnutzungsdaten stammen aus den Reservierungsressourcen.
• Der Standardbereich ist das Projekt.
• Die Standardaggregation erfolgt nach der durchschnittlichen Nutzung im ausgewählten Zeitraum.

Messwertname	Beschreibung
Reservierung – Slot-Nutzung	Überwacht die gesamte Slot-Nutzung für den ausgewählten Zeitraum.
Reservierung – Nutzung inaktiver Slots	Überwacht die Slotnutzung, die die Kapazität der Reservierung im ausgewählten Zeitraum übersteigt. Mit diesem Messwert können Sie die inaktiven Slots im Blick behalten, die von anderen Reservierungen und Zusicherungen ausgeliehen wurden, oder die Rundungsungenauigkeiten bei den Nutzungsdaten. Letzteres kann dazu führen, dass dieser Messwert einen Wert ungleich null hat, auch wenn die gemeinsame Nutzung von inaktiven Slots deaktiviert ist.  Die Nutzung inaktiver Slots ist ein Schätzwert, der auf Grundlage von Slot-Nutzung, Zugesicherte Slots und Automatisch skalierte Slots berechnet wird. Wenn der Wert für die Slotnutzung die Zusicherungskapazität und die Autoscaling-Slots überschreitet, werden die verbleibenden Slots im Diagramm als inaktive Slots gruppiert.
Reservierung – Verwendete Referenzslots	Überwacht die Slots, die aus der Reservierungsreferenz verwendet werden.
Reservierung – Automatisch skalierte verwendete Slots	Überwacht die verwendeten Slots aus automatisch skalierten Slots der Reservierung.

Übersicht über die Versionsnutzung

In dieser Ansicht sehen Sie Messwerte zur Slotnutzung und ‑kapazität für Editionsressourcen im Administrationsprojekt. Jeder Messwert hat die folgenden Standardeinstellungen, die Sie im Bereich Diagrammkonfiguration bearbeiten können. Klicken Sie dazu auf den Namen des Messwerts:

• Die Standardnutzungsdaten stammen aus der Reservierungsressource und die Kapazitätsdaten aus der Editionsressource.
• Der Standardbereich ist das Projekt.

Messwertname	Beschreibung
Reservierung – Slot-Nutzung	Überwacht die Slot-Nutzung für den ausgewählten Zeitraum. Die Standardaggregation erfolgt nach der Slot-Nutzung im 99. Perzentil im ausgewählten Zeitraum.
Reservierung – Nutzung inaktiver Slots	Überwacht die Slotnutzung, die die Kapazität der Reservierung im ausgewählten Zeitraum übersteigt. Mit diesem Messwert können Sie die inaktiven Slots im Blick behalten, die von anderen Reservierungen und Zusicherungen ausgeliehen wurden, oder die Rundungsungenauigkeiten bei den Nutzungsdaten. Letzteres kann dazu führen, dass dieser Messwert einen Wert ungleich null hat, auch wenn die gemeinsame Nutzung von Leerlauf-Slots deaktiviert ist.  Die Nutzung inaktiver Slots ist ein Schätzwert, der auf Grundlage von Slot-Nutzung, Zugesicherte Slots und Automatisch skalierte Slots berechnet wird. Wenn der Wert für die Slotnutzung die Zusicherungskapazität und die Autoscaling-Slots überschreitet, werden die verbleibenden Slots im Diagramm als inaktive Slots gruppiert.  Die Standardaggregation erfolgt nach der P99-Ressourcennutzung im ausgewählten Zeitraum.
Version – Referenzkapazität	Überwacht die Baseline-Größe von Reservierungen in diesem Administrationsprojekt.
Version – Maximale Kapazität	Hier sehen Sie die maximale Anzahl der im ausgewählten Zeitraum verfügbaren Slots. Der Messwert ist die Summe aus Zusicherungskapazität, Basiskapazität und automatisch skalierter Kapazität. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.
Version – Zugewiesene Kapazität	Hier wird die tatsächliche Anzahl der Slots angezeigt, die den Ressourcen Ihrer Edition im ausgewählten Zeitraum zugewiesen wurden. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.

Aktuelles Projekt – Übersicht

In dieser Ansicht sehen Sie Messwerte zu Jobressourcen in dem Projekt, in dem Sie Abfragen ausführen. Für jeden Messwert sind die folgenden Standardeinstellungen festgelegt, die Sie im Bereich Diagrammkonfiguration bearbeiten können. Klicken Sie dazu auf den Namen des Messwerts:

• Die Standardressource ist die Jobressource.
• Der Standardbereich ist das Projekt.

Messwertname	Beschreibung
Job-, Projekt- und Slot-Nutzung	Überwacht die Slot-Nutzung für den ausgewählten Zeitraum. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.
Job – Projekt – Verarbeitete Bytes	Überwacht die Gesamtzahl der Byte, die im ausgewählten Zeitraum von abgeschlossenen Jobs verarbeitet wurden. Die Standardaggregation erfolgt nach der Summe der im ausgewählten Zeitraum verarbeiteten Byte.
Job – Projekt – Jobnebenläufigkeit	Hier wird die Anzahl der Jobs überwacht, die im ausgewählten Zeitraum gleichzeitig ausgeführt werden. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.
Job – Projekt – Jobdauer	Überwacht die Laufzeit abgeschlossener Jobs im ausgewählten Zeitraum. Die Laufzeit wird als die Zeit zwischen der Erstellung und dem Abschluss eines Jobs gemessen. Die Standardaggregation erfolgt nach der durchschnittlichen Laufzeit im ausgewählten Zeitraum.

Eigene Reservierung – Übersicht

In dieser Ansicht sehen Sie Messwerte zur Jobaktivität mit Reservierungsressourcen im Administrationsprojekt. Für jeden Messwert gelten die folgenden Standardeinstellungen, die Sie im Bereich Diagrammkonfiguration bearbeiten können, indem Sie auf den Namen des Messwerts klicken:

• Die Standardressource ist die Reservierungsressource.
• Der Standardbereich ist das Projekt.

Messwertname	Beschreibung
Reservierung – Slot-Nutzung	Überwacht die Slot-Nutzung für den ausgewählten Zeitraum. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.
Reservierung – Verarbeitete Bytes	Überwacht die Gesamtzahl der Byte, die im ausgewählten Zeitraum von abgeschlossenen Jobs verarbeitet wurden. Die Standardaggregation erfolgt nach der Summe der im ausgewählten Zeitraum verarbeiteten Byte.
Reservierung – Jobnebenläufigkeit	Hier wird die Anzahl der Jobs überwacht, die im ausgewählten Zeitraum gleichzeitig ausgeführt werden. Die Standardaggregation erfolgt nach der maximalen Ressourcennutzung im ausgewählten Zeitraum.
Reservierung – Jobdauer	Überwacht die Laufzeit abgeschlossener Jobs im ausgewählten Zeitraum. Die Laufzeit ist die Zeit zwischen der Erstellung und dem Abschluss eines Jobs. Dazu gehören das Einreihen in die Warteschlange und Wiederholungsversuche. Die Standardaggregation erfolgt nach der durchschnittlichen Laufzeit im ausgewählten Zeitraum.
Reservierung – Shuffle-Nutzung	Beobachtet das Shuffle-Nutzungsverhältnis im ausgewählten Zeitraum. Die Standardaggregation erfolgt nach der durchschnittlichen Nutzung im ausgewählten Zeitraum.

Benutzerdefinierte Ansicht

Wenn Sie eine benutzerdefinierte Messwertansicht erstellen möchten, können Sie Messwerte von Grund auf hinzufügen oder mit einer der vordefinierten Messwertansichten beginnen, z. B. der Messwertansicht Reservierungsübersicht, und die Messwerte darin anpassen.

Messwerte

Wenn Sie ein Diagramm konfigurieren, können Sie die Messwerte für die Ressourcennutzung, die es überwacht, hinzufügen, bearbeiten oder löschen.

So konfigurieren Sie Messwerte für das Diagramm zur Ressourcenauslastung:

1. Rufen Sie in der Google Cloud Console die Diagramme zur BigQuery-Ressourcenauslastung auf.

2. Konfigurieren Sie im Bereich Diagrammkonfiguration das Feld Messwerte:

   1. Klicken Sie auf Element hinzufügen > Messwert auswählen.

   2. Wählen Sie im Dialogfeld Messwert auswählen Folgendes aus:

      1. Der Typ der zu überwachenden Ressource: Job, Reservation oder Edition.
      2. Der zu überwachende Bereich. Wenn Sie beispielsweise Jobmesswerte im aktuellen Projekt überwachen möchten, wählen Sie den Bereich Projekt aus.
      3. Wählen Sie einen Messwert aus, der überwacht werden soll. Wenn Sie beispielsweise die Nutzung von Job-Slots überwachen möchten, wählen Sie Slot usage (Slot-Nutzung) aus.

   3. Klicken Sie auf Übernehmen.

   4. Wählen Sie im Dialogfeld Neues Element die Zusammenfassung aus. Wenn Sie beispielsweise die maximale Slotnutzung über die Kapazität der Reservierung hinaus im ausgewählten Zeitraum beobachten möchten, wählen Sie Max aus.

   5. Klicken Sie auf Fertig, um den Messwert zu speichern.

3. Optional: Wenn Sie einen vorhandenen Messwert ändern möchten, klicken Sie auf seinen Namen und bearbeiten Sie die Einstellungen oder löschen Sie ihn.

Unterstützte Ressourcentypen und Bereiche für Messwerte

Messwerte zur Ressourcennutzung werden nach Ressourcentyp und ‑bereich kategorisiert.

Ressourcentypen

Sie können die folgenden Ressourcentypen überwachen:

Ressource	Beschreibung
Job	Messwerte zu BigQuery-Jobdetails für einen bestimmten Bereich und Zeitraum.
Reservierung	Messwerte zur BigQuery-Reservierungsnutzung für einen bestimmten Bereich und Zeitraum. Bei diesen Messwerten werden Jobdetails nach Reservierung zusammengefasst. Wenn Sie nur teilweisen Datenzugriff auf Reservierungsebene haben, sind aggregierte Messwerte zur Reservierungsnutzung verfügbar, ohne Zugriff auf Details auf Jobebene.
Version	Messwerte zur BigQuery-Versionskapazität für einen bestimmten Bereich und Zeitraum.

Bereichstypen

Nachdem Sie eine Ressource für einen Messwert ausgewählt haben, wählen Sie einen Bereich aus.

• Die Ressourcen für Reservierungen und Editionen haben standardmäßig einen Umfang auf Projektebene.
• Die Job-Ressource kann auf Projekt-, Ordner- oder Organisationsebene festgelegt werden. Für größere Bereiche sind zusätzliche Berechtigungen erforderlich.

Gruppieren nach

So gruppieren Sie Daten in Ihrem Diagramm zur Ressourcenauslastung:

1. Rufen Sie in der Google Cloud Console die Diagramme zur BigQuery-Ressourcenauslastung auf.

2. Konfigurieren Sie im Bereich Diagrammkonfiguration das Feld Gruppieren nach, indem Sie eine der folgenden Optionen auswählen:

   • Keine: Diese Option bietet eine allgemeine Übersicht über die ausgewählten Messwerte im Zeitverlauf in der gesamten Organisation.
   • Projekt: Mit dieser Option werden die ausgewählten Messwerte nach Projekt gruppiert. Wenn mehr als 50 Projekte verfügbar sind, werden nur die 50 Projekte mit der höchsten Slot-Nutzung angezeigt.
   • Alle anderen Optionen zum Gruppieren nach: Diese Optionen ähneln der Projektansicht, wobei die Daten nach der entsprechenden Dimension gruppiert sind. Wenn eine Option für „Gruppieren nach“ nicht für alle ausgewählten Messwerte unterstützt wird, kann sie nicht ausgewählt werden.

Filter

Wenn Sie das Diagramm zur Ressourcennutzung konfigurieren, können Sie Filter auf Ihre Daten anwenden, z. B. um die Ressourcennutzung für Ressourcen der Enterprise-Version oder nach Ressourcen-ID anzuzeigen.

Diagrammdaten können Sie mit Filtern aus dem Filterbereich eingrenzen. Sie können nur einen Filter auswählen, wenn er für die von Ihnen ausgewählten Messwerte unterstützt wird. Klicken Sie auf das Menü Filter, um die erforderlichen Berechtigungen aufzurufen.

Ressourcenauslastungsdaten auf Projektebene ansehen

Sie können die Ressourcennutzung auf Projektebene mit denselben Konfigurationsschritten analysieren, die Sie auch zum Aufrufen von Daten auf Organisationsebene verwenden. In Diagrammen werden nur Daten auf Projektebene und Konfigurationsoptionen angezeigt. Optionen auf Organisationsebene sind ausgegraut. Dieser Umfang auf Projektebene zeigt die gesamte Ressourcennutzung unabhängig vom Abrechnungsmodus innerhalb des Kontextprojekts.

Einschränkungen des Ressourcennutzungsdiagramms

• Das Diagramm und die Tabelle in der Mitte der Seite enthalten Messwerte, die für den ausgewählten Zeitraum und die ausgewählte Granularität relevant sind.
• Messwerte mit derselben Einheit haben dieselbe Skala. Das Diagramm unterstützt bis zu zwei verschiedene Skalen.

Slot-Konflikte beheben

Slotkonflikte können auftreten, wenn nicht genügend Slots zum Ausführen aller Ihrer Jobs vorhanden sind, was zu Leistungsproblemen führt. Informationen zur Fehlerbehebung bei Problemen mit der Slot-Konkurrenz finden Sie in den folgenden Schritten und Best Practices.

Wenn Sie diese Best Practices ausprobiert haben, aber weiterhin Probleme mit der Leistung von Jobs auftreten, können Sie Support anfordern.

Spitzen bei der Jobnebenläufigkeit

In der Detailansicht können Sie nach plötzlichen Anstiegen bei Jobausführungen suchen, bei denen es zu gleichzeitigen Spitzen bei der Slotnutzung kommt. Das kann darauf hindeuten, dass zu viele Jobs um die durch Ihr Reservierungslimit begrenzten Slots konkurrieren.

• Best Practice: Optimieren Sie ressourcenintensive Abfragen oder die Slotkapazität Ihrer Reservierung. Weitere Informationen zur Optimierung der Abfrageleistung finden Sie unter Abfrageberechnung optimieren.

Hohe Slot-Nutzung

Verwenden Sie die Detailansicht, um nach längeren Joblaufzeiten zu suchen, insbesondere wenn es Jobs gibt, die die maximale Kapazität Ihrer Reservierung überschreiten. Eine gleichbleibend hohe Slot-Nutzung kann auf einen anhaltenden Slot-Konflikt hinweisen.

• Best Practice: Prüfen Sie Abfragen mit dem Filter für Slot-Konflikte im Job-Explorer, um die Abfragen zu ermitteln, die die meisten Slots belegen, und optimieren Sie sie.

Lange Jobdauern

Wenn die Ausführung von Jobs deutlich länger dauert, sehen Sie sich die Detailansicht an. Eine hohe Job-Nebenläufigkeit und Spitzen bei der Slotnutzung können auf Slot-Konflikte hinweisen.

• Best Practice: Isolieren Sie kritische Jobs, indem Sie weniger wichtige Jobs vorübergehend pausieren oder die Gesamtrate der Jobübermittlung reduzieren.

Nachrichten zu Slot-Konflikten

In der Tabelle mit Statistiken können Meldungen wie There were NUMBER jobs detected with slot_contention in the reservation. angezeigt werden, die auf Probleme mit der Slot-Konkurrenz hinweisen. Im Job-Explorer finden Sie Details zu den in diesen Nachrichten gekennzeichneten Jobs.

• Best Practice: Optimieren Sie die ermittelten Abfragen oder passen Sie die Slot-Zuweisung Ihrer Reservierung an.

Nächste Schritte

• Reservierungen
• Kauf von Slots
• Anforderungen an die Slotkapazität schätzen
• Slot-Empfehlungen und -Statistiken ansehen.