MariaDB 集成会收集与 InnoDB、缓冲池和各种其他操作相关的性能指标。它还会收集常规、错误和慢查询日志,并将其解析为 JSON 载荷。错误日志会被解析为其错误代码和子系统。慢查询日志会被解析为描述查询性能的键值对,包括查询时间和检查的行。
如需详细了解 MariaDB,请参阅 MariaDB 文档。
前提条件
如需收集 MariaDB 遥测数据,您必须安装 Ops Agent:
- 对于指标,请安装 2.37.0 版或更高版本。
- 对于日志,请安装 2.37.0 版或更高版本。
此集成支持 MariaDB 10.1.X 至 10.7.X 版。
配置 MariaDB 实例
MariaDB 是社区开发的商业支持的 MySQL 关系型数据库管理系统 (RDBMS) 分支。如需收集 MariaDB 的日志和指标,请使用 mysql
接收器。
mysql
指标接收器默认使用 Unix 套接字和 Unix 身份验证作为 root
用户身份连接到本地 MariaDB 服务器。
mysql_error
日志记录接收器会从下表中所示的默认文件路径收集日志。在某些平台上,MariaDB 默认将日志记录到 journald
,而不是记录到文件。如需将 MariaDB 配置为改为将日志记录到文件,请在 MariaDB 配置中设置 log_error
选项。如需详细了解 log_error
配置,请参阅将错误日志写入文件。
为 MariaDB 配置 Ops Agent
按照配置 Ops Agent 指南,添加从 MariaDB 实例收集遥测数据所需的元素并重启代理。
配置示例
以下命令会创建相关配置来收集和注入 MariaDB 的遥测数据,并重启 Ops Agent。
配置日志收集
如需从 MariaDB 注入日志,您必须为 MariaDB 生成的日志创建接收器,然后为新的接收器创建流水线。
如需为 mysql_error
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
exclude_paths |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
|
include_paths |
[/var/log/mysqld.log, /var/log/mysql/mysqld.log, /var/log/mysql/error.log, /run/mysqld/mysqld.err, /var/lib/mysql/${HOSTNAME}.err] |
要通过对每个文件执行 tail 来读取的文件系统路径列表。路径中可以使用通配符 (* );例如 /var/log/mysql/*.log 。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
type |
该值必须为 mysql_error 。 |
|
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
如需为 mysql_general
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
exclude_paths |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
|
include_paths |
[/var/lib/mysql/${HOSTNAME}.log] |
要通过对每个文件执行 tail 来读取的文件系统路径列表。路径中可以使用通配符 (* )。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
type |
该值必须为 mysql_general 。 |
|
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
如需为 mysql_slow
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
exclude_paths |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
|
include_paths |
[/var/lib/mysql/${HOSTNAME}-slow.log] |
要通过对每个文件执行 tail 来读取的文件系统路径列表。路径中可以使用通配符 (* )。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
type |
该值必须为 mysql_slow 。 |
|
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
记录的内容
logName
派生自配置中指定的接收器 ID。LogEntry
中的详细字段如下所示。
mysql_error
日志包含 LogEntry
中的以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.errorCode |
字符串 | 与日志关联的 MySQL 错误代码 |
jsonPayload.level |
字符串 | 日志条目级别 |
jsonPayload.message |
字符串 | 日志消息 |
jsonPayload.subsystem |
字符串 | 日志源自的 MySQL 子系统 |
jsonPayload.tid |
数值 | 日志源自的线程 ID |
severity |
字符串 (LogSeverity ) |
日志条目级别(已转换)。 |
mysql_general
日志包含 LogEntry
中的以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.command |
字符串 | 要记录的数据库操作的类型 |
jsonPayload.message |
字符串 | 数据库操作的日志 |
jsonPayload.tid |
数值 | 日志源自的线程 ID |
severity |
字符串 (LogSeverity ) |
日志条目级别(已转换)。 |
mysql_slow
日志包含 LogEntry
中的以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.bytesSent |
数值 | 发送到所有客户端的字节数 |
jsonPayload.createdTmpDiskTables † |
数值 | 服务器创建的内部磁盘中临时表的数量 |
jsonPayload.createdTmpTables † |
数值 | 服务器创建的内部临时表的数量 |
jsonPayload.createdTmpTableSizes † |
数值 | 服务器创建的内部临时表所使用的字节数 |
jsonPayload.database |
字符串 | 执行查询的数据库 |
jsonPayload.filesort † |
布尔值 | 语句使用了文件排序 |
jsonPayload.filesortOnDisk † |
布尔值 | 语句使用了需要磁盘上临时表的文件排序 |
jsonPayload.fullJoin † |
布尔值 | 语句未使用索引联接表 |
jsonPayload.fullScan † |
布尔值 | 语句使用了全表扫描 |
jsonPayload.host |
字符串 | 客户端连接时所用的主机名 |
jsonPayload.ipAddress |
字符串 | 客户端连接时所用的 IP 地址 |
jsonPayload.lockTime |
数值 | 获取锁的时间,以秒为单位 |
jsonPayload.message |
字符串 | 查询的全文 |
jsonPayload.priorityQueue † |
布尔值 | 语句使用了优先级队列文件排序 |
jsonPayload.queryCacheHit |
布尔值 | 语句由查询缓存提供 |
jsonPayload.queryTime |
数值 | 语句执行时间,以秒为单位 |
jsonPayload.rowsAffected |
整数 | 受语句影响的行数 |
jsonPayload.rowsExamined |
数值 | 服务器层检查的行数 |
jsonPayload.rowsSent |
数值 | 发送到客户端的行数 |
jsonPayload.sortMergePasses † |
数值 | 排序算法必须执行的合并传递次数 |
jsonPayload.storedRoutine |
字符串 | 当前正在执行的存储例程的名称 |
jsonPayload.tid |
数值 | 记录查询的线程 ID |
jsonPayload.user |
字符串 | 执行查询的经过身份验证的用户 |
severity |
字符串 (LogSeverity ) |
日志条目级别(已转换)。 |
† 仅当 log_slow_verbosity
系统变量包含 'query_plan'
时,才提供这些字段。
配置指标收集
如需从 MariaDB 注入指标,您必须为 MariaDB 生成的指标创建接收器,然后为新的接收器创建流水线。
此接收器不支持在配置中使用多个实例,例如,监控多个端点。所有这些实例都会写入相同的时序,并且 Cloud Monitoring 无法区分它们。
如需为 mysql
指标配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
collection_interval |
60s |
时长值,例如 30s 或 5m 。 |
endpoint |
/var/run/mysqld/mysqld.sock |
以 / 开头的 hostname:port 或 Unix 套接字路径,用于连接到 MariaDB 服务器。 |
password |
用于连接到服务器的密码。 | |
type |
该值必须为 mysql 。 |
|
username |
root |
用于连接到服务器的用户名。 |
监控的内容
下表提供了 Ops Agent 从 MariaDB 实例收集的指标列表。
指标类型 | |
---|---|
种类、类型 受监控的资源 |
标签 |
workload.googleapis.com/mysql.buffer_pool_data_pages
|
|
GAUGE 、INT64 gce_instance |
status
|
workload.googleapis.com/mysql.buffer_pool_limit
|
|
GAUGE 、INT64 gce_instance |
|
workload.googleapis.com/mysql.buffer_pool_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.buffer_pool_page_flushes
|
|
CUMULATIVE 、INT64 gce_instance |
|
workload.googleapis.com/mysql.buffer_pool_pages
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
workload.googleapis.com/mysql.buffer_pool_size
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
workload.googleapis.com/mysql.commands
|
|
CUMULATIVE 、INT64 gce_instance |
command
|
workload.googleapis.com/mysql.double_writes
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.handlers
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.locks
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.log_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.page_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.replica.sql_delay
|
|
GAUGE 、INT64 gce_instance |
|
workload.googleapis.com/mysql.replica.time_behind_source
|
|
GAUGE 、INT64 gce_instance |
|
workload.googleapis.com/mysql.row_locks
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.row_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.sorts
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.threads
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
验证配置
本部分介绍如何验证您是否正确配置了 MariaDB 接收器。Ops Agent 可能需要一两分钟才会开始收集遥测数据。
如需验证 MariaDB 日志是否已发送到 Cloud Logging,请执行以下操作:
-
在 Google Cloud 控制台中,转到 Logs Explorer 页面。
如果您使用搜索栏查找此页面,请选择子标题为 Logging 的结果。
- 在编辑器中输入以下查询,然后点击运行查询:
resource.type="gce_instance" (log_id("mysql_error") OR log_id("mysql_general") OR log_id("mysql_slow"))
如需验证 MariaDB 指标是否已发送到 Cloud Monitoring,请执行以下操作:
-
在 Google Cloud 控制台中,转到 leaderboard Metrics Explorer 页面:
如果您使用搜索栏查找此页面,请选择子标题为监控的结果。
- 在查询构建器窗格的工具栏中,选择名为 code MQL 或 code PromQL 的按钮。
- 验证已在MQL切换开关中选择 MQL。语言切换开关位于同一工具栏中,用于设置查询的格式。
- 在编辑器中输入以下查询,然后点击运行查询:
fetch gce_instance | metric 'workload.googleapis.com/mysql.threads' | every 1m
查看信息中心
如需查看 MariaDB 指标,您必须配置一个图表或信息中心。MariaDB 使用与 MySQL 相同的信息中心。在您配置集成并且 Ops Agent 开始收集指标数据后,所有信息中心都会自动安装。
您还可以在不安装集成的情况下查看信息中心的静态预览。
如需查看已安装的信息中心,请执行以下操作:
-
在 Google Cloud 控制台中,转到 信息中心页面:
如果您使用搜索栏查找此页面,请选择子标题为监控的结果。
- 选择信息中心列表标签页,然后选择集成类别。
- 点击您要查看的信息中心的名称。 MariaDB 使用与 MySQL 相同的信息中心。
如果您已配置集成,但尚未安装信息中心,请检查 Ops Agent 是否正在运行。如果信息中心内没有图表的指标数据,则信息中心的安装将失败。Ops Agent 开始收集指标后,系统会为您安装信息中心。
如需查看信息中心的静态预览,请执行以下操作:
-
在 Google Cloud 控制台中,转到 集成页面:
如果您使用搜索栏查找此页面,请选择子标题为监控的结果。
- 点击 Compute Engine 部署平台过滤条件。
- 找到 MySQL 的条目,然后点击查看详细信息。MariaDB 使用与 MySQL 相同的信息中心。
- 选择信息中心标签页以查看静态预览。如果信息中心已安装,您可以通过点击查看信息中心来转到信息中心。
如需详细了解 Cloud Monitoring 中的信息中心,请参阅信息中心和图表。
如需详细了解如何使用集成页面,请参阅管理集成。
安装提醒政策
提醒政策会指示 Cloud Monitoring 在满足指定条件时通知您。 MariaDB 使用与 MySQL 相同的提醒政策。您可以从 Monitoring 中的集成页面查看和安装这些提醒政策。
如需查看可用提醒政策的说明并安装它们,请执行以下操作:
-
在 Google Cloud 控制台中,转到 集成页面:
如果您使用搜索栏查找此页面,请选择子标题为监控的结果。
- 找到 MySQL 的条目,然后点击查看详细信息。MariaDB 使用与 MySQL 相同的提醒政策。
- 选择提醒标签页。此标签页提供可用提醒政策的说明,并提供一个安装政策的界面。
- 安装提醒政策。提醒政策需要知道将提醒触发的通知发送到何处,因此它们需要您提供信息才能进行安装。如需安装提醒政策,请执行以下操作:
- 从可用提醒政策列表中,选择您要安装的提醒政策。
在配置通知部分中,选择一个或多个通知渠道。您可以选择禁止使用通知渠道,但如果您这样做,则您的提醒政策将以静默方式触发。您可以在 Monitoring 中查看其状态,但不会收到通知。
如需详细了解通知渠道,请参阅管理通知渠道。
- 点击创建政策。
如需详细了解 Cloud Monitoring 中的提醒政策,请参阅提醒简介。
如需详细了解如何使用集成页面,请参阅管理集成。
后续步骤
如需查看有关如何使用 Ansible 安装 Ops Agent、配置第三方应用和安装示例信息中心的演示,请观看安装 Ops Agent 以排查第三方应用的问题视频。