监控列式引擎

本页面介绍了如何监控列式引擎的利用率。

使用 EXPLAIN 验证列式引擎的使用情况

如需观察查询生成的查询计划中显示的新列式运算符，您可以使用 EXPLAIN 语句验证列式引擎的使用情况。

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_returnflag, l_linestatus, l_quantity, l_extendedprice,
         l_discount, l_tax
    FROM lineitem
   WHERE l_shipdate <= date '1992-08-06'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Append (actual rows=3941797 loops=1)
   Buffers: shared hit=9
   ->  Custom Scan (columnar scan) on lineitem (actual rows=3941797 loops=1)
         Filter: (l_shipdate <= '1992-08-06'::date)
         Rows Removed by Columnar Filter: 56054083
         Columnar cache search mode: columnar filter only
         Buffers: shared hit=9
   ->  Seq Scan on lineitem (never executed)
  Filter: (l_shipdate <= '1992-08-06'::date)
  • Custom Scan (columnar scan) 表示查询计划中包含列式引擎扫描。
  • Rows Removed by Columnar Filter 列出了列式向量化执行过滤掉的行数。
  • Columnar cache search mode 可以是 columnar filter only、native 或 row store scan。规划工具会根据成本和下推式评估功能自动选择搜索模式。

当规划工具选择 native 模式时，它会将一些列式运算符向下推送到扫描：

  • Rows Aggregated by Columnar Scan 列出了汇总的行数。
  • Rows Sorted by Columnar Scan 列出了排序的行数。
  • Rows Limited by Columnar Scan 列出了已扫描的有限行数。

使用联接时，列式扫描运算符也可以使用 Late Materialization 模式。

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_shipmode, o_orderpriority
    FROM orders, lineitem
   WHERE o_orderkey = l_orderkey
         AND l_shipmode in ('AIR', 'FOB')
         AND l_receiptdate >= date '1995-01-01'
;
                                 QUERY PLAN
-----------------------------------------------------------------------------
 Hash Join (actual rows=9865288 loops=1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Buffers: temp read=127738 written=127738
   ->  Append (actual rows=9865288 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=9865288 loops=1)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
               Rows Removed by Columnar Filter: 50130592
               Columnar cache search mode: native
         ->  Index Scan using idx_lineitem_orderkey_fkidx on lineitem
             (never executed)
               Filter: ((l_shipmode = ANY ('{AIR,FOB}'::bpchar[])) AND
               (l_receiptdate >= '1995-01-01'::date))
   ->  Hash (actual rows=15000000 loops=1)
         Buckets: 1048576  Batches: 32  Memory Usage: 37006kB
         Buffers: temp written=83357
         ->  Append (actual rows=15000000 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=15000000
                   loops=1)
                     Rows Removed by Columnar Filter: 0
                     Columnar projection mode: late materialization
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)

Columnar projection mode 可以是 late materialization。 当规划工具通过推迟某些列值的物化来优化投影时，列式运算符会自动选择此模式。

查看列式引擎向量化联接使用情况

您可以使用 EXPLAIN 语句验证新的向量化联接运算符，以观察查询生成的查询计划中显示的新 Vectorized Hash Join 运算符。

EXPLAIN (ANALYZE,COSTS OFF,BUFFERS,TIMING OFF,SUMMARY OFF)
  SELECT l_quantity, l_extendedprice, l_discount, l_tax
    FROM lineitem, orders
    WHERE l_shipdate <= date '2022-08-06'
    AND  l_orderkey = o_orderkey
    AND  o_orderdate <= date '2025-03-07';
                                      QUERY PLAN
---------------------------------------------------------------------------------------
 Vectorized Hash Join (actual rows=3934686 loops=1)
   Vectorized partitioning, Partitions: 16 (Disk usage: 208MB)
   (Peak Memory Usage: 27MB, Threads: 1)
   Hash Cond: (lineitem.l_orderkey = orders.o_orderkey)
   Rows Removed by Bloom Filter: 0
   Buffers: temp read=26728 written=26728
   ->  Append (actual rows=3934686 loops=1)
         ->  Custom Scan (columnar scan) on lineitem (actual rows=3934686 loops=1)
               Filter: (l_shipdate <= '2022-08-06'::date)
               Rows Removed by Columnar Filter: 56051366
               Columnar cache search mode: native
         ->  Seq Scan on lineitem (never executed)
               Filter: (l_shipdate <= '2022-08-06'::date)
   ->  Vectorized Hash (actual rows=7245824 loops=1)
         Build bloom filter, Memory Usage: 1024kB
         ->  Append (actual rows=7245824 loops=1)
               ->  Custom Scan (columnar scan) on orders (actual rows=7245824 loops=1)
                     Filter: (o_orderdate <= '2025-03-07'::date)
                     Rows Removed by Columnar Filter: 7754176
                     Columnar cache search mode: native
               ->  Seq Scan on orders (never executed)
                     Filter: (o_orderdate <= '2025-03-07'::date)
  • Vectorized Hash Join 表示两个关系之间的联接使用了向量化哈希联接。
  • Vectorized partitioning, Partitions: 列出数据被分割成的分区数。

查看将列置于列存储区中的表的相关信息

您可以通过查询 g_columnar_relations 视图，查看将列置于列存储区中的表或物化视图的相关信息。

SELECT * FROM g_columnar_relations;

┌─[ RECORD 1 ]────────┬───────────────────┐
│ relation_name       │ tbl_parallel_test │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 581431259         │
│ columnar_unit_count │ 3                 │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 8337              │
├─[ RECORD 2 ]────────┼───────────────────┤
│ relation_name       │ lineitem          │
│ schema_name         │ public            │
│ database_name       │ advisor           │
│ status              │ Usable            │
│ size                │ 423224944         │
│ columnar_unit_count │ 29                │
│ invalid_block_count │ 0                 │
│ total_block_count   │ 115662            │
├─[ RECORD 3 ]────────┼───────────────────┤

查看列存储区中列的相关信息

您可以通过查询 g_columnar_columns 视图来查看列存储区中列的相关信息，包括这些列的大小和上次访问时间。

SELECT database_name, schema_name, relation_name, column_name, size_in_bytes, last_accessed_time FROM g_columnar_columns;

查看近期查询的列式引擎执行统计信息

您可以使用 g_columnar_stat_statements 视图查看近期查询的列式引擎执行统计信息。此视图会将列式引擎统计信息添加到 pg_stat_statements 扩展程序提供的 pg_stat_statements 视图。如需使用此视图，您必须先启用 pg_stat_statements 扩展程序。

  1. 启用 pg_stat_statements 扩展程序： 
    CREATE EXTENSION pg_stat_statements;
  2. 运行要查看其统计信息的查询。您可以手动执行此操作，也可以等待足够的时间，以便您的应用在启用 pg_stat_statements 的情况下运行这些查询。
  3. 查询 g_columnar_stat_statements 和 pg_stat_statements 视图。请注意，以下查询会检索所有列式执行统计信息，包括在扩展程序 pg_stat_statements 创建之前收集的统计信息。值为 10 的 userid 表示统计信息是在创建扩展程序 pg_stat_statements 之前收集的。 
    SELECT *
FROM pg_stat_statements(TRUE) AS pg_stats
     FULL JOIN g_columnar_stat_statements AS g_stats
     ON pg_stats.userid = g_stats.user_id AND
        pg_stats.dbid = g_stats.db_id AND
        pg_stats.queryid = g_stats.query_id
WHERE columnar_unit_read > 0;

┌─[ RECORD 1 ]────────┬───────────────────────────────
│ userid              │ 10                            │
│ dbid                │ 33004                         │
│ queryid             │ 6779068104316758833           │
│ query               │ SELECT  l_returnflag,        ↵│
│                     │         l_linestatus,        ↵│
│                     │         l_quantity,          ↵│
│                     │         l_extendedprice,     ↵│
│                     │         l_discount,          ↵│
│                     │         l_tax                ↵│
│                     │FROM  lineitem                ↵│
│                     │WHERE  l_shipdate <= date $1│
│ calls               │ 1                             │
│ total_time          │ 299.969983                    │
│ min_time            │ 299.969983                    │
│ max_time            │ 299.969983                    │
│ mean_time           │ 299.969983                    │
│ stddev_time         │ 0                             │
│ rows                │ 392164                        │
│ shared_blks_hit     │ 0                             │
│ shared_blks_read    │ 0                             │
│ shared_blks_dirtied │ 0                             │
│ shared_blks_written │ 0                             │
│ local_blks_hit      │ 0                             │
│ local_blks_read     │ 0                             │
│ local_blks_dirtied  │ 0                             │
│ local_blks_written  │ 0                             │
│ temp_blks_read      │ 0                             │
│ temp_blks_written   │ 0                             │
│ blk_read_time       │ 0                             │
│ blk_write_time      │ 0                             │
│ user_id             │ 10                            │
│ db_id               │ 33004                         │
│ query_id            │ 6779068104316758833           │
│ columnar_unit_read  │ 29                            │
│ page_read           │ 115662                        │
│ rows_filtered       │ 0                             │
│ columnar_scan_time  │ 0                             │
└─────────────────────┴───────────────────────────────┘

查看列存储区内存用量

如需查看列式引擎可使用而未使用的 RAM 量，您可以查询 google_columnar_engine_memory_available 函数。输出整数显示可用内存（以兆字节 [MB] 为单位）。

SELECT google_columnar_engine_memory_available();

查看列式引擎存储空间缓存

如需查看和监控有关列式引擎的存储空间缓存的数据，您可以调用以下函数：

函数 说明
google_columnar_engine_storage_cache_used 返回已使用的列式引擎存储空间缓存的大小。
google_columnar_engine_storage_cache_available 返回未使用的列式引擎存储空间缓存的大小。
google_columnar_engine_storage_cache_total 返回列式引擎的存储空间缓存的配置大小总量。

以下示例展示了如何查询用于查看和监控有关列式引擎存储空间缓存的数据的 SQL 函数：

SELECT SQL_FUNCTION;

将 SQL_FUNCTION 替换为您要从上表中使用的列式引擎存储空间缓存函数的名称。