时序数据库查询代价模型:扫描量、函数下推与执行计划

小T

2026-11-12 /

同一条 SQL,换一个时间范围,耗时从 80 毫秒变成 40 秒。执行计划没变,变的是扫描量。代价模型的任务就是在执行前把这个数量级差异算准,而时序场景里最容易算错的,恰恰是时间窗口——它是唯一一个"文本相同、语义范围相差千倍"的谓词。

代价的三个输入

一个可用的代价模型至少需要三个输入:命中数据块数、需要处理的行数、需要调用的表达式次数。三者量级差别很大,权重也不同。

块数决定 IO。本地 NVMe 随机读一块 4 KB 约几十微秒,对象存储上一次 GET 是毫秒级,差三个数量级,所以冷热存储的代价系数必须分开配置。

行数决定 CPU。解压、过滤、哈希、聚合都按行计费,压缩比高的列解压后膨胀十几倍,按压缩字节估算会严重低估。

表达式次数决定函数开销。正则匹配、字符串拼接、时间格式化这类操作的单次成本是简单比较的百倍以上,一行里出现三次这类调用,代价可能超过扫描本身。

算子

主要代价

可否下推

典型收益

时间范围过滤

分区元数据遍历

是(分区裁剪)

高,按分区数线性

标签等值过滤

倒排查找

是(元数据层)

高,子表数骤减

列值比较

解压 + 逐行比较

是(块级统计 + 向量化)

中,取决于选择性

聚合函数

哈希表或累加器

是(count/sum/min/max)

高,行数压缩百倍

窗口函数

排序 + 状态维护

部分

低到中

正则与 UDF

逐行解释执行

否

无下推收益

扫描量估算与分区裁剪

时间条件先落到分区目录上。按天分区的表,查最近 24 小时命中 2 个分区;按小时分区则命中 25 个;按 10 分钟分区命中 145 个。分区粒度越细,单分区越小,但固定开销(打开文件、读元数据)随分区数线性增长。经验值是单分区 100 MB 到 1 GB,太小则元数据开销占比过高,太大则裁剪粒度不足。

分区内部还有两层裁剪。数据块头部的 min/max 统计能跳过整块,跳过率取决于数据分布与谓词相关性;时间列本身单调有序,块级裁剪几乎百分之百命中。对时间 + 标签的组合条件,先裁分区再裁块,顺序颠倒不会改变结果,但会影响中间集合的大小。

估算误差主要来自两处。分区边界与实际数据范围不一致,写入延迟导致最后一个分区只填了一半,按全量估算会高估一倍;多值条件(IN 列表、区间并集)的分区命中数也不是简单相加,重叠区间会重复计数。

函数下推的收益边界

下推的本质是把计算搬到数据所在的位置,省掉传输与中间物化。收益等于"下推后减少的处理量"乘以"单位处理成本"。

聚合下推收益最大。SELECT count(*), avg(v) FROM t WHERE ts > now - 1d 若能在每个 vnode 本地算出局部 count 与 sum,协调节点只合并几十行结果,传输量从千万行降到几十行。前提是聚合函数可分解:count、sum、min、max 满足结合律,avg 需要拆成 sum 与 count,去重计数(count distinct)只能下推近似算法,精确值必须回传明细。

投影下推同样重要。查询只取 5 列,列存引擎只读这 5 列,其余列的解压开销完全省掉。行存引擎做不到这一点,这也是列存在宽表场景的优势来源。

表达式下推的限制更多。确定性函数(abs、round、字符串截取)可以下推,非确定性函数不行——now()、rand()、uuid() 必须在协调节点求值一次,否则各节点算出不同结果。时间函数是个典型:to_char(ts, 'YYYY-MM-DD') 可以做下推改写为范围条件,但依赖会话时区的格式化函数不能,跨时区查询的结果会随节点配置变化。

谓词下推还有一个反向效应。选择性很低的过滤(命中率超过 50%)下推之后仍需处理大部分数据,额外增加的函数调用反而拖慢扫描。规划器应当估算选择性,低于阈值才下推复杂表达式,简单比较则一律下推。

执行计划形态与算子选择

时序查询的计划骨架基本固定:分区扫描、过滤、聚合、排序、截断。差异在算子实现。

聚合有两条路:排序后流式聚合,哈希表聚合。前者内存占用低,代价是排序;后者速度快,代价是内存随分组基数增长。分组基数超过百万时,哈希表可能撑爆内存,规划器应切换为分区聚合或落盘。

排序只在有 ORDER BY 与 LIMIT 时值得做。ORDER BY ts DESC LIMIT 100 可以走 top-N 堆,不需要全排序;没有 LIMIT 的排序在大结果集上代价极高,应当尽量让时间顺序由存储层保证。

向量化执行把逐行处理改成批处理,每批 1024 到 4096 行,减少虚函数调用与分支预测失败。实测中简单过滤与算术运算能提速 5 到 10 倍,复杂的字符串处理提升有限。代价是内存峰值上升,批越大越明显。

并行度由分区数决定。单分区查询无法并行,一百个分区可以铺到几十个核上;扫描型查询的加速比接近线性,直到 IO 或网络成为瓶颈。时序数据库的扫描算子按分区切分任务,任务粒度与分区粒度绑定,这也是分区设计会直接影响查询并发度的原因。

统计信息为什么会失真

代价模型依赖统计:每列的不同值数、直方图、空值比例、平均行宽。时序数据的统计有两个特点——更新频繁、分布随季节漂移。

按天分区的表每天新增分区,新分区的统计要么实时计算(增加写入开销),要么延迟采样(估算偏差)。采样率 1% 时,基数估计的误差在 10% 到 30% 之间,足以让规划器选错连接顺序。对时序数据库来说,统计更新与写入吞吐是一对此消彼长的指标,多数实现选择让统计滞后,用估算误差换取写入稳定。

更麻烦的是数据分布的时间相关性。工作日与周末的负荷曲线形态不同,供暖季与夏季的流量差数倍。全局直方图描述不了这种周期,按时间分桶的统计又会让元数据量膨胀。可行的做法是对最近 N 个分区使用精确统计,历史分区用采样统计,并在查询跨越冷热边界时给冷分区一个保守的代价上浮。

TDengine 的执行路径把时间分区与标签过滤尽量压到 vnode 内部,协调节点只做结果归并与最终聚合,因此代价估算的重点从"行数"转向"分区数与子表数",这两个数字在元数据里是精确的,误差远小于行数采样。这个特性让计划在小规模查询上非常稳定,代价是跨 vnode 的大聚合仍要依赖中间结果的规模估算。

结语

代价模型的天花板不在公式复杂度,而在统计信息的时效性。时序数据的分布变化快于统计刷新,任何静态模型都会在某些时段失准。更实际的方向是基于执行反馈的自适应调整——记录每个算子的实际输出行数与耗时,回写到模型中修正下一次估算。这条路在通用数据库里已有实现,在时序场景的难点是查询模式高度重复,缓存与预聚合会掩盖真实代价,让反馈信号本身失真。