时序数据库窗口函数:滑动聚合与分组排名的执行代价

小T

2026-11-20 /

时序数据库中的窗口函数把连续的时间序列切成区间再逐区间计算。语法层面它只是一句 OVER 子句,执行层面却引入排序、状态维护、边界判定三笔独立开销,每笔的量级由窗口类型决定,与总行数关系不大。同一张表上,ROWS BETWEEN 1 PRECEDING 与 RANGE BETWEEN INTERVAL '5' MINUTE PRECEDING 的耗时可以相差两个数量级。

窗口定义的三层语义

SQL:2003 把窗口拆成三段:分区(PARTITION BY)、排序(ORDER BY)、框架(ROWS 或 RANGE BETWEEN)。三段对代价的贡献完全不同。

分区键与存储分布一致时(例如按子表 ID 或设备号分区),分区可以下推到扫描算子,几乎没有额外成本;分区键与存储无关时,必须先做一次全量重分布,网络流量等于中间结果大小。排序是第二笔,n 行排序的复杂度是 n log n,且整个分区要驻留内存,超出 work_mem 就落盘,落盘排序的耗时通常是内存排序的五到二十倍。框架是第三笔,滑动框架要求每一行重新计算聚合:m 行、框架宽度 w、朴素实现就是 O(m·w)。

框架写法

每行状态

可否增量

内存上界

ROWS BETWEEN 1 PRECEDING AND CURRENT ROW

常数

是

O(1)

ROWS BETWEEN 30 PRECEDING AND CURRENT ROW

常数

是,滑动加减

O(30)

ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW

累积

是,累加器

O(1)

ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING

全分区

否,需逆序

O(m)

RANGE BETWEEN INTERVAL ‘5’ MINUTE PRECEDING

依数据密度

部分

O(w)

滑动聚合:增量与重算的分界

框架宽度固定且只做加减运算的聚合,可以增量维护。sum、count、avg 维护一个累加器,窗口右移时加上新行、减去离开的行,每行代价 O(1)。min、max 做不到:减去一个值之后,无法从当前状态恢复次小值,只能改用单调队列,或者退化为重算。单调队列的空间是 O(w),实现上要用双端队列保存候选下标。

框架宽度不固定时,增量维护失效。RANGE BETWEEN INTERVAL '1' HOUR PRECEDING 的窗口按时间跨度定义,邻居数量随数据密度变化——采样间隔 1 秒时窗口内有 3600 行,间隔 1 分钟时只有 60 行。执行器必须逐行定位左边界,二分查找的代价是 O(log m),总体退化为 O(m log m)。高密度数据上这条路径比 ROWS 慢三至五倍,是时序数据库窗口查询最常见的性能陷阱。

还有一个隐含成本:框架要求有序输入。存储层本身按时间列有序时,排序可以省掉;按标签分组后再排序,就需要一次显式的 Sort 节点。分区数一万、每分区一千行的场景,排序占整个窗口查询耗时的六成以上。

分组排名:排序之外的隐藏开销

ROW_NUMBER() OVER (PARTITION BY device ORDER BY ts DESC) 是取每台设备最新一条的常用写法。它的代价集中在排序与分区切分,而非排名本身。

排名算子本身是流式的:输入有序,逐行递增计数器即可,O(m)。真正贵的是为每个分区准备独立的有序输入。分区数多、单分区小的时候,排序的固定开销远超比较开销;一万个设备各一百行,等于一万次小排序,每次都要申请内存、初始化堆结构。

替代写法往往更划算。SELECT device, last(ts), last(v) GROUP BY device 走哈希聚合加 last 函数,单趟扫描、无排序,在列存引擎上通常比窗口函数快三到十倍。差异来自数据访问模式:窗口函数要求完整读出排序列与参与计算的列,last 聚合只读聚合列,列存能把投影裁剪的收益吃满。

只有当排名结果需要与原始行逐行对应时(例如计算相邻两行的差值、标记每组前 N 条),窗口函数才不可替代。

执行计划里的两条路径

规划器面对窗口函数通常有两个选择:SortAgg 与 HashAgg 加窗口。

前者先按分区键排序,再在有序流上做窗口计算,内存占用与最大单分区成正比,分区倾斜时容易失控。后者先用哈希表把行分发到各分区的桶里,再对桶内排序,能并行但需要两次物化。

并行度的上限由分区数决定。按设备分区的查询可以铺到几十个核上,按单一时间范围分区(等价于无分区)的查询只能单线程执行整段扫描。这是窗口查询改写的一个方向:把整体滑动平均改写成按设备分组的滑动平均,虽然改变了语义,却能换来近乎线性的并行加速。

向量化对窗口算子的帮助有限。框架边界判定是分支密集型操作,每行都要比较时间戳或行号,难以凑成规则批处理;聚合部分可以向量化,边界判定不行。实测中纯向量化窗口实现的提速在 1.5 倍左右,远低于过滤算子的五到十倍。

时间边界上的偏差

RANGE 框架按值域定义,边界落在两条记录之间时,SQL 标准规定取"小于等于边界值"的所有行。采样间隔不均匀的序列,同一个时间窗口在不同设备上覆盖的行数不同,聚合结果的统计意义随之漂移。

乱序与迟到数据进一步放大偏差。事件时间晚于水位线(watermark)的记录,进入窗口时窗口可能已经输出。多数实现要么丢弃,要么按允许延迟(allowed lateness)重算并撤回旧结果,后者需要维护窗口状态的副本,内存占用随延迟容忍度线性增长。容忍 1 小时延迟、窗口 5 分钟、每窗口一千个分组,状态量就是 12 × 1000 条聚合中间值。

对齐问题同样存在。窗口起点按 ts - (ts % interval) 计算时依赖时区与纪元原点;跨夏令时切换的一天有 23 或 25 小时,按固定 3600 秒切分会与日历日错位。涉及跨时区聚合的查询,应显式使用带时区的窗口起点函数,而不是依赖整数取模。

在 TDengine 中,窗口查询按时间线在 vnode 内完成切分,间隔窗口(INTERVAL)与滑动窗口(SLIDING)的聚合在扫描阶段即产出中间结果,协调节点只做归并,因此跨设备的等间隔降采样不会退化成全局排序。这一路径的代价是窗口边界必须与分区边界对齐,跨越多个 vnode 的滑动窗口需要额外的一次合并,延迟窗口与乱序数据的处理也依赖写入时的乱序容忍配置。

结语

窗口函数的核心矛盾是"按行定义、按批执行"。语义上一行对应一个窗口,物理上一次扫描应尽可能摊薄固定开销,两者的折中决定了实现的复杂度。时序数据库仍有争议的问题是如何在分布式环境下处理跨节点滑动窗口——完全下推要求数据按窗口边界预分区,集中计算又会让单节点成为瓶颈。另一个方向是把常用窗口模式固化为物化视图,用存储换计算,代价是窗口定义一旦变更就要全量重算。