模型离线评估 0.92,上线一周跌到 0.78。这类落差有一半来自特征:训练时用批处理算出的日均值,推理时用另一个服务算出的滚动均值,名字相同,口径不同。特征存储要解决的不是存储,而是让"同一个特征"在两个时刻、两套系统里指向同一个计算。
训练与推理的特征一致性
特征按计算方式分三类。静态特征来自维表,例如设备型号、安装区域,月级更新;批特征由历史数据窗口聚合得到,例如过去 7 天的平均负载,天级更新;实时特征由流式计算产出,例如最近 5 分钟的告警次数,秒级更新。
三类特征的存储位置不同,语义必须统一。批特征落在离线存储(Parquet、Hive 表或湖表),实时特征落在在线存储(Redis、HBase 或时序引擎),两边的字段名、单位、窗口定义、空值处理规则由特征注册表统一定义。注册表是特征存储的核心,比任何一个存储组件都重要。
组件 | 职责 | 典型实现 | 读取延迟 | 一致性模型 |
特征注册表 | 定义、版本、血缘 | 元数据库 + SDK | 毫秒 | 强一致 |
离线存储 | 训练集生成、回溯 | Parquet、湖表 | 秒至分钟 | 快照隔离 |
在线存储 | 推理时点查 | Redis、HBase | 毫秒 | 最终一致 |
实时计算 | 窗口特征产出 | 流处理引擎 | 秒级延迟 | 至少一次 |
监控 | 分布漂移、缺失率 | 统计任务 | 分钟 | 弱一致 |
一致性问题的根源在时间。离线特征按天分区,代表"截至当日 24:00 的状态";在线特征按请求时刻计算,代表"此刻的状态"。同一条样本在训练时看到的是昨天的均值,在推理时看到的是含当前时刻的均值,分布已经偏移。
在线侧的读取模式是批量点查:一次推理请求要取同一实体的上百个特征,逐键往返会把延迟推到几十毫秒。批量接口、请求合并与本地缓存是常规手段,p99 延迟目标通常定在 10 毫秒以内。这个指标决定了在线存储不能选扫描型引擎,只能选哈希型或时序数据库里的点查路径,两者在数据模型上的取舍完全不同。
时间点正确性:point-in-time join
训练集构造中最容易犯的错误是标签泄漏。用 3 月 1 日至 3 月 31 日的数据预测 4 月 1 日是否故障,特征若取"3 月全月均值",就包含了 3 月 31 日之后才可知的信息——模型在训练时看到了未来。
正确做法是逐样本回溯:对每个标签时间点 t,只取时间戳不晚于 t 的特征值。这在 SQL 层面对应 ASOF 连接,例如设备小时级特征表与标签表按 feature.ts <= label.ts 关联,每条标签取最近一条历史特征。执行上要求特征表按实体与时间有序,否则要先排序,代价随数据量上升。
时间粒度也要对齐。标签时间是故障发生的精确时刻,特征表是整点快照,两者差 37 分钟时,取 37 分钟前的那条特征才是正确的,取整点会引入前视偏差。工程上通常把标签时间向下取整到特征粒度,并在样本里保留原始时间戳,便于事后审计。
回溯还有一个隐性成本:特征定义变更后,历史特征必须用新逻辑重算,否则训练集里混着两套口径。重算的代价等于全量扫描历史数据,跨年数据在 PB 级时无法每次变更都做。可行的折中是给特征定义打版本号,新版本只对新样本生效,旧样本保留原版本标记,训练时显式选择版本。代价是样本集膨胀,同一时段可能存有多份特征,训练脚本必须带上版本过滤条件,这也是实践中版本管理经常被绕过的原因。
窗口聚合与特征回填
时序特征的主体是窗口聚合:过去 5 分钟的均值、过去 1 小时的最大值、过去 7 天超过阈值的天数。窗口分滚动(sliding)、跳跃(hopping)与滚动累计(expanding)三类,三者的计算代价差别很大。
滚动窗口每个时间点都输出一个值,5 分钟窗口、1 秒步长意味着每秒一次聚合,计算量是数据量的 300 倍;跳跃窗口每 5 分钟输出一次,计算量降到数据量的 1 倍;累计窗口只需维护一个累加器,但无法表达"最近 N 天"的语义。特征存储通常以跳跃窗口为主,滚动窗口只在关键特征上使用。
在线侧的计算路径与离线侧不同。离线用批处理扫全量,在线用流处理增量维护状态。两套实现必须用同一份逻辑,否则口径必然漂移。常见做法是把窗口逻辑写成声明式定义(窗口长度、聚合函数、过滤条件),由两套引擎分别编译执行;完全一致很难做到,浮点累加顺序不同都能造成末位差异。
实时特征的时效性与成本成反比。1 分钟刷新一次,在线存储的写入量是 5 分钟刷新的五倍;对多数风控与运维场景,5 到 15 分钟的陈旧度可以接受,只有故障预警类特征需要压到 1 分钟以内。
流式窗口的状态规模由实体基数与窗口长度共同决定。十万实体、7 天窗口、每个实体保留 200 个点,状态就有两千万条,全部驻留内存不现实。工程上只对短窗口做精确状态维护,长窗口退回预聚合表;数据迟到超过水位线时,要么丢进旁路重算,要么接受该窗口的近似值。选择哪条路,取决于特征对下游决策的影响程度。
时序数据库在这条链路上的价值是把原始指标与窗口特征放在同一套存储里。TDengine 用超级表承载设备指标,标签标识实体,流式计算按窗口持续产出特征并写回特征表,训练侧直接扫描历史分区生成样本,避免在离线与在线之间再做一次导出。数据量大的场景下,这种"原地计算"省掉的不只是链路,还有口径分歧。
结语
特征存储的成熟度取决于治理而非技术选型。特征数量超过几百个之后,重复定义、口径冲突、血缘断裂的问题会指数级增长,这时任何存储引擎都救不了。衡量标准不是吞吐,而是同一条样本重算两次结果是否一致。更有价值的方向是把特征定义与数据质量约束绑定,让注册表在写入时校验分布与缺失率,异常特征自动降级而不是静默进入模型。特征监控常被当作可选组件,实际是唯一能在上线后发现问题的手段:分布漂移、缺失率突增、延迟超阈值,三类指标任一异常都应触发降级。尚未解决的是实时特征的精确一次语义——流处理引擎的至少一次投递配合幂等写入可以做到不重,但窗口边界处的乱序数据仍可能让同一特征在两个系统里算出不同结果,这个问题在毫秒级窗口下尤其突出。

























