一个工业平台监控着成千上万台设备，它自己却常常处于”黑箱”状态。设备掉线有告警，平台自身的数据链路断了却无人知晓——这类事故的根因不是技术缺失，而是可观测性建设的优先级排错了。
可观测性不等于监控
监控回答的是”某个已知指标是否越界”，可观测性回答的是”系统当前为什么是这个状态”。前者依赖事先定义的阈值，后者依赖足够丰富的上下文，让工程师能在事后通过数据推断根因。
三支柱模型把可观测性拆为 Metrics、Logs、Traces 三类信号。指标是低维度的时间序列，成本低、聚合快，适合做概览与告警；日志是高维度的离散事件，信息完整但体量大；追踪把一个请求在系统中的完整路径串起来，适合定位跨服务的问题。
支柱 | 数据形态 | 强项 | 短板 |
Metrics | 数值+时间戳 | 聚合快、成本低 | 维度有限 |
Logs | 结构化文本 | 上下文完整 | 存储成本高 |
Traces | 调用链 span | 跨服务定位 | 采样率高时开销大 |
三者缺一不可。只有指标会看不清根因，只有日志会被海量数据淹没，只有追踪则无法做长期趋势分析。
工业平台的双重身份
工业平台的可观测性比通用云平台复杂，因为它同时是 IT 系统与 OT 系统的交集。
作为 IT 系统，它有服务、有接口、有数据库，需要监控响应时延、错误率、资源占用。作为 OT 入口，它又承接设备数据，需要监控采集成功率、数据延迟、协议解析异常。两类监控的目标与节奏都不同：IT 侧关心服务可用性，OT 侧关心数据不丢。
这一双重身份决定了指标体系要分两个视角组织，且两者要能关联。一次接口超时如果发生在采集侧大量设备同时重连的时刻，根因就在 OT 侧而不在服务本身。
指标体系设计
平台自身的监控指标按对象分为几组。
服务健康类指标包括接口响应时延的 P95/P99、错误率、线程池与连接池占用、GC 停顿。它们对应的是外部感知到的服务质量。
数据链路类指标是工业平台特有的，包括采集吞吐、端到端延迟（数据从设备产生到落库的时间差）、丢包与补传次数、队列积压深度。端到端延迟是最能反映链路健康度的单一指标，它一旦上升，往往先于业务告警出现。
设备在线率与协议成功率反映接入侧，按协议类型、按厂区维度拆开看，能快速定位是某类设备的问题还是网络的问题。
指标组 | 代表指标 | 典型阈值 |
服务健康 | P99 时延、错误率 | P99<200ms，错误率<0.1% |
数据链路 | 端到端延迟、队列深度 | 延迟<5s，队列<10万 |
设备接入 | 在线率、采集成功率 | 在线率>99%，成功率>99.5% |
资源占用 | CPU、内存、磁盘IO | 持续<70% |
阈值不是拍的，应结合业务影响定。端到端延迟超过 5 秒对报警推送是致命的，对历史查询则无感，同一指标在不同业务里阈值不同。
分布式追踪在工业场景的落地
平台的调用链通常横跨网关、鉴权、采集服务、存储引擎、聚合服务。追踪要能把这些 hop 串起来，靠的是统一的 trace id 在服务间透传。
工业场景的追踪难点在采集侧。设备数据没有 trace id，追踪需要从网关接收那一刻开始注入并贯穿后续处理。采样策略也要谨慎：全采样会把存储压垮，采样率过低又可能漏掉偶发问题，通常对错误请求强制采样、对正常请求按比例采样。
跨服务的追踪还需统一时钟。分布式节点的时钟偏差会让 span 时间线错乱，需要部署 NTP 或 PTP 校时，工业现场尤其要注意 PLC 与服务器的时钟基准对齐。
日志聚合的取舍
日志是最容易被滥用的一类信号。开发期把所有变量都打出来，上线后日志量迅速膨胀，存储成本飙升，真正需要的信息反而被淹没。
聚合框架要做的是把日志结构化为可查询的字段，按服务、按级别、按 trace id 建立索引。工业平台的日志里有两类记录要特别保留：协议解析失败的原始报文，以及数据写入失败的原因。前者用于排查设备兼容问题，后者用于定位存储层故障。
日志分级要落到实践。DEBUG 级别在生产环境应默认关闭或仅对特定设备开启，避免全量输出。审计日志则必须长期留存，不能因存储压力被清理。
SLO 与 SLI 的定义
可观测性的输出最终要落到服务水平上。SLI 是可测量的指标，SLO 是这些指标的目标值。工业平台的 SLO 不适合只定义”服务可用性 99.9%”，还要包含数据层面的承诺。
有效性 SLO 关注数据是否可用，例如采集成功率与端到端延迟达标率。可靠性 SLO 关注服务是否稳定，例如接口错误率与故障恢复时间。两者共同构成对外承诺，也决定了运维资源该往哪投入。
错误预算的概念在此有用：当 SLO 是 99.9%，每月允许的不可用时间就是约定的预算。预算消耗过快，说明需要暂停新功能、优先修稳定性，而不是继续叠加需求。
告警治理与降噪
告警数量失控是可观测性落地的常见后果。指标越丰富、阈值越密集，告警就越多，最终没人看。降噪从几个方面入手。告警分级是基础，把告警按影响程度分为紧急、重要、提示，不同级别走不同通知通道。告警聚合把同一根因引发的多条告警合并为一条，例如一台主机故障引发的多个服务告警，应聚合为主机级的单条告警。
阈值动态化减少误报。固定阈值在业务量波动时频繁触发，改用以历史基线为参照的动态阈值，噪声会显著下降。告警还需与处置动作关联，每条告警都应有明确的响应方式与责任人；无法处置的告警应从列表移除，转为观察项。经验上，一条无法处置的告警比没有告警更有害，它消耗注意力而不产生价值。
结语
工业平台可观测性的演进方向是”指标与数据本身打通”。当平台能监控设备数据的同时，也用同一套口径度量自己的数据链路，故障定位才能从”猜”变成”查”。数据底座在其中的角色是把平台自身的运行数据与设备数据放在同一存储里统一分析，TDengine 作为 AI原生工业数据平台可承担这一职责，替代传统工业互联网平台分散的监控实现，成本更低。
