盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本

广东盘古信息

2025年8月19日 / ,

小T导读:广东盘古信息科技股份有限公司(下文简称盘古信息)成立于 2005 年,是一家基于工业互联网平台的数字化管理解决方案供应商,公司自主研发的 IMS(数字化智能制造系统)可为离散、流程及混合制造行业提供全方位的生产制造运营管理与系统集成解决方案。通过与涛思数据的深入合作,盘古信息基于 TDengine TSDB时序数据库)构建了更高效的 IMS 系统,在提升业主服务能力的同时,实现了降本增效。本文将详细解析这一案例的背景、实施过程及取得的成效,为更多企业在数字化转型中提供借鉴。

IMS 系统的技术特征

盘古信息自主研发的 IMS 系统(Intelligent Manufacturing System),通过集成工业软件、物联网(IoT)与数据分析技术,实现了生产全流程的数字化管控与智能化决策。作为工厂的“数字中枢”,IMS 旨在将 MES(生产执行)、WMS(仓储管理)、QMS(质量管理)等核心子系统有机融合,打通计划、生产、物流、质检等关键环节的数据流,实现信息在不同业务之间的高效流转与协同。

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

然而,随着制造企业数字化水平的不断提升,IMS 也面临着六大挑战:

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

IMS 的核心——“设备联网平台”,承担着多源设备的联机通讯、数据采集与智能管理任务。它基于工业级 IoT 设备联网平台,融合主流工业通讯协议,支持设备驱动的扩展应用与持续的终端接入;同时提供标准化的通用接口,与上层业务系统无缝对接,从而支撑数据分析、远程诊断、过程管控等多种高价值应用。

通过引入 TDengine TSDB,我们显著增强了应对 IMS 系统六大挑战的能力:

  • 兼容性:支持标准 SQL 语法,提供 Native、RESTful、WebSocket 等多种连接方式,并具备良好的国产化系统适配能力。
  • 先进性:采用基于 Raft 的一致性策略与基于 LSTM 的块存储引擎,确保高效的读写性能与数据可靠性。
  • 稳定性:已在全球超过 83 万个实例中稳定运行,经过充分验证。
  • 可扩展性:灵活的分区与分片策略,同时满足纵向扩展与横向扩展需求。
  • 开放性:除企业版服务外,TDengine TSDB 拥有 2.4 万 Star 的开源社区,并通过微信群、开发者论坛及 GitHub 提供多渠道技术支持。
  • 可维护性:架构简洁,一套软件即可完成数据接入、存储、加工与能力输出,降低维护成本。

在此之前,我们曾分别基于 MongoDB 和 InfluxDB 进行实施,但都遇到了性能与扩展瓶颈。本文将分享我们在引入 TDengine 后获得的收益,并进行横向对比的使用体验分析。

时序数据库的选型痛点

在引入 TDengine TSDB 之前,我们使用 MongoDB 来存储时序数据。作为一款高性能数据库,MongoDB 在早期确实能够满足需求。然而,随着数据量持续增长,问题逐渐暴露:

  • 性能随着数据量上升快速下滑:数据积累数个月后,查询速度显著下降,响应变得缓慢。
盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

  • 存储占用过大:仅 3 个月的数据就已占满服务器硬盘。
盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

  • 研发压力增加:由于 MongoDB 不支持时序相关函数,需在应用层自行实现,开发工作量大。
盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

因此,我们迫切需要一个全新的时序数据库底座。接触到 TDengine TSDB 后,我们发现这些问题有了一个完美的解决方案。这款时序数据库的性能优势在我们的场景中,有着显著的成本与性能收益:

  • 高效存储与压缩:压缩率可达 5% ~ 10%,单台机器即可轻松保存 3-5 年数据。
  • 高性能查询:无论历史数据规模多大,常规监控查询依然能在毫秒级返回结果。
  • 高扩展性:面对大数据场景,能够快速搭建集群,安装与部署都十分便捷。
  • 低运维成本:支持标准 SQL 语法进行业务运维,学习成本与维护难度大幅降低。
  • 实时数据处理:内置丰富的时序函数,大幅减少自研工作量,降低研发压力。

开放平台的 DataModel

作为一个开放的平台,IMS OS 必然具备完善的二次开发能力。其二次开发平台以数据模型 DataModel 为核心,统一管理系统的全开发流程,内置数据拦截器与数据校验器,并通过自定义标识位实现校验规则在全系统范围内的复用。配合统一的开发规范和代码生成器,不仅保持了开放与灵活,还兼顾高效与易用,使开发者能够在两周内完成标准业务功能的实战开发。

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

要实现如此灵活的开放性,必须依托最具弹性的单列模型。在 TDengine TSDB 中,我们会按设备类型创建超级表(Super Table),并为每个设备实例建立子表(Sub Table),通过 TAG 标识数据来源。该模型将设备的时序数据存储在子表中,而将公共 TAG 信息集中在超级表内,不仅显著降低了存储空间占用,还提升了数据检索效率,有效解决了数据高基数问题,尤其适用于工业生产设备的海量数据场景。

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

借助 TDengine TSDB 的超级表特性,我们在 DataModel 中将每个测点定义为一个 Model,再通过多个 Model 的组合形成“超级设备”。配合代码生成器,即可一键生成标准的前后端代码,实现快速、高效的功能开发。

高效的聚合查询

数据计算究竟应放在数据库中,还是独立的应用层,一直存在争议。有人认为,计算离数据库越近,损耗越低(In-database Calculation);也有人认为,计算越独立,能力越不受约束(Application-level Calculation)。在当前的 IMS 系统中,得益于 TDengine TSDB 的引入,我们选择了前者,因为它为我们带来了更低的响应延时和更高的开发效率。

在以往基于 MongoDB 的架构中,我们需要自行构建算子库,将 Raw Data 通过投影查询取出,再经过多层串联计算,最终传递给 UI 展示。随着 Raw Data 规模的增长,应用层对 CPU 和网络资源的消耗急剧上升,实时曲线生成速度明显下降。

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

而借助 TDengine TSDB 内置的时序计算函数,这类业务场景得以轻松应对——应用层所需数据可直接在 TDengine TSDB 中完成实时聚合生成,大幅减少计算与传输压力。

盘古信息用 TDengine 时序数据库替换 MongoDB:压缩率提升到 5%,节省百万硬件成本 - TDengine Database 时序数据库

例如,在实时曲线计算中,降采样聚合往往需要处理海量设备数据。TDengine TSDB 凭借存储架构优势与内置时序函数,能够实现高效响应。在高并发查询 MES 流程开闭合区间数据并实时计算平均值的场景下,系统平均响应时间始终稳定在 1 秒以内(毫秒级),性能表现优异。

Select first(ts), last(ts), avg(`value`) as process_means
from td_iot.s_600302 where ( tagId in('%xxxxx', '%xxxxx') 
and ts >= '2025-06-29' and ts<='2025-06-30' 
group by tagId;

极致的 TCO 收益

TCO(Total Cost of Ownership,总拥有成本)是一种用于评估资产或产品在整个生命周期内所有相关成本的管理工具和分析方法。

在我们的业务场景中,存在 1s、5s、10s、60min 等多种时间间隔的时序数据写入,数据增长速度极快。这就要求数据既能高并发写入、快速查询,又要占用极小的存储空间,可谓“既要马儿跑,又要马儿不吃草”。

TDengine TSDB 恰好做到了这一点。在生产环境中,我们以约 5% 的压缩率持续存储了近 5TB 的时序数据,对应原始数据量接近 100TB。与 MongoDB 相比,仅这一项就为我们节省了近百万元的硬件采购成本。

国产化支持与运维便利

在多年的客户服务过程中,IMS 系统逐渐沉淀出一套具有工业软件特色的软件体系架构。该架构遵循开源、主流、先进、通用、自主可控的原则,采用 Java 开发语言与 Spring Boot 开发框架,结合 B/S + C/S 架构模式,前后端基于 VUE 实现分离,并运用读写分离等技术手段,确保系统的稳定性、易用性与灵活性,为企业数字化建设提供持续、可靠的 IT 技术底座。

在国产化生产环境中,TDengine TSDB 展现出卓越的适配能力,全面支持麒麟、统信 UOS 等国产操作系统,以及鲲鹏、飞腾等国产芯片架构。其轻量化部署特性(仅需单个可执行文件)与无外部依赖的设计,完美契合封闭式现场环境的严苛要求,为国产化环境下的工业应用提供了稳定可靠的基础。

另外,得益于完全兼容标准 SQL 语法的接口,运维人员可以直接通过类 SQL 操作完成日常管理。对于具备分布式数据库基础的运维团队而言,3 天内即可掌握 TDengine TSDB 的运维技能:

  • 实时状态监控:使用 SHOW DNODES 查看节点负载,SHOW VGROUPS 管理数据分片;
  • 弹性扩缩容:在线动态增删 dnode,实现存储与计算资源的分离与灵活扩展;
  • 数据生命周期管理:通过 ALTER DATABASE 调整数据保留策略,使用 COMPACT 命令快速重整并压缩数据。

广泛的适配能力与低运维成本,正是我们 IMS 系统选择 TDengine TSDB 作为基础数据库组件的重要原因。

时序应用展望

TDengine TSDB 作为基础时序数据库组件,持续降低了我司应用开发的复杂度,并有望将大量传统业务逻辑从应用层下移至数据库层。这不仅使开发资源能够更多聚焦于核心业务逻辑,也加快了客户定制化需求的交付速度。

我们也将持续与 TDengine TSDB 深度合作,加速集成创新能力,例如:

  • TDgpt 智能引擎:通过插件化算法平台,可灵活集成预测性维护模型(如时序异常检测、趋势预测),助力设备故障的早期预警与根因分析。
  • 虚拟表技术:实现多源测点数据的自动对齐,有望消除 90% 以上的应用层数据拼接代码,大幅提升实时分析效率。
  • IDMP(Industrial Data Management Platform:结合 IDMP 的 AI 大模型能力,实现时序工况的实时智能发现,解放现场人员的精力负担,让管理方式从“检索式”迈向“推送式”。

这些技术演进将持续增强我司的数据服务能力,进一步降低开发门槛,为客户提供更加敏捷、智能、经济的数字化服务平台产品。