小T导读：作为分布式光伏领域的领军企业，天合富家的光伏数据量从最初的每日百万级飙升至千万级。原有基于 MongoDB 的架构在面对海量时序数据时彻底“卡壳”——查询慢、存储贵，难以支撑业务增长。转机来自 TDengine TSDB：凭借高压缩比与毫秒级查询性能，成功实现数据零延迟入库、存储成本减半。后续天合富家又全面升级至 3.3 版本，为其构建零碳生态体系提供了高性能、可扩展、可信赖的数据底座，持续驱动企业在分布式能源数字化道路上加速前行。
为何选择 TDengine TSDB
作为全球领先的光伏智慧能源整体解决方案提供商，自 2018 年至 2022 年间，我们的光伏系统每日数据量从百万级跃升至千万级。随着数据规模的指数式增长，对存储与实时计算能力提出了更高要求，原有基于 MongoDB 的架构已难以支撑业务发展。
MongoDB 作为一种文档型 NoSQL 数据库，在处理多样化数据格式的大数据场景中具备很强的灵活性，尤其在 IoT 数据采集与分析领域应用广泛。然而，对于我们这样的场景，MongoDB 的特性却与需求存在一定错位，主要体现在以下三方面：
- 传感器上传的数据均为结构化数据，结构基本不变，若缺乏严格的数据校验机制，MongoDB 的非结构化特性反而容易造成数据污染；
- 查询性能不足，即便建立索引，也难以在 TB 级数据量中实现快速检索；
- 采用文档方式存储，压缩率较低，存储成本升高。
在这种背景下，TDengine TSDB 作为新一代时序数据库，凭借以下优势吸引了我们的关注：
- 采用“超级表 + 子表”的建模方式，大幅提升时序数据压缩率；
- 结合预计算与缓存机制，实现亿级数据的毫秒级查询响应；
- 支持多级存储，可将历史数据迁移至低速磁盘，显著降低存储成本；
- 兼容标准 SQL，极大简化了应用开发与系统集成工作。
综合考量存储成本、读写性能及实施难度等多方面因素，我们最终选择将数据库替换为 TDengine TSDB。
时序数据处理技术架构
光伏时序数据的主要应用场景集中在我司的能源管理系统中，涵盖数据采集、接入、存储、处理与应用等模块，为企业提供从实时监控、数据分析、运维管理到能源优化与安全管理的全流程数字化支撑。
采集端通过 TCP 协议上报光伏组件、逆变器、电池等设备的运行数据，经过数据清洗后，以结构化格式暂存于 Kafka（仅保留近期时间数据）。数据写入应用从 Kafka 消费后，将其写入 TDengine TSDB 进行持久化存储。随后，系统对数据进行计算（如当日发电量、实时功率等），并将降采样结果存入结果库，以支持后续的统计分析与可视化展示。
虽然采集端的数据可以直接写入 TDengine TSDB，但是考虑到整体架构的稳定性，我们仍然保留了 Kafka。这样的设计为系统提供了一个实时数据的冗余缓冲区，不仅在一定周期内实现了数据的高可用存储，也为后续处理环节预留了维护窗口，从而显著提升整体架构的可靠性与可用性。
项目实施初期采用的是 TDengine TSDB 2.6 版本，部署了 3 个数据库节点。数据采集与处理应用通过 RESTful 连接到 TDengine TSDB 集群，集群采用高效云盘与普通云盘相结合的多级存储架构，在兼顾性能的同时有效控制了整体存储成本。
TDengine 应用效果
经过半年的项目实施（包括采集设备改造、应用开发及数据库适配），能源管理系统顺利上线运行。系统实现了千万级数据（每日）的零延迟入库，数据分析（如设备日发电量统计）响应时间控制在秒级以内。与此同时，通过高效云盘与普通云盘的分层存储方案，整体存储成本降低了约 50%。该系统的成功投产为我司业务发展提供了有力的支撑。
TDengine 3.0 升级经验分享
随着业务的持续扩张，系统面临两大挑战：一是接入设备数量不断增长，导致子表数量的创建达到千万级别；二是元数据体量激增，造成数据库启动缓慢，维护窗口不断延长。
为解决这些问题，我们于 2024 年决定将 TDengine TSDB 升级至 3.3 企业版。该版本拥有快速的启动速度及更为海量的数据管理能力：
- 支持亿级时间线；
- 数据库“秒级”启动；
- 多级存储支持对象存储，进一步降低存储成本。
由于系统需在不停机的情况下完成版本升级，我们与 TDengine 专业服务团队进行了深入沟通，最终确定采用 taosX 数据同步迁移工具，并结合 镜像集群 + 程序双写 的方案完成升级。具体步骤如下：
- 通过云服务工具，将现有的 2.6 集群镜像复制，创建一个新集群；
- 修改写入应用，实现对 2.6 集群与 3.3 集群的双写，以确保最新数据的一致性；
- 使用 taosX 迁移工具，将历史数据从镜像集群无缝迁移至 3.3 集群。
在数据库升级的同时，我们也同步进行了应用层的升级与适配工作。由于 TDengine TSDB 3.0 及以上版本功能更为丰富，我们主要完成了以下优化：
- 根据 3.3 版本的语法特性，对原有查询语句进行了优化与改写；
- 调整查询条件，适配 OSS（对象存储服务）访问场景；
- 优化数据访问方式，升级至新的 JDBC 连接器与通信协议。
OSS 全称 Object Storage Service（对象存储服务），是云服务商提供的海量、可扩展、高可靠性存储服务，主要用于存储图片、视频、文档等非结构化数据。相比于高效云盘，OSS 的价格降低至少 60%。
升级后的运行表现
经过数据迁移与严格校验，我们成功将近 20TB 的数据零误差迁移至新集群，全程业务无中断。借助应用层的优化与适配，系统在新集群上实现了高效、稳定运行。
为进一步提升数据库集群的高可用性，我们在集群前端部署了负载均衡服务器，并通过合理的负载均衡策略，精细化控制不同应用的资源占用。在确保系统高可用的同时，也实现了各应用间的有效隔离与性能优化。
通过使用多级存储的对象存储功能，我们将大量的历史数据迁移到了对象存储上，本地磁盘占用量降低了约 50%，进一步压缩了整体存储成本。
自 2022 年合作至今，伴随 TDengine TSDB 从 2.6 版本迭代至 3.3 版本，我们始终认为，这款时序数据库虽非完美无缺，却凭借对能源行业业务场景的深度适配，已成为与天合富家需求高度契合的技术工具。
作为一家致力于“提供智能清洁能源解决方案，构建零碳生活与零碳生产新生态”的企业，天合富家在迈向零碳目标的过程中，依托 TDengine TSDB 稳定的时序数据存储能力与高效的分析性能，为能源管理、设备监控等核心业务提供了坚实的数据底座，也为公司实现零碳生态落地注入了持续的技术动力。
关于天合富家
天合富家能源股份有限公司成立于 2016 年 10 月，是一家专注于分布式能源市场的系统解决方案提供商。作为分布式光伏行业领军企业，天合富家围绕品牌、产品、服务三大核心战略建立了以产品研发、市场销售、安装售后、智能运维为一体的完整体系，构建了数字化、全渠道的生态网络。天合富家以原装为基本战略，持续创新，不断提升产品与服务体验，致力于打造智慧分布式能源第一品牌，为客户提供最佳的清洁能源体验。
