在工业数据管理领域,数据接入往往是项目实施中最耗时、最易出错的环节。面对种类繁多的数据源和复杂的格式转换需求,传统的编码接入方式不仅开发周期长,而且后期维护成本高昂。时序数据库的零代码数据接入方案,正是为了解决这一痛点而生——用户只需在浏览器中进行简单配置,即可将来自不同数据源的数据无缝导入系统。
零代码接入的核心工具:taosExplorer
TDengine Enterprise 配备了可视化的数据管理工具 taosExplorer。作为数据接入的统一入口,taosExplorer 提供了直观的图形化操作界面,用户无需编写任何代码,只需通过浏览器完成以下步骤:
- 选择目标数据源类型
- 配置连接参数
- 定义数据映射与转换规则
- 启动数据接入任务
这种零代码的方式极大地降低了使用门槛,使得非开发人员(如运维工程师、数据分析师)也能独立完成数据接入工作。
全面覆盖的17种数据源
工业现场和 IT 系统中的数据源种类繁多,该方案支持多达 17 种数据源的无缝对接,覆盖了工业协议、消息队列、关系型数据库、时序数据库以及文件等多种类型。
工业数据源
工业自动化领域有着成熟的数据采集体系,该方案直接兼容以下主流工业数据系统:
- AVEVA PI System:过程工业中广泛使用的历史数据管理平台
- AVEVA Historian:高性能的工业历史数据采集与存储系统
- OPC DA:基于 COM/DCOM 技术的经典工业数据访问标准
- OPC UA:新一代跨平台、面向服务的工业通信协议
通过直接对接这些工业数据源,企业无需额外部署中间件,即可将现有系统中的历史数据和实时数据导入时序数据库。
消息队列
在物联网和流式处理场景中,消息队列是数据传输的重要通道:
- MQTT:轻量级的发布/订阅消息协议,广泛用于设备与平台之间的数据传输
- Kafka:高吞吐量的分布式消息队列,常用于大数据采集和日志收集
数据库
企业 IT 环境中往往部署了多种数据库系统,该方案支持从以下数据库中抽取数据:
- InfluxDB:另一款主流的时序数据库
- OpenTSDB:基于 HBase 的分布式时序数据库
- MySQL:最流行的开源关系型数据库
- Oracle:企业级关系型数据库
- PostgreSQL:功能强大的开源关系型数据库
- SQL Server:微软的企业级数据库
- MongoDB:文档型 NoSQL 数据库
文件与其他
- CSV:通用的表格数据文件格式,适用于批量数据导入
- TDengine 查询:从一个 TDengine 实例中查询数据并写入另一个实例
- TDengine 数据订阅:基于订阅机制实现实例间的数据同步
内置 ETL 功能详解
数据接入不仅仅是”搬运”数据,往往还需要对原始数据进行解析、过滤和转换。该方案内置了完整的 ETL(Extract-Transform-Load)功能,覆盖数据处理的全流程。
第一步:解析(Parse)
原始数据(尤其是来自 MQTT 等消息队列的数据)通常以 JSON 字符串等格式传输。解析环节负责从原始消息中提取有用的字段信息。支持的解析方式包括:
- JSON Path:通过 JSON Path 表达式精确定位 JSON 结构中的字段
- 正则表达式:使用正则匹配从非结构化文本中提取信息
- UDT 自定义脚本:对于复杂的解析逻辑,支持通过用户自定义脚本实现
第二步:提取或拆分(Extract / Split)
在实际业务中,一个原始字段可能包含多个维度的信息。例如,设备 ID 中可能编码了工厂编号、产线编号和设备编号。提取或拆分功能支持:
- split:按分隔符将一个字段拆分为多个字段
- 正则表达式:通过正则捕获组从字段中提取多个子串
第三步:过滤(Filter)
并非所有采集到的数据都需要入库。过滤功能允许用户设置条件表达式,只有表达式值为 true 的消息才会被写入数据库。支持的过滤能力包括:
- 比较操作符:大于、小于、等于、不等于等
- 字符串函数:包含、匹配、前缀/后缀判断等
- 复合表达式:通过 AND、OR、NOT 组合多个条件,构建复杂的过滤逻辑
过滤功能可以有效减少无效数据的写入,节省存储空间并提升查询性能。
第四步:转换映射(Transform & Mapping)
映射环节负责将解析后的字段与时序数据库中的超级表字段建立对应关系。该方案提供了丰富的映射规则:
| 映射规则 | 说明 | 典型场景 |
|---|---|---|
| mapping | 直接映射 | 将解析字段直接对应到目标列 |
| value | 常量值 | 为某列设置固定值(如数据来源标识) |
| generator | 时间戳生成器 | 自动生成或转换时间戳格式 |
| join | 字符串连接 | 将多个字段拼接为一个字段 |
| format | 字符串格式化 | 按指定模板格式化输出 |
| sum | 数值加法 | 对多个数值字段求和 |
| expr | 数学运算表达式 | 支持加减乘除等数学运算 |
通过这些灵活的映射规则,用户可以轻松应对各种数据格式转换需求,无需编写任何代码。
零代码接入的实践价值
这套零代码数据接入方案在实际应用中带来了显著的价值:
- 降低技术门槛:业务人员和运维人员无需掌握编程技能即可完成数据接入
- 提升实施效率:相比传统编码方式,配置化接入可将实施周期缩短数倍
- 简化运维管理:所有接入规则以可视化方式管理,便于排查问题和调整配置
- 增强系统灵活性:新增数据源或调整映射规则时,只需修改配置而无需重新开发
总结
数据接入是工业数据管理的第一步,也是决定后续分析质量的关键环节。通过 taosExplorer 可视化工具和内置的 ETL 功能,TDengine 提供了一套真正零代码的数据接入方案,覆盖 17 种主流数据源,支持灵活的数据解析、过滤和转换。无论是工业现场的实时数据采集,还是跨系统的历史数据迁移,该方案都能帮助用户以最低的成本和最快的速度完成数据接入工作。

























