TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了

小T导读:在金融市场飞速发展的当下,行情数据的处理与分析已成为金融机构高效决策的关键支撑。华锐技术推出了华锐新一代历史行情中心——D5 平台,全面支持信创环境下的时序型历史行情数据库,具备海量数据存储能力,显著提升数据提取效率。相比传统方案,历史行情数据查询性能实现数倍提升本文将深入解析 TDengine 在 D5 平台中的应用实践,展示其在数据建模、性能优化、成本控制、运维简化等方面带来的核心优势。

作为分布式低时延技术的引领者,华锐技术致力于为金融机构提供高性能行情解决方案。在传统的行情处理中,传统数据库面临着数据量大、处理效率低、存储成本高等诸多挑战。面对日益增长的市场数据,金融机构亟需一种具备高并发处理、高可扩展性和低运维成本的新一代行情数据库,以应对更严苛的数据挑战。

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

TDengine 的落地实践

在 D5 平台中,时序数据库 TDengine 作为历史行情数据库 HDB 的核心组件,与行情持久化适配器 DPS、历史行情服务 HQS 等模块深度协同。凭借 TDengine 的产品优势,D5 平台显著提升了客户在历史行情数据获取方面的体验,有力支撑了历史查询、行情回放、证券信息检索等关键服务。

平台架构如下图所示:

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库
  历史行情中心——D5 平台架构图

历史行情建模

D5 平台的历史行情数据覆盖了沪深交易所、中金所、大商所、郑商所、上期所、上海能源所、北交所、港交所、外汇交易中心本币市场等主要交易场所,涵盖现货、固收债券、基金、衍生品等多种品类,实现对国内主要交易市场和品种的全行情支持。这类数据组织结构复杂,若采用传统关系型建模方式,管理难度高、维护成本大。

基于 TDengine“一个设备一张表”的建模理念,D5 平台在构建历史行情数据模型时,按证券市场和证券代码进行分类,将每支证券简化为一张子表,实现对全市场各类证券的统一管理和高效存储,大幅降低了数据建模和运维复杂度,同时显著提升查询性能。

如图所示,平台将证券市场和证券代码抽象为 TAG,在一张超级表下统一管理所有市场的 K 线数据。每支证券作为子表,记录其在每个时点的开盘价、最高价、收盘价、成交量、成交额等关键指标。

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

借助 TDengine 的时序数据特性,平台可通过 TAG 标签组织管理不同市场和品种的数据,同时通过数据分区分片机制,实现按市场、品种、证券维度的高效检索。

从这一机制出发,平台按不同 K 线周期(1 分、3 分、5 分、10 分、15 分、30 分、60 分、120 分、日、周、月、年)分别建立超级表,覆盖各类时间粒度的查询需求,从而实现全市场的 K 线极速查询。

纳秒级大规模数据存储与检索

以 Level-2 行情数据为例,D5 平台借助 TDengine 强大的存储与计算能力,构建了纳秒级快照超级表,用于存储全市场行情数据,单表数据量超百亿条。

在传统关系型数据库中,查询一天沪深全品种的历史快照数据往往需要长达 50 分钟;而基于 TDengine 解决方案,最快仅需 17 秒即可完成同等查询,效率提升超过百倍

凭借极高的压缩比和卓越的查询性能,TDengine 显著提升了历史行情服务的存储和访问效率,为投研人员提供了更快速、更便捷的数据支持,加速策略开发与决策过程。

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

超大数据量导入

在项目落地过程中,华锐技术团队也曾面临挑战。例如,项目初期在进行历史数据迁移时,由于数据量大且格式复杂,使用 taosdump 命令导入 CSV 格式的历史数据时出现了部分数据导入速度较慢的问题。通过与 TDengine 开发团队紧密协作,我们对数据格式进行了优化调整,并完善了数据质检与回补机制,在保证导入性能的基础上,也确保了数据的完整性和准确性。

TDengine 助力华锐 D5 平台实现“三连降”:查询快了,机器少了,成本也低了 - TDengine Database 时序数据库

成本优势

在资源成本方面,得益于 TDengine 的架构优势、高压缩比和高效的资源利用能力,我们存储 10 年规模的历史数据,服务器数量大幅减少,硬件采购与运维成本也大幅降低。同时,TDengine 的简单易用性也降低了开发和运维的难度,进一步提升了团队的工作效率。

下一步规划

华锐技术计划进一步拓展 TDengine 在更多业务场景中的应用,尤其是在构建全栈信创体系、全面支持国产化方面发力。近年来,随着国家对网络与信息安全的高度重视,信创产业已上升为国家战略重点,信息化发展环境也在持续演进。利用 TDengine 的高性能优势与国产化能力,华锐技术将为客户提供更加完备的信创解决方案。同时,公司也在积极探索 TDengine 在金融其他领域的应用潜力,推进复杂衍生指标计算、多维度数据挖掘等行情分析功能的开发,持续丰富产品能力,助力客户实现更全面的数据价值挖掘。

关于华锐技术

华锐技术创立于 2016 年,拥有世界领先的分布式低时延技术,是中国领先的分布式基础技术公司和资本市场核心业务平台提供商。公司总部位于深圳,在北京、上海、长沙设有子公司,业务网络覆盖全国。

华锐 AMD 行情产品部是华锐众多产线之一,致力于打造公司级新一代高速行情服务平台,提供行情极速分发、多数据中心行情传输、实时行情加工、历史行情服务等综合解决方案。平台具备高性价比,能够满足公司各类系统对行情数据的不同需求,现已在多家头部券商、银行理财子公司及私募基金稳定运行多年,持续为各类行情消费系统提供超高可用、超低时延的优质行情服务。