时序数据库(Time Series Database)的存储引擎要想做到极致,还得自研
LSM Tree 上怎么就不可以建 B-Tree Index 了?(HBase 在 region 上也有 B-Tree Index)B-Tree 怎么就一定要直写硬盘,不能先写 WAL 和走内存 Cache 呢?
OpenTSDB是一个时间序列数据库,由一个 Time Series Daemon (TSD) 和一系列命令行实用程序组成。OpenTSDB支持秒级数据采集所有 metrics,支持永久存储,可以做容量规划,并很容易地接入到现有的报警系统里。OpenTSDB 可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的 metrics 并进行存储、索引以及服务,从而使得 这些数据更容易让人理解,如 web 化,图形化等。
LSM Tree 上怎么就不可以建 B-Tree Index 了?(HBase 在 region 上也有 B-Tree Index)B-Tree 怎么就一定要直写硬盘,不能先写 WAL 和走内存 Cache 呢?
与现在大家所熟悉的数据相比,时间序列数据有其显著不同特点,本文对其特点做一分析。
为满足高速增长的物联网大数据市场和技术需求,在吸取众多传统关系型数据库、NoSQL 数据库、流计算引擎、消息队列等软件的优点之后,涛思数据自主开发出创新型时序数据库 TDengine。在时间序列数据的处理上,TDengine 有着自己独特的优势。就 OpenTSDB 当前遇到的问题来说,TDengine 能够有效解决。
从开源精神角度来评估,前期靠开源吸引大众的目光,靠此方式积累到一定的知名度后又闭源,对于一众投入关注和精力的开发者来说,也是一种无形的伤害。
本文将详细介绍 OpenTSDB 与 TDengine 这两款时序数据库(Time Series Database)在系统功能层面上存在的差异。阅读完本文的内容,你可以全面地评估是否能够将某些基于 OpenTSDB 的复杂应用迁移到 TDengine 上,以及迁移之后应该注意的问题。
目前,曲烟卷包、制丝车间均使用的是国产时序数据库 TDengine,逐渐替代了之前使用的时序数据库。
此次测试,从数据库的读、写、查询、压缩比等方面对TDengine和OpenTSDB进行了对比测试。从测试结果上看,TDengine Database的性能远超OpenTSDB,写入性能约为25倍,读取性能约为32倍,聚合函数性能约为1000倍,按标签分组查询性能约为1000倍,按时间分组查询性能约为40倍,压缩比约为5倍.