两年15.5k star只是新起点,涛思数据正式宣布TDengine灯塔计划

2019年7月12日,涛思数据宣布TDengine正式开源。短短两年时间,TDengine取得了令人瞩目的成绩。TDengine在GitHub上已经有15.5k star,3900多个fork,PR和Issue超过了7000,在GitHub全球趋势排行榜上曾多次霸榜。

2021年7月12日,正值TDengine开源两周年,涛思数据通过直播方式举办了大型庆祝活动。

下午2点,活动正式开启。

涛思数据创始人兼CEO陶建辉发表主题演讲:《两年15.5k star——TDengine的开源之旅》。他首先回顾了自己的三次创业经历。2016年,他看了多个物联网、智能硬件的项目,发现大家都在用通用的大数据平台处理物联网数据,效率不高,且运维复杂。作为一个研发人员,看到这么多通用痛点,他认为应该用技术的方式来解决这些问题。

TDengine 时序数据库 - 两年15.5k star只是新起点,涛思数据正式宣布TDengine灯塔计划 1

通过仔细分析,他总结出物联网、工业互联网数据的十大典型特征:

  • 所有采集的数据都是时序的
  • 数据都是结构化的
  • 一个采集点的数据源是唯一的
  • 数据很少有更新或删除操作
  • 数据一般是按到期日期来删除的
  • 数据以写操作为主,读操作为辅
  • 数据流量平稳,可以较为准确的计算
  • 数据都有统计、聚合等实时计算操作
  • 数据一定是指定时间段和指定区域查找的

针对这些特征,他主导设计了物联网大数据平台TDengine,希望为物联网数据提供全栈解决方案。相对于通用型大数据处理方案,TDengine带来了十倍以上的性能提升,使企业总拥有成本大幅下降。

陶建辉认为,对于基础软件而言,开源具有极大的价值。具体而言,开源可以帮助企业扩大影响力,树立产品和技术品牌;形成开发者社区,构建竞争壁垒;快速获得市场反馈,快速迭代产品;降低使用门槛,方便用户使用;获得用户信任,重塑商业模式。所以,涛思数据不仅选择了开源,还选择了开源最核心的代码。如果不把最有竞争力的代码开源,市场替代品太多;不给用户带来真正的价值,送给他,他也不会用,难以形成粉丝群;把最有竞争力的代码开源出来,还能狙击竞争对手。

陶建辉还分享了涛思数据在研发、社区和团队方面的投入。

  • 研发方面,到目前为止,TDengine已经发布了87个版本;运行测试例1663个;PR 4645次;包含测试代码在内,TDengine的代码行数已经达到75万行。
  • 社群方面,涛思数据已经发布了100多篇技术文章和教程,在GitHub上解答了2128个Issue,目前项目贡献者已经超过80人。
  • 团队方面,整个团队不断扩大,公司从草创时期的5个人已经发展到50多人。团队的不断扩大,也为项目的长期稳定发展提供了坚强的后盾。

在付出了这么多努力之后,TDengine也得到了社区的广泛认可。TDengine的用户遍布全球50多个城市,上线实例数超过68.9k。在CNCF的云原生全景图的数据库分类下,TDengine排在第8位。

TDengine也得到了资本市场的极大认可。自成立以来,涛思数据已经获得多轮融资。在今年5月,涛思数据刚刚完成B轮4700万美元的融资,由经纬中国领投,红杉资本中国基金、GGV纪源资本、指数资本跟投。

关于未来,TDengine有两个重要方向,一个是事件驱动的流计算,一个是云服务

在演讲最后,陶建辉表示将继续拥抱开源,和用户携手向前!

涛思数据联合创始人、技术VP关胜亮从技术角度分享了TDengine的路线图。TDengine的核心创新点是数据模型,在物联网领域,TDengine为每个采集设备创建一张表,能够达到非常好的读写性能,在此基础上,引入超级表的概念,实现了多个数据采集点的高效聚合。

TDengine 2.0将持续维护,在接入能力、计算能力和应用能力三个方面进一步改造。

  • TDengine将提供浮点数据的有损压缩功能,在性能不变的基础上,显著提升压缩比;会支持纳秒数据库,以便支持有高精度采样频率需求的场景;会提供更加完善的数据更新机制。明年TDengine还会支持变长字符串和blob数据类型。
  • 在计算能力上,将提供高速的数据缓存功能,最近数据能够快速查询;会支持用户自定义的查询函数,也就是UDF;还将提供更加丰富的分析功能,SQL语句会支持嵌套查询、状态量窗口、会话窗口等更多功能。
  • 在应用上,今年会发布云服务,提供免费的物联网数据存储;会与OpenFalcon、夜莺等运维监控软件集成,作为其底层存储引擎;提供更加完善的MQTT、OPC、MODBUS接入方法;提供更灵活的Grafana插件和丰富的Dashboard;此外,TDengine的自身监控功能也会进一步优化。

目前TDengine 3.0的研发工作也已经开始,其关键特性有3个:

  • 将TDengine的架构修改为云原生架构,更加完美地支持容器化部署;
  • 要做到计算和存储分离,以便于更加快速地实现系统的扩容和缩容;
  • 支持事件驱动的流计算。

涛思数据联合创始人李广分享了《从开源到商业化——TDengine的最佳实践》。他提到,TDengine开源两年以来,在商业化方面也取得了很大的成果,到目前为止,开源用户已经超过10万,商业付费客户有100多家,其中包括10多家世界500强企业,如中国电信、国家电网、华润、中国电科、南钢金恒、经纬恒润等。TDengine毫无保留地开源了最核心的代码,社区版本是客户认知和体验TDengine的最佳方法,是商业软件降低商业化和销售成本的最佳路径。

涛思数据联合创始人侯江燚分享了《脚踏实地——TDengine的行业落地场景》。他介绍了TDengine的应用场景和落地案例。演讲中提到了3个最典型的场景:

  • 电力行业是典型的时序监控无处不在的行业。电网的稳定运行,离不开发电、输电、配电等各个关键环节中的实时监控。某能源集团要为多个发电站建立一个生产监控大数据平台,来存储风机、光伏板等发电设备的运行状态数据、发电机组运行状态、电流、电压、功率等。平台接入了15000多个设备的数据,总监测点数超过2000万,写入速度超过200万点/秒,每天原始数据增量超过1TB。用户为此搭建了6节点的TDengine集群,可以高速写入数据的同时,很好地支撑了实时大屏、告警看板和定期的报表统计查询。
  • 汽车行业是另一个与时序监测密不可分的行业。从汽车的制造、到车联网、再到自动驾驶领域,无一不在产生海量的时序数据。某企业用TDengine替代Hadoop搭建车联网大数据平台,平台接入车辆数约150万辆,主要是TBox采集的实时经纬度、车速、加速度、制动状态、ABS状态等关键行车信息,并基于此对车辆和用户行为进行评估和分析。对数据平台的性能要求为至少每秒写入约1000万点,每天约15TB的数据增长速度。
  • IT运维场景,从基础设施层的服务器、容器开始,到数据库、消息队列等中间件,再到业务服务进程本身、API调用次数,资源占用情况等,都需要监控并实时报警处理,保证大家服务的健康稳定。某公司的运维团队,采用TDengine后,将25个节点的OpenTSDB集群计算资源替缩减成了3节点TDengine集群。大幅节省了计算和存储资源。

第二个环节是《大咖话开源》。CSDN创始人&董事长、极客帮创投创始合伙人蒋涛、国家电网河北电力有限公司、调度控制中心自动化处处长杨立波、PingCAP联合创始人兼CTO黄东旭、中国地震台网中心、地震科学技术开放实验室主任马延路以及红杉资本中国基金投资合伙人吴茗等嘉宾分享了各自对开源的深刻见解。

TDengine 时序数据库 - 两年15.5k star只是新起点,涛思数据正式宣布TDengine灯塔计划 2

在谈到对未来技术趋势的预测时,黄东旭认为,有三点他认为比较重要:未来五年有几个趋势是可以预见的,一个是摩尔定律会失效,所有的基础软件都要变成分布式的,分布式技术将成为程序员必须学习的技能;再一个是Cloud Native,云会重塑编程方式,很多新的服务或软件就是基于云服务的,开发者不用再考虑或者根本不知道底层的操作系统;还有一个趋势是开源,开源将成为未来开发软件的基石,很多开发要基于开源软件以搭积木的形式构建。

吴茗认为,未来在特别大的一些场景下的异构计算还有很多创新机会。

陶建辉认为所有技术的变化都是应用场景驱动的。

杨立波认为,开源模式是一种价值模式:从个人角度讲,能让人快速接触到某个领域世界上最先进的技术,给人以无限的发挥能力;从企业角度讲,可以弥合差距,将精力放在最核心的部分;对于传统行业,得到的是“信赖”,要考虑系统长期稳定的发展,源代码可以为企业提供定心丸;对开源公司而言,产品可以快速迭代和成熟,能够开源,也是公司勇气和精神的体现。

马延路提到,地震台网采集的数据量非常大,一方面采集点不断增多,一方面我们对分析速度的要求越来越高,从而对技术的挑战也越来越大。开源搭建起了地震研究人员和技术人员之间的桥梁。

灯塔计划

作为活动最重磅的环节,涛思数据创始人兼CEO陶建辉和蒋涛、杨立波、黄东旭、马延路以及吴茗等五位嘉宾一起点亮按钮,宣布启动灯塔计划。

TDengine 时序数据库 - 两年15.5k star只是新起点,涛思数据正式宣布TDengine灯塔计划 3

为共建物联网大数据处理生态,涛思数据发布灯塔计划,将投入上亿元研发资源支持,希望联合100家企业,以TDengine为核心,为企业提升业务价值,降本增效。

你的企业是不是受困于时序数据处理的效率不够高,随着业务规模提升,存储和计算成本以几何级数方式增加?

TDengine就是你的答案!

下面我们来看一下“灯塔计划”的具体内容。

【面向对象】

市值在10亿美金以上的公司,或者估值在10亿美金以上的独角兽企业,有时序数据处理的场景和需求。

【报名时间】

2021年7月12日~2021年8月12日。

【申请流程】

填写申请表单,描述相关场景,涛思数据工作人员会主动联系。对于符合要求的企业,双方将签订合作协议,正式推进。

涛思数据将提供五大核心支持,为企业落地和使用TDengine提供强有力的保证。

  • 产品赋能:利用TDengine提升时序数据处理能力,大幅降低TOC。
  • 原厂支持:涛思数据免费提供2年价值百万级的企业级技术支持,免除后顾之忧。
  • 人才培养:涛思数据输送讲师,帮助企业专家深入掌握TDengine。
  • 品牌推广:与参加企业联合进行品牌推广活动,提升影响力。
  • 奖项加持:2021年年底评选3家企业作为TDengine年度最佳合作伙伴,追加2年企业级服务;对于参与TDengine在企业落地过程的专家,评选TDengine MVP。

今年年底,涛思数据还将推出盛大的颁奖活动,评选出最有代表性案例和最佳合作伙伴。

涛思数据希望通过灯塔计划,推动企业完成和完善数字化转型,点亮整个物联网大数据处理生态!

最后感谢SegmentFault思否、CSDN、InfoQ、Gitee、OSChina和腾源会等合作伙伴的大力支持。