2022 Apache IoTDB 物联网生态大会圆满落幕,发布分布式1.0版本并探讨物联网数据管理技术
12月3-4日,2022 Apache IoTDB物联网生态系统大会在线上圆满结束。大会上发布了Apache IoTDB分布式版本1.0,分享了Apache IoTDB实现的数据管理技术和物联网场景实战案例。还深入探讨了Apache IoTDB如何与物联网企业共同构建活跃的生态系统,以及企业如何与开源社区紧密合作。实现双赢。
我们邀请了京东副总裁、物联网事业部负责人周炯出席本次会议并做主题报告——《万物互联时代的时序数据库》。以下为报告全文。
目录
万物互联时代已经到来
京东科技在物联网领域的实践
IoT场景的时间序列数据库
未来展望
尊敬的各位来宾、朋友们,大家好,我是京东集团的周炯。随着万物互联时代的到来,时间序列数据库变得越来越重要,所以今天我们就这个话题和大家分享一下我们的看法。
01
万物互联时代已经到来
我们先来看几组数据。据工信部今年8月统计,中国移动物联网连接数已超过手机用户数。这意味着中国进入了超人事物时代。随着设备的快速增长,数据量也将呈指数级增长,未来物联网数据将成为全球互联网数据的主要来源。
02
京东科技在物联网领域的实践
我们来看看京东科技在物联网领域的实践。随着京东技术战略的发展和积累,京东科技的物联网平台可连接超过2亿台设备,其中包括200多个设备类型、4000多个设备型号。京东科技物联网平台拥有千余家合作伙伴,安全可靠、高性能、开放灵活,可灵活应用于To C、To B各种物联网场景。
在工业物联网领域,我们融合云计算、物联网大数据、人工智能、区块链等前沿技术,打造工业大脑、供应链大脑、制造大脑、双碳大脑四大数字引擎,并在上层构建整个供应链的应用和生态,连接生产和销售的整个链条,帮助企业数字化升级和协调生产和销售。
随着碳达峰、碳中和目标的提出,节能减碳已成为大家的共识。在能源双碳领域,我们通过工业数据中台、物联网管理平台、智慧能源服务平台的建设,打造了统一的体系。共享智慧园区和能源双碳平台,完善园区管理,推动生产决策,实现节能减碳。
京东科技深耕智能家居多年。我们基于小净鱼智能家居平台构建了跨平台、跨品类的智能家居物联网生态系统。依托京东平台的电商能力,我们给千千万万的人带来了大量的智能产品。满足千家万户智慧生活的各种场景需求。
在数字化仓库领域,我们聚焦大宗行业核心枢纽,融合物联网、人工智能等技术,打造全流程货物管控、全品类监管的数字化仓库解决方案。在此基础上,我们延伸贸易和金融服务,主要包括有色金属。 ,构建杂货、干件、冷链商品等数字化仓储解决方案。当然,也有在其他领域实施的解决方案和产品。这里我就不详细说了。
03
物联网场景的时间序列数据库
那么这些物联网场景中的数据有哪些特点呢?通过对各种物联网场景的分析,我们可以将物联网的核心数据类型分为四类。一是感官数据,比如我们所说的温湿度、压力、车速等感官信息。其特点是频率低。范围可以从高频到高频,实时特征数据庞大。二是设备运行数据,包括设备自身数据和外设诊断数据。其特点是频率高、实时性强、数据量大。第三个是音视频图像数据,由摄像头和边缘节点生成。其特点是实时、稳定、高性能、大存储。最后一类数据是根据原始数据处理生成的中间数据,主要用于帮助管理。决策一般是报表分析数据,其特点是频率低、数据量小、非实时。总体而言,数据的核心特征是海量、串行、实时、易于购买和动态流动性。我们可以看到,时间序列数据占据了最大的体量。
物联网的时间序列数据具有以下典型特征。首先是其采集来源单一且稳定。一个物联网设备收集的数据完全独立于另一设备收集的数据。也就是说,一个设备数据只有一个生产者,并且数据来源是唯一的。第二个特点是它的数据规模巨大。物联网设备数量庞大,24小时都在产生数据。因此,数据规模远大于传统互联网的数据量。第三个特点是多写少读。对于互联网应用,一条数据记录通常被写入一次并被多次读取。物联网设备生成的数据通常仅在分析趋势或故障时读取,而不是经常读取。获取原始数据。第四个特点是地方自治。边缘计算是物联网未来发展的重要趋势。时序数据的实时处理需要在本地完成,只有高度结构化的聚合数据才会聚合到云端。最后,还有实时融合。物联网时间序列数据往往需要实时聚合分析才能获得我们想要的信息。
时序数据在物联网领域无处不在,时序数据库有着非常广阔的应用前景,比如车联网车辆及路况监控、工厂设备监控、分布式新能源监控、货物追踪、远程监控等。抄表和数据中心服务状态。对于这些应用场景,我们可以看到物联网时序数据的处理有着明确的目标。第一个目标是高并发、高吞吐量的写入能力,可以支持每秒千万个数据点的写入。二是加工成本低、效率高。由于物联网数据量巨大,需要降低海量数据的存储成本并提供高压缩率。三是流式处理。时间序列数据通常需要流式处理。由于数据量巨大,单个数据的开销非常大。将计算直接与时序数据库底层数据连接,可以提高其处理效率。第四是分布式高可用。分布式架构可以支持海量数据的水平扩展和系统的高可用性。第五,需要支持实时聚合查询分析。
为了同时满足以上五个处理目标,传统数据库往往存在不足。因此,迫切需要一个专门的时间序列数据库来解决这些缺点。根据全球知名数据库流行度排名网站DB-Engines的数据,我们可以看到,时序数据库的关注度近两年持续位居第一,并持续增长。时序数据库市场也百花齐放,各种新的时序数据库不断涌现。其中,很多优秀的国产时序数据库的上升趋势非常明显,比如Apache IoTDB。
物联网领域比较有代表性的时间序列数据库是Apache IoTDB。它是专门为物联网设计的时间序列数据库。它具有高性能和丰富的功能。满足工业物联网领域海量数据存储、高速数据写入和复杂数据分析的需求。它为云和边缘提供一站式解决方案,具有开放的系统架构、海量数据存储、支持物联网专用模型、支持云边协同、极高的压缩比和高效的查询能力、高效的存储八个特点引擎和丰富的生态系统。
目前IoTDB已经在京东的两个场景实现。一是电力能源项目。该项目需要超过5000万个测量点,可以实现每秒数千万条记录写入。数据查询必须能够在几秒钟内响应。数据量需要存储5年以上,可支持时间窗统计和每秒百万级的记录处理能力,同时支持云边协同。
此外,IoTDB还在京东智能家居系统的水、电、燃气统计中小规模使用。目前接入测点数量超过100万个,写入速率约为每分钟45万条,32亿条数据存量需要支持六种计算。对于五个子时间维度的聚合查询,通过IoTDB的应用,我们可以在降低成本的同时提高性能。
04
未来展望
展望未来,我们认为时序数据库的发展将主要集中在以下几个方面。第一个是云原生。计算和存储能够支持弹性扩展,能够基于云原生技术栈不断演进自动化部署和运维。然后是多重整合。未来,时序数据库将与关系型数据库、KV数据等深度融合,为应用层提供统一的接口,让用户更方便地处理各类数据。三是实时流式处理,通过响应式编程实现数据的实时流式计算,从而大大降低读放大和写放大的影响。第四是分布式高可用。物联网时序数据库应具备工业级高可靠性和高可用性性能,并支持数据实时备份和异地容灾。第五,可观察、易于维护。系统应具有良好的可观测性,有完善的监控和运维体系,能够方便地部署在各种环境中,长期运维也应该比较简单。最后一是采购、存储、计算、使用一体化。我们相信,在应用价值的驱动下,采购、存储、计算、使用一体化的发展可以大大降低数字化的成本。
总的来说,机遇与挑战并存,国产时序数据库必将大放异彩!谢谢大家。
生活日报网·版权声明
本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。
本网站所提供的信息,只供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。本网站及其雇员一概毋须以任何方式就任何信息传递或传送的失误、不准确或错误,对用户或任何其他人士负任何直接或间接责任。在法律允许的范围内,本网站在此声明,不承担用户或任何人士就使用或未能使用本网站所提供的信息或任何链接所引致的任何直接、间接、附带、从属、特殊、惩罚性或惩戒性的损害赔偿。
【特别提醒】:如您不希望作品出现在本站,可联系我们要求撤下您的作品。邮箱 sunny@sdlife.com.cn