博舍

iot采集的数据存大数据 物联网 工业互联网 云计算大数据移动互联网物联网人工智能等

iot采集的数据存大数据 物联网 工业互联网

现在的负责的系统中,其中一个叫EMS,其数据链路为:

传感器采集-->厂商的转发服务器-->iot平台(其中有的厂商转发过来的数据需要处理,在iot前面会多加一个emq转发服务器)-->大数据(大数据的定时任务将这些实时数据存数据库clickhouse)-->EMS(EMS的定时任务每10分钟对这些实时数据进行一次汇总计算,落表,mysql数据库)

大数据的这张单表,每天10亿-12亿条数据,大概50G。平均一条数据40-50个Byte。

而且是3个副本。

目前已经存了3年的数据。5000亿条数据。

一般保存3个月就够了,也可以半年。

因为都是实时数据,计算完了落到mysql的表里其实也就没用了。少部分功能,像组态图、实时数据展示等,会要求当天的数据。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。

上一篇

下一篇