专栏名称: needrunning

互联网行业一线技术开发者，对云计算，大数据等分支感兴趣，欢迎交流讨论

相关文章推荐

财大易晟金融学院 · 伊朗击落三架F-35，为什么全世界都不相信？ · 9 小时前

参考消息 · 伊朗：逮捕两名摩萨德成员 · 11 小时前

参考消息 · 伊朗伊斯兰革命卫队总司令被以色列暗杀 · 2 天前

参考消息 · 联合国秘书长：深表悲痛 · 2 天前

参考消息 · 台媒愤怒：台当局竟“直接跪了”！ · 3 天前

51好读 › 专栏 › needrunning

系统服务化构建-数据解读通用模型

needrunning · 简书 · · 2017-12-16 08:53

正文

数据加工

在涉及到数据处理的相关系统中，数据加工是数据解读整个过程中的第二部分，主要任务是对终端收集到的数据进行初次加工，过滤明显的异常数据，也就是严重的噪音数据，近而进行第一次持久化处理。

下面举两个例子

在APP端-Server端的架构中，这里的持久化存在在APP端

在传感器-Server端的架构中，这里的持久化存在传感器的闪存中

当然持久化的时间和存储能力视具体情况而定。

在工业生产环境及大数据量，并发情况下，以上的架构会引入消息Hub或者消息队列的角色

APP端--Server ==》APP端-MQ-Server

传感器-Server端 ==》传感器-MQ-Server端

推荐文章

财大易晟金融学院 · 伊朗击落三架F-35，为什么全世界都不相信？

9 小时前

财大易晟金融学院 · 伊朗击落三架F-35，为什么全世界都不相信？

9 小时前

参考消息 · 伊朗：逮捕两名摩萨德成员

11 小时前

参考消息 · 伊朗伊斯兰革命卫队总司令被以色列暗杀

2 天前

参考消息 · 联合国秘书长：深表悲痛

2 天前

参考消息 · 台媒愤怒：台当局竟“直接跪了”！

3 天前

集微网 · 上海韦尔IPO过会通过；君正收购OV受碍证监会新规流产；SMIC中国客户占营收49.7%；魅族荣耀屏内指纹手机方案均指向汇顶

8 年前

教女人变苗条 · 最正确的去眼袋方法？学会包你减龄10岁！

8 年前

海蓝博士 · 我要抱着你，趁还来得及

8 年前

正和岛 · “不愿意机械地活着”，是范雨素刺痛我们的真正原因

8 年前

芯世相 · 20170522买卖芯片找老王【中】

8 年前