聊聊JStorm的最佳实践

  • 时间:
  • 浏览:7

Alibaba JStorm 是另一1个多 强大的企业级流式计算引擎,是Apache Storm 的4倍性能, 可否 自由切换行模式或mini-batch 模式,JStorm 不仅提供另一1个多 流式计算引擎, 还提供实时计算的完正处置方案, 涉及到更多的组件, 如jstorm-on-yarn, jstorm-on-docker, SQL Engine, Exactly-Once Framework 等等。

JStorm处置数据的方式是基于消息的流水线处置, 后后 有点适合无情况汇报计算,也后后 计算单元的依赖的数据完正在接受的消息中可否 找到, 后后 最好另一1个多 数据流不依赖另外另一1个多 数据流。

后后 ,常常用于:

·日志分析,从日志中分溶解特定的数据,并将分析的结果存入内部人员存储器如数据库。目前,主流日志分析技术就使用JStorm或Storm

·管道系统, 将另一1个多 数据从另一1个多 系统传输到另外另一1个多 系统, 比如将数据库同步到Hadoop

·消息转化器, 将接受到的消息按照三种格式进行转化,存储到另外另一1个多 系统如消息后边件

·统计分析器, 从日志或消息中,提炼出某个字段,后后 做count或sum计算,最后将统计值存入内部人员存储器。··后边处置过程因为更复杂化。

·实时推荐系统, 将推荐算法运行在jstorm中,达到秒级的推荐效果

有一篇相关文章亲戚亲戚大伙儿可完正了解——《CentOS 6.8 实战部署JStorm集群》