Jixiong LIU (Yansera-衍之)
Articles6
Tags7
Categories4
几款流计算框架汇总

几款流计算框架汇总

只是预存一下站点名字以后慢慢研究而已

目前业内已涌现出许多的流计算框架与平台,在此做一个小小的汇总。

第一类是商业级的流计算平台,代表如下:

第二类是开源流计算框架,代表如下:

  • Twitter Storm:免费、开源的分布式实时计算系统,可简单、高效、可靠地处理大
    量的流数据 http://storm-project.net/
  • Yahoo! S4(Simple Scalable Streaming System):开源流计算平台,是通用的、分布
    式的、可扩展的、分区容错的、可插拔的流式系统。http://incubator.apache.org/s4/;

第三类是公司为支持自身业务开发的流计算框架,虽然未开源,但有不少的学习资料可供了解、学习,代表如下:

  • Facebook Puma:Facebook 使用 Puma 和 HBase 相结合来处理实时数据;
  • DStream:百度正在开发的属于百度的通用实时数据流计算系统;
  • 银河流数据处理平台:淘宝开发的通用流数据实时计算系统;
  • Super Mario:基于 Erlang 语言和 Zookeeper 模块开发的高性能数据流处理框架。
    此外,业界也涌现出了像 SQLstream 这样专门致力于实时大数据流处理服务的公司。
Author:Jixiong LIU (Yansera-衍之)
Link:https://www.yansera.com/2018/07/30/%E5%87%A0%E6%AC%BE%E6%B5%81%E8%AE%A1%E7%AE%97%E6%A1%86%E6%9E%B6%E6%B1%87%E6%80%BB/
Copyright Notice:This artical uses CC BY-NC-SA 3.0 licensing agreements