只是预存一下站点名字以后慢慢研究而已
目前业内已涌现出许多的流计算框架与平台,在此做一个小小的汇总。
第一类是商业级的流计算平台,代表如下:
- IBM InfoSphere Streams:商业级高级计算平台,帮助用户开发的应用程序快速摄取、
分 析 和 关 联 来 自 数 千 个 实 时 源 的 信 息
http://www-03.ibm.com/software/products/cn/zh/infosphere-streams/; - IBM StreamBase:IBM 开发的另一款商业流计算系统,在金融部门和政府部门使用
http://www.streambase.com/。
第二类是开源流计算框架,代表如下:
- Twitter Storm:免费、开源的分布式实时计算系统,可简单、高效、可靠地处理大
量的流数据 http://storm-project.net/ ; - Yahoo! S4(Simple Scalable Streaming System):开源流计算平台,是通用的、分布
式的、可扩展的、分区容错的、可插拔的流式系统。http://incubator.apache.org/s4/;
第三类是公司为支持自身业务开发的流计算框架,虽然未开源,但有不少的学习资料可供了解、学习,代表如下:
- Facebook Puma:Facebook 使用 Puma 和 HBase 相结合来处理实时数据;
- DStream:百度正在开发的属于百度的通用实时数据流计算系统;
- 银河流数据处理平台:淘宝开发的通用流数据实时计算系统;
- Super Mario:基于 Erlang 语言和 Zookeeper 模块开发的高性能数据流处理框架。
此外,业界也涌现出了像 SQLstream 这样专门致力于实时大数据流处理服务的公司。