SparkStream 标签

DStream的Transformation/output算子 有更新!

SparkStreaming Dstream的Transformation算子和SparkCore的操作基本类似,如:map,reduce,cont,filter…,毕竟DStream的底层还是RDD。SparkStreaming Dstream中比较有特点算子,如Window,updateStateByKey,outputRDD,对于某种场景下的业务需求能够很好的解决,是比较实用的算子。

By/Atlas/日期:2017-07-14 13:12:23/ 0 评论/481 浏览 阅读全文 »
大数据实时计算框架:SparkStreaming 有更新!

SparkStreaming是Spark提供的分布式的大数据实时计算框架,是基于SparkCore(Spark核心API)的扩展,他提供了动态的,高吞吐量的,可容错的流式数据处理。他可以从多个数据源(Kafka,Flume,Kinesis,Tcp spckets)中获取数据,然后使用复杂的算法和高级的函数算子如:map,reduce,join,window…进行数据处理加工…

By/Atlas/日期:2017-07-13 11:54:02/ 1 评论/703 浏览 阅读全文 »