大數(shù)據(jù)離散流是什么？它的內(nèi)部結(jié)構(gòu)是怎樣的？

Spark Streaming提供了一個(gè)高級抽象的流，即DStream（離散流）。DStream表示連續(xù)的數(shù)據(jù)流，可以通過Kafka、Flume和Kinesis等數(shù)據(jù)源創(chuàng)建，也可以通過現(xiàn)有DStream的高級操作來創(chuàng)建。DStream的內(nèi)部結(jié)構(gòu)如圖1所示。

圖1 DStream流的內(nèi)部結(jié)構(gòu)

從圖1可以看出，DStream的內(nèi)部結(jié)構(gòu)是由一系列連續(xù)的RDD組成，每個(gè)RDD都是一小段時(shí)間分隔開來的數(shù)據(jù)集。實(shí)際上，對DStream的任何操作，最終都會(huì)轉(zhuǎn)變成對底層RDDs的操作。


猜你喜歡：

Spark RDD是什么？RDD特征介紹

Spark有哪些特點(diǎn)，Spark的生態(tài)系統(tǒng)包含哪些組件？

Spark的集群安裝與配置簡介【大數(shù)據(jù)技術(shù)文章】

黑馬程序員大數(shù)據(jù)培訓(xùn)課程