首頁技術(shù)文章正文

采集數(shù)據(jù)為什么選擇kafka?

更新時間:2021-03-04 來源:黑馬程序員 瀏覽量:

為什么選擇kafka采集數(shù)據(jù)?大數(shù)據(jù)采集層主要可以使用Flume, Kafka兩種技術(shù)。

Flume:Flume 是管道流方式,提供了很多的默認(rèn)實現(xiàn),讓用戶通過參數(shù)部署,及擴(kuò)展API。

Kafka:Kafka是一個可持久化的分布式的消息隊列。 Kafka是一個非常通用的系統(tǒng)。你可以有許多生產(chǎn)者和很多的消費者共享多個主題Topics。

相比之下,F(xiàn)lume是一個專用工具被設(shè)計為旨在往HDFS,HBase發(fā)送數(shù)據(jù)。它對HDFS有特殊的優(yōu)化,并且集成了Hadoop的安全特性。所以,Cloudera 建議如果數(shù)據(jù)被多個系統(tǒng)消費的話,使用Kafka;如果數(shù)據(jù)被設(shè)計給Hadoop使用,使用Flume。



猜你喜歡:

認(rèn)識Scala的數(shù)據(jù)類型【大數(shù)據(jù)基礎(chǔ)】

為什么要研究大數(shù)據(jù)?大數(shù)據(jù)有什么價值?

Sqoop中的增量導(dǎo)入功能怎樣使用?

黑馬程序員大數(shù)據(jù)培訓(xùn)課程

分享到:
在線咨詢 我要報名
和我們在線交談!