資訊中心 Info
當前位置:愛尚教育 > 資訊中心 >
Spark Streaming
發布日期:2020-05-28 閱讀次數:

前言

介紹利用 StreamingPro 構建流式(Spark Streaming)計算程序

準備工作

  • 下載StreamingPro

我們假設您將文件放在了/tmp目錄下。

填寫配置文件

  • 下面配置下載后無需任何改動即可跑起來

gist

假設你下載后重新命名為test.json,并且放在了/tmp目錄下。

ps: 這個例子里,我們模擬了一個流式數據源(一般而言是Kafka),然后將該數據源映射成一張表test。 另外我們知道,在一般流式計算中,我們經常需要一些映射數據,比如ip->地理位置 的映射關系。所以我們定義了一張testJoinTable表,然后該表可以直接可以被流式數據中使用(使用Join)。最后打印出結果。

啟動StreamingPro

Local模式:

cd $SPARK_HOME




./bin/spark-submit   --class streaming.core.StreamingApp \

--master local[2] \

--name test \

/tmp/streamingpro-0.4.1-SNAPSHOT-online-1.6.1.jar    \

-streaming.name test    \

-streaming.job.file.path file:///tmp/test.json

訪問

http://127.0.0.1:4040

可進入Spark UI

集群模式:

cd $SPARK_HOME




./bin/spark-submit   --class streaming.core.StreamingApp \

--master yarn-cluster \

--name test \

/tmp/streamingpro-0.4.1-SNAPSHOT-online-1.6.1.jar    \

-streaming.name test    \

-streaming.job.file.path hdfs://cluster/tmp/test.json

 

課程體系
通知公告
富二代app破解版下载