【2020/2/13】寒假自学——学习进度报告16

时间：2020-02-13 23:19:43 阅读：165 评论：0 收藏：0 [点我收藏+]

　　电脑修好了，但之前落下的几天博客确实没啥补的劲头，今天先写一份报告吧。

实验内容和要求

安装 Flume

技术分享图片

安装成功。

使用 Avro 数据源测试 Flume

配置文件

技术分享图片

启动flume agent a1

技术分享图片

创建指定的日志文件

技术分享图片

客户端传输

技术分享图片

传输完成

使用 netcat 数据源测试 Flume

创建example.conf

技术分享图片

启动flume

技术分享图片

启动Telnet

技术分享图片

Hellowworld

技术分享图片

使用 Flume 作为 Spark Streaming 数据源

配置文件技术分享图片

拷贝依赖包技术分享图片

修改spark-env.sh添加环境变量技术分享图片

编写python程序

import sys



from pyspark import SparkContext

from pyspark.streaming import StreamingContext

from pyspark.streaming.flume import FlumeUtils

import pyspark



if __name__ == "__main__":

    if len(sys.argv) != 3:

        print("Usage: flume_wordcount.py <hostname> <port>", file=sys.stderr)

        exit(-1)



    sc = SparkContext(appName="FlumeEventCount")

    ssc = StreamingContext(sc, 2)



    hostname = sys.argv[1]

    port = int(sys.argv[2])

    stream = FlumeUtils.createStream(ssc, hostname, port, pyspark.StorageLevel.MEMORY_AND_DISK_SER_2)

    stream.count().map(lambda cnt: "Recieve " + str(cnt) + " Flume events!!!!").pprint()



    ssc.start()

    ssc.awaitTermination()