首页 > 其他 > 详细

Flink 从 0 到 1 学习之(20)Flink读取hdfs文件

时间:2020-09-08 16:23:29      阅读:1296      评论:0      收藏:0      [点我收藏+]

接一下以一个示例配置来介绍一下如何以Flink连接HDFS

1. 依赖HDFS

pom.xml 添加依赖

    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-hadoop-compatibility_2.11</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>

2. 配置 HDFS

hdfs-site.xmlcore-site.xml放入到src/main/resources目录下面

3. 读取HDFS上面文件

  final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSource<String> text = env.readTextFile("hdfs://flinkhadoop:9000/user/wuhulala/input/core-site.xml");

TIP

  1. 请关闭HDFS 权限,不关闭需要把认证copy到resources目录下
 <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
 

Flink 从 0 到 1 学习之(20)Flink读取hdfs文件

原文:https://www.cnblogs.com/huanghanyu/p/13632836.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!