首页 > 编程语言 > 详细

安装配置JDK+Eclipse+Maven、Eclipse里新建Maven Project以及HDFS命令和Java API-课堂内容

时间:2019-05-21 20:37:32      阅读:111      评论:0      收藏:0      [点我收藏+]

步骤:1.安装JDK→2.安装Eclipse→3.安装Maven→4. Eclipse里配置Maven (下载Windows版本,在Windows里安装使用。)

1.安装配置JDK

①官网下载Java开发工具安装包jdk-8u201-windows-x64.exe:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

②运行安装包,第一次选择JDK安装路径,第二次选择JRE安装路径,开始安装。

③配置JDK的环境变量,Path添加JDK的\bin的安装路径,cmd命令行运行javac,查看是否成功安装配置。

2.安装Eclipse

①官网下载Eclipse安装包eclipse-inst-win64:https://www.eclipse.org/downloads/

②运行安装包,选择Eclipse IDE for Java Developers,开始安装。过程可能较慢。

3.安装Maven

① Maven官网http://maven.apache.org/download.cgi,选择最近的镜像,选择Maven压缩包apache-maven-3.6.0-bin.tar.gz开始下载。

②解压Maven压缩包apache-maven-3.6.0-bin.tar.gz,解压后的文件夹\apache-maven-3.6.0,将其考入自定义路径,如C:\eclipse\apache-maven-3.6.0。

③配置Maven的环境变量,Path添加Maven的\bin的安装路径,cmd命令行运行mvn -v,查看是否成功安装配置。

4.Eclipse配置Maven

①修改settings.xml

在安装所在文件夹\apache-maven-3.6.0下面,新建\repository文件夹,作为Maven本地仓库。在文件settings.xml里添加 <localRepository>C:\eclipse\apache-maven-3.6.0\repository</localRepository>。

②配置Maven的installation和User Settings

【Preferences】→【Maven】→【Installations】配置Maven安装路径,【User Settings】配置settings.xml的路径。

③添加pom.xml依赖

依赖(Maven Repository: hadoop)所在网址:https://mvnrepository.com/tags/hadoop ,找到对应版本的三个依赖(如下),拷贝至pom.xml的<project>与</project>之间,保存之后自动生成Maven Dependencies。

<dependencies>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-hdfs</artifactId>

      <version>2.7.3</version>

  </dependency>

  <dependency> 

      <groupId>org.apache.hadoop</groupId> 

      <artifactId>hadoop-client</artifactId> 

      <version>2.7.3</version> 

  </dependency>

  <dependency>

      <groupId>org.apache.hadoop</groupId>

      <artifactId>hadoop-common</artifactId>

      <version>2.7.3</version>

  </dependency>

</dependencies>

安装配置成功后,Maven项目树显示如下两项:

 技术分享图片

在Eclipse里新建Maven Project

在Eclipse里新建Maven Project

 技术分享图片

 

输入com.bla,项目名称HDFSTest。

 技术分享图片

自动生成Maven项目,新建包hdfs.files,包里新建class:4个java文件。

技术分享图片

编程过程使用Eclipse快捷键

Alt+/  自动补全单词

Ctrl+1 自动修正,自动添加包、异常。

 

Linux的shell命令

常用的linux的shell命令:

cd /aa          转到/aa目录

pws            显示当前目录

ll /aa           显示/aa目录

mkdir /aa       新建/aa目录

rm /aa/out.txt   删除/aa目录下的out.txt文件

cat /aa/out.txt   查看/aa目录下的out.txt文件的内容

vi /aa/out.txt    编辑/aa目录下的out.txt文件的内容

ifconfig         查看IP地址

ip addr         查看IP地址

hdfs的shell命令

hdfs的shell命令,有三种形式,用前面两个。

hdfs dfs    √

hadoop fs  √

hadoop dfs  ×

常用的hdfs的shell命令:

hdfs dfs -ls /  查看hdfs根目录下文件和目录

hdfs dfs -ls -R /      查看hdfs根目录下包括子目录在内的所有文件和目录

hdfs dfs -mkdir /aa/bb  在hdfs的/aa目录下新建/bb目录

hdfs dfs -rm -r /aa/bb   删除hdfs的/aa目录下的/bb目录

hdfs dfs -rm /aa/out.txt  删除hdfs的/aa目录下的out.txt文件

 

hdfs dfs -put anaconda-ks.cfg /aa        把本地文件上传到hdfs

hdfs dfs -copyFromLocal a.txt /          把本地文件上传到hdfs

hdfs dfs -get /bb.txt bbcopy.txt          从hdfs下载文件到本地

hdfs dfs -copyToLocal /bb.txt bbcopy.txt   从hdfs下载文件到本地

 技术分享图片

技术分享图片

技术分享图片

技术分享图片

HDFS的Java程序

一、HDFSMKdir.java新建HDFS目录/aadir

 技术分享图片

二、HDFSUpload.java写入/上传 本地文件c:\\hdfs\\aa.txt 到HDFS的/aadir目录下。

 技术分享图片

加载包:

技术分享图片

三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\\hdfs目录下。

 技术分享图片

加载包:

 技术分享图片

四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在。

 技术分享图片

实验步骤如下:

  1. 搭建Hadoop伪分布式模式、或者完全分布式模式
  2. Windows里安装配置JDK+Eclipse+Maven
  3. 在Eclipse里新建Maven Project,新建包,新建class
  4. 编程上述4个Java程序
  5. 虚拟机的namenode主机上,启动Hadoop
  6. 在eclipse里运行上述4个Java程序
  7. 使用hdfs的shell命令查看运行结果
  8. 使用web console查看运行结果
  9. Windows里安装配置JDK+Eclipse+Maven
  10. 编程调试上述4个Java程序

安装配置JDK+Eclipse+Maven、Eclipse里新建Maven Project以及HDFS命令和Java API-课堂内容

原文:https://www.cnblogs.com/XSG-960923/p/10901927.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!