运行环境:
Linux:CentOS Linux release 7.5.1804 (Core)
JDK:1.8.0_212
Hadoop:3.1.3
本次实验运用本地模式演示官方案例WordCount
WordCount
1、创建一个 input 文件夹
[ndmiao@hadoop102 ~]$ mkdir input
2、在 input 文件夹下创建一个 word.txt 文件
[ndmiao@hadoop102 ~]$ cd input
[ndmiao@hadoop102 input]$ vim word.txt
在文件中输入如下内容,并且 wq 保存退出
ndmiao hadoop first
ndmiao love music
hadoop hello world
ndmiao python java
执行程序 jar 可运行 jar 包,后面的目录为你安装 hadoop 的目录,wordcount 为函数名,input 和 output 为输入和输出,其中 output 需要未创建,否则会报错。
[ndmiao@hadoop102 ~]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input/ output/
进入 output 目录查看结果
[ndmiao@hadoop102 ~]$ cat output/part-r-00000first
hadoop 2
hello 1
java 1
love 1
music 1
ndmiao 3
python 1
world 1