本文共 827 字,大约阅读时间需要 2 分钟。
MapReduce运行在linux系统上,但是对于开发而言,系统平台可能是windows平台,因为在看法测试时,需要让程序运行在Linux上的hadoop集群上。第一种方式是:建立windows和linux之间的连接,开发平台eclipse在windows上,调用hadoop的运行接口和文件存储接口。(windows上没有配置hadoop,因此无法直接在windows上调试,只能开发完,打包之后发送到linux上执行)。第二种方式:windows上配置hadoop,在eclipse中连接linux进行运行测试(无法调试)。(真正企业运行情况)。第三种:可以调试。配置本地hadoop文件。前两种也叫作服务器环境,第三种为本地测试环境
本地测试环境
Configuration config = new Configuration();config.set("fs.defaultFS", "hdfs://node1:8020");config.set("yarn.resourcemanager.hostname", "node1");
服务器环境
一、直接打包jar,上传到linux服务器,运行hadoop jar filename.jar com.package.MainRun
二、eclipse中直接调用,执行过程还是在linux上 config.set("mapred.jar", "C:\\Users\\Administrator\\Desktop\\wc.jar");
结果:
转载地址:http://lhepi.baihongyu.com/