Hadoop4Win + Eclipse 运行 WordCount 程序

1. 系统+软件

     WinXP + Eclipse Version: 4.2.1

 

2. Hadoop4Win

   http://trac.nchc.org.tw/cloud/wiki/Hadoop4Win

 

   注意:设置环境变量

   path 添加:d:/hadoop4win/bin;

3. Eclipse

    3.1 安装插件  需要下载hadoop-0.20.3-dev-eclipse-plugin.jar,否则Run on Hadoop没有反应! Google搜索下载即可!

    3.2 设置Map/Reduce Location

            主要是端口号,一般网上的说明都是对的!

            高级设置没有改动!

4. 运行程序

    4.1 建立 Map/Reduce工程

    4.2 找到 WordCount.java程序,在安装example文件下就有

    4.3 准备处理文档

          在windows下编辑两个文本,file01.txt和file02.txt,里面随便写一些英文句子;放到E:\hadoop4win\home\你的登录名

          然后在hadoop4win打开的Cygwin终端中:
          cd /home/你的用户名
  
          hadoop fs -mkdir input
          hadoop fs -put file01 input
          hadoop fs -put file02 input

    4.4 设置运行参数

          Run Config中设置

          program arguments:
    hdfs://localhost:9000/user/hezhixue/input
      hdfs://localhost:9000/user/hezhixue/output
   
    VM arguments:
    -Xmx512m

 

5. 异常处理

     5.1 在windows eclipse开发环境运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2,”
 
  问题原因:没有安装cygwin 或 没有配置环境变量;
  解决办法:安装并配置环境变量 bin到 path下 重启 eclipse   问题解决;


  5.2 java.lang.OutOfMemoryError: Java heap space


问题原因:客户端程序运行时java虚拟机内存分配不够


解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。

Para obtener más información sobre las optimizaciones del compilador, consulte el aviso sobre la optimización.