场景：

在cdh4.3上复制chd3u3上hdfs数据

堆栈信息：

Caused by: java.io.IOException: Check-sum mismatch between hftp://X.X.X.X:50070/user/dd_edw/warehouse/gdm_online_log/dt=2014-04-10/000252_0.lzo and hdfs://X.X.X.X:8021/user/impala/warehouse/1/.distcp.tmp.attempt_1397555917215_0006_m_000018_0
        at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.compareCheckSums(RetriableFileCopyCommand.java:159)
        at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doCopy(RetriableFileCopyCommand.java:123)
        at org.apache.hadoop.tools.mapred.RetriableFileCopyCommand.doExecute(RetriableFileCopyCommand.java:96)
        at org.apache.hadoop.tools.util.RetriableCommand.execute(RetriableCommand.java:87)
        ... 11 more

网上解决方法：

hdfs-site.xml将dfs.checksum.type属性设置为CRC32

经测试，问题依然同上。

解决方法:

 迁移到的hadoop集群版本比较高, 最好设置-skipcrccheck选项也-update选项, skipcrccheck忽略FileChecksum校验, 因为版本的升级可能带来Checksum值不一样, cdh4与cdh3就是这样.

命令为：

hadoop distcp -update -skipcrccheck hftp://X.X.X.X:50070/user/dd_edw/warehouse/X/dt=2014-04-10 /user/impala/warehouse/1