程序员人生 网站导航

hadoop distcp 实现不同集群之间数据同步

栏目:服务器时间:2015-04-28 08:21:22

1.相同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hdfs://dchadoop002.dx:8020/user/dc/warehouse/test /user/dc/warehouse/test


2.不同hadoop版本同步数据

hadoop distcp -skipcrccheck -update -m 20 hftp://ns1/user/test /user/dc/test


参数:

-m 表示并发数

-skipcrccheck 跳过hdfs校验

-update 更新文件

------分隔线----------------------------
------分隔线----------------------------

最新技术推荐