命令说明
| 组件 | 操作 | 命令 | 描述 | |
| hadoop命令 | HDFS 文件系统操作基本命令 | 查看目录 | ls | 查看hdfs目录下的文件和目录 |
| 查看文件 | cat | 查看hdfs文件的内容输出至终端 | ||
| 上传文件 | put | 将本地文件上传至hdfs文件系统 | ||
| 下载文件 | get | 下载hdfs文件至本地机器 | ||
| 创建目录 | mkdir | 创建目录到hdfs系统 | ||
| 删除目录/文件 | rm | 将hdfs系统上的文件/目录删除 | ||
| 计算使用量 | du | 计算hdfs系统上的文件/目录使用量 | ||
| 修改权限 | chmod | 修改hdfs系统上的文件/目录权限 | ||
| 修改属主 | chown | 修改hdfs系统上的文件/目录属主 | ||
| HDFS 文件系统管理命令(dfsadmin) | 获取集群报告 | report | 显示集群的总体健康状况 | |
| 元数据的导出 | metasave | 将NameNode的元数据信息保存到一个文件 | ||
| YARN 调度基本命令 | 作业操作命令 | app | 打印应用程序报告/终止应用程序/管理长期运行的应用程序 | |
| 打印日志 | logs | 打印容器日志 | ||
| 打印Node报告 | Node | 打印Node相关的详细报告 | ||
| YARN 调度管理命令(rmadmin) | 刷新队列配置 | refreshQueues | 用于刷新ResourceManager中的队列配置 | |
| 联邦管理命令(dfsrouteradmin) | 挂载表查看 | ls | 查看联邦挂载表详细条目 | |
| 挂载表添加 | add | 添加联邦挂载表至服务端 | ||
| 挂载表更新 | update | 更新联邦已有挂载表 | ||
| 挂载表删除 | rm | 删除已有挂载表 |
命令示例说明
hdfs基础功能
cd /usr/local/service/hadoop/bin
查看目录 ./hadoop fs -ls /
读取文件 ./hadoop fs -cat /test/tesst.txt
创建文件 ./hadoop fs -put /tmp/tesst.txt /test
下载文件 ./hadoop fs -get /tmp/tesst.txt
创建目录 ./hadoop fs -mkdir /test
删除目录 ./hadoop fs -rm -skipTrash -r /test
删除文件 ./hadoop fs -rm -skipTrash /tmp/tesst.txt
计算使用量 ./hadoop fs -du /test
修改权限 ./hadoop fs -chmod 777 /test
修改属主 ./hadoop fs -chown root:root /test
hdfs管理功能
查看当前集群报告 ./hdfs dfsadmin -report
统计信息 ./hdfs dfsadmin -metasave filename
yarn基础功能
cd /usr/local/service/hadoop/bin
显示作业列表 ./yarn app -list
打印作业容器日志 ./yarn logs -applicationId <ApplicationId>
yarn管理功能
查看node列表 ./yarn node -all -list
查看node状态 ./yarn node -status {ip}:{port}
管理命令查看 ./yarn rmadmin
刷新队列配置 ./yarn rmadmin -refreshQueues
联邦管理命令
挂载表查看 hdfs dfsrouteradmin -d -ls
挂载表添加 hdfs dfsrouteradmin -add /user/user1/.Trash ns1,ns2 /user/user1/.Trash -order HASH_ALL
挂载表更新 hdfs dfsrouteradmin -update /user/user1/.Trash ns1,ns2 /user/user1/.Trash -order HASH_ALL
挂载表删除 hdfs dfsrouteradmin -rm /data
详细命令参考:Apache Hadoop 3.2.2 – Hadoop Commands Guide。
联邦常用配置说明
| 配置项 | 值 | 说明 |
| dfs.federation.router.default.nameserviceId | 无 | 要监视的默认子集群的 |
| dfs.federation.router.store.driver.class | org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImpl | StateStore的实现类 |
| dfs.federation.router.monitor.namenode | 无 | Router检测的Namenode列表 |
| dfs.federation.router.rpc-address | 0.0.0.0:8888 | RPC地址处理所有客户端请求。 |
| dfs.federation.router.handler.count | 10 | 路由器处理RPC客户端请求的handler数量。 |
| dfs.federation.router.handler.queue.size | 1 | Router处理RPC客户端请求的reader数量。 |
联邦命令说明
参考:RBF组件示例