常用命令

最近更新时间: 2026-03-13 09:03:00

命令说明

组件操作命令描述
hadoop命令HDFS 文件系统操作基本命令查看目录ls查看hdfs目录下的文件和目录
查看文件cat查看hdfs文件的内容输出至终端
上传文件put将本地文件上传至hdfs文件系统
下载文件get下载hdfs文件至本地机器
创建目录mkdir创建目录到hdfs系统
删除目录/文件rm将hdfs系统上的文件/目录删除
计算使用量du计算hdfs系统上的文件/目录使用量
修改权限chmod修改hdfs系统上的文件/目录权限
修改属主chown修改hdfs系统上的文件/目录属主
HDFS 文件系统管理命令(dfsadmin)获取集群报告report显示集群的总体健康状况
元数据的导出metasave将NameNode的元数据信息保存到一个文件
YARN 调度基本命令作业操作命令app 打印应用程序报告/终止应用程序/管理长期运行的应用程序
打印日志logs 打印容器日志
打印Node报告Node打印Node相关的详细报告
YARN 调度管理命令(rmadmin)刷新队列配置refreshQueues 用于刷新ResourceManager中的队列配置
联邦管理命令(dfsrouteradmin)挂载表查看ls查看联邦挂载表详细条目
挂载表添加add添加联邦挂载表至服务端
挂载表更新update更新联邦已有挂载表
挂载表删除rm删除已有挂载表

命令示例说明

hdfs基础功能
cd /usr/local/service/hadoop/bin
查看目录 ./hadoop fs -ls /
读取文件 ./hadoop fs -cat /test/tesst.txt
创建文件 ./hadoop fs -put /tmp/tesst.txt /test
下载文件 ./hadoop fs -get /tmp/tesst.txt
创建目录 ./hadoop fs -mkdir /test
删除目录 ./hadoop fs -rm -skipTrash -r /test
删除文件 ./hadoop fs -rm -skipTrash /tmp/tesst.txt
计算使用量 ./hadoop fs -du /test
修改权限 ./hadoop fs -chmod  777 /test
修改属主 ./hadoop fs -chown  root:root /test

hdfs管理功能
查看当前集群报告 ./hdfs dfsadmin -report
统计信息 ./hdfs dfsadmin -metasave filename

yarn基础功能
cd /usr/local/service/hadoop/bin
显示作业列表 ./yarn app -list
打印作业容器日志 ./yarn logs -applicationId <ApplicationId>

yarn管理功能
查看node列表 ./yarn node -all -list
查看node状态 ./yarn node -status {ip}:{port} 
管理命令查看 ./yarn rmadmin
刷新队列配置 ./yarn rmadmin -refreshQueues 

联邦管理命令
挂载表查看  hdfs dfsrouteradmin -d -ls
挂载表添加  hdfs dfsrouteradmin -add /user/user1/.Trash ns1,ns2   /user/user1/.Trash   -order HASH_ALL
挂载表更新  hdfs dfsrouteradmin -update /user/user1/.Trash ns1,ns2   /user/user1/.Trash   -order HASH_ALL
挂载表删除  hdfs dfsrouteradmin -rm /data

详细命令参考:Apache Hadoop 3.2.2 – Hadoop Commands Guide
联邦常用配置说明

配置项说明
dfs.federation.router.default.nameserviceId要监视的默认子集群的
dfs.federation.router.store.driver.classorg.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImplStateStore的实现类
dfs.federation.router.monitor.namenodeRouter检测的Namenode列表
dfs.federation.router.rpc-address0.0.0.0:8888RPC地址处理所有客户端请求。
dfs.federation.router.handler.count10路由器处理RPC客户端请求的handler数量。
dfs.federation.router.handler.queue.size1Router处理RPC客户端请求的reader数量。

联邦命令说明

参考:RBF组件示例