1. 项目概述为什么你需要一份“完整”的Hadoop命令大全在数据领域摸爬滚打十几年我见过太多工程师包括早期的我自己在面对Hadoop集群时第一反应就是去网上搜“hadoop命令大全”。这个需求太真实了——Hadoop生态的命令行工具CLI繁多从最基础的HDFS文件操作到YARN资源管理再到MapReduce作业提交每个模块都有自己的语法和参数。新手容易迷失在hdfs dfs、yarn、mapred这些前缀里而老手也可能记不清某个不常用命令的精确选项。所以一份“完整”的命令参考其价值不在于让你死记硬背而在于提供一个系统性的“地图”和“词典”让你在需要时能快速定位、理解并正确使用。这不仅仅是命令的罗列更是对Hadoop运维与开发核心工作流的梳理。本文将基于实战为你拆解这份“大全”背后的逻辑、高频场景的“组合拳”以及那些官方文档里不会写的“避坑指南”。2. Hadoop命令体系全览与核心模块解析Hadoop的命令行体系并非铁板一块而是围绕其核心子系统构建的。理解这个结构比记住几百条命令更重要。2.1 三大核心命令模块Hadoop的命令主要分为三大入口对应其核心组件hdfs dfs/hadoop fs文件系统操作核心这是使用频率最高的命令集。hadoop fs是一个通用接口而hdfs dfs是特指HDFS的实现两者在绝大多数情况下可以互换。它模拟了类似Linux的文件操作但专为分布式文件系统设计。核心价值管理HDFS上的数据生命周期包括上传、下载、查看、移动、删除、设置权限等。这是所有数据处理的起点和终点。yarn集群资源管理与应用调度核心YARN作为Hadoop 2.x之后的资源调度器其命令用于管理集群资源、查看和应用状态。核心价值提交应用不仅是MapReduce、查看应用列表与详情、杀死应用、查看节点和队列状态。当你需要知道“我的作业为什么卡住了”或者“集群资源被谁用了”时就得靠它。mapredMapReduce作业管理核心传统这是用于直接管理MapReduce作业的命令行工具。在YARN成为主流后部分功能被yarn命令替代但它对于历史作业查询和某些高级调试仍有价值。核心价值提交传统的MapReduce作业非YARN模式、查看作业历史从JobHistoryServer、调试作业。2.2 其他重要管理命令除了上述面向用户和应用的命令还有一些面向集群管理员的关键命令hdfs 用于HDFS守护进程管理如hdfs namenode -format初始化格式化慎用、hdfs --daemon start/stop datanode启停单个DataNode。start-dfs.sh/stop-dfs.sh 启停整个HDFS集群的脚本。start-yarn.sh/stop-yarn.sh 启停整个YARN集群的脚本。hadoop classpath 打印Hadoop的类路径在解决依赖冲突或自定义提交应用时非常有用。hadoop version 查看Hadoop版本信息确认环境的第一步。注意hadoop这个命令本身是一个总入口后面跟上不同的模块关键词如fs,jar,classpath等来执行不同功能。而hdfs和yarn是独立的命令模块。3. HDFS文件操作命令深度解析与实战这是日常开发运维的“主战场”。我们按操作类别来梳理并注入实战经验。3.1 文件与目录管理这类命令最接近Linux体验但分布式环境带来了新的考量。-ls 列出目录内容hdfs dfs -ls /user/hadoop hdfs dfs -ls -R /user/hadoop # 递归列出查看子目录 hdfs dfs -ls -h /user/hadoop # 以人类可读格式K, M, G显示文件大小实操心得总是习惯性加上-h选项否则面对一串以字节为单位的数字你很难快速判断文件大小。对于深度目录结合-R和head/tail或输出到文件再查看避免刷屏。-put/-copyFromLocal 从本地文件系统上传文件到HDFShdfs dfs -put localfile.txt /user/hadoop/input/ hdfs dfs -copyFromLocal localfile*.txt /user/hadoop/input/ # 支持通配符核心区别-put和-copyFromLocal功能几乎相同。细微差别在于-copyFromLocal的源路径强制要求是本地文件系统语义更明确。我通常混用但团队规范里可以统一。-get/-copyToLocal 从HDFS下载文件到本地hdfs dfs -get /user/hadoop/output/part-* ./local_output/ hdfs dfs -copyToLocal /user/hadoop/output/result.txt .注意事项下载大文件或大量小文件时考虑使用-p选项保留时间戳和权限。如果下载路径已存在会报错需先清理或使用-f强制覆盖谨慎。-mkdir 创建目录hdfs dfs -mkdir /user/hadoop/new_folder hdfs dfs -mkdir -p /user/hadoop/parent/child/deep # 递归创建父目录避坑指南99%的情况下你都应该加上-p选项。这能避免因父目录不存在而导致的失败让脚本更健壮。-rm 删除文件或目录hdfs dfs -rm /user/hadoop/old_file.txt hdfs dfs -rm -r /user/hadoop/old_directory # 递归删除目录 hdfs dfs -rm -r -skipTrash /user/hadoop/temp # 跳过回收站直接删除血泪教训-rm -r是HDFS上最危险的命令之一没有确认提示务必在执行前用-ls双重检查路径。生产环境强烈建议启用回收站默认是开启的误删后还有挽回余地文件会在/user/username/.Trash/Current下保留一段时间。-skipTrash是永久删除仅在明确知道后果且需要立即释放空间时使用。-cp/-mv 复制与移动hdfs dfs -cp /src/data.log /dest/data.log hdfs dfs -mv /src/old_name /dest/new_name原理补充HDFS内的-mv操作通常是元数据级别的非常快因为它只修改NameNode中的目录树映射而不移动实际的数据块。而-cp会触发实际的数据复制。3.2 文件内容查看与校验直接查看HDFS上的文件内容是调试和数据探查的基本功。-cat/-text 查看文件内容hdfs dfs -cat /user/hadoop/output/part-00000 | head -20 hdfs dfs -text /user/hadoop/output/part-*.gz # text可自动解压常见压缩格式gzip, snappy等经验技巧对于压缩文件如 .gz, .bz2一定要用-text而不是-cat否则你看到的是一堆乱码。-cat适用于纯文本或序列文件SequenceFile的键部分需配合其他工具解析值。-tail 查看文件末尾hdfs dfs -tail -f /var/log/hadoop-yarn/container-log/application_xxx/container_xxx/stderr应用场景实时追踪正在运行的YARN容器日志是调试作业的利器。-f选项类似于Linux下的tail -f可以持续输出新增内容。-checksum 查看文件校验和hdfs dfs -checksum /user/hadoop/largefile.dat作用获取文件的CRC32C校验和。可用于验证文件在传输或存储过程中是否损坏。在跨集群迁移数据后对比源和目标的校验和是一个好习惯。3.3 权限、配额与高级管理这部分命令关乎集群的安全、秩序和资源管控。-chmod/-chown/-chgrp 修改权限和属主hdfs dfs -chmod -R 755 /user/hadoop/shared_data hdfs dfs -chown -R spark:spark /user/spark注意事项HDFS的权限模型模仿POSIX但对“其他用户”的权限控制要格外小心特别是在多租户集群。递归修改 (-R) 前务必确认范围。-df/-du 查看磁盘使用情况hdfs dfs -df -h # 查看整个HDFS的容量和使用情况类似Linux df hdfs dfs -du -h /user # 查看指定目录下各子目录/文件的大小 hdfs dfs -du -s -h /user/hadoop # 汇总(-s)显示指定目录的总大小运维日常-df -h是监控HDFS存储水位线的第一命令。-du -s -h /path则是快速找出“空间大户”的黄金命令常用于清理前的问题定位。-setrep 设置文件副本因子hdfs dfs -setrep -w 2 /user/hadoop/cold_data # 将副本数改为2并等待(-w)完成原理与权衡增加副本可以提高数据可靠性和读带宽但消耗更多存储。减少副本可以节省空间但会降低可靠性。对于历史归档或冷数据降低副本数是常见的成本优化手段。-w选项会阻塞直到复制任务完成适合脚本中需要确保完成的操作。4. YARN资源与应用管理命令详解YARN命令是你与集群计算资源对话的窗口。掌握它们意味着你能有效掌控作业的生命周期。4.1 应用生命周期管理yarn application 应用管理主命令yarn application -list # 列出所有应用包括运行中和已完成 yarn application -list -appStates RUNNING # 只列出正在运行的应用 yarn application -status Application_ID # 查看特定应用的详细状态 yarn application -kill Application_ID # 强制终止一个应用状态解读-list输出的状态字段FINISHED,FAILED,KILLED,RUNNING等是判断作业健康度的第一指标。-status命令会返回更详细的JSON信息包括最终状态、跟踪URL、开始结束时间等是问题排查的关键入口。应用提交以MapReduce为例虽然常用hadoop jar提交但理解其本质是提交到YARN。hadoop jar hadoop-mapreduce-examples-3.x.x.jar wordcount /input /output背后原理这个命令会触发一个YARN客户端向ResourceManager申请资源启动ApplicationMaster再由AM去协调Map和Reduce Task的运行。提交后控制台会打印出application_timestamp_sequence格式的Application ID。4.2 日志查看与排查作业失败时查看日志是唯一的救命稻草。yarn logs 获取应用日志yarn logs -applicationId application_123456789_0001 # 获取整个应用的所有容器日志 yarn logs -applicationId application_123456789_0001 -containerId container_123456789_0001_01_000001 # 获取特定容器日志 yarn logs -applicationId application_123456789_0001 -log_files stderr # 只获取stderr日志实操心得默认情况下YARN只会保留作业结束一段时间内的日志由yarn.nodemanager.log-aggregation.retain-seconds配置。如果需要长期保存需要配置日志聚合Log Aggregation并启用归档。直接使用yarn logs命令拉取的日志可能非常庞大。一个高效的做法是先通过yarn application -status找到跟踪URL在Web UI上快速浏览各个容器的日志概要定位到出错的容器ID或任务尝试Task Attempt再用yarn logs精准拉取该容器的日志特别是stderr。如果日志聚合未开启或已过期你需要登录到具体的NodeManager节点去yarn.nodemanager.log-dirs配置的目录下寻找对应容器ID的日志文件。4.3 节点与队列信息查看了解集群的整体健康状况和资源分布。yarn node 查看节点状态yarn node -list -all # 列出所有节点及其状态健康、不健康、失联等 yarn node -status Node_ID # 查看特定节点的详细信息关键指标通过-list可以快速发现UNHEALTHY或DECOMMISSIONED的节点。节点的Available Resources可用资源是判断集群是否过载的直接依据。yarn queue 查看队列状态yarn queue -status default # 查看指定队列如default的状态应用场景在启用了Capacity Scheduler或Fair Scheduler的多队列环境中此命令可以查看队列的资源容量、使用量、提交的应用数等用于资源配额管理和问题诊断。5. MapReduce作业管理命令与高级调试尽管YARN接管了资源调度但MapReduce作业的历史信息和特定调试仍需mapred命令。mapred job 作业历史查询mapred job -list all # 列出历史服务器上的所有作业可能非常长 mapred job -status Job_ID # 查看特定作业的详细历史记录 mapred job -history JobHistoryServer_URL/jobhistory/job/Job_ID # 通过Web UI查看更直观注意这些命令需要JobHistory Server服务正在运行。历史记录包含了作业的计数器Counter、每个任务的执行时间、成功/失败状态等是进行性能分析和失败根因分析的宝贵资料。计数器Counter分析计数器是MapReduce编程模型中的强大调试和监控工具。在作业历史页面或-status输出的JSON中你可以找到诸如MAP_INPUT_RECORDS,REDUCE_OUTPUT_RECORDS,CPU_TIME_SPENT等系统计数器以及用户自定义的计数器。实战价值通过对比不同作业或同一作业不同阶段的计数器可以判断数据倾斜某个Reduce的输入记录远多于其他、过滤效果Map输出记录与Reduce输入记录的比率等。6. 组合命令与自动化脚本实战真正的效率来自于将单一命令组合成解决实际问题的流水线。6.1 日常运维检查脚本一个简单的每日集群健康检查脚本可能包含以下命令组合#!/bin/bash echo HDFS 磁盘使用情况 hdfs dfs -df -h echo -e \n HDFS 大文件/目录Top 10 hdfs dfs -du -h /user | sort -rh | head -10 echo -e \n YARN 运行中的应用 yarn application -list -appStates RUNNING echo -e \n YARN 节点状态 yarn node -list -all | grep -E (UNHEALTHY|DECOMMISSIONED|LOST) echo 发现异常节点 echo -e \n 最近24小时失败的应用 # 这里需要根据时间过滤可能需要结合 yarn application -list 输出和日期解析 # 示例思路获取所有应用用awk/grep过滤出FAILED/KILLED状态且结束时间在24小时内的6.2 数据备份与清理策略定期将生产数据备份到另一个目录或集群并清理过期数据#!/bin/bash BACKUP_DATE$(date %Y%m%d) SOURCE_DIR/prod/data BACKUP_DIR/backup/data_${BACKUP_DATE} EXPIRED_DAYS30 # 1. 创建备份目录 hdfs dfs -mkdir -p ${BACKUP_DIR} # 2. 使用distcp进行高效跨集群/目录复制假设是同一集群内跨集群需指定hdfs://namenode:port # hadoop distcp ${SOURCE_DIR} ${BACKUP_DIR} # 对于大型数据迁移distcp是专用工具比 -cp 更高效 # 本例使用 -cp 简化演示 echo 开始备份数据... hdfs dfs -cp ${SOURCE_DIR}/* ${BACKUP_DIR}/ # 3. 查找并删除30天前的备份目录 echo 清理过期备份... hdfs dfs -ls /backup | awk {print $6, $8} | while read date dir; do dir_date$(date -d $date %s 2/dev/null) if [[ -n $dir_date ]]; then cutoff_date$(date -d -${EXPIRED_DAYS} days %s) if (( dir_date cutoff_date )); then echo 删除过期备份: $dir hdfs dfs -rm -r -skipTrash $dir # 生产环境慎用-skipTrash此处仅为示例 fi fi done7. 常见问题排查与命令使用技巧实录这一部分是官方手册里找不到的“内功心法”。7.1 命令执行报错与排查错误现象可能原因排查命令与步骤Permission denied用户对HDFS路径无权限hdfs dfs -ls -d /path查看权限和属主。使用klist(Kerberos环境)或whoami确认当前用户。No such file or directory路径不存在检查路径拼写使用hdfs dfs -ls /parent确认父目录存在。注意HDFS路径是大小写敏感的。Could only be replicated to 0 nodesDataNode节点全部宕机或存储已满hdfs dfsadmin -report查看DataNode状态和剩余容量。yarn node -list查看NodeManager状态。应用提交后长时间处于ACCEPTED状态集群资源不足或队列堵塞yarn queue -status queue_name查看队列资源。yarn node -list查看节点可用资源。检查调度器配置。-put大文件非常慢或失败客户端内存不足或网络不稳定检查客户端JVM内存设置。尝试分块上传或使用hadoop archive工具。查看客户端和NameNode/DataNode的网络连接。-text查看压缩文件乱码使用了不支持的压缩编解码器或文件已损坏确认文件扩展名与实际格式一致。尝试使用hdfs dfs -cat直接查看二进制头或使用对应解压工具如gunzip -c在本地处理下载的文件。7.2 提升效率的Shell技巧命令别名 在~/.bashrc中为长命令设置别名。alias hlshdfs dfs -ls -h alias hduhdfs dfs -du -h -s alias yappsyarn application -list -appStates这样输入hls /user就能实现hdfs dfs -ls -h /user的效果。使用管道和xargs 结合Linux命令进行批量操作。# 查找并删除所有 .tmp 临时文件 hdfs dfs -ls -R /user/project | grep .tmp$ | awk {print $8} | xargs -I {} hdfs dfs -rm {} # 统计某个目录下所有文件的行数总和对于未压缩文本 hdfs dfs -cat /user/data/logs/*.log | wc -l利用命令历史 Hadoop CLI命令通常较长善用history | grep hdfs或CtrlR反向搜索历史命令可以节省大量重复输入时间。7.3 安全与权限管理心得Kerberos环境下 执行任何Hadoop命令前确保已通过kinit获取有效的票据。票据过期会导致命令执行失败错误信息可能不直观如莫名的连接拒绝。养成习惯在长期运行的脚本开头加入票据检查或续订逻辑。HDFS权限 虽然类似Linux但HDFS的超级用户是启动NameNode服务的用户通常是hdfs。普通用户无法sudo到hdfs。因此涉及集群级操作如-setrep修改系统目录副本数、-chown修改其他用户文件需要管理员通过sudo -u hdfs来执行。审计与溯源 生产环境中重要的数据删除、权限变更操作应通过脚本记录操作日志谁、何时、执行了什么命令或依赖HDFS的审计日志功能。不要仅依赖回收站。这份“大全”的终点不是记忆而是理解其背后的设计哲学和问题域。最好的学习方式是在一个安全的测试环境中将这里的每一条命令都敲上几遍并结合具体的业务数据场景去思考组合应用。当你遇到问题时知道该用什么命令去探查、去解决这份“地图”就真正发挥了价值。命令行是冰冷的但用它高效驾驭数据洪流的感觉是温暖的。
1. 项目概述为什么你需要一份“完整”的Hadoop命令大全在数据领域摸爬滚打十几年我见过太多工程师包括早期的我自己在面对Hadoop集群时第一反应就是去网上搜“hadoop命令大全”。这个需求太真实了——Hadoop生态的命令行工具CLI繁多从最基础的HDFS文件操作到YARN资源管理再到MapReduce作业提交每个模块都有自己的语法和参数。新手容易迷失在hdfs dfs、yarn、mapred这些前缀里而老手也可能记不清某个不常用命令的精确选项。所以一份“完整”的命令参考其价值不在于让你死记硬背而在于提供一个系统性的“地图”和“词典”让你在需要时能快速定位、理解并正确使用。这不仅仅是命令的罗列更是对Hadoop运维与开发核心工作流的梳理。本文将基于实战为你拆解这份“大全”背后的逻辑、高频场景的“组合拳”以及那些官方文档里不会写的“避坑指南”。2. Hadoop命令体系全览与核心模块解析Hadoop的命令行体系并非铁板一块而是围绕其核心子系统构建的。理解这个结构比记住几百条命令更重要。2.1 三大核心命令模块Hadoop的命令主要分为三大入口对应其核心组件hdfs dfs/hadoop fs文件系统操作核心这是使用频率最高的命令集。hadoop fs是一个通用接口而hdfs dfs是特指HDFS的实现两者在绝大多数情况下可以互换。它模拟了类似Linux的文件操作但专为分布式文件系统设计。核心价值管理HDFS上的数据生命周期包括上传、下载、查看、移动、删除、设置权限等。这是所有数据处理的起点和终点。yarn集群资源管理与应用调度核心YARN作为Hadoop 2.x之后的资源调度器其命令用于管理集群资源、查看和应用状态。核心价值提交应用不仅是MapReduce、查看应用列表与详情、杀死应用、查看节点和队列状态。当你需要知道“我的作业为什么卡住了”或者“集群资源被谁用了”时就得靠它。mapredMapReduce作业管理核心传统这是用于直接管理MapReduce作业的命令行工具。在YARN成为主流后部分功能被yarn命令替代但它对于历史作业查询和某些高级调试仍有价值。核心价值提交传统的MapReduce作业非YARN模式、查看作业历史从JobHistoryServer、调试作业。2.2 其他重要管理命令除了上述面向用户和应用的命令还有一些面向集群管理员的关键命令hdfs 用于HDFS守护进程管理如hdfs namenode -format初始化格式化慎用、hdfs --daemon start/stop datanode启停单个DataNode。start-dfs.sh/stop-dfs.sh 启停整个HDFS集群的脚本。start-yarn.sh/stop-yarn.sh 启停整个YARN集群的脚本。hadoop classpath 打印Hadoop的类路径在解决依赖冲突或自定义提交应用时非常有用。hadoop version 查看Hadoop版本信息确认环境的第一步。注意hadoop这个命令本身是一个总入口后面跟上不同的模块关键词如fs,jar,classpath等来执行不同功能。而hdfs和yarn是独立的命令模块。3. HDFS文件操作命令深度解析与实战这是日常开发运维的“主战场”。我们按操作类别来梳理并注入实战经验。3.1 文件与目录管理这类命令最接近Linux体验但分布式环境带来了新的考量。-ls 列出目录内容hdfs dfs -ls /user/hadoop hdfs dfs -ls -R /user/hadoop # 递归列出查看子目录 hdfs dfs -ls -h /user/hadoop # 以人类可读格式K, M, G显示文件大小实操心得总是习惯性加上-h选项否则面对一串以字节为单位的数字你很难快速判断文件大小。对于深度目录结合-R和head/tail或输出到文件再查看避免刷屏。-put/-copyFromLocal 从本地文件系统上传文件到HDFShdfs dfs -put localfile.txt /user/hadoop/input/ hdfs dfs -copyFromLocal localfile*.txt /user/hadoop/input/ # 支持通配符核心区别-put和-copyFromLocal功能几乎相同。细微差别在于-copyFromLocal的源路径强制要求是本地文件系统语义更明确。我通常混用但团队规范里可以统一。-get/-copyToLocal 从HDFS下载文件到本地hdfs dfs -get /user/hadoop/output/part-* ./local_output/ hdfs dfs -copyToLocal /user/hadoop/output/result.txt .注意事项下载大文件或大量小文件时考虑使用-p选项保留时间戳和权限。如果下载路径已存在会报错需先清理或使用-f强制覆盖谨慎。-mkdir 创建目录hdfs dfs -mkdir /user/hadoop/new_folder hdfs dfs -mkdir -p /user/hadoop/parent/child/deep # 递归创建父目录避坑指南99%的情况下你都应该加上-p选项。这能避免因父目录不存在而导致的失败让脚本更健壮。-rm 删除文件或目录hdfs dfs -rm /user/hadoop/old_file.txt hdfs dfs -rm -r /user/hadoop/old_directory # 递归删除目录 hdfs dfs -rm -r -skipTrash /user/hadoop/temp # 跳过回收站直接删除血泪教训-rm -r是HDFS上最危险的命令之一没有确认提示务必在执行前用-ls双重检查路径。生产环境强烈建议启用回收站默认是开启的误删后还有挽回余地文件会在/user/username/.Trash/Current下保留一段时间。-skipTrash是永久删除仅在明确知道后果且需要立即释放空间时使用。-cp/-mv 复制与移动hdfs dfs -cp /src/data.log /dest/data.log hdfs dfs -mv /src/old_name /dest/new_name原理补充HDFS内的-mv操作通常是元数据级别的非常快因为它只修改NameNode中的目录树映射而不移动实际的数据块。而-cp会触发实际的数据复制。3.2 文件内容查看与校验直接查看HDFS上的文件内容是调试和数据探查的基本功。-cat/-text 查看文件内容hdfs dfs -cat /user/hadoop/output/part-00000 | head -20 hdfs dfs -text /user/hadoop/output/part-*.gz # text可自动解压常见压缩格式gzip, snappy等经验技巧对于压缩文件如 .gz, .bz2一定要用-text而不是-cat否则你看到的是一堆乱码。-cat适用于纯文本或序列文件SequenceFile的键部分需配合其他工具解析值。-tail 查看文件末尾hdfs dfs -tail -f /var/log/hadoop-yarn/container-log/application_xxx/container_xxx/stderr应用场景实时追踪正在运行的YARN容器日志是调试作业的利器。-f选项类似于Linux下的tail -f可以持续输出新增内容。-checksum 查看文件校验和hdfs dfs -checksum /user/hadoop/largefile.dat作用获取文件的CRC32C校验和。可用于验证文件在传输或存储过程中是否损坏。在跨集群迁移数据后对比源和目标的校验和是一个好习惯。3.3 权限、配额与高级管理这部分命令关乎集群的安全、秩序和资源管控。-chmod/-chown/-chgrp 修改权限和属主hdfs dfs -chmod -R 755 /user/hadoop/shared_data hdfs dfs -chown -R spark:spark /user/spark注意事项HDFS的权限模型模仿POSIX但对“其他用户”的权限控制要格外小心特别是在多租户集群。递归修改 (-R) 前务必确认范围。-df/-du 查看磁盘使用情况hdfs dfs -df -h # 查看整个HDFS的容量和使用情况类似Linux df hdfs dfs -du -h /user # 查看指定目录下各子目录/文件的大小 hdfs dfs -du -s -h /user/hadoop # 汇总(-s)显示指定目录的总大小运维日常-df -h是监控HDFS存储水位线的第一命令。-du -s -h /path则是快速找出“空间大户”的黄金命令常用于清理前的问题定位。-setrep 设置文件副本因子hdfs dfs -setrep -w 2 /user/hadoop/cold_data # 将副本数改为2并等待(-w)完成原理与权衡增加副本可以提高数据可靠性和读带宽但消耗更多存储。减少副本可以节省空间但会降低可靠性。对于历史归档或冷数据降低副本数是常见的成本优化手段。-w选项会阻塞直到复制任务完成适合脚本中需要确保完成的操作。4. YARN资源与应用管理命令详解YARN命令是你与集群计算资源对话的窗口。掌握它们意味着你能有效掌控作业的生命周期。4.1 应用生命周期管理yarn application 应用管理主命令yarn application -list # 列出所有应用包括运行中和已完成 yarn application -list -appStates RUNNING # 只列出正在运行的应用 yarn application -status Application_ID # 查看特定应用的详细状态 yarn application -kill Application_ID # 强制终止一个应用状态解读-list输出的状态字段FINISHED,FAILED,KILLED,RUNNING等是判断作业健康度的第一指标。-status命令会返回更详细的JSON信息包括最终状态、跟踪URL、开始结束时间等是问题排查的关键入口。应用提交以MapReduce为例虽然常用hadoop jar提交但理解其本质是提交到YARN。hadoop jar hadoop-mapreduce-examples-3.x.x.jar wordcount /input /output背后原理这个命令会触发一个YARN客户端向ResourceManager申请资源启动ApplicationMaster再由AM去协调Map和Reduce Task的运行。提交后控制台会打印出application_timestamp_sequence格式的Application ID。4.2 日志查看与排查作业失败时查看日志是唯一的救命稻草。yarn logs 获取应用日志yarn logs -applicationId application_123456789_0001 # 获取整个应用的所有容器日志 yarn logs -applicationId application_123456789_0001 -containerId container_123456789_0001_01_000001 # 获取特定容器日志 yarn logs -applicationId application_123456789_0001 -log_files stderr # 只获取stderr日志实操心得默认情况下YARN只会保留作业结束一段时间内的日志由yarn.nodemanager.log-aggregation.retain-seconds配置。如果需要长期保存需要配置日志聚合Log Aggregation并启用归档。直接使用yarn logs命令拉取的日志可能非常庞大。一个高效的做法是先通过yarn application -status找到跟踪URL在Web UI上快速浏览各个容器的日志概要定位到出错的容器ID或任务尝试Task Attempt再用yarn logs精准拉取该容器的日志特别是stderr。如果日志聚合未开启或已过期你需要登录到具体的NodeManager节点去yarn.nodemanager.log-dirs配置的目录下寻找对应容器ID的日志文件。4.3 节点与队列信息查看了解集群的整体健康状况和资源分布。yarn node 查看节点状态yarn node -list -all # 列出所有节点及其状态健康、不健康、失联等 yarn node -status Node_ID # 查看特定节点的详细信息关键指标通过-list可以快速发现UNHEALTHY或DECOMMISSIONED的节点。节点的Available Resources可用资源是判断集群是否过载的直接依据。yarn queue 查看队列状态yarn queue -status default # 查看指定队列如default的状态应用场景在启用了Capacity Scheduler或Fair Scheduler的多队列环境中此命令可以查看队列的资源容量、使用量、提交的应用数等用于资源配额管理和问题诊断。5. MapReduce作业管理命令与高级调试尽管YARN接管了资源调度但MapReduce作业的历史信息和特定调试仍需mapred命令。mapred job 作业历史查询mapred job -list all # 列出历史服务器上的所有作业可能非常长 mapred job -status Job_ID # 查看特定作业的详细历史记录 mapred job -history JobHistoryServer_URL/jobhistory/job/Job_ID # 通过Web UI查看更直观注意这些命令需要JobHistory Server服务正在运行。历史记录包含了作业的计数器Counter、每个任务的执行时间、成功/失败状态等是进行性能分析和失败根因分析的宝贵资料。计数器Counter分析计数器是MapReduce编程模型中的强大调试和监控工具。在作业历史页面或-status输出的JSON中你可以找到诸如MAP_INPUT_RECORDS,REDUCE_OUTPUT_RECORDS,CPU_TIME_SPENT等系统计数器以及用户自定义的计数器。实战价值通过对比不同作业或同一作业不同阶段的计数器可以判断数据倾斜某个Reduce的输入记录远多于其他、过滤效果Map输出记录与Reduce输入记录的比率等。6. 组合命令与自动化脚本实战真正的效率来自于将单一命令组合成解决实际问题的流水线。6.1 日常运维检查脚本一个简单的每日集群健康检查脚本可能包含以下命令组合#!/bin/bash echo HDFS 磁盘使用情况 hdfs dfs -df -h echo -e \n HDFS 大文件/目录Top 10 hdfs dfs -du -h /user | sort -rh | head -10 echo -e \n YARN 运行中的应用 yarn application -list -appStates RUNNING echo -e \n YARN 节点状态 yarn node -list -all | grep -E (UNHEALTHY|DECOMMISSIONED|LOST) echo 发现异常节点 echo -e \n 最近24小时失败的应用 # 这里需要根据时间过滤可能需要结合 yarn application -list 输出和日期解析 # 示例思路获取所有应用用awk/grep过滤出FAILED/KILLED状态且结束时间在24小时内的6.2 数据备份与清理策略定期将生产数据备份到另一个目录或集群并清理过期数据#!/bin/bash BACKUP_DATE$(date %Y%m%d) SOURCE_DIR/prod/data BACKUP_DIR/backup/data_${BACKUP_DATE} EXPIRED_DAYS30 # 1. 创建备份目录 hdfs dfs -mkdir -p ${BACKUP_DIR} # 2. 使用distcp进行高效跨集群/目录复制假设是同一集群内跨集群需指定hdfs://namenode:port # hadoop distcp ${SOURCE_DIR} ${BACKUP_DIR} # 对于大型数据迁移distcp是专用工具比 -cp 更高效 # 本例使用 -cp 简化演示 echo 开始备份数据... hdfs dfs -cp ${SOURCE_DIR}/* ${BACKUP_DIR}/ # 3. 查找并删除30天前的备份目录 echo 清理过期备份... hdfs dfs -ls /backup | awk {print $6, $8} | while read date dir; do dir_date$(date -d $date %s 2/dev/null) if [[ -n $dir_date ]]; then cutoff_date$(date -d -${EXPIRED_DAYS} days %s) if (( dir_date cutoff_date )); then echo 删除过期备份: $dir hdfs dfs -rm -r -skipTrash $dir # 生产环境慎用-skipTrash此处仅为示例 fi fi done7. 常见问题排查与命令使用技巧实录这一部分是官方手册里找不到的“内功心法”。7.1 命令执行报错与排查错误现象可能原因排查命令与步骤Permission denied用户对HDFS路径无权限hdfs dfs -ls -d /path查看权限和属主。使用klist(Kerberos环境)或whoami确认当前用户。No such file or directory路径不存在检查路径拼写使用hdfs dfs -ls /parent确认父目录存在。注意HDFS路径是大小写敏感的。Could only be replicated to 0 nodesDataNode节点全部宕机或存储已满hdfs dfsadmin -report查看DataNode状态和剩余容量。yarn node -list查看NodeManager状态。应用提交后长时间处于ACCEPTED状态集群资源不足或队列堵塞yarn queue -status queue_name查看队列资源。yarn node -list查看节点可用资源。检查调度器配置。-put大文件非常慢或失败客户端内存不足或网络不稳定检查客户端JVM内存设置。尝试分块上传或使用hadoop archive工具。查看客户端和NameNode/DataNode的网络连接。-text查看压缩文件乱码使用了不支持的压缩编解码器或文件已损坏确认文件扩展名与实际格式一致。尝试使用hdfs dfs -cat直接查看二进制头或使用对应解压工具如gunzip -c在本地处理下载的文件。7.2 提升效率的Shell技巧命令别名 在~/.bashrc中为长命令设置别名。alias hlshdfs dfs -ls -h alias hduhdfs dfs -du -h -s alias yappsyarn application -list -appStates这样输入hls /user就能实现hdfs dfs -ls -h /user的效果。使用管道和xargs 结合Linux命令进行批量操作。# 查找并删除所有 .tmp 临时文件 hdfs dfs -ls -R /user/project | grep .tmp$ | awk {print $8} | xargs -I {} hdfs dfs -rm {} # 统计某个目录下所有文件的行数总和对于未压缩文本 hdfs dfs -cat /user/data/logs/*.log | wc -l利用命令历史 Hadoop CLI命令通常较长善用history | grep hdfs或CtrlR反向搜索历史命令可以节省大量重复输入时间。7.3 安全与权限管理心得Kerberos环境下 执行任何Hadoop命令前确保已通过kinit获取有效的票据。票据过期会导致命令执行失败错误信息可能不直观如莫名的连接拒绝。养成习惯在长期运行的脚本开头加入票据检查或续订逻辑。HDFS权限 虽然类似Linux但HDFS的超级用户是启动NameNode服务的用户通常是hdfs。普通用户无法sudo到hdfs。因此涉及集群级操作如-setrep修改系统目录副本数、-chown修改其他用户文件需要管理员通过sudo -u hdfs来执行。审计与溯源 生产环境中重要的数据删除、权限变更操作应通过脚本记录操作日志谁、何时、执行了什么命令或依赖HDFS的审计日志功能。不要仅依赖回收站。这份“大全”的终点不是记忆而是理解其背后的设计哲学和问题域。最好的学习方式是在一个安全的测试环境中将这里的每一条命令都敲上几遍并结合具体的业务数据场景去思考组合应用。当你遇到问题时知道该用什么命令去探查、去解决这份“地图”就真正发挥了价值。命令行是冰冷的但用它高效驾驭数据洪流的感觉是温暖的。
