Hadoop基础

hadoop介绍

0

HDFS详解

1

HDFS丢块丢副本修复:
hdfs fsck /
hdfs debug recoverLease -path 文件 -retries 3 #释放租约
查看block 块信息:
hdfs fsck -blockId blk_1672302277
查看机架:
hdfs dfsadmin -printTopology
修改hdfs 数据副本数 如副本数为2:
hdfs dfs -setrep -R -w 2 /user/eimrs/
手动退出安全模式:
hdfs dfsadmin -safemode leave
HDFS存储空间不足:
dfs.datanode.du.reserved.percentage = 15%

HDFS扩容

针对节点进行在线磁盘扩容的方案:https://support.huaweicloud.com/usermanual-evs/evs_01_0109.html#section3
1:yum install cloud-utils-growpart gdisk
2:fdisk -l
3:lsblk
4:growpart /dev/vdb 1 (要针对哪块设备的哪个分区扩容,/dev/vdb 设备标识,1 标识vdb1 分区)
5:resize2fs /dev/vdb1 (扩容的具体分区 ,vdb1分区 )

统计namenode 的进程中线程数:

jps | grep NameNode |awk ‘{print $1}’| xargs -i pstree -p {} |wc -l

hdfs

运行dfs文件系统检查程序:
hdfs fsck /
运行一个DFS admin 客户端检查报告:
hdfs  dfsadmin -report

HDFS 命令不打印bebug 日志
/opt/client/HDFS/component_env
export HADOOP_ROOT_LOGGER=ERROR,console