统计HDFS目录下文件行数及文件大小

mac2024-05-23  36

统计行数

hdfs dfs -cat /user/hive/warehouse/default/test_20190711_hdfs_to_mysql/* |wc -l

统计文件大小和数量

hdfs dfs -count /user/hive/warehouse/default/test_20190711_hdfs_to_mysql/*

返回值的第一列是文件夹的数量,第二列是文件数量,第三列是文件的大小,单位是byte。

 

统计文件夹下所有文件/文件夹的大小:

hdfs dfs -du -h /pathA/ 统计pathA下所有子文件夹/文件的大小

hdfs dfs -du -s -h /pathA/ 统计pathA文件夹的大小

-s:统计父目录

-h:以M/G为单位格式化

 

最新回复(0)