HDFS目錄配額(quota)不足導(dǎo)致寫文件失敗
本文分享自天翼云開發(fā)者社區(qū)《HDFS目錄配額(quota)不足導(dǎo)致寫文件失敗》,作者:5****m
問題背景與現(xiàn)象
給某目錄設(shè)置quota后,往目錄中寫文件失敗,出現(xiàn)如下問題“The DiskSpace quota of /tmp/tquota2 is exceeded”。
[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py /tmp/tquota2 put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB
可能原因
目錄配置的剩余的空間小于寫文件實際需要的空間。
原因分析
hadoop dfsadmin -setSpaceQuota 150M /tmp/tquota2
hdfs dfs -count -q -h -v /tmp/tquota2
[omm@189-39-150-115 client]$ hdfs dfs -put switchuser.py /tmp/tquota2 put: The DiskSpace quota of /tmp/tquota2 is exceeded: quota = 157286400 B = 150 MB but diskspace consumed = 402653184 B = 384 MB
解決辦法
- 增加配額大小,即重新設(shè)置目錄的配額大小。
hadoop dfsadmin -setSpaceQuota 150G /目錄名
清空配額。hdfs dfsadmin -clrSpaceQuota /目錄名
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。