Die Befehle um mit dem HDFS zu arbeiten lehnen sich stark an die gewohnte Unix Syntax an.
Die Befehle können über drei Wege aufgrufen werden:
Kommando | Beispiel | Erläuterung |
---|---|---|
-help | hdfs dfs -help | Hife über alle möglichen Befehle |
-ls <pfad> | hdfs dfs -ls /usr | Inhalt eines Verzeichnisses anzeigen lassen - mit Schalter -h Größe formatiert |
-count <pfad> | hdfs dfs -count / | |
-mkdir <pfad> | hdfs dfs -mkdir /user/oracle/gpi | lege ein Verzeichnis an |
-cp <quell> <ziel> | hdfs dfs -cp test2 test3 | Kopieren im HDFS (ohne Pfadangabe im User Home) |
-rm | hdfs dfs -rm test3 | Löschen eine Datei |
-mv | hdfs dfs -mv test2 test3 | Verschiebe/Nennen eine Datei um |
-get | hdfs dfs -get test3 | hole ein Datei aus dem HDFS (ohne Pfadangabe mit den jeweiligen User Home im HDFS und OS |
-copyToLocal | hdfs dfs -copyToLocal test2 | Kopiere in das lokale Filesystem |
-put | hdfs dfs -put test2 test4 | Kopiere eine lokale Datei in des HDFS |
-copyFromLocal | hdfs dfs -copyFromLocal | Kopiere eine lokale Datei in des HDFS |
-cat | hdfs dfs -cat test4 | Zeige den Inhalt einer Datei auf dem HDFS an |
-tail | hdfs dfs -tail test4 | Tail auf eine Datei im HDFS |
hadoop version .. Hadoop 2.3.0-cdh5.0.0 ..
Als HDFS superuser für mehr Details aufrufen!
#normaler User hdfs dfsadmin -report Configured Capacity: 105688002560 (98.43 GB) Present Capacity: 100009517056 (93.14 GB) DFS Remaining: 99477118976 (92.65 GB) DFS Used: 532398080 (507.73 MB) DFS Used%: 0.53% Under replicated blocks: 2 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- report: Access denied for user root. Superuser privilege is required #superuser (Eigentümer HDFS) sudo -u hdfs hdfs dfsadmin -report ... Datanodes available: 1 (1 total, 0 dead) Live datanodes: ....
Im Savemode können keine Veränderungen an Blöcken durchgeführt werden, normalerweise beim Start des Clusters.
Erkennen:
sudo -u hdfs hdfs dfsadmin -safemode get Safe mode is OFF
Einschalten:
sudo -u hdfs hdfs dfsadmin -safemode enter
Ausschalten:
sudo -u hdfs hdfs dfsadmin -safemode leave
Als HDFS superuser!
sudo -u hdfs hdfs fsck / -blocks -locations -files