Jika Anda menjalankan:
hdfs dfs -copyFromLocal foo.txt bar.txt
maka file lokal foo.txt akan disalin ke direktori hdfs Anda sendiri /user/popeye/bar.txt (di mana popeye adalah nama pengguna Anda.) Hasilnya, hal berikut mencapai hal yang sama:
hdfs dfs -copyFromLocal foo.txt /user/popeye/bar.txt
Sebelum menyalin file apa pun ke hdfs, pastikan untuk membuat direktori induk terlebih dahulu. Anda tidak harus meletakkan file di direktori "home" ini, tetapi (1) lebih baik tidak mengacaukan "/" dengan semua jenis file, dan (2) mengikuti konvensi ini akan membantu mencegah konflik dengan pengguna lain.
Pendekatan Anda salah atau mungkin pemahaman Anda salah
dfs.datanode.data.dir , adalah tempat Anda ingin menyimpan blok data Anda
Jika Anda mengetik hdfs dfs -ls / Anda akan mendapatkan daftar direktori di hdfs. Kemudian Anda dapat mentransfer file dari lokal ke hdfs menggunakan -copyFromLocal atau -put ke direktori tertentu atau menggunakan -mkdir Anda dapat membuat direktori baru
Lihat tautan di bawah untuk informasi lebih lanjut
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
Sesuai jawaban pertama, saya menguraikannya secara mendetail untuk Hadoop 1.x -
Misalkan, Anda menjalankan skrip ini pada model distribusi semu, Anda mungkin akan mendapatkan satu atau dua daftar pengguna (NameNodes) yang diilustrasikan -
pada model distribusi penuh kami, pertama Anda memiliki hak administrator untuk melakukan hal-hal ini dan akan ada N jumlah daftar NameNodes(pengguna).
Jadi sekarang kita beralih ke poin kita -
Pertama-tama buka direktori home Hadoop Anda dan dari sana jalankan skrip ini -
bin/hadoop fs -ls /
Hasilnya akan seperti ini -
drwxr-xr-x - xuiob78126arif supergroup 0 2017-11-30 11:20 /user
jadi di sini xuiob78126arif adalah nama saya node(master/user) dan direktori NameNode(user) adalah -
/user/xuiob78126arif/
sekarang Anda dapat pergi ke browser Anda dan mencari alamat -
http://xuiob78126arif:50070
dan dari sana Anda bisa mendapatkan Cluster Summary, NameNode Storage , dll.
Catatan :skrip akan memberikan hasil hanya dalam satu syarat, jika setidaknya ada file atau direktori yang ada di DataNode jika tidak, Anda akan mendapatkan -
ls: Cannot access .: No such file or directory.
jadi, dalam hal ini Anda terlebih dahulu meletakkan file apa pun dengan bin/hadoop fs -put <source file full path>
dan setelah itu jalankan bin/hadoop fs -ls / skrip.
dan sekarang saya harap, Anda sudah mengetahui sedikit tentang masalah Anda, terima kasih.