HDFS 다루기 - File system shell

다음으로 무엇을 해볼까 생각해본다. 일단 HDFS를 다뤄보자.

파일시스템이라고 했으니 파일 카피하고 디렉토리 조회는 할 줄 알아야 겠지?

일단, HDFS를 구동해본다.

 $ sbin/start-dfs.sh

그리고 접속해본다. http://localhost:50070/

근데 뭥미? 브라우져로 확인해보니 404가 뜬다. 이런 말도 안되는...

내렸다 올리면 파일이 날아가나? 먼가 이유가 있겠지? 검색을 해보자.

역시 누군가 경험한 내용이었다. 감사합니다. 

Mac을 껐다 켜보겠다. tmp 아래의 폴더가 날아가나. 놀랍다. 방금 껐다키니 날아간다. tmp란 디렉토리명 답다.

namenode 포맷을 하면 /tmp 폴더에 hadoop namenode가 생성이 되는데 이 폴더는 서버를 내렸다가 올리면 사라진다. 그러므로 서버를 shutdown시키면 안되는 것이다. 

이 namenode 명령어는 namenode를 Running 시키는 명령어인데, start-all.sh나 start-dfs.sh를 실행하면 자동으로 함께 실행된다. 전에 서버를 내렸다가 올렸을때 namenode가 실행되지 않은 이유는 namenode 폴더가 없었기 때문이였다. 

출처 : http://naleejang.tistory.com/31

그러면 다른 디렉토리로 지정하는 방법을 찾아봐야 겠다.

찾았다. $HADOOP_PREFIX/etc/common/hdfs-site.xml 을 수정하자. 네임노드와 데이터노드의 경로를 아래와 같이 지정한다. 그리고 또 껐다 켜봐도 괜찮다.

<configuration>

        <property>

                <name>dfs.name.dir</name>

                <value>/users/devsun/dev/hadoop-dfs</value>

        </property>

        <property>

                <name>dfs.data.dir</name>

                <value>/users/devsun/dev/hadoop-dfs</value>

        </property>

        <property>

                <name>dfs.replication</name>

                <value>1</value>

        </property>

</configuration>

일반적인 명령어들의 테스트를 해보자. 생각보다 너무 쉽다. skip하겠다. 아래와 같은 쉘들을 제공한다. 아래와 같은 형태로 사용하면 되며, 자세한 사용법은 공식 홈페이지를 참조하면 되겠다.

$ bin/hdfs dfs <args>

• appendToFile
• cat
• chgrp
• chmod
• chown
• copyFromLocal
• copyToLocal
• count
• cp
• du
• dus
• expunge
• get
• getfacl
• getfattr
• getmerge
• ls
• lsr
• mkdir
• moveFromLocal
• moveToLocal
• mv
• put
• rm
• rmr
• setfacl
• setfattr
• setrep
• stat
• tail
• test
• text
• touchz