일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- SBT
- Linux
- 인텔리J
- Angular2
- Spring
- Java
- 엘라스틱서치
- 일본 백패킹
- Storm
- nginx
- elasticsearch
- Spring Batch
- Spring XD
- 구마모토 백패킹
- hdfs
- 도메인주도설계
- 스프링 배치
- intellij
- Gradle
- Hbase
- scala
- Clean Code
- apache storm
- hadoop
- docker
- design pattern
- Spring Boot
- DDD
- elastic search
- 제주
- Today
- Total
목록전체 글 (454)
욱'S 노트
자 이제 어딘가에 원격 파일시스템에 파일도 올리고 카피도 하고 이름도 바꾸고를 할 수 있게 되었다. 그러면 도대체 이때까지 봤던 단어들이 무엇인지를 알아 보자. 1. NameNode, DataNode HDFS는 master-worker 패턴으로 구성되어 있다. 여기서 master의 역할을 수행하는 것이 NameNode이다. NameNode는 파일시스템의 논리적인 메타정보들을 관리한다. 파일 시스템의 namespace, tree 그리고 그 외 모든 파일들의 메타데이터를 유지한다. DataNodes는 파일시스템의 worker로서 외부의 요청에 따라 실질적으로 블록들을 저장하고 탐색하고, 해당 내용을 NameNode에 알리는 역할을 수행한다.
다음으로 무엇을 해볼까 생각해본다. 일단 HDFS를 다뤄보자.파일시스템이라고 했으니 파일 카피하고 디렉토리 조회는 할 줄 알아야 겠지? 일단, HDFS를 구동해본다. $ sbin/start-dfs.sh 그리고 접속해본다. http://localhost:50070/근데 뭥미? 브라우져로 확인해보니 404가 뜬다. 이런 말도 안되는...내렸다 올리면 파일이 날아가나? 먼가 이유가 있겠지? 검색을 해보자.역시 누군가 경험한 내용이었다. 감사합니다. Mac을 껐다 켜보겠다. tmp 아래의 폴더가 날아가나. 놀랍다. 방금 껐다키니 날아간다. tmp란 디렉토리명 답다. namenode 포맷을 하면 /tmp 폴더에 hadoop namenode가 생성이 되는데 이 폴더는 서버를 내렸다가 올리면 사라진다. 그러므로 서버..
어제는 어떻게든 하둡을 설치하고, 샘플을 돌려보았다. 이쯤에서 드는 의문이 있다.그럼 하둡은 과연 무엇인가? 해당 내용은 그냥 하둡 공식 홈페이지에서 발췌했다. The Apache™ Hadoop® reliable, scalable, distributed computing을 위해 오픈소스 소프트웨어이다. The Apache Hadoop software library는 단순한 프로그래밍 모델을 이용하여 클러스터링을 활용하여 large data sets의 분산처리를 도와주는 프레임워크이다. single 환경으로부터 수천대의 machine로 확장이 용이하게 설계되었다. 하드웨어에 의존하는 high-availability와는 달리,어플리케이션 레이어에서 실패를 감지하고 처리한다. 먼가 좋은거 같다. Hadoop은..
오늘부터 hadoop에 대한 공부를 시작할려고 한다.사실 필자는 Mac도 첨 쓰는지라 엄청 버벅되더라도 정리를 하고 가려고 한다. 1. Hadoop 구하기 및 설치 Hadoop도 JVM위에서 돌아가는지라 설치는 정말 간단하다. 공식 사이트에 가서 받고 일단 풀기만 하면 된다.공식사이트는 아시다시피 http://hadoop.apache.org/ 이다.적당한 최신 버젼을 받고 필자는 2.6.0이 최신이었으나 마이너버젼이 너무 안올라간 관계로 2.5.2를 받았다. 그러면 당연히 다운로드 폴더에 아래와 같은 파일이 다운로드 된다. 그러면 원하는 위치에 풀면 된다. 우리가 항상 설치하고 해보는거 아래와 같이 쳐보자. 대충 버젼이랑 잘 나온다../hadoop version 2. Hadoop Cluster 준비하기 ..