일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Angular2
- nginx
- Spring XD
- Clean Code
- docker
- Storm
- elastic search
- SBT
- 엘라스틱서치
- Domain Driven Design
- hadoop
- Java
- spark
- elasticsearch
- Spring Boot
- 제주
- 스프링 배치
- Spring Batch
- Hbase
- intellij
- hibernate
- scala
- Linux
- 도메인주도설계
- hdfs
- design pattern
- apache storm
- Gradle
- Spring
- DDD
- Today
- Total
목록분류 전체보기 (236)
욱'S 노트
HDFS를 다루기 위해서 파일시스템을 추상화한 클래스인 FileSystem 클래스를 제공한다.Outline을 보면 알겠지만, 파일처리에 대한 모든 api를 제공한다. 일단 간단하게 디렉토리를 한번 만들어보자. 메소드가 명시적이라 어려운이 없을것이라고 생각된다. 12345678910111213141516171819202122232425262728293031323334 import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;im..
우리는 개발자 아닌가? HDFS를 커맨드로만 조작한다면 그건 TA일 것이다. 그렇다 HDFS를 조작하는 자바 프로그램을 작성해보도록 하자. 일단 먼가 원격의 HDFS를 접속할려면 클라이언트에 설정이 있어야 할 것 같다. 역시 Configuration 객체를 제공하고 있었다. 클라이언트 설정을 위해서 우리가 해야 할일은 굉장히 간단하다.우리는 기존에 core-site.xml에 HDFS의 접근 URL을 설정하였다. 해당 URL을 프로퍼티처럼 세팅하고 접속을 시도해보면 된다. 아래의 예제는 프로그래밍으로 HDFS에 접속하여 해당 home 디렉토리를 출력한 예제이다. 12345678910111213141516171819 @Test public void testProgrammaticConfiguration() t..
자 이제 어딘가에 원격 파일시스템에 파일도 올리고 카피도 하고 이름도 바꾸고를 할 수 있게 되었다. 그러면 도대체 이때까지 봤던 단어들이 무엇인지를 알아 보자. 1. NameNode, DataNode HDFS는 master-worker 패턴으로 구성되어 있다. 여기서 master의 역할을 수행하는 것이 NameNode이다. NameNode는 파일시스템의 논리적인 메타정보들을 관리한다. 파일 시스템의 namespace, tree 그리고 그 외 모든 파일들의 메타데이터를 유지한다. DataNodes는 파일시스템의 worker로서 외부의 요청에 따라 실질적으로 블록들을 저장하고 탐색하고, 해당 내용을 NameNode에 알리는 역할을 수행한다.
다음으로 무엇을 해볼까 생각해본다. 일단 HDFS를 다뤄보자.파일시스템이라고 했으니 파일 카피하고 디렉토리 조회는 할 줄 알아야 겠지? 일단, HDFS를 구동해본다. $ sbin/start-dfs.sh 그리고 접속해본다. http://localhost:50070/근데 뭥미? 브라우져로 확인해보니 404가 뜬다. 이런 말도 안되는...내렸다 올리면 파일이 날아가나? 먼가 이유가 있겠지? 검색을 해보자.역시 누군가 경험한 내용이었다. 감사합니다. Mac을 껐다 켜보겠다. tmp 아래의 폴더가 날아가나. 놀랍다. 방금 껐다키니 날아간다. tmp란 디렉토리명 답다. namenode 포맷을 하면 /tmp 폴더에 hadoop namenode가 생성이 되는데 이 폴더는 서버를 내렸다가 올리면 사라진다. 그러므로 서버..
어제는 어떻게든 하둡을 설치하고, 샘플을 돌려보았다. 이쯤에서 드는 의문이 있다.그럼 하둡은 과연 무엇인가? 해당 내용은 그냥 하둡 공식 홈페이지에서 발췌했다. The Apache™ Hadoop® reliable, scalable, distributed computing을 위해 오픈소스 소프트웨어이다. The Apache Hadoop software library는 단순한 프로그래밍 모델을 이용하여 클러스터링을 활용하여 large data sets의 분산처리를 도와주는 프레임워크이다. single 환경으로부터 수천대의 machine로 확장이 용이하게 설계되었다. 하드웨어에 의존하는 high-availability와는 달리,어플리케이션 레이어에서 실패를 감지하고 처리한다. 먼가 좋은거 같다. Hadoop은..
오늘부터 hadoop에 대한 공부를 시작할려고 한다.사실 필자는 Mac도 첨 쓰는지라 엄청 버벅되더라도 정리를 하고 가려고 한다. 1. Hadoop 구하기 및 설치 Hadoop도 JVM위에서 돌아가는지라 설치는 정말 간단하다. 공식 사이트에 가서 받고 일단 풀기만 하면 된다.공식사이트는 아시다시피 http://hadoop.apache.org/ 이다.적당한 최신 버젼을 받고 필자는 2.6.0이 최신이었으나 마이너버젼이 너무 안올라간 관계로 2.5.2를 받았다. 그러면 당연히 다운로드 폴더에 아래와 같은 파일이 다운로드 된다. 그러면 원하는 위치에 풀면 된다. 우리가 항상 설치하고 해보는거 아래와 같이 쳐보자. 대충 버젼이랑 잘 나온다../hadoop version 2. Hadoop Cluster 준비하기 ..
주말에 어디를 첨으로 방문해볼까 고민을 하다가 렛츠런파크(구, 경마공원)을 첨으로 방문해보았다. 겨울이라 그러한지 상당히 널널했으며, 가격 또한 너무 착했다. 입장료외엔 전혀 돈이 들지 않으며, 놀이기구 및 말타기 체험도 공짜이다. 시설도 완전 깨끗하게 관리되고 있었다. 입장료 : 어른만 2000원씩, 아이 공짜 할 수 있는 것 : 놀이터, 자전거 타기, 말타기 평점 : 5
제주도의 경우, 진짜 맛집인지 여부를 확인할 필요가 있다. 탑동에 위치한 천금반점의 경우 회사 직원의 추천에 의해 방문해보았는데, 나름 맛집이다. 짬뽕, 짜장면, 탕수육이 주메뉴. 짬뽕의 경우 상당히 전통적이지만 깔끔한 맛이며, 짜장면, 탕수육의 경우 특별한 맛은 없으나 상당히 깔끔하다. 주인장의 말에 의하면 식물성 식용유만 사용한다고 한다. 맛 : 4 시설 : 2
라이프사이클 메이븐에서는 라이프사이클이라고 해서 자체적으로 정의하고 있는 빌드단계를 정의하고 있다. 앤트와 같이 순서에 따라 작업을 수행하지 않고 빌드시 필요한 과정을 기정의하여 제공한다. 메이븐에서는 3개의 라이프사이클을 정의하고 있는데 빌드를 담당하는 Default, 제거를 담당하는 Clean, 배포를 담당하는 Site 라이프사이클이 존재한다. 페이즈 각 라이프사이클에서 수행하는 각 단계를 페이즈라고 정의하고 있다. 각 단계마다 실제적인 작업을 명시하여 본인이 수행하고 싶은 작업을 추가할 수 있다. 다음은 메이븐에서 정의하고 있는 페이즈들이다. Clean : pre-clean, clean, post-clean Default : validate, initialize, generate-sources, p..
아키타입 메이븐에서는 기본적인 프로젝트 구조를 미리 정의하여 제공하는데 이를 아키타입이라고 한다. 기본적으로 제공하는 아키타입과 사용자들이 아키타입을 정의하여 제공할 수도 있다. 생성 시작하기 mvn archetype:generate -DgroupId=com.test -DartifactId=firstProject -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false 콘솔에서 위와 같이 입력하고 quickstart 아키타입 형태로 프로젝트를 생성해보자. 콘솔에서 수행한 지점에 프로젝트가 생성되었음을 확인할 수 있다. 명령을 살펴보면 archetype:generate은 archetype 플러그인의 generate골을 수행하였고, i..