욱'S 노트

각 컴포넌트 설치elasticsearch & logstash & filebeat 설치설치는 간단하다. 자세한 설명은 하지 않겠다. elastic 공식 사이트로 접속하여 스테이블한 tar파일을 받아서 로컬의 적절한 경로에 압축 해제 하면 된다. 각 컴포넌트 구동 및 설정elasticsearch 구동결과적으로 elasticsearch에 데이터를 저장하므로 먼저 elasticsearch를 구동한다. 가장 심플하게 설치디렉토리로 가서 아래의 커맨드로 구동한다../elasticsearchingestion with filebeatfilebeat는 파일의 변경을 수집하여 logstash로 전달하는 역할을 담당한다. 가장 filebeat를 압축해제한 디렉토리를 보면 filebeat.yml 설정파일이 존재하는데 다음과 ..

부모-자식 관계는 본질적으로 내포된 모델과 비슷하다. 그러나 차이가 있다면 내포된 오브젝트는 하나의 도큐먼트에 저장되는 반면, 부모-자식에서는 부모와 자식이 완전하게 다른 도큐먼트로 저장된다는 것이다. 부모-자식 기능은 하나의 도큐먼트 타입이 다른 것과 연관되게 해준다. 내포된 오브젝트와 비교한 이점은 다음과 같다. 자식 도큐먼트의 리인덱싱 없이 부모 도큐먼트를 업데이트 할 수 있다.부모와 다른 자식의 영향 없이 자식 도큐먼트를 추가 변경 삭제할 수 있다. 이것은 특히 자식 도큐먼트들이 다수이고 자주 변경되고 추가될때 유용하다.자식 도큐먼트는 검색의 결과로 리턴될 수 있다.엘라스틱서치는 부모와 연관된 자식을 매핑을 유지하고 있어서 쿼리타임에 빠르게 조인할 수 있다. 그러나 이 경우 부모 자식 관계의 한계..

엘라스틱서치에서 하나의 도큐먼트에 대한 생성, 삭제, 업데이트는 atomic하다. 이 의미는 같은 도큐먼트내에 저장된 엔티티에도 동일하다. 예를 들어 우리는 블로그포스트와 그의 코멘트를 하나의 도큐먼트로 저장할 수 있다. PUT /my_index/blogpost/1{ "title": "Nest eggs", "body": "Making your money work...", "tags": [ "cash", "shares" ], "comments": [ { "name": "John Smith", "comment": "Great article", "age": 28, "stars": 4, "date": "2014-09-01" }, { "name": "Alice White", "comment": "More like..

엘라스틱서치는 다른 종류의 종이다. 특히 당신이 SQL의 세상으로부터 왔다면. 엘라스틱서치는 많은 이점이 있다. : 성능, 확장성, NRT 서치, 대용량 데이터 분석 등. 또한 쉽게 이러한 일들을 수행할 수 있다. 그러나 마법같이 모든 것을 해결해줄수는 없다. 이에 우리는 어떻게 동작하고 당신의 요구사항을 어떻게 동작하게 만들수 있는지를 이해해야 한다. 엔티티간의 관계를 처리하는 것은 관계를 지정할 수 있는 스토어처럼 명백하진 않다. 데이터 정규화를 엘라스틱서치에 적용할 수 없다. Handling Relationships, Nested Objects 그리고 Parent-Child Relationship을 통해 우리는 가능한 접근법들의 특성과 제약에 대해서 알아볼 것이다. Handling Relations..

매핑은 검색 엔진에게 어떻게 도큐먼트들이 매핑될 수 있는지를 정의하는 단계이다. 필드가 검색 대상이 되는지 어떻게 토큰나이즈 되는지 등이 예이다. 엘라스틱 서치에서는 인덱스는 다른 매핑 타입의 도큐먼트들을 저장할 수 있다. 엘라스틱 서치는 각 매핑 타입을 위한 1:N 매핑을 적용할 수 있다. 명시적인 매핑은 index/type 레벨에서 정의된다. 기본적으로 명시적인 매핑을 정의할 필요는 없다. 새로운 타입이나 새로운 필드가 소개될때 퍼포먼스 저하 없이 자동으로 새성되고 등록되기 때문이다. 기본값이 오버라이드 될 필요가 있을때에만 매핑 정의는 제공되어야만 한다. Mapping types 매핑 타입은 하나의 인덱스내에 도큐먼트들을 논리적인 그룹으로 분리하는 방법이다. 데이터베이스의 테이블로 생각하면 유사하다..

엘라스틱 REST API는 HTTP를 통해 JSON을 이용하여 노출되어 있다. 이번에 볼 리스트된 컨벤션은 REST API를 통해 적용할 수 있다. Multiple Indices 대부분은 API는 다수의 인덱스를 통한 실행을 지원하기 위해 test1,test2,test3과 같은 식으로 인덱스를 기술할 수 있다. 또한 wildcards를 지원해서 test* 라던지 +test*, -test3 등의 문법도 지원한다. 모든 멀티풀 인덱스 API는 다음과 같은 쿼리 파라미터를 지원한다. ignore_unavailable - 특정 인덱스가 사라졌거나 닫혀서 이용가능하지 않을때 무시할 지 여부를 컨트롤 한다. true 나 false로 지정할 수 있다.allow_no_indices - 와일드카드 인덱스가 없다면 실패로..

이제 우리는 기초적인 내용을 잠깐 보았다. 이제 좀더 실제적인 데이터셋과 동작을 해보자. 고객 은행 계좌 정보를 표현한 샘플을 준비하였다. 각 도큐먼트는 다음과 같은 스키마를 가진다. { "account_number": 0, "balance": 16623, "firstname": "Bradshaw", "lastname": "Mckenzie", "age": 29, "gender": "F", "address": "244 Columbus Place", "employer": "Euron", "email": "bradshawmckenzie@euron.com", "city": "Hobucken", "state": "CO"} 이 데이터는 www.json-generator.com/로 부터 생성한 데이터이다. 이 사이트..

엘라스틱 서티는 NRT상의 데이터 조작과 검색 기능을 제공한다. 기본적으로 데이터를 입력/변경/삭제하고 조회 결과에 나타날때까지 1초의 딜레이가 예상된다. 이것은 트랜잭션이 완료되면 즉시 조회가 가능한 SQL 기반의 다른 플랫폼과의 주요한 차이점이다. Indexing/Replacing Documents 하나의 도튜먼트를 인덱싱 해보기 위해 다시 아래와 같은 커맨드를 수행해보자, curl -XPUT 'localhost:9200/customer/external/1?pretty' -d '{ "name": "John Doe"}' 다시 customer 인덱스, external 타입에 ID 1로 도큐먼트가 인덱싱 되었다. 만약 다른 도큐먼트로 위의 커맨드를 다시 실행한다면 엘라스틱 서치는 ID 1에 존재하는 도큐먼..

REST API 이제 우리는 우리의 노드를 가지게 되었고, 실행하였다. 다음은 노드와 어떻게 커뮤니케이션을 하는 것인가이다. 엘라스틱 서치에서는 매우 이해하기 쉽고 파워풀한 REST API를 제공한다. API를 통해서 수행할 수 있는 작업은 다음과 같다. 클러스터, 노드와 인덱스 헬스, 상태, 통계 체크클러스터, 모드 , 인덱스 데이터 및 메타데이터 관리인덱스에 CRUD 수행 및 검색 수행페이징, 소팅, 필터링, 스크립팅, faceting, aggregation등 진화된 검색 수행 Cluster Health 기본적인 헬스 체크부터 시작해보자. 우리는 curl를 사용할 것이다. 하지만 당신이 원한다면 HTTP/REST 콜을 생성하는 다른 툴을 사용해도 좋다. 명령을 수행하기 위해 다른 쉘 윈도우를 열자. ..

Getting Started 엘라스틱 서치는 고성능의 확장가능한 오픈소스 풀텍스트 검색 및 분석 엔진이다. 준실시간으로 대량의 데이터의 빠르게 저장할 수 있고 검색할 수 있고, 분석할 수 있다. 다음은 엘라스틱 서치를 사용할 만한 유스케이스들이다. 당신의 판매할 상품들을 위한 고객들이 검색할 수 있게 온라인 웹스토어를 실행킨다. 이런 경우 엘라스틱 서치에 모든 제품의 카탈로그를 저장하고, 상품들의 자동완성 추천을 할 수 있다.트렌드나 통계, 합산 등을 위해 로그 및 트랜잭션 데이터를 수집하기를 원한다. 이러한 경우 Logstash를 사용할 수 있다. 한번 데이터가 엘라스틱 서치에 저장되면 그것들을 검색하거나 조합할 수 잇다.가격 알림 플랫폼을 실행할 수 있다. 특정 가격 이하로 떨어진 상품을 추천하는 것..