[2018-07-03] Design Data Structure and ToDoList

in #secmon7 years ago (edited)

Elasticsearch 구조 만들기

  • 1개의 Cluster / Node
  • 1개의 INDEX / 3개의 Type

ES구조.png

1개의 INDEX 여러 Type VS. 여러 Index에 각 Type

1개의 Index에 여러 Type 저장

  • 1개의 인덱스 안에 있는 5개의 샤드에 더 많은 데이터가 저장 됨
    => 다른 type을 조합하는 쿼리를 날릴때 오버헤드가 적음
    => 하지만 샤드 크기가 상당히 커질 수 있음
  • 샤드가 커지면 검색하는데 오래 걸릴 수 있음 (필터 해야하는 문서가 많기 때문)
  • 다른 인덱스 또는 여러 샤드에 데이터를 분산하지 않을거면 비추
  • 데이터가 작다면 추천

각각의 index에 각각의 type을 저장

  • 인덱스 내에서 검색이 효과적
  • 2개 이상의 인덱스의 데이터를 조합해서 검색하는 것은 오버헤드가 있음
    => 쿼리는 각 인덱스들의 샤드들로 보내지고, 다시 결과를 합쳐서 유저에게 보내야 하기 때문
  • 데이터셋이 크고 쿼리가 오래걸린다면 추천
    => 독점적인 샤드는 secific 데이터들을 저장하고, 그것은 ES가 처리를 쉽게 만들기 때문

ToDo

  1. Form 구성 과 Naming
  2. JSON 구조 이해
  3. Elasticsearch index 및 Data 생성 이해
  4. 점검 항목 돌려보기