Inverted Index

1. Elastic Search 를 위해 Inverted Index라는 기법이 사용된다.

  1) 엘라스틱 서치란?

https://velog.io/@jakeseo_me/%EC%97%98%EB%9D%BC%EC%8A%A4%ED%8B%B1%EC%84%9C%EC%B9%98-%EC%95%8C%EC%95%84%EB%B3%B4%EA%B8%B0-2-DB%EB%A7%8C-%EC%9E%88%EC%9C%BC%EB%A9%B4-%EB%90%98%EB%8A%94%EB%8D%B0-%EC%99%9C-%EA%B5%B3%EC%9D%B4-%EA%B2%80%EC%83%89%EC%97%94%EC%A7%84

[엘라스틱서치 알아보기 #2] DB만 있으면 되는데, 왜 굳이 검색엔진?

 

2. 대용량 검색을 빠르게 수행하기 위해 사용된다. 즉 빅데이터를 잘 다루기 위해 사용된다.

 1)위키에서는 빅데이터를 100만 document이상의 data-set이라고 정의한다. 

3. 일반적으로 게시판에서 특정 텍스트를 검색하면, 수십 만개의 게시판에 대해 검사하여, 텍스트의 일치, 포함 등을 따져서 게시글을 리스트업하게 된다.

 1) 데이터가 5만개가 넘지 않으면 매우 훌륭한 결과물과 훌륭한 속도를 보여준다.

 2) 그런데 게시글이 굉장히 많으면 수행시간이 굉장히 오래걸린다.

4. 그래서 검색할 때마다 게시글에서 텍스트를 찾는 forward-indexing을 하지 않고, 사전에 수많은 단어(Term)이 어떤 게시글에 포함되어있는지 inverted-indexing을 하게된다.

inverted indexing의 예시

 1) becoming home 이라고 검색하면 becoming 과 home 으로 나눈 후에  빠르게 (8), (2,5,7,8) 이라는 결과가 반환된다.

 2) 8이 가장 유사한 결과물이라고 알게 된다.

 3) 인덱싱(Indexing;미리 순서대로 정렬해서 저장해두는 방식)을 하기 때문에 탐색 속도가 매우 빠르다.

 

주로 참고한 페이지

https://blog.lael.be/post/3056

대용량 검색 처리를 위한 inverted index (역색인) 설명

https://cloudingdata.tistory.com/45

Inverted Index 이해하기