搜索引擎应该具有什么要求？

• 查询快 

高效的压缩算法   快速的编码和解码速度

• 结果准确

BM25     TF-IDF

• 检索结果丰富

召回率

---

面向海量数据，如何达到搜索引擎级别的查询效率？

        索引  

• 帮助快速检索
• 以数据结构为载体
• 以文件形式落地

倒排索引的数据结构

倒排索引

概念

一句话就是 关键词到文档id的映射

倒排索引的基本数据结构

term_dictionary:词项字典  不重复

Posting_List: 倒排表 存词项的文档id     int类型存储，为什么单个分片的倒排表有容量上限呢？就是因为int存储

term_index:  词项索引 

当前的数据是一个十亿级别的数据，这时候我们词项字典有很多，这时候检索不久又麻烦了吗

这时候就延伸出了FST ，它实际上是trie的变种。这时候看这个图  10亿的数据 导致倒排表存的id特多，所以倒排表对这个做了优化，如下图

 词项字典存在tim文件中

词项索引存放在tip中

倒排表存在doc中