Elasticsearch

1、调优手段

仅索引层面调优手段

  • 设计阶段调优

    • 根据业务增量需求,采取基于日期模板创建索引,通过 roll over API 滚动索引;
    • 使用别名进行索引管理;
    • 每天凌晨定时对索引做 force_merge 操作,以释放空间;
    • 采取 curator 进行索引的生命周期管理;
    • 仅针对需要分词的字段,合理的设置分词器;
    • Mapping 阶段充分结合各个字段的属性,是否需要检索、是否需要存储等。
  • 写入调优

    • 写入前副本数设置为 0;
    • 写入前关闭 refresh_interval 设置为 -1,禁用刷新机制;
    • 写入过程中:采取 bulk 批量写入;
    • 写入后恢复副本数和刷新间隔;
    • 尽量使用自动生成的 id。
  • 查询调优

    • 禁用 wildcard;
    • 禁用批量 terms(成百上千的场景);
    • 充分利用倒排索引机制,能 keyword 类型尽量 keyword;
    • 数据量大的时候,可以先基于时间敲定索引再检索;
    • 设置合理的路由机制。
  • 其它调优

    • 部署调优;
    • 业务调优;
    • ... ...

2、ES 的倒排索引是什么

对基础概念的认知

传统的我们的检索是通过文章,逐个遍历找到对应关键词的位置。

而倒排索引是通过分词策略,形成了词和文章的映射关系表,这种词典 + 映射表即为倒排索引。

有了倒排索引,就能实现 O(1) 时间复杂度的效率检索文章,极大的提高检索效率。

倒排索引,相反于一篇文章包含了哪些词,它从词出发,记载了这个词在哪些文档中出现过,由两部分组成 -- 词典和倒排表。

倒排索引的底层实现是基于:FST(Finite State Transducer)数据结构。

Lucene 从 4+ 版本后开始大量使用的数据结构是 FST。FST 有两个优点:

  • 空间占用小。通过对词典中单词前缀和后缀的重复利用,压缩了存储空间。
  • 查询速度快。O(len(str)) 的查询时间复杂度。

3、ES 索引数据多了怎么办,如何调优、部署

索引数据的规划,应在前期做好,"设计先行,编码在后",这样才能有效的避免突如其来的数据激增导致集群处理能力不足引发的线上客户检索或者其他业务受到影响。

  • 动态索引层面调优

    • 基于模板 + 时间 + rollover api 滚动创建索引,举例:设计阶段定义:blog 索引的模板格式为:blog_index_时间戳的形式,每天递增数据。
    • 这样做的好处:不至于数据量激增导致单个索引数据量非常大,接近于上限 2 的 32 次幂 - 1,索引存储达到了 TB+ 甚至更大。
    • 一旦单个索引很大,存储等各种风险也随之而来,所以要提前考虑 + 及早避免。
  • 存储层面

    • 冷热数据分离存储,热数据(比如最近 3 天或者一周的数据),其余为冷数据。对于冷数据不会再写入新数据,可以考虑定期 force_merge 加 shrink 压缩操作,节省存储空间和检索效率。
  • 部署层面

    • 一旦之前没有规划,这里就属于应急策略。
    • 结合 ES 自身的支持动态扩展的特点,动态新增机器的方式可以缓解集群压力。
    • 注意:如果之前主节点等规划合理,不需要重启集群也能完成动态新增的。

4、ES 是如何实现 master 选举的

了解 ES 集群的底层原理。

前置前提:

  • 只有候选主节点(master:true)的节点才能成为主节点。
  • 最小主节点数(min_master_nodes)的目的是防止脑裂。

查看源码可知:核心入口为 findMaster,选择主节点成功返回对应 Master,否则返回 null。选举流程大致描述如下:

  • 确认候选主节点数达标,elasticsearch.yml 设置的值:discovery.zen.minimum_master_nodes;
  • 比较:先判定是否具备 master 资格,具备候选主节点资格的优先返回;若两节点都为候选主节点,则 id 小的值为主节点。注意这里的 id 为 string 类型。

5、描述 ES 索引文档的过程

了解 ES 的底层原理。

这里的索引文档应该理解为文档写入 ES,创建索引的过程。

文档写入包含:单文档写入和批量 bulk 写入。

单文档写入流程

单文档写入流程

  • 客户从集群某节点写入数据,发送请求。(如果没有指定路由 / 协调节点,请求的节点扮演路由节点的角色。)
  • 节点 1 接收到请求后,使用文档 id 来确定文档属于分片 0。请求会被转到另外的节点,假定节点3。因此分片 0 的主分片分配到节点 3 上。注:借助路由算法获取,路由算法就是根据路由和文档 id 计算目标的分片 id 的过程:shard = hash(_routing) % (num_of_primary_shards)
  • 节点 3 在主分片上执行写操作,如果成功,则将请求并行转发到节点 1 和节点 2 的副本分片上,等待结果返回。所有的副本分片都报告成功,节点 3 将向协调节点(节点 1)报告成功,节点 1 向请求客户端报告写入成功。

6、描述 ES 搜索的过程

搜索拆解为 “query then fetch” 两个阶段。

query阶段的目的:定位到位置,但不取。

步骤拆解如下:

  • 假设一个索引数据有 5 主 + 1 副本共 10 分片,一次请求会名重(主或者副本分片中)的一个。
  • 每个分片在本地进行查询,结果返回到本地有序的优先队列中。
  • 第二步骤的结果发送到协调节点,协调节点产生一个全局的排序列表。

fetch 阶段的目的:取数据。

路由节点获取所有文档,返回给客户端。


7、ES 在部署时,对 Linux 的设置有哪些优化方法

了解 ES 集群的运维能力。

  • 关闭缓存 swap;
  • 堆内存设置为:Min(节点内存 / 2,32 GB);
  • 设置最大文件句柄数。
  • 线程池 + 队列大小根据业务需要做调整;
  • 磁盘存储 raid 方式 -- 存储有条件使用 RAID10,增加单节点性能以及避免单节点存储故障。

8、lucene 内部结构是什么

lucence内部结构

可以看出 Lucene 是有索引和搜索的两个过程,包含索引创建,索引,搜索三个要点。

下图是 Lucene 的各组件:

Lucene 的各组件

  • 被索引的文档用 Document 对象表示;
  • IndexWriter 通过函数 addDocument 将文档添加到索引中,实现创建索引的过程;
  • Lucene 的索引是应用反向索引。
  • 当用户有请求时,Query 代表用户的查询语句;
  • IndexSearcher 通过函数 search 搜索 Lucene Index;
  • IndexSearcher 计算 term weight 和 score 并且将结果返回给用户;
  • 返回给用户的文档集合用 Top