博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Elasticsearch-近似搜索
阅读量:4290 次
发布时间:2019-05-27

本文共 3105 字,大约阅读时间需要 10 分钟。

  1. match_phrase短语搜索的原理
  2. slop的原理
  3. 混合使用match和近似匹配来实现召回率和精准度的平衡
  4. 性能比较和优化方案

搜索需求:

我们想搜索doc中包含java spark的短语,也就是term下的java spark(不分词),我们可以用phrase match来搜索;另一方面,如果我们想让java和spark距离很近的doc优先返回,距离越近对应的relevance score能够更高,我们可以使用proximity match来搜索。


1.match_phrase短语匹配:

GET /forum/article/_search{ "query": {   "match": {     "content": "java spark"   } }}

我们只能够通过这个搜索条件搜索出匹配java或者spark的doc,应为搜索条件会被分词处理成java和spark两个词

GET /forum/article/_search{  "query": {    "match_phrase": {      "content": "java spark"    }  }}

我们使用match_phrase直接搜索一个短语,必须同时匹配多个单词并且顺序间隔都要相同才能够匹配

我们从doc的倒排索引来分析

doc1: hello world, java spark
doc2: hi,spark java

经过分词处理之后会有一个term position的值存在:

hello doc1(0)
world doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)

可以通过api来查看这个过程:

GET _analyze{  "text": ["hello world, java spark"],  "analyzer": "standard"}

返回:

{  "tokens": [    {      "token": "hello",      "start_offset": 0,      "end_offset": 5,      "type": "
", "position": 0 }, { "token": "world", "start_offset": 6, "end_offset": 11, "type": "
", "position": 1 }, { "token": "java", "start_offset": 13, "end_offset": 17, "type": "
", "position": 2 }, { "token": "spark", "start_offset": 18, "end_offset": 23, "type": "
", "position": 3 } ]}

括号中的数字代表position也就是term在doc中的原位置,从0开始计数。我们分析match_phrase的基本原理,对于搜索短语java spark,首先会查询匹配java的doc,然后匹配spark的doc,同时过滤出同时匹配java和spark的doc,最后最重要的一点是,spark的term position需要比java的term position大1,也就是两个term在原doc中要连在一起并且有先后顺序


2.对于query string搜索文本中的几个term,要经过几次移动才能够与一个document匹配,这个移动的次数,就是slop

hello world , java is very good , spark is also very good

GET /forum/article/_search{  "query": {    "match_phrase": {      "content": {        "query": "java spark",        "slop":3      }    }  }}

我们对上述doc进行match_phrase搜索java spark是搜索不到的。对于java spark而言,spark向右移动三次之后可以和上述文档匹配上,slop的值标识的是能够移动的最大次数。slop搜索的时候,关键词离得越近,对应的relevance score就会越高


3.对于上述的搜索,确实可以在精准度上有一定的改进,但是同时我们却降低了召回率(仅仅搜索java或者spark的结果无法返回)。所以我们和混合使用match来达到一个两者之间的平衡

GET /forum/article/_search{  "query": {    "bool": {      "must": [        {          "match": {            "content": {              "query": "java spark"            }          }        }      ],      "should": [        {          "match_phrase": {            "content": {              "query": "java spark",              "slop": 50            }          }        }      ]    }  }}

4.match query的性能比phrase match和proximity match(有slop)要高很多,因为后两者要计算position的距离。match query比phrase match的性能要高10倍,比proximity match的性能要高20倍。但是es的性能一般在毫秒级别,这些近似操作也是可以接受的。

对于proximity query的优化,一般就是减少要进行proximity match搜索的doc数量。主要思路就是用match query先过滤出所需要的数据,然后再用proximity match来根据term距离提高doc的分数,但是我们可以控制proximity match对doc有影响的doc数量,因为用户一般会分页查询只会查询前几页的数据。

GET /forum/article/_search{  "query": {    "match": {      "content": "java spark"    }  },  "rescore": {    "window_size": 50,    "query": {      "rescore_query": {        "match_phrase": {          "content": {            "query": "java spark",            "slop": 50          }        }      }    }  }}

转载地址:http://yqrgi.baihongyu.com/

你可能感兴趣的文章
JavaScript 正则表达式的test,exec,match
查看>>
JavaScript 函数引用的疑问
查看>>
JavaScript 参数 arguments深入了解以及javascript内置数据类型的讨论
查看>>
安卓开发JavaScript调用Java
查看>>
使用webview要注意的问题
查看>>
利用ServerSocket获取浏览器http请求的header
查看>>
JavaScript 在for循环中绑定事件
查看>>
git获取旧版本
查看>>
安卓绘图需要注意的
查看>>
安卓真机调试出现Installation failed due to invalid APK file!错误的解决办法
查看>>
写语法分析器的感想
查看>>
tinypy源码笔记(一)——简单介绍
查看>>
tinypy中缩进的处理
查看>>
python多个变量同时赋值
查看>>
javascript break指定标签,打破多层循环
查看>>
tinypy 语法分析过程
查看>>
C语言基础知识汇集
查看>>
C语言里的一些陷阱
查看>>
Python 反编译
查看>>
Ubuntu 下用hostapd创建AP热点
查看>>