本文共 3105 字,大约阅读时间需要 10 分钟。
搜索需求:
我们想搜索doc中包含java spark的短语,也就是term下的java spark(不分词),我们可以用phrase match来搜索;另一方面,如果我们想让java和spark距离很近的doc优先返回,距离越近对应的relevance score能够更高,我们可以使用proximity match来搜索。
1.match_phrase短语匹配:
GET /forum/article/_search{ "query": { "match": { "content": "java spark" } }}
我们只能够通过这个搜索条件搜索出匹配java或者spark的doc,应为搜索条件会被分词处理成java和spark两个词
GET /forum/article/_search{ "query": { "match_phrase": { "content": "java spark" } }}
我们使用match_phrase直接搜索一个短语,必须同时匹配多个单词并且顺序间隔都要相同才能够匹配
我们从doc的倒排索引来分析
doc1: hello world, java spark doc2: hi,spark java经过分词处理之后会有一个term position的值存在:
hello doc1(0) world doc1(1) java doc1(2) doc2(2) spark doc1(3) doc2(1)可以通过api来查看这个过程:
GET _analyze{ "text": ["hello world, java spark"], "analyzer": "standard"}
返回:
{ "tokens": [ { "token": "hello", "start_offset": 0, "end_offset": 5, "type": "", "position": 0 }, { "token": "world", "start_offset": 6, "end_offset": 11, "type": " ", "position": 1 }, { "token": "java", "start_offset": 13, "end_offset": 17, "type": " ", "position": 2 }, { "token": "spark", "start_offset": 18, "end_offset": 23, "type": " ", "position": 3 } ]}
括号中的数字代表position也就是term在doc中的原位置,从0开始计数。我们分析match_phrase的基本原理,对于搜索短语java spark,首先会查询匹配java的doc,然后匹配spark的doc,同时过滤出同时匹配java和spark的doc,最后最重要的一点是,spark的term position需要比java的term position大1,也就是两个term在原doc中要连在一起并且有先后顺序
2.对于query string搜索文本中的几个term,要经过几次移动才能够与一个document匹配,这个移动的次数,就是slop
hello world , java is very good , spark is also very good
GET /forum/article/_search{ "query": { "match_phrase": { "content": { "query": "java spark", "slop":3 } } }}
我们对上述doc进行match_phrase搜索java spark是搜索不到的。对于java spark而言,spark向右移动三次之后可以和上述文档匹配上,slop的值标识的是能够移动的最大次数。slop搜索的时候,关键词离得越近,对应的relevance score就会越高
3.对于上述的搜索,确实可以在精准度上有一定的改进,但是同时我们却降低了召回率(仅仅搜索java或者spark的结果无法返回)。所以我们和混合使用match来达到一个两者之间的平衡
GET /forum/article/_search{ "query": { "bool": { "must": [ { "match": { "content": { "query": "java spark" } } } ], "should": [ { "match_phrase": { "content": { "query": "java spark", "slop": 50 } } } ] } }}
4.match query的性能比phrase match和proximity match(有slop)要高很多,因为后两者要计算position的距离。match query比phrase match的性能要高10倍,比proximity match的性能要高20倍。但是es的性能一般在毫秒级别,这些近似操作也是可以接受的。
对于proximity query的优化,一般就是减少要进行proximity match搜索的doc数量。主要思路就是用match query先过滤出所需要的数据,然后再用proximity match来根据term距离提高doc的分数,但是我们可以控制proximity match对doc有影响的doc数量,因为用户一般会分页查询只会查询前几页的数据。
GET /forum/article/_search{ "query": { "match": { "content": "java spark" } }, "rescore": { "window_size": 50, "query": { "rescore_query": { "match_phrase": { "content": { "query": "java spark", "slop": 50 } } } } }}
转载地址:http://yqrgi.baihongyu.com/