ES分词

时间：2021-06-05 22:03:11 阅读：23 评论：0 收藏：0 [点我收藏+]

ES默认分词为英文分词（使用空格来进行分词）不符合中文分词要求。例如

GET _analyze
{
"text":"我不喜欢你"
}

会得到如下分词结果

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "<IDEOGRAPHIC>",
      "position" : 0
    },
    {
      "token" : "不",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "<IDEOGRAPHIC>",
      "position" : 1
    },
    {
      "token" : "喜",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "<IDEOGRAPHIC>",
      "position" : 2
    },
    {
      "token" : "欢",
      "start_offset" : 3,
      "end_offset" : 4,
      "type" : "<IDEOGRAPHIC>",
      "position" : 3
    },
    {
      "token" : "你",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "<IDEOGRAPHIC>",
      "position" : 4
    }
  ]
}

View Code

在实际开发中需要安装分词器(IK),安装分词器

解压elasticsearch-analysis-ik-7.6.1

在ES目录里的plugins目录里创建ik文件夹

拷贝elasticsearch-analysis-ik-7.6.1文件里的所有内容到ik文件夹中。如图

技术分享图片

重启ES和kibana

如果ES加载过程中如下

技术分享图片

说明插件配置成功

再在kibana中执行如下解析

GET _analyze
{
"text":"我不喜欢你",
"analyzer": "ik_max_word"
}

输出结果

{
  "tokens" : [
    {
      "token" : "我",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "不喜欢",
      "start_offset" : 1,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "喜欢",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "你",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    }
  ]
}