首页 > 系统服务 > 详细

Linux配置 ElasticSearch

时间:2019-09-11 00:23:53      阅读:158      评论:0      收藏:0      [点我收藏+]
一、什么是ES?
        ES是一个分布式使用RestFul风格的数据搜索引擎,并且ES是构建在Lucene框架之上,也就是说ES也是基于Lucene进行开发的搜索引擎框架
    /*    ES三大核心:
            Index
                相当于关系型数据库中的库
            Type
                相当于关系型数据库中的表
            Document
                相当于关系型数据库中的表数据
    */
    
    !!!6.ES是基于Lucene开发的,但是Lucene和ES都是搜索引擎框架
        什么时候使用ES
        什么时候使用Lucene
        
    //    Lucene和ES的区别是什么?
            Lucene只是一个搜索架构,不能直接使用,如果需要使用Lucene则需要自己添加代码来实现搜索模块,也就是说必须要根据公司的业务逻辑来进行编码搜索代码
            ES已经把这些代码全部实现了(在Lucene基础上实现的),可以直接使用不再需要添加任何和架构有关的代码
            
        Lucene是当公司的需求比较繁琐,而且ES无法满足的时候才需要自己去编写Lucene的架构代码实现搜索功能,但是学习成本比较高
        ES几乎支持了市面上中小型企业的搜索需求,只要公司的业务搜索需求可以用ES来实现,就直接可以使用,不需要再自己对Lucene进行编码,实现起来非常简单,不需要学习成本,直接调用API就可以

 

 

 

 

二、

 

二、ES的配置?
    ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。
    ES是apache公司的,所以必须要配置jdk
    ES不要用最新版,因为ES的最新版必须要求jdk在11版本以上
    但是目前市面上所有的公司全部都在jdk8或者以下

    
    1..在linux上配置ES
        1.2配置jdk
            也可以从之前配置过的虚拟机中copy过来。。。
        
        1.3从官网中下载ES
        
        1.4.解压es的压缩包
            tar -zxvf es....
                !!!!!从3.4--->3.6不要求手动输入,推荐使用复制粘贴!!!!
        
        
        1.5使用系统用户 修改一些配置。。。
        
        1.6.增大linux上部署软件的内存和硬盘
            以下的配置一定要使用root用户(root的权限是最大的),否则没有权限或者配置不生效
            (不要求手写,直接复制即可)
            
            //使用root用户 配置 
            
        1.7    vim /etc/security/limits.conf
            /*
                vim /etc/security/limits.conf
                vi /etc/security/limits.conf
                vi /etc/security/limits.conf
                vi /etc/security/limits.conf
                vi /etc/security/limits.conf
                vi /etc/security/limits.conf
                
            
            */
            

技术分享图片

 

 

三、

    1.8最大线程数(ES一般情况是以集群启动,所以目前的用户无法满足ES所要创建的线程,所以需要加大线程数)
            这里只是配置系统可容纳最大的线程数,默认系统都有自动保护,不会开启很大的线程数,需要手动修改
            vi /etc/sysctl.conf
        /*
            vi /etc/sysctl.conf
            vi /etc/sysctl.conf
            vi /etc/sysctl.conf
            vi /etc/sysctl.conf
            vi /etc/sysctl.conf
        
        */    
        
        1.9配置用户最大的线程数
            vim /etc/security/limits.d/90-nproc.conf
                需要把* 1024--->4096
                vm.max_map_count=262144
                
        
        配置 用户最大的线程数
        //    vm.max_map_count=262144
            
        
        
        1.10使修改永久生效
            sysctl -p
        /*
            sysctl -p
            sysctl -p 
            sysctl -p
            sysctl -p
            sysctl -p
            sysctl -p 
            sysctl -p
            
        */    
        

技术分享图片

 

 

 

四、

 

    //启动     ./elasticsearch  需要切换用户  
    1.11创建用户的命令:
    /*
        adduser 名字
        passwd   
        
        
        useradd 名字
        passwd 
    
    */


    授权:
    //        chown -R esuser /home/apps/elasticsearch


    
    切换用户 ? 为什么?  1.ES为了自我保护,不让使用root用户启动,因为root用户权限过大,容易修改ES自己配置
        /*
            su 需要切换的用户名。
            su esuser 
            su haha
            su xixi
            
    
        */
    2.0直接启动es
            在bin目录
            ./elasticsearch
            报错!!!!
            
    2.1修改elasticSeach.yml配置文件即可
            # 修改集群名字(名字随便起,没有什么意义)
            cluster.name: my-cluster
            
            # 如果是单节点(名字随便起,如果是集群则不能重复)
            node.name: node-1
            
            # ES所存放数据的位置(默认data目录不存在,需要自己手动创建  mkdir data  )
            path.data: /home/apps/elasticsearch-6.4.0/data
            
            # ES的日志存放目录(默认已经存在,直接使用即可,不需要创建)
            path.logs: /home/apps/elasticsearch-6.4.0/logs
            
            # 放开ES的内存锁,让ES直接拥有最大内存使用权
            bootstrap.memory_lock: false
            
            # centos6中没有CONFIG_SECCOMP_FILTER,但是centos7中有,如果linux系统为centos6则需要关闭过滤
            bootstrap.system_call_filter: false
            
            # ES的主机地址(一旦配置的是0,就是代表所有的电脑都可以连接(对连接不再造成任何限制))
            network.host: 192.168.23.136(0.0.0.0)
            
            # ES的默认端口号(./elasticsearch -d(启动的是ES的控制台))
            http.port: 9200
            
            # 识别其他的集群host(如果为单节点只需要写一个)
            discovery.zen.ping.unicast.hosts: ["192.168.132.141"]
            
            多个的写法。。。
            discovery.zen.ping.unicast.hosts: ["192.168.23.136","",""]
            
    3.10.启动ES
            进入bin目录
            ./elasticsearch
        /*
            ./elasticsearch
            ./elasticsearch 
            ./elasticaearch
            
        */    
        
    3.11.浏览器中检测是否启动成功
            使用浏览器访问ip:端口号
            http://192.168.132.141:9200/
            {
              "name" : "node-1",
              "cluster_name" : "my-cluster",
              "cluster_uuid" : "UmoHkEZzReGQMrrLShhDIQ",
              "version" : {
                "number" : "6.4.0",
                "build_flavor" : "default",
                "build_type" : "tar",
                "build_hash" : "595516e",
                "build_date" : "2018-08-17T23:18:47.308994Z",
                "build_snapshot" : false,
                "lucene_version" : "7.4.0",
                "minimum_wire_compatibility_version" : "5.6.0",
                "minimum_index_compatibility_version" : "5.0.0"
              },
              "tagline" : "You Know, for Search"
            }

五、配置ES所遇到的问题:

 

 

三、配置ES所遇到的问题:
    1.ES为了自我保护,不让使用root用户启动,因为root用户权限过大,容易修改ES自己配置
        创建新的用户并且授权
        useradd esuser
        passwd esuser ---> 123456
        
        授权:
            chown -R esuser /home/apps/elasticsearch
            
    2.因为ES需要消耗非常大的线程数量和内存以及硬盘存储空间
        [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
        [1]:当前启动用户无法对linux系统调动很多的硬盘以及内存存储空间,所以需要自行修改!
        vi /etc/security/limits.conf
        [2]: max number of threads [1024] for user [esuser] is too low, increase to at least [4096]
        [2]:当前启动的用户太low了,无法调动很多的线程(默认只能调动1024)
            vi /etc/secrity/limits.d/90-nproc.conf
        [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
        [3]:需要配置vi /etc/sysctl.conf文件,加大系统默认的总线程数
        
    3.使用创建出新用户启动没有问题,但是当使用root用户启动一次后,再使用新创建的用户启动就有问题
        新创建的用户无法使用root用户所创建出的文件
        无论是使用哪一个用户启动都会在config文件夹中创建elasticsearch.keystore文件,root用户权限太大,创建的文件其他用户无法使用,所以会报错!
        
    4.java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled     into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed
        因为最终CONFIG_SECCOMP系统在centos7中默认会被加载,但是在centos6中没有
        需要更换centos的版本
        6---->7
        修改es的配置文件
        在yml配置文件中添加一行数据
        bootstrap.system_call_filter: false

 

 

 

六、附带.SQl语句的调优问题

1.附带.SQl语句的调优问题。
                    /*            
                    1.尽量避免非操作符的使用

                        在索引使用NOT ,<>,会导致索引失效,比如a不等于0 a<>0可以修改为 a>0 or a<0 ,NOT修改为a>0或者a>"",避免全表扫描

                    2.尽量避免使用前导模糊查询,因为前导模糊查询由%,不能利用索引,影响查询效率.

                    3.避免对查询列的操作

                        操作包含:数据库函数,计算机表达式,这样会导致全表扫描

                    4.避免不必要的类型转换

                        这里的类型转换是潜在的类型转换,比如将字符串与数字类型比较,这样会将字符串进行转换,导致全表扫描.

                    5.增加查询范围的限制
    
                        少使用*,

                    6.合理使用in与exists

                        exists是循环的方式,外表记录数代表循环的次数,外表的记录少,适合用它.

                        in先执行子查询,子查询去重之后,然后在执行主查询,子查询返回结果越少,越适合这种方式.

                        如果两张表数据一样大,那么用in和exists差别不大,但是如果不一样大,子查询小的用in,主查询小的用exists.

                    7.规范所有关键字的书写,select ,update,delete,要么全大写要不全小写
                    */

 

Linux配置 ElasticSearch

原文:https://www.cnblogs.com/ZXF6/p/11503929.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!