elasticsearch集群部署与插件使用

elasticsearch

本来不想玩es的，索引这玩意，偏向于开发，开发写写，和我们运维没啥关系，但是还是揽过来，先玩一通再说

来一段官方说明：

1、索引：数据会放在多个索引中，索引可以理解为database，索引里面存放的基本单位是文档，LES会把索引分片，便于横向扩展，分别可以做备份，多个分片读比较快，备份分片在主的挂掉之后可以自动将自己提升为主分片（实现横向扩展和冗余）2、文档类型：和redis一样，key是有类型的3、节点：一个ELS的实例是一个节点4、集群：多节点的集合组成集群，类似于zookeeper会选举出主节点，客户端不需要关注主节点，连接任何一个都可以，数据会自动同步，因此应用不需要关注那个是主节点。

#----------------下面是安装步骤---------------

1、获取elasticsearch-2.4部署包    http://blog.csdn.net/peibolinux/article/details/37560657

   tar -zxvfelasticsearch-0.18.7.tar.gz   (解压)

   mv elasticsearch-0.18.7 /usr/local/elasticsearch-0.18.7 (把es移到/usr/local目录下)

   修改集群名(可选)： vi/usr/local/elasticsearch-0.18.7/config/elasticsearch.yml ，找到: cluster.name,去掉前面的#，修改为 cluster.name：youboy (名字随意)。

  修改结点名（可选）：同上，找到node.name，去掉前面的#，修改为node.name：yb1

  修改分片数(可选)：同上，找到index.number_of_shards,去掉前面的#，修改为index.number_of_shards：10（默认为5）

  修改备份数(可选)：同上，找到index.number_of_replicas，去掉前面的#，修改为index.number_of_replicas 1（默认也是1，可不理）。

  修改Es占用内存：vi /usr/local/elasticsearch-0.18.7/bin/elasticsearch.in.sh，找到 ES_MIN_MEM和ES_MAX_MEM，修改es最大和最小占用内存值。

（说明：Es的集群非常简单，只要在同一个局域网内，多台服务器能互相通讯，并且cluster.name是一样的，就能自动集在一起。）

  运行

  运行Es:

2、修改配置文件 

   [root@app config]# cat elasticsearch.yml|grep -v "^#"

 cluster.name: ES_Cluster

 node.name: 192.168.182.6

 path.data: /usr/local/elasticsearch-2.4.3/data

 path.logs: /usr/local/elasticsearch-2.4.3/logs

 bootstrap.memory_lock: true

 network.host: 192.168.182.6

 http.port: 9200

    启动el，发现权限是root，报错，新建用户es，并且chown -R es:es /usr/local/elasticsearch....  使用es用户启动

    cd/usr/local/elasticsearch-0.18.7/bin

    ./elasticsearch

            [es@app bin]$ ./elasticsearch

           [2017-01-03 23:21:09,604][WARN ][bootstrap                ] unable to install syscall filter: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in

           [2017-01-03 23:21:09,618][WARN ][bootstrap                ] Unable to lock JVM Memory: error=12,reason=Cannot allocate memory

           [2017-01-03 23:21:09,618][WARN ][bootstrap                ] This can result in part of the JVM being swapped out.

           [2017-01-03 23:21:09,618][WARN ][bootstrap                ] Increase RLIMIT_MEMLOCK, soft limit: 65536, hard limit: 65536

           [2017-01-03 23:21:09,619][WARN ][bootstrap                ] These can be adjusted by modifying /etc/security/limits.conf, for example: 

                   # allow user ‘es‘ mlockall

                   es soft memlock unlimited

                   es hard memlock unlimited

           [2017-01-03 23:21:09,619][WARN ][bootstrap                ] If you are logged in interactively, you will have to re-login for the new limits to take effect.

           [2017-01-03 23:21:11,005][INFO ][node                     ] [192.168.182.6] version[2.4.3], pid[31355], build[d38a34e/2016-12-07T16:28:56Z]

           [2017-01-03 23:21:11,006][INFO ][node                     ] [192.168.182.6] initializing ...

           [2017-01-03 23:21:14,042][INFO ][plugins                  ] [192.168.182.6] modules [lang-groovy, reindex, lang-expression], plugins [bigdesk, head], sites [head, bigdesk]

           [2017-01-03 23:21:14,177][INFO ][env                      ] [192.168.182.6] using [1] data paths, mounts [[/ (/dev/sda2)]], net usable_space [12.5gb], net total_space [17.4gb], spins? [possibly], types [ext4]

           [2017-01-03 23:21:14,178][INFO ][env                      ] [192.168.182.6] heap size [1015.6mb], compressed ordinary object pointers [true]

           [2017-01-03 23:21:14,179][WARN ][env                      ] [192.168.182.6] max file descriptors [4096] for elasticsearch process likely too low, consider increasing to at least [65536]

           [2017-01-03 23:21:20,848][INFO ][node                     ] [192.168.182.6] initialized

           [2017-01-03 23:21:20,850][INFO ][node                     ] [192.168.182.6] starting ...

           [2017-01-03 23:21:20,984][INFO ][transport                ] [192.168.182.6] publish_address {192.168.182.6:9300}, bound_addresses {192.168.182.6:9300}

           [2017-01-03 23:21:20,996][INFO ][discovery                ] [192.168.182.6] ES_Cluster/L5H7vnN-QJOpo4uHiCjmEA

           [2017-01-03 23:21:24,168][INFO ][cluster.service          ] [192.168.182.6] new_master {192.168.182.6}{L5H7vnN-QJOpo4uHiCjmEA}{192.168.182.6}{192.168.182.6:9300}, reason: zen-disco-join(elected_as_master, [0] joins received)

           [2017-01-03 23:21:24,210][INFO ][http                     ] [192.168.182.6] publish_address {192.168.182.6:9200}, bound_addresses {192.168.182.6:9200}

           [2017-01-03 23:21:24,214][INFO ][node                     ] [192.168.182.6] started

           [2017-01-03 23:21:24,291][INFO ][gateway                  ] [192.168.182.6] recovered [0] indices into cluster_state

报错合计 -----Exception in thread "main" java.lang.UnsupportedClassVersionError: org/elasticsearch/bootstrap/Elasticsearch : Unsupported major.minor version 52.0

            一开始使用的是elasticsearch-2.*，所以惯用jdk1.7足以，后来改用elasticsearch-5.0.0，应该使用jdk8了，jdk8用es用户安装并且修改es用户环境变量。指定es jdk版本为1.8

         ---- max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] 

           sysctl -w vm.max_map_count=262144 //需要root权限           

           sysctl -a|grep vm.max_map_count  //查看修改结果，可选

    ---- memory locking requested for elasticsearch process but memory is not locked 

  elasticsearch.yml    bootstrap.memory_lock ： false

---- max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]

    vi /etc/profile

              ulimit -n 66666

              ulimit -u 66666

                        vi  /etc/security/limits.conf

                        -----------------------------

                        * soft nofile 65535

                        * hard nofile 65535

                        * soft stack 65535

                        * hard stack 65535

【es集群配置】

【master】

 cluster.name: elasticsearch

 node.name: 10.25.250.147

 discovery.zen.ping.unicast.hosts: ["10.25.250.147:9300", "10.116.215.30:19300"]

 discovery.zen.minimum_master_nodes: 2

 path.data: /data/middlewares/es9200/data

 path.logs: /data/middlewares/es9200/logs

 bootstrap.memory_lock: true

 network.host: 10.25.250.147

 http.port: 9200

【slave】

 cluster.name: elasticsearch

 node.name: 10.25.250.147_2

 discovery.zen.ping.unicast.hosts: ["10.25.250.147:9300", "10.25.250.147:19300"]

 discovery.zen.minimum_master_nodes: 2

 path.data: /data/middlewares/es19200/data

 path.logs: /data/middlewares/es19200/logs

 bootstrap.memory_lock: true

 network.host: 10.25.250.147

 http.port: 19200

 transport.tcp.port: 19300

3 插件及其安装

   BigDesk Plugin : 对集群中es状态进行监控。 

   Elasticsearch Head Plugin: 对ES进行各种操作，如查询、删除、浏览索引等。

   安装head插件

   进入到节点elasticsearch-node1/bin路径，并安装插件。

   [zkpk@master bin]$ ./plugin install mobz/elasticsearch-head

   2. 安装bigdesk

   [zkpk@master bin]$ ./plugin install lukas-vlcek/bigdesk

   关于bigdesk url  http://www.itnpc.com/news/web/1473732577115033.html

           https://github.com/mobz/elasticsearch-head/issues/201

集群搭建  http://blog.csdn.net/sinat_28224453/article/details/51134978

4、 访问http://192.168.182.6:9200

        http://192.168.182.6:9200/_plugin/head/

        http://192.168.182.6:9200/_plugin/bigdesk/

        http://192.168.182.6:9200/_plugin/marvel           安装ELS监控管理插件：          http://www.cnblogs.com/zhang-shijie/p/5303905.html

 http://m.blog.csdn.net/article/details?id=51280058

https://my.oschina.net/itblog/blog/547250

索引这里包含了2个配置项:

数据分片数，数据分片用于设置index最终切分的个数。

数据副本数，数据分片数用于设置index中数据重复的个数。

默认的，系统会用5个分片，一个副本。

#index.number_of_shards: 5

#index.number_of_replicas: 1

对于测试，建议不需要分片，不设置副本,

#index.number_of_shards: 1       设置一个索引的碎片数量

#index.number_of_replicas: 0    设置一个索引可被复制的数量，默认值为1：

此上是基于 elasticsearch-2-X版本，如果使用elasticsearch-5.0以上，在插件head有出入，低版本直接监听在9200.现在另起炉灶9100端口开访。      ----放弃

http://blog.csdn.net/iiiiher/article/details/53381051

集群插件：

elasticsearch集群部署与插件使用

原文：http://chennailong.blog.51cto.com/10063928/1896429