solr分布式环境配置

2016-10-20

搭建zookeeper集群

使用的是三个节点，分别为
192.168.64.132 node2
192.168.64.130 node1
192.168.64.131 node3

在节点中分别配置主机名IP隐射关系
1
echo '192.168.64.132  node2\n192.168.64.130  node1\n192.168.64.131  node3'   >> /etc/hosts &&  source /etc/hosts

创建相关文件夹

在各节点根目录中创建 soft文件夹并将下载好的zookeeper解压至该文件夹
1
tar -zxvf zookeeper-3.5.2-alpha.tar.gz -C /soft/

新建zookeeper数据存储文件夹和日志存储文件夹

1 2	mkdir /soft/zookeeper-data mkdir /soft/zookeeper-data/logs

新建节点标示

以node1为例
其他节点以此类推
1
echo 1 > /soft/zookeeper-data/myid

编辑配置文件

1
2
3

cd /soft/zookeeper-3.5.2-alpha/
mv conf/zoo_sample.cfg conf/zoo.cfg
vim /conf/zoo.cfg

dataDir=/soft/zookeeper-data
dataLogDir=/soft/zookeeper-data/logs
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

配置完成后把配置发送到其他两台机子

启动zookeeper

➜  zookeeper-3.5.2-alpha bin/zkServer.sh start conf/zoo.cfg
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: conf/zoo.cfg
Starting zookeeper ... STARTED

验证是否启动成功

➜  zookeeper-3.5.2-alpha bin/zkServer.sh status conf/zoo.cfg
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: leader

安装Java环境

1	apt-get install openjdk-8-jre-headless

运行solr

解压并运行下载好的solr

tar -zxvf solr-6.2.1.tgz
root@tp-ubuntu:/opt/solr-6.2.1# ./bin/solr start
Waiting up to 30 seconds to see Solr running on port 8983 [-]  
Started Solr server on port 8983 (pid=20810). Happy searching!

效果图

创建/solr目录

# 进入zookeeper后台命令，默认连接本地localhost:2181
./zookeeper/bin/zkCli.sh
# 创建目录
create /solr "solr"

初始化solr配置文件

上传solr自带配置文件到zookeeper的/solr/configs目录下

1	./bin/solr zk -z localhost:2181/solr -upconfig -n solr -d example/example-DIH/solr/solr

参数说明

-upconfig to move a configset from the local machine to Zookeeper.
-n configName    Name of the configset in Zookeeper that will be the destinatino of 'upconfig' and the source for 'downconfig'.
-d confdir       The local directory the configuration will be uploaded from
-z zkHost        Zookeeper connection string.

补充说明

1
2

使用自定义ZooKeeper connection string启动Solr。该选项只能在-c选项，即SolrCloud模式下使用。如果该选项未提供，Solr将启动内置ZooKeeper实例
如果指定ZooKeeper连接字符串，例如"-z 192.168.64.133:2181"，Solr将连接到ZooKeeper并加入集群。如果以cloud模式启动，但没有指定-z选项，则Solr启动内置ZooKeeper服务器，坚挺在Solr端口+1000，例如Solr在端口8983，则内置ZooKeeper监听在端口9983

查看zookeeper目录：
以前的schema.xml换成了managed-schema文件，具体配置文档：
https://cwiki.apache.org/confluence/display/solr/Documents%2C+Fields%2C+and+Schema+Design

使用solr自带的jetty启动服务

1 2	cd /soft/solr bin/solr start -c -m 1g -z node1:2181/solr,node2:2181/solr,node3:2181/solr -p 8983

-c：cloud模式启动
-m：最大内存使用
-z：zookeeper集群地址
-p：启动服务端口

分别在其他节点上也以此方式启动solr

创建collections集群

1.通过浏览器访问http://192.168.64.130:8983/solr
创建集群

或者通过restful api创建collections集群

1	curl 'http://localhost:8983/solr/admin/collections?action=CREATE&name=solr&numShards=3&replicationFactor=2&maxShardsPerNode=2'

name：待创建Collection的名称
configset：collection在zookeeper中的配置目录
numShards：分片的数量
replicationFactor：复制副本的数量
maxShardsPerNode：默认值为1，注意三个数值：numShards、replicationFactor、liveSolrNode，一个正常的solrCloud集群不容许同一个liveSolrNode上部署同一个shard的多个replic，因此当maxShardsPerNode=1时，numShards*replicationFactor>liveSolrNode时，报错。因此正确时因满足以下条件：
numShards*replicationFactor<liveSolrNode*maxShardsPerNode

最终效果图

导入配置

最后一条命令需要指定到具体配置目录
执行命令结束后，需要到也没reload下core

1
2

bash /dat0/solr/server/scripts/cloud-scripts/zkcli.sh -cmd linkconfig -zkhost localhost:9983 -collection cninfo -confname cninfoconf
bash /dat0/solr/server/scripts/cloud-scripts/zkcli.sh -cmd upconfig -zkhost localhost:9983 -confname cninfoconf -confdir /dat0/solr/server/cloud/conf/