Índice

Introdução

As instruções a seguir completarão a instalação de um fluig Indexer em um cluster de servidores dedicados, continuando as instruções iniciadas na página Fluig Indexer em Servidor Dedicado.

Na maioria dos cenários, uma máquina bem dimensionada executando o serviço de indexação é suficiente para atender as demandas de indexação e busca da plataforma.

Sendo assim, as configurações apresentadas nesta página são consideradas avançadas, com maior necessidade de administração do ambiente, e recomendadas apenas em casos específicos, quando a busca é uma funcionalidade crítica, ou quando se faz necessário garantir a alta disponibilidade deste serviço.

Redundância

O serviço de indexação na plataforma é realizado pelo Apache® Solr. Em um ambiente de alta disponibilidade, são necessárias mais máquinas com este serviço rodando para, no caso de uma delas falhar, ter outra(s) para continuar processando as requisições, e, neste caso, o gerenciamento destas requisições é realizado pelo Apache® ZooKeeper.

Com isso, para garantir a alta disponibilidade desta funcionalidade, é necessário que exista redundância em ambos os serviços: Apache® Solr para indexação/busca e Apache® ZooKeeper para gerenciamenteo das configurações e das requisições. Também é necessário que todas as máquinas do cluster sejam acessíveis entre si (estejam na mesma rede).

O princípio de funcionamento do Apache® ZooKeeper é baseado em quorum, ou seja, é necessário que a maioria (>50%) dos servidores estejam disponíveis para o processamento das requisições.

Por exemplo, se existirem apenas dois servidores e um deles ficar indisponível, apenas 50% dos servidores estarão saudáveis, e como isso não é a maioria, o cluster será incapaz de processar as requisições. Por outro lado, se existirem três servidores e um ficar indisponível, ainda restarão dois saudáveis, ou 66%, que atende ao critério de maioria. Por isso é recomendado um número ímpar de servidores executando o Apache® ZooKeeper.

Configurando o Apache® ZooKeeper

O primeiro passo é efetuar o download da versão 3.4.10 do Apache® ZooKeeper, que pode ser obtida aqui: https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/

Após efetuar o download e extrair o arquivo compactado no diretório de sua preferência (<ZOOKEEPER_HOME>) em cada uma das máquinas do cluster, é necessário criar, caso ainda não exista, o arquivo <ZOOKEEPER_HOME>/conf/zoo.cfg com o seguinte conteúdo:

tickTime=2000
dataDir=/var/lib/zookeeperdata
clientPort=2181
initLimit=5
syncLimit=2
server.1=<server1_ip>:2888:3888
server.2=<server2_ip>:2888:3888
server.3=<server3_ip>:2888:3888

• tickTime: corresponde ao tempo em milisegundos entre cada tick, sendo que uma das validações para determinar se um nó está disponível é de dois ticks (similar ao ping para verificar se uma máquina é encontrada na rede). Se dois ticks consecutivos não obtiverem resposta, ocorre timeout e a máquina é considerada indisponível.
• dataDir: aponta o diretório onde serão armazenadas as informações referentes ao cluster. No início este diretório deve estar vazio mas com permissão de escrita pelo usuário que irá iniciar o ZooKeeper.
• clientPort: corresponde à porta que será utilizada pelo Apache® Solr.
• initLimit: quantidade de tempo (em ticks) para que uma máquina com ZooKeeper se conecte e sincronize com a máquina que foi eleita líder. Neste caso, são 5 ticks com 2000 milisegundos cada, totalizando 10 segundos. Este valor pode ser incrementado sob demanda, se a quantidade de informações gerenciadas pelo ZooKeeper for elevada.
• syncLimit: quantidade de tempo (em ticks) que uma máquina com ZooKeeper pode estar atrasada em relação à líder. Se uma máquina não conseguir sincronizar com a líder neste intervalo, ela será descartada do cluster.
• server.X: Estes são os IDs e localização (endereço IP na rede interna) de todos os nós do cluster, e as portas nas quais eles comunicam-se entre si. O ID identifica cada nó do cluster, e também precisa ser referenciado em um arquivo de nome "myid", dentro do diretório definido na propriedade dataDir. Neste exemplo seria necessário criar o arquivo /var/lib/zookeeperdata/myid com o conteúdo "1" (sem aspas) para a máquina configurada na propriedade server.1, o mesmo arquivo com conteúdo "2" (sem aspas) para a máquina configurada na propriedade server.2, e assim por diante, para cada máquina existente no cluster. As portas 2888 e 3888 são as portas que serão utilizadas para comunicação entre cada uma das máquinas do cluster e podem ser alteradas de acordo com a necessidade, desde que informadas na linha correspondete ao servidor em questão, no arquivo zoo.cfg de todas as máquinas do cluster.

Com essa configuração em cada máquina do cluster, basta iniciá-las com o seguinte comando: 

	cd <ZOOKEEPER_HOME>/bin
Linux:
	zkServer.sh start zoo.cfg

Windows:
	zkServer.cmd start zoo.cfg

Configurando o Apache® Solr

A instalação do Apache® Solr pode ser realizada através da mídia de instalação do fluig no modo caractere, seguindo o passo a passo para instalar somente o servidor de indexação em Windows ou Linux.

O Solr possui dois modos de inicialização: Standalone e Cloud.

• No caso de um ambiente de alta disponibilidade, é necessário utilizar o modo Cloud, apontando para os servidores e portas onde estão sendo executados os serviços de gerenciamento das configurações e requisições (ZooKeeper) através do parâmetro -z, conforme exemplo abaixo:

<SOLR_DIR>/bin/solr start -cloud -z <server1_ip>:2181,<server2_ip>:2181,<server3_ip>:2181

Neste caso, os endereços <server1_ip>, <server2_ip> e <server3_ip> são os mesmo informados anteriormente nos parâmetros server.X do arquivo zoo.cfg, e a porta 2181 corresponde ao parâmetro clientPort informado nesse mesmo arquivo.

• Se desejar subir o fluig Indexer em uma porta diferente da padrão (8983), adicione o parâmetro "-p" e informe a porta.

<SOLR_DIR>/bin/solr start -cloud -z <server1_ip>:2181,<server2_ip>:2181,<server3_ip>:2181 -p 18983

• Para interromper o serviço pode-se utilizar o comando abaixo:

<SOLR_DIR>/bin/solr stop -all

<SOLR_DIR>/bin/solr zk upconfig -d fluig -n fluig -z <server1_ip>:2181,<server2_ip>:2181,<server3_ip>:2181

<SOLR_DIR>/bin/solr create_collection -c <ID do Tenant> -d fluig -shards 1 -replicationFactor 2

Configurando o fluig para usar o Indexer

Se o fluig tiver em execução, siga os passos abaixo:

Se o fluig estiver parado, siga os passos abaixo:

No servidor onde está instalado o fluig, acesse o diretório [Instalação fluig]/repository/wcmdir/config e edite o arquivo configuration.properties. Caso o arquivo configuration.properties não exista, crie um novo arquivo com este nome.

totvs/solrURL=<IP Servidor Master>:9983
totvs/solrCloud=true
totvs/solrRemote=true

Modifique o parâmetro totvs/solrURL informando o endereço do servidor onde está sendo executado o fluig Indexer Master. Deverá ser informado apenas o IP ou hostname do servidor e a porta, sem o protocolo e contexto. A porta utilizada será a do serviço de coordenação do cluster que por padrão é a porta do 9983.

O parâmetro totvs/solrCloud irá condicionar o fluig para ativar a opção do Solr em Cluster, necessária para ambientes em cluster.