Este documento tem por objetivo auxiliar a instalação e parametrização do Fast Analytics linha Datasul.
Neste tópico será apresentado as premissas e também o que é necessário para a utilização do FAST Analytics com banco de dados Progress.
A versão do Progress utilizado para SERVIR OS BANCOS DE DADOS precisa obrigatoriamente ser 64bits.
Os bancos precisam estar no mesmo servidor, mesmo que em diretórios separados. Pois a conexão utilizada para o processo é de shared-memory do Progress, e a regra básica é ter os bancos no mesmo servidor.
Para utilizar todas as Dashs/Recursos de negócio disponíveis no GoodData, a versão do banco de dados Progress precisa ser pelo menos Progress 11.
Com a versão do banco de dados em Progress 10.2b, existem algumas restrições na extração dos dados.
NOTA: Será necessário solicitar para o administrador do banco de dados da empresa a configuração da conexão do broker SQL para o banco EMSFND. Esta indicação é para separar as conexões do ERP das conexões SQL utilizadas pelos Fast Analytics, garantindo com isto, que a conexão SQL não impacte no ERP.
Vale lembrar também, que será necessário a redistribuição dos usuários de banco para o broker SQL e 4GL.
Ex: User=pub, Password=pub; Ou outro nome já definido, mas que esteja em todos os banco;
Editar o arquivo emsfnd.oesql.properties e inserir o conteúdo abaixo, ajustando conforme estrutura de unificação dos bancos de dados do cliente:
[sql-configuration]
configuration-names-list=FastAnalytics
[configuration.FastAnalytics]
database-id-list=ems2cad,ems2mov,
ems5cad,ems5mov,…
[database.ems2cad]
Name=ems2cad
Catalog=ems2cad
Location=C:\TOTVS\Datasul_12.1.18\db\ems2cad.db
[database.ems2mov]
Name=ems2mov
Catalog=ems2mov
Location=C:\TOTVS\Datasul_12.1.18\db\ems2mov.db
[database.ems5cad]
Name=ems5cad
Catalog=ems5cad
Location=C:\TOTVS\Datasul_12.1.18\db\ems5cad.db
[database.ems5mov]
Name=ems5mov
Catalog=ems5mov
Location=C:\TOTVS\Datasul_12.1.18\db\ems5mov.db
[database….]
Name=…
Catalog=…
Location=C:\TOTVS\Datasul_12.1.18\db\... |
NOTA: Quando os bancos estiverem no ambiente UNIX/LINUX, o arquivo emsfnd.oesql.properties não pode ser copiado do Windows, ele precisa ser gerado diretamente no ambiente com um editor local, devido a questões técnicas de ambiente. Ex: vi.
Caso o processo necessite de outros bancos além dos bancos Ems2 e Ems5, será necessário acicionar na estrutura..
Configuração Ambiente Fast Analytics Datasul
Segue roteiro passo a passo para instalação do Fast Analytics:
1. Criar diretório C:\FastAnalyticsDatasul;
2. Baixar do endereço (http://tdn.totvs.com/pages/viewpage.action?pageId=317000832), o pacote FastAnalyticsDatasul.zip;
3. Descompactar o arquivo FastAnalyticsDatasul.zip;
4. Acessar o diretório C:\ FastAnalyticsDatasul e edite o arquivo my.properties;
5. No arquivo my.properties configurar as informações abaixo:
gdc.username=<<NOME USUÁRIO GOODDATA>>
gdc.password=<<SENHA USUÁRIO GOODDATA>>
gdc.etl.param.USER_PWD_SECURE_DI=<<NOME USUÁRIO GOODDATA>>:<<SENHA USUÁRIO GOODDATA>>
Nota: No campo gdc.etl.param.USER_PWD_SECURE_DI, quando utilizar algum caracter especial, é necessário converter pelo codigo %<CODIGO ASC>. Exemplo xx@tst.com = xx%40tst.com
gdc.upload_url=https://na1-di.gooddata.com/project-uploads/<<ID PROJETO GOODDATA>>/today/
gdc.upload_archive=FASTANALYTICS.zip
gdc.backup=TRUE
gdc.etl.process_url=https://na1.gooddata.com/gdc/projects//<<ID PROJETO GOODDATA>>//dataload /processes//<<ID PROCESSO GOODDATA>>//
Nota: As informações de Nome Usuário GoodData, Senha Usuário GoodData, ID Projeto GoodData e ID Processo GoodData, são informações encaminhadas pela equipe do Fast Analytics para o cliente. Com isso, para objeto esta informação será necessário entrar em contato com um analista de TI do cliente.
gdc.etl.graph=Datasul/graph/_Main.grf
#Este parametro indica como ficarão os dados no GoodData. Sendo valor
# "FULL_LOAD" = Elimina tudo o que está no GoodData e atualiza apenas o que foi exportado na execução corrente;
# "INCREMENTAL" = Elimina apenas o que foi o periodo exportado na execução corrente;
gdc.etl.param.LOAD_MODE_DIM="FULL_LOAD"
gdc.etl.param.LOAD_MODE_FCT="INCREMENTAL"
#Arquivo ZIP que contem as queries a serem executadas para extração dos dados
gdc.query_zip=C:/TOTVS/Gooddata/Projetos/Vipal/FastAnalyticsDatasul/query/qryDatasul.zip
jdbc.driver_path=<<DIRETÓRIO INSTALAÇÃO PROGRESS>>/java/openedge.jar
Nota: Caso não tenha conhecimento do diretório de instalação do progress, entre em contato com um analista de TI do cliente.
Conectando um Banco de Dados Progress:
jdbc.driver=com.ddtek.jdbc.openedge.OpenEdgeDriver
jdbc.url=jdbc:datadirect:openedge://<<SERVER BANCO PROGRESS>>:<<PORTA CONEXÃO BROKER SQL>>;databaseName=emsfnd[-mdbq:FastAnaytics]
Nota: No Server Banco Progress deve ser informado o IP do servidor onde o banco do EMSFND está servido. A porta de Conexão Broker SQL é a porta do sistema operacional em que o banco EMSFND foi carregado com o broker SQL. Caso não tenha conhecimento de onde obter estas informações, entre em contato com um analista de TI/DBA do cliente.
jdbc.username=<<USUARIO BANCO DE DADOS>>
jdbc.password=<<SENHA USUARIO BANCO DE DADOS>>
Nota: O usuário e senha banco de dados é o usuário criado diretamente no banco e o padrão utilizado é “pub”. Caso não tenha conhecimento de onde obter esta informação, entre em contato com um analista de TI/DBA do cliente.
Conectando um Banco de Dados Oracle:
# Oracle Thin
jdbc.url=jdbc:oracle:thin:@<<SERVER BANCO ORACLE>>:1521:<<INSTANCIA>>
jdbc.driver_path=<<DIRETÓRIO INSTALAÇÃO INSTANCIA ORACLE>>/jdbc/lib/ojdbc6.jar
jdbc.driver=oracle.jdbc.driver.OracleDriver
jdbc.username=<<USUÁRIO INSTANCIA ORACLE>>
jdbc.password=<<SENHA INSTANCIA ORACLE>>
Nota: As informações do server banco Oracle, Instancia, Usuário e Senha, devem ser solicitado para o administrador de bancos do cliente.
Nesta parte do arquivo my.properties será necessário relacionar aos parâmetros dos bancos o nome físico correspondente a cada nome de banco lógico:
#Bancos ERP Ems2
param.MGADM="ems2cad"
param.MGDIS="ems2cad"
param.MGFIS="ems2cad"
param.MGFRO="ems2cad"
param.MGIND="ems2cad"
param.MGINV="ems2cad"
param.MGMFG="ems2cad"
param.MGMNT="ems2cad"
param.MGMRP="ems2cad"
param.MGSCM="ems2cad"
param.MGUNI="ems2cad"
param.MOVADM="ems2mov"
param.MOVDIS="ems2mov"
param.MOVFIS="ems2mov"
param.MOVFRO="ems2mov"
param.MOVIND="ems2mov"
param.MOVMFG="ems2mov"
param.MOVMNT="ems2mov"
#Bancos ERP Ems5
param.EMSBAS="ems5cad"
param.EMSFIN="ems5cad"
param.EMSUNI="ems5cad"
param.EMSVEN="ems5cad"
param.MOVFIN="ems5mov"
NOTA:
A relação do nome físico com nome lógico dos bancos pode ser obtido no arquivo de alias do ERP. Caso não tenha esta informação, será necessário solicitar a equipe TI do cliente.
#PARAMETROS GERAIS
param.GERAL_MATRIZ_TRADUCAO_ORG_EXT=<<CODIGO MATRIZ TRADUÇÃO EMPRESA>>
Nota: Informe o código de matriz de tradução padrão utilizada pelo cliente, por default é utilizado o valor “EMS2”, mas caso não seja, entre em contato com um analista contábil do cliente.
param.GERAL_INSTANCIA=<<CODIGO DA INSTANCIA/EMPRESA>> (USAR VALOR DEFAULT “01”)
Nota: Neste campo deve ser informar um valor para identificar o código da empresa, caso se deseje visualizar os movimentos separados por empresa. O padrão é utilizar o valor “01”. Se for necessário utilizar para mais de uma empresa, o arquivo my.properties precisará ser copiar e em cada arquivo inserir o valor da instancia correspondente a empresa que estã sendo processada, entre em contato com um analista contábil do cliente.
#PARAMETROS FATO MANUFATURA
param.PRODUCAO_REALIZADA_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO>>
param.PRODUCAO_REALIZADA_PERIODO_FINAL=<<DATA FINAL EXTRAÇÃO>>
#PARAMETROS FATO COMERCIAL
param.FATURAMENTO_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO>>
param.FATURAMENTO_PERIODO_FINAL=<<DATA FINAL EXTRAÇÃO>>
param.PEDIDO_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO>>
param.PEDIDO_PERIODO_FINAL=<<DATA FINAL EXTRAÇÃO>>
param.DEVOLUCAO_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO>>
param.DEVOLUCAO_PERIODO_FINAL=<<DATA FINAL EXTRAÇÃO>>
#PARAMETROS FATO FINANCEIRO
param.CONTAS_PAGAR_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO>>
param.CONTAS_PAGAR_PERIODO_FINAL=<<DATA FINAL EXTRAÇÃO>>
param.CONTAS_RECEBER_PERIODO_INICIAL=<<DATA INICIAL EXTRAÇÃO >>
param.CONTAS_RECEBER_PERIODO_FINAL= <<DATA FINAL EXTRAÇÃO>>
A primeira carga dos dados para envio à nuvem precisa ser obrigatoriamente de 5 dias, ou seja, “SYSDATE – 5” e a final “SYSDATE”;
Nota:Isto é necessário pois neste momento terá apenas o objetivo de validar se a comunicação completa com a nuvem está funcionando. Ex:Conexão do banco com broker SQL, Extração dos dados, Upload para nuvem, renderização dos dados na nuvem.
Após verificar que os dados estão na nuvem, analisar a necessidade do cliente e parametrizar períodos maiores.
Nota: Recomendamos que os períodos maiores somente sejam utilizados após fazer uma analise do volume de movimentação mensal do cliente. Pois, se o cliente tiver muita movimentação fará com que o tempo de processamento seja mais demorado.
Caso o cliente solicite implantar apenas uma área, será necessário eliminar do diretório de queries os arquivos que não pertentem a área selecionada. Abaixo consta uma tabela de Dimensões X Área X Fato;
A documentação da validação das métricas estão disponível no TDN TOTVS endereço: http://tdn.totvs.com/pages/viewpage.action?pageId=317000608
Para configurar a extração multi-empresa, será necessário gerar um arquivo “properties” para cada empresa e alterar o parâmetro “param.GERAL_INSTANCIA=<<CÓDIGO IDENTIFICAÇÃO EMPRESA NO ERP>>
Verificar se no projeto o backup do delete na nuvem está desabilitado. Esta informação é validada diretamente com a equipe N1 do GD;
Configurar o agendamento das execuções no WinAt ou no Crontab, lembrando que as máquinas que tiverem esta execução precisam ter acesso a internet para publicar os dados na nuvem;
Caso ocorra erro de falta de memória no Agent, inserir o parâmetro –Xmx1024m.
Ex: java -Xmx756m -jar agent-analytics.jar my.properties