Histórico da Página

01. Premissas

• A implementação de alguns itens deste documento devem ser realizadas pelo responsável pela administração do banco de dados (DBA) do cliente.
• O repositório é destinado a fornecer dados formatados para uso em ferramentas analíticas do tipo Data Mining, Data Discovery e outras que o cliente desejar.
• Os Data Marts desenvolvidos pela Consinco desenvolvidos pela TOTVS - Varejo Supermercados serão licenciados e ofertados para serem consumidos no ambiente de de Data Warehouse.
• As estruturas do modelo e seus objetos de banco de dados não devem ser alterados pelo cliente, ficando sujeito a penalizações contratuais.
• O processo de extração, transformação e carga dos dados a partir do ERP Consinco TOTVS - Varejo Supermercados para o repositório será realizado integralmente por rotinas do próprio produto.
• A manutenção e evolução do repositório acompanhará as eventuais mudanças que o ERP sofrer em sua estrutura ao longo de sua manutenção habitual.
• A Consinco TOTVS - Varejo Supermercados reserva-se no direito de atualizar, modificar, incluir ou excluir informações deste documento a qualquer momento, sem aviso prévio. Na ocasião, verifique a disponibilidade de uma versão mais atual deste documento.

...

02. Requisitos Técnicos

Requisitos de Ambiente

O Data Warehouse foi projetado e desenvolvido para Oracle Database. Para instalação do produto será necessário a disponibilização de um ambiente Oracle compatível e homologado para criação do repositório. Não se restringe a virtualização do ambiente Oracle Database, desde que, os pré-requisitos e orientações da Oracle sejam completamente atendidos para este tipo de ambiente.

...

O repositório poderá estar no mesmo servidor que hospeda o ERP ConsincoTOTVS - Varejo Supermercados, desde que em owner diferente do owner utilizado no ERP (conforme pré-requisitos), podendo ser na mesma ou em instância separada. Porém, recomenda-se que o repositório de Data Warehouse esteja esteja em ambiente separado do ERP ConsincoTOTVS - Varejo Supermercados, uma vez que a carga de processamento no repositório do Data Warehouse pode vir a interferir no desempenho do ERP, ficando a critério do cliente e de seu Administrador de Banco de Dados (DBA) definir a melhor estrutura a ser utilizada de acordo com os recursos disponíveis e a intenção de utilização do ambiente.

Estando em ambientes distintos (servidor ou instância), o repositório do Data Warehouse deverá do ERP deverá ter acesso à e permissão de manipulação na base de dados do ERP Consinco do Data Warehouse por meio de DBLink com nome configurado como CONSINCODW. Se Se o repositório for hospedado na mesma instância Oracle do ERP Consinco, será necessário apenas conceder os devido privilégios de acesso.

A base de implantação pode ser baixada aquibaixada na Central de Downloads.

...

03. Requisitos de Instalação

Os requisitos descritos abaixo são obrigatórios para instalação do repositório do Data Warehouse.

...

Após a disponibilização do ambiente com os requisitos acima, será realizado a criação do repositório pela equipe Consinco TOTVS - Varejo Supermercados ou DBA do cliente.

...

04. Requisitos de Administração

As informações descritas neste item baseiam-se em boas práticas na administração do banco de dados Oracle para os produtos ConsincoTOTVS - Varejo Supermercados. Em alguns cenários, as características de ambiente, de equipamento, de volumetria e do número de acessos simultâneos ao servidor, podem exigir recomendações específicas, inclusive da fabricante Oracle. Recomenda-se que a administração do banco de dados Oracle seja feita por empresa ou profissional especializado.

...

• Criar políticas de coleta de estatísticas periódica para todo o schema CONSINCODW
• Criar políticas de backup periódico para o banco de dados (Ref. Archive, Data Pump)
• Utilizar o pacote Dbms_Stats para coleta de estatísticas
• Manter Redo Logs em quantidades e tamanhos para um bom intervalo de switch (~15 min)
• Definir Unlimited para regra Failed_Login_Attempts para o profile do usuário CONSINCODW
• Definir Unlimited para a regra Password_Life_Time para o perfil do usuário CONSINCODW
• Definir Unlimited para a regra Password_Lock_Time para o perfil do usuário CONSINCODW
• Definir Unlimited para a regra Password_Grace_Time para o perfil do usuário CONSINCODW
• Utilizar no máximo, 70% da memória RAM disponível no servidor para o Oracle
• Definir valor para Job_Queue_Processes inferior ao valor de Cpu_Count
• Aplicar todos os PatchSet Updates fornecidos pela Oracle para a release utilizada

...

05. Configurações de Carga

Carga Inicial

Deverá ser definido pelo cliente um período de histórico retroativo para a execução da carga inicial do repositório do Data Warehouse. Esta primeira carga inicial deverá ser mais demorada que as cargas diárias incrementais. A carga inicial será realizada com acompanhamento da equipe ConsincoTOTVS - Varejo Supermercados, e posteriormente, ao final das execuções, haverá uma homologação dos dados gerados para verificação de consistências. Uma vez concluída a carga inicial e homologado os dados gerados no Data Warehouse, será então configurada a carga incremental diária.

...

O Gerenciador de Carga integrado ao módulo Gerencial do ERP Consinco TOTVS - Varejo Supermercados permite ao administrador do sistema realizar várias funções relacionadas a carga de dados do DW. Para maiores detalhes consulte : Documentação a documentação do Gerenciador de Carga do DW

...

06. DER e Dicionário de Dados

Modelo DER

Consultar os anexos:

• ConsincoDW DER Compra
• ConsincoDW DER Estoque
• ConsincoDW DER Venda
• ConsincoDW DER Concorrente

Dicionário de Dados

Consultar o anexo:

• ConsincoDW Dicionario de Dados – Data Mart Comercial

...

07. Planejamento de Capacidade

Tablespaces temporárias: Inicialmente recomendamos alocar um tamanho mínimo inicial de 6 GB para cada uma das tablespaces TEMP e UNDO na base DW. Deve ser monitorada a necessidade de crescimento e realocação de espaço para essas tablespaces. O espaço máximo consumido (marca d’água) varia conforme as características da base dos dados do cliente.

...

Considerar também:

• A estrutura do Consinco DW TOTVS - Varejo Supermercados está sempre evoluindo e pode agregar novas versões que contemplem outros outros Data Marts fazendo esse consumo subir;
• É possível configurar para desativar a carga de alguns fatos isoladamente se não forem utilizados;
• Deve-se pensar em eventuais previsões de crescimento e expansão, tais como abertura de novas lojas ou unidades de negócio.
• Numa eventual falta crítica de espaço, pode ser ir eliminando dados antigos do DW que não mais interessem, como saldos de estoques mais antigos ou agrupamentos mais atômicos de vendas mantendo apenas os mais agregados;

...

08. Considerações sobre Performance

A questão de performance de qualquer sistema computadorizado é sempre algo bastante complexo, pois depende do uso e das expectativas do usuário.

Para o caso do desempenho esperado do Data Warehouse ConsincoTOTVS - Varejo Supermercados, podemos elencar várias questões que influenciam, tais como:

...

• 1) Performance na extração dos dados do ERP
• 2) Performance na carga para o DW
• 3) Performance no acesso aos dados do DW por ferramentas ConsincoTOTVS - Varejo Supermercados
• 4) Performance no acesso aos dados do DW por outras ferramentas
• 5) Performance na visualização final dos dados pelo usuário por meio de ferramentas de terceiros

...

No momento 3 em diante já temos ações que dependem dos usuários, e aí quanto mais usuários houver e quanto mais acessarem os dados haverá mais impacto. O fato de estar a estrutura de DW separada do ERP já garante ganhos de performance significativos, eliminando a questão da concorrência de leitura e gravação com o ERP/OLTP e simplificando muito o esforço de consultas. No cenário A já temos esta melhoria de estrutura. Nos cenários B e C melhora um pouco mais, já que temos instancias separadas, onde se pode configurar as partes de memória e blocos do Oracle com configurações mais focadas em prover velocidade de acesso e menos em gravação, visando dar velocidade ao usuário, e no melhor dos mundos o cenário C, onde temos até uma máquina separada. No cenário B e C temos mais facilidade de backup separado também. A desvantagem desses cenários B e C é, obviamente, o custo, pois envolve ter mais uma licença de Oracle e mais um servidor no caso do cenário C, evitando o compartilhamento de recursos de hardware de memória e processamento dos cenários A e B.

No momento 4, vai vai depender de qual será a ferramenta a ser utilizada para disponibilizar as visualizações para os usuários. Existem algumas ferramentas que trabalham usando as tabelas de fonte de dados (no caso o DW) acessando-as quando precisam, tais como as Análises ABC da ConsincoTOTVS - Varejo Supermercados. E existem outros tipos de ferramentas que “importam” os dados para uma base de dados interna fechada, que é mantida em memória quando o usuário abre, tais como o Qlik Sense, Tableau ou Microsoft Power Bi, por exemplo. Nestes casos, em teoria, não haveria vantagem nos cenários B e C, pois a carga feita pra dentro dessas ferramentas seria também um processo batch a ser rodado uma vez ao dia. Não gerando mais vantagem em termos os cenários B e C em relação ao A.

No momento 5, é o usuário acessando as análises por meio de ferramentas. Vai depender da ferramenta client. Se for por exemplo, um servidor Tableau ou Qlik Sense, neste caso depende exclusivamente do servidor desta ferramenta pois ele “importa” os dados para sua base interna e se “desliga” da fonte de dados (no caso o DW). Lembrando que essas ferramentas também tem custos elevados em licenças e hardware, exigindo bastante memória em seus servidores. Existem outras ferramentas que usam o banco de fonte de dados, neste caso, fica parecido com o caso do momento 4.

...

09. Sobre o uso do Oracle Express

Não é recomendado o uso da versão Express do Oracle para o Consinco DW TOTVS - Varejo Supermercados, pois esta versão do Oracle possui uma limitação de tamanho máximo da base de cerca de 12 GB de espaço, 2 GB de RAM e duas CPUS2 CPUs, conforme a versão atual (parâmetros sujeitos a alterações).