Histórico da Página

...

• A implementação de alguns itens deste documento devem ser realizadas pelo responsável pela administração do banco de dados (DBA) do cliente.
• O repositório é destinado a fornecer dados formatados para uso em ferramentas analíticas do tipo Data Mining, Data Discovery e outras que o cliente desejar.
• Os Data Marts desenvolvidos pela Consinco desenvolvidos pela TOTVS - Varejo Supermercados serão licenciados e ofertados para serem consumidos no ambiente de de Data Warehouse.
• As estruturas do modelo e seus objetos de banco de dados não devem ser alterados pelo cliente, ficando sujeito a penalizações contratuais.
• O processo de extração, transformação e carga dos dados a partir do ERP Consinco TOTVS - Varejo Supermercados para o repositório será realizado integralmente por rotinas do próprio produto.
• A manutenção e evolução do repositório acompanhará as eventuais mudanças que o ERP sofrer em sua estrutura ao longo de sua manutenção habitual.
• A Consinco TOTVS - Varejo Supermercados reserva-se no direito de atualizar, modificar, incluir ou excluir informações deste documento a qualquer momento, sem aviso prévio. Na ocasião, verifique a disponibilidade de uma versão mais atual deste documento.

...

O repositório poderá estar no mesmo servidor que hospeda o ERP ConsincoTOTVS - Varejo Supermercados, desde que em owner diferente do owner utilizado no ERP (conforme pré-requisitos), podendo ser na mesma ou em instância separada. Porém, recomenda-se que o repositório de Data Warehouse esteja esteja em ambiente separado do ERP ConsincoTOTVS - Varejo Supermercados, uma vez que a carga de processamento no repositório do Data Warehouse pode vir a interferir no desempenho do ERP, ficando a critério do cliente e de seu Administrador de Banco de Dados (DBA) definir a melhor estrutura a ser utilizada de acordo com os recursos disponíveis e a intenção de utilização do ambiente.

Estando em ambientes distintos (servidor ou instância), o repositório do Data Warehouse do ERP deverá ter acesso à e permissão de manipulação na base de dados do ERP do Data Warehouse por meio de DBLink com nome configurado como CONSINCOCONSINCODW. Se o repositório for hospedado na mesma instância Oracle do ERP, será necessário apenas conceder os devido privilégios de acesso.

...

Após a disponibilização do ambiente com os requisitos acima, será realizado a criação do repositório pela equipe Consinco TOTVS - Varejo Supermercados ou DBA do cliente.

...

04. Requisitos de Administração

As informações descritas neste item baseiam-se em boas práticas na administração do banco de dados Oracle para os produtos ConsincoTOTVS - Varejo Supermercados. Em alguns cenários, as características de ambiente, de equipamento, de volumetria e do número de acessos simultâneos ao servidor, podem exigir recomendações específicas, inclusive da fabricante Oracle. Recomenda-se que a administração do banco de dados Oracle seja feita por empresa ou profissional especializado.

...

Deverá ser definido pelo cliente um período de histórico retroativo para a execução da carga inicial do repositório do Data Warehouse. Esta primeira carga inicial deverá ser mais demorada que as cargas diárias incrementais. A carga inicial será realizada com acompanhamento da equipe ConsincoTOTVS - Varejo Supermercados, e posteriormente, ao final das execuções, haverá uma homologação dos dados gerados para verificação de consistências. Uma vez concluída a carga inicial e homologado os dados gerados no Data Warehouse, será então configurada a carga incremental diária.

...

O Gerenciador de Carga integrado ao módulo Gerencial do ERP Consinco TOTVS - Varejo Supermercados permite ao administrador do sistema realizar várias funções relacionadas a carga de dados do DW. Para maiores detalhes consulte a a documentação do Gerenciador de Carga do DW

...

Considerar também:

• A estrutura do Consinco DW TOTVS - Varejo Supermercados está sempre evoluindo e pode agregar novas versões que contemplem outros outros Data Marts fazendo esse consumo subir;
• É possível configurar para desativar a carga de alguns fatos isoladamente se não forem utilizados;
• Deve-se pensar em eventuais previsões de crescimento e expansão, tais como abertura de novas lojas ou unidades de negócio.
• Numa eventual falta crítica de espaço, pode ser ir eliminando dados antigos do DW que não mais interessem, como saldos de estoques mais antigos ou agrupamentos mais atômicos de vendas mantendo apenas os mais agregados;

...

Para o caso do desempenho esperado do Data Warehouse ConsincoTOTVS - Varejo Supermercados, podemos elencar várias questões que influenciam, tais como:

...

• 1) Performance na extração dos dados do ERP
• 2) Performance na carga para o DW
• 3) Performance no acesso aos dados do DW por ferramentas ConsincoTOTVS - Varejo Supermercados
• 4) Performance no acesso aos dados do DW por outras ferramentas
• 5) Performance na visualização final dos dados pelo usuário por meio de ferramentas de terceiros

...

No momento 3 em diante já temos ações que dependem dos usuários, e aí quanto mais usuários houver e quanto mais acessarem os dados haverá mais impacto. O fato de estar a estrutura de DW separada do ERP já garante ganhos de performance significativos, eliminando a questão da concorrência de leitura e gravação com o ERP/OLTP e simplificando muito o esforço de consultas. No cenário A já temos esta melhoria de estrutura. Nos cenários B e C melhora um pouco mais, já que temos instancias separadas, onde se pode configurar as partes de memória e blocos do Oracle com configurações mais focadas em prover velocidade de acesso e menos em gravação, visando dar velocidade ao usuário, e no melhor dos mundos o cenário C, onde temos até uma máquina separada. No cenário B e C temos mais facilidade de backup separado também. A desvantagem desses cenários B e C é, obviamente, o custo, pois envolve ter mais uma licença de Oracle e mais um servidor no caso do cenário C, evitando o compartilhamento de recursos de hardware de memória e processamento dos cenários A e B.

No momento 4, vai vai depender de qual será a ferramenta a ser utilizada para disponibilizar as visualizações para os usuários. Existem algumas ferramentas que trabalham usando as tabelas de fonte de dados (no caso o DW) acessando-as quando precisam, tais como as Análises ABC da ConsincoTOTVS - Varejo Supermercados. E existem outros tipos de ferramentas que “importam” os dados para uma base de dados interna fechada, que é mantida em memória quando o usuário abre, tais como o Qlik Sense, Tableau ou Microsoft Power Bi, por exemplo. Nestes casos, em teoria, não haveria vantagem nos cenários B e C, pois a carga feita pra dentro dessas ferramentas seria também um processo batch a ser rodado uma vez ao dia. Não gerando mais vantagem em termos os cenários B e C em relação ao A.

...

Não é recomendado o uso da versão Express do Oracle para o Consinco DW TOTVS - Varejo Supermercados, pois esta versão do Oracle possui uma limitação de tamanho máximo da base de cerca de 12 GB de espaço, 2 GB de RAM e 2 CPUs, conforme a versão atual (parâmetros sujeitos a alterações).