Esse documento apresenta um modelo visual de como as informação são trabalhadas dentro da Carol, antes de serem enviadas à Gesplam.
A Carol, possui duas áreas principais de armazenamento, uma que armazena as staging tables onde ficam os dados brutos provenientes do ERP e os Data Models que armazenam os goldem records que foram trabalhados através das pipelines.
Cada quadro apresentado dentro da camada Pipeline, representa uma Common table expression (CTE), que é um conjunto nomeado e temporário de resultados, derivado de uma consulta sql. São utilizadas como alternativa à, por exemplo, subquerys e views, para melhor organização e manutenção das consultas.
Dentro do código das pipelines elas estão dispostas da seguinte forma:
WITH common_table_expression_1 (query_statement_1),
common_table_expression_2 ( query_statement_2 ),
common_table_expression_n ( query_statement_n )
Cada CTE armazena um conjunto intermediário de registros que são utilizados pelas CTEs seguintes , até que por fim é gerado um CTE final que contém os registros que atendem à regra de negócio e que serão levados para o Data Models.
|
<!-- esconder o menu --> <style> div.theme-default .ia-splitter #main { margin-left: 0px; } .ia-fixed-sidebar, .ia-splitter-left { display: none; } #main { padding-left: 10px; padding-right: 10px; overflow-x: hidden; } .aui-header-primary .aui-nav, .aui-page-panel { margin-left: 0px !important; } .aui-header-primary .aui-nav { margin-left: 0px !important; } </style> |
Plugin do VSCode para codificação de pipelines SQL