Esse documento apresenta um modelo visual de como as informação são trabalhadas dentro da Carol, antes de serem enviadas à Gesplam.
A Carol, possui duas áreas principais de armazenamento, a staging area onde ficam os dados brutos provenientes do ERP e os Data Models que armazenam os goldem records ue foram trabalhados através das pipelines.
Para mais informações (link da documentação da carol)
Cada quadro apresentado dentro da camada Pipeline, representa uma Common table expression, que é um conjunto nomeado e temporário de resultados, derivado de uma consulta sql. São utilizadas como alternativa à, por exemplo, subquerys e views, para melhor organização e manutenção das consultas. Dentro do código das pipelines elas estão dispostas da seguinte forma: WITH common_table_expression_name ( query_statement )
Da pra fazer um esquema com abas, ai cada aba fica um pipeline, acho que ficará melhor organizado.