Histórico da Página

CONTEÚDO

1. Visão Geral
2. Data Models
3. Flex Fields
4. Demais informações

01. VISÃO GERAL

Image Removed

No tópico 02 abaixo, é apresentado um modelo visual de como as informação são trabalhadas dentro da Carol (Stage 4), antes de serem enviadas à Gesplam.

Image Added

A Carol possui duas áreas principais uma área de armazenamento , uma onde ficam as staging tables, que são as tabelas que armazenam os dados brutos provenientes do ERP, a outra  são os Data Models que armazenam os golden records, que é o resultado . Os Data Models são estrutura de dados definidas dentro da Carol, e nessas estruturas são armazenadas as informações resultantes do processamento das pipelines. 

No tópico 02 abaixo, é apresentado um modelo visual de como as informação são trabalhadas dentro da Carol, antes de serem enviadas à Gesplam. Cada quadro apresentado dentro  da camada Pipeline, representa o nome de uma Common table expression (CTE), que é um conjunto nomeado e temporário de resultados, derivado de uma consulta sql (common table expression - CTE). São utilizadas como alternativa à, por exemplo,  subquerys e views, para melhor organização e manutenção das consultas.

Dentro do código das pipelines elas essas CTE's estão dispostas da seguinte forma:

...

Cada CTE armazena um conjunto intermediário de registros que são utilizados pelas CTEs seguintes , até que por fim é gerado um CTE final, que contém os registros que atendem à regra de negócio e que serão levados para o Data Models.

02. DATA MODELS

Principais tabelas e campos envolvidos:

Deck of Cards
id Cenario effectType fade
Card id 1 label Contas a Receber Previsto effectType fade Modelo de dados Previsto: contempla todas as partidas em aberto de Clientes, ou seja, títulos a receber com saldo em aberto. O valor previsto para o título em aberto será calculado considerando seus abatimentos existentes, ou seja, títulos AB- e impostos calculados na emissão (IR-, IS-, PI-, CF-, etc.) e títulos (NCC) Nota de Crédito ao Cliente. Não são considerados previstos os seguintes tipos de títulos: RA - Recebimento Antecipado  "pipelineName": "contasreceberprevisto" "pipelineDescription": "Pipeline para processar dados a Receber Previsto" "outputDataModelName": "contasreceberprevisto" "processScript": "contasreceberprevisto.csql" Card id 1 label Contas a Receber Realizado effectType fade Modelo de dados Realizado: contempla todas as partidas de Clientes que tenham movimentação bancária atribuída, como recebimentos antecipados e baixas totais ou parciais. Movimentos bancários sem vinculo com Títulos a Receber não serão enviados na integração. "pipelineName": "contasreceberrealizado" "pipelineDescription": "Pipeline para processar dados a Receber Realizado" "outputDataModelName": "contasreceberrealizado" "processScript": "contasreceberrealizado.csql" Card id 1 label Contas a Pagar Previsto effectType fade Modelo de dados Previsto: contempla todas as partidas em aberto de Fornecedores, ou seja, títulos a pagar com saldo em aberto. O valor previsto para o título em aberto será calculado considerando seus abatimentos existentes, ou seja, títulos AB- e impostos calculados na emissão (IR-, IS-, PI-, CF-, etc.) e títulos (NDF) Nota de Débito ao Fornecedor. Não são considerados previstos os seguintes tipos de títulos: PA - Pagamento Antecipado (exceto quando não gerar movimento bancário). "pipelineName": "contaspagarprevisto" "pipelineDescription": "Pipeline para processar dados a Pagar Previsto" "outputDataModelName": "contaspagarprevisto" "processScript": "contaspagarprevisto.csql" Card label Contas a Pagar Realizado Modelo de dados Realizado: contempla todas as partidas de Fornecedores que tenham movimentação bancária atribuída, como pagamentos antecipados e baixas totais ou parciais. Movimentos bancários sem vinculo com Títulos a Pagar não serão enviados na integração. Para Motivo de Baixa NOR (Normal), a Realização só ocorrerá no Gesplan quando ocorrer o pagamento de cheque vinculado à baixa do(s) título(s). "pipelineName": "contaspagarrealizado" "pipelineDescription": "Pipeline para processar dados a Pagar Realizado" "outputDataModelName": "contaspagarrealizado" "processScript": "contaspagarrealizado.csql" Image Removed Image Removed Card label Campos Protheus Campos dos Data Models do Financeiro Campo / Tag Enviado Atributo Conteúdo DM Previsto Conteúdo DM Realizado ExternalCodeDetail Ver aba Dados por Processo (primary key do datamodel e na Gesplan) Ver aba Dados por Processo (primary key do datamodel e na Gesplan) F7I_STAMP filtroDataAtualizacao Timestamp da Staging Table Timestamp da Staging Table F7I_EXTCDH externalCodeHeader Ver aba Dados por Processo Ver aba Dados por Processo F7I_EXTCDD externalCodeDetail Ver aba Dados por Processo Ver aba Dados por Processo F7I_GRPEMP businessUnit_2 Grupo F7I_EMPR businessUnit_2 Empresa F7I_UNID businessUnit_2 Unidade Negócio Grupo + Empresa + Unid .Negócio  ( sep="|" pipe ) F7I_FILNEG divisongroup Filial Filial F7I_ORGSYT originSystem SE1 = 'CR' / SE2 = 'CP'  SE1 = 'CR' / SE2 = 'CP' / Contas a Pagar Realizado = 'PR' / Contas a Receber Realizado = 'RR' F7I_DSCSYT originSystemName SE1 = 'CONTAS A RECEBER' / SE2 = 'CONTAS A PAGAR' SE1 = 'CONTAS A RECEBER' / SE2 = 'CONTAS A PAGAR' / Contas a Pagar Realizado = 'Pagar Realizado' / Contas a Receber Realizado = 'Receber Realizado' F7I_EMISSA dateOfIssue E1_EMISSAO / E2_EMISSAO E1_EMISSAO / E2_EMISSAO dataemissaoNF E1_EMISSAO / Null para SE2  E1_EMISSAO / Null para SE2  F7I_EMIS1 datalanctoNF E2_EMIS1 / Null para SE1  E2_EMIS1 / Null para SE1  F7I_HIST description E1_HIST / E2_HIST E1_HIST / E2_HIST F7I_TIPO documentType E1_TIPO / E2_TIPO E1_TIPO / E2_TIPO F7I_TIPDSC documentTypeName_ptBR X5_DESCRI referente campo TIPO X5_DESCRI referente campo TIPO F7I_PREFIX documentNumber Prefixo Prefixo + Num + Parcela + Tipo F7I_NUM documentNumber Número F7I_PARCEL documentNumber Parcela F7I_MOEDA currency Código da Moeda Código + Descrição da moeda - conforme campos E1_MOEDA/E2_MOEDA F7I_DSCMDA currency Descrição da Moeda F7I_MOEDB bankCurrency Código da Moeda F7I_DSCMDB bankCurrency Descrição da Moeda - conforme a moeda do banco onde o movimento foi realizado Código + Descrição da moeda - conforme a moeda do banco onde o movimento foi realizado, campo A6_MOEDA. F7I_VENCTO dueDate2 E1_VENCTO / E2_VENCTO E1_VENCTO / E2_VENCTO F7I_VENCRE dueDateReal E1_VENCREA / E2_VENCREA E1_VENCREA / E2_VENCREA F7I_DTPGTO payday2 Null FK5_DATA F7I_TPEVNT eventType IF ( FK5_RECPAG ='P' , 'S' , 'E' )  IF ( FK5_RECPAG ='P' , 'S' , 'E' )  F7I_BANCO currentAccount Banco A6_FILIAL + FK5_BANCO + FK5_AGENCI + FK5_CONTA F7I_AGENCI currentAccount Agência F7I_CONTA currentAccount Conta F7I_FLBENF beneficiary Filial do Beneficiário CP = A2_FILIAL CR = A1_FILIAL F7I_CDBENF beneficiary Código do Beneficiário CP = E2_FORNECE CR = E1_CLIENTE F7I_LJBENF beneficiary Loja do Beneficiário CP = E2_LOJA CR = E1_LOJA F7I_NBENEF beneficiaryName E1_NOMCLI / E2_NOMFOR E1_NOMCLI / E2_NOMFOR F7I_TPBENF beneficiaryType 3 = FORNECEDOR / 1= CLIENTE 3 = FORNECEDOR / 1= CLIENTE F7I_ORBENF beneficiaryOrigin SE1 = 'CR' / SE2 = 'CP' SE1 = 'CR' / SE2 = 'CP' F7I_MOVIM motionWay E2_FORMPAG / E1_SITUACA E1_SITUACA F7I_DSCMOV motionWayName_ptBR X5_DESCRI referente E2_FORMAG / FRV_DESCRI referente E1_SITUACA FRV_DESCRI referente E1_SITUACA F7I_IDMOV paymentNumber Null FK5_IDMOV F7I_SALDO value Saldo do título - Abatimentos FK5_VLMOE2 - Valor na moeda do título F7I_VLPROP proratedValue Ver aba Dados por Processo Ver aba Dados por Processo F7I_VLCRUZ valueBusiness E1_VLCRUZ / E2_VLCRUZ FK5_VALOR F7I_CONVBS conversionBusiness VLCRUZ / VALOR FK5_TXMOED F7I_FXRTBS fixedRateBusiness IF( VLCRUZ / VALOR <>  0 , '1' , '0' ) IF( VLCRUZ / VALOR <>  0 , '1' , '0' ) F7I_VLRCNT valueAccount 0 FK5_VALOR F7I_CONVCT conversionAccount VLCRUZ / VALOR FK5_TXMOED F7I_FXRTCT fixedRateAccount IF ( VLCRUZ / VALOR <>  0 , '1' , '0') IF ( VLCRUZ / VALOR <>  0 , '1' , '0') accountingAccountPlan Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) F7I_CNTCTB accountingAccount CP = ED_DEBITO CR = ED_CREDIT CP = Se saída é SED->ED_DEBITO / Se entrada SED->ED_CREDIT  CR = Se saída é SED->ED_CREDIT / Se entrada SED->ED_DEBITO F7I_DSCCTB accountingAccountName_ptBR CT1_DESC01   CT1_DESC01 F7I_NATCTA accountingAccountClassification CT1_NATCTA CT1_NATCTA costCenterPlan Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) F7I_CCUSTO costCenter CP = E2_CCUSTO / caso não houver utiliza ED_CCD  CR = E1_CCUSTO / caso não houver utiliza ED_CCC CP = ED_CCD CR = ED_CCC F7I_DSCCCT compcostCenterName_ptBR CTT_DESC01  CTT_DESC01 F7I_INTEGR integrationType Branco ou 'E'  'E' indicando exclusão do registro/movimento Branco ou 'E'  'E' indicando exclusão do registro/movimento F7I_DTDISP AvailabilityDate Null FK5_DTDISP F7I_NATURE flexField001 Natureza do título (SE1 / SE2) Natureza do título (SE1 / SE2) F7I_NATRAT flexField002 Natureza do Rateio (SEV) Natureza do Rateio (SEV) F7I_CCDRAT flexField003 Centro de Custo do Rateio (SEZ) Centro de Custo do Rateio (SEZ) erp_id Chave do título, conforme campo protheus_pk na staging table da Carol. Chave do título, conforme campo protheus_pk na staging table da Carol. F7I_CREDIT Conta Contábil Crédito F7I_DEBITO Conta Contábil Débito F7I_CCD Centro de Custo Débito     F7I_CCC Centro de Custo Crédito F7I_ITEMCT Item Contábil F7I_ITEMD Item Contábil Débito 1 label Principais campos effectType fade F7I_ITEMC Item Contábil Crédito F7I_CLVL Classe Valor F7I_CLVLDB Classe Valor Débito F7I_CLVLCR Classe Valor Crédito F7I_NUMBOR Número do Borderô  F7I_ORIGEM Interno Protheus - Não deve ser considerada na integração Movimento Bancário Campo / Tag Enviado Atributo Conteúdo DM Movimento Bancário F7N_EXTCDH F7N_EXTCDD __mdmID ExternalCodeHeader ExternalCodeDetail FK5_IDMOV (primary key do datamodel e na Gesplan) F7N_GRPEMP Grupo de Empresa F7N_EMPR Empresa F7N_UNID Unidade de Negócio F7N_FILNEG Filial Grupo + Empresa + Unid .Negócio  ( sep="|" pipe ) F7N_DATA dueDate2 payday2 FK5_DATA F7N_MOEDA currrency A6_MODA F7N_DSCMDA currrency Descrição da Moeda bankCurrency A6_MOEDA F7N_VALOR value FK5_VALOR F7N_NATURE flexfield001 FK5_NATURE F7N_BANCO currentAccount FK5_BANCO F7N_AGENCI currentAccount FK5_AGENCI F7N_CONTA currentAccount FK5_CONTA  F7N_TPEVNT eventType IF ( FK5_RECPAG ='P' , 'S' , 'E' )  F7N_BENEF beneficiary "MB" F7N_TPDOC documentType FK5_TPDOC F7N_DOC documentnumber If(Trim(IFNull(stg.FK5_DOC,''))='','0',Trim(stg.FK5_DOC))  F7N_HISTOR description FK5_HISTOR F7N_CCUSTO costcenter FK5_CCUSTO F7N_CNTCTB accountingAccount "0" F7N_DSCSYT originSystemName "Movimento Bancário." F7N_TXMOED conversionAccount FK5_TXMOED F7N_ORIGEM originRoutine FK5_ORIGEM F7N_DEBITO accountDebit FK8_DEBITO - Conta Contábil Debito              F7N_CREDIT accountCredit FK8_CREDIT - Conta Contábil Credito             F7N_CCD costCenterDebit FK8_CCD - Centro de Custo Debito    F7N_CCC costCenterCredit FK8_CCC - Centro de Custo Credito   F7N_ITEMD itemDebit FK8_ITEMD - Item Contábil Debito      F7N_ITEMC itemCredit FK8_ITEMC - Item Contábil Credito     F7N_CLVLDB classValueDebit FK8_CLVLDB - Classe Valor Debito       F7N_CLVLCR classValueCredit FK8_CLVLCR - Classe Valor Credito      F7N_ORGSYT originSystem "MB" F7N_DTDISP AvailabilityDate FK5_DTDISP Card label Campos Campos dos Data Models do Financeiro Atributo Conteúdo DM Previsto Conteúdo DM Realizado __mdmID ExternalCodeDetail Ver aba Dados por Processo (primary key do datamodel e na Gesplan) Ver aba Dados por Processo (primary key do datamodel e na Gesplan) filtroDataAtualizacao Timestamp da Staging Table Timestamp da Staging Table externalCodeHeader Ver aba Dados por Processo Ver aba Dados por Processo externalCodeDetail Ver aba Dados por Processo Ver aba Dados por Processo businessUnit_2 Grupo + Empresa + Unid .Negócio  ( sep="|" pipe ) Grupo + Empresa + Unid .Negócio  ( sep="|" pipe ) divisongroup Filial Filial originSystem SE1 = 'CR' / SE2 = 'CP' SE1 = 'CR' / SE2 = 'CP' originSystemName SE1 = 'CONTAS A RECEBER' / SE2 = 'CONTAS A PAGAR' SE1 = 'CONTAS A RECEBER' / SE2 = 'CONTAS A PAGAR' dateOfIssue E1_EMISSAO / E2_EMISSAO E1_EMISSAO / E2_EMISSAO dataemissaoNF E1_EMISSAO / Null para SE2  E1_EMISSAO / Null para SE2  datalanctoNF E2_EMIS1 / Null para SE1  E2_EMIS1 / Null para SE1  description E1_HIST / E2_HIST E1_HIST / E2_HIST documentType E1_TIPO / E2_TIPO E1_TIPO / E2_TIPO documentTypeName_ptBR X5_DESCRI referente campo TIPO X5_DESCRI referente campo TIPO documentNumber Prefixo + Num + Parcela + Tipo Prefixo + Num + Parcela + Tipo currency Código + Descrição da moeda - conforme  campos E1_MOEDA/E2_MOEDA Código + Descrição da moeda - conforme campos E1_MOEDA/E2_MOEDA bankCurrency Null Código + Descrição da moeda - conforme a moeda do banco onde o movimento foi realizado, campo A6_MOEDA. dueDate2 E1_VENCTO / E2_VENCTO E1_VENCTO / E2_VENCTO dueDateReal E1_VENCREA / E2_VENCREA E1_VENCREA / E2_VENCREA payday2 Null FK5_DATA eventType IF ( FK5_RECPAG ='P' , 'S' , 'E' )  IF ( FK5_RECPAG ='P' , 'S' , 'E' )  currentAccount Grupo + Empresa + Unid .Negócio + ' - PREV' A6_FILIAL + FK5_BANCO + FK5_AGENCI + FK5_CONTA beneficiary CP = A2_FILIAL + E2_FORNECE + E2_LOJA CR = A1_FILIAL + E1_CLIENTE + E1_LOJA CP = A2_FILIAL + E2_FORNECE + E2_LOJA CR = A1_FILIAL + E1_CLIENTE + E1_LOJA beneficiaryName E1_NOMCLI / E2_NOMFOR E1_NOMCLI / E2_NOMFOR beneficiaryType 3 = FORNECEDOR / 1= CLIENTE 3 = FORNECEDOR / 1= CLIENTE beneficiaryOrigin SE1 = 'CR' / SE2 = 'CP' SE1 = 'CR' / SE2 = 'CP' motionWay E2_FORMPAG / E1_SITUACA E1_SITUACA motionWayName_ptBR X5_DESCRI referente E2_FORMAG / FRV_DESCRI referente E1_SITUACA FRV_DESCRI referente E1_SITUACA paymentNumber Null FK5_IDMOV value Saldo do título - Abatimentos FK5_VLMOE2 - Valor na moeda do título proratedValue Ver aba Dados por Processo Ver aba Dados por Processo valueBusiness E1_VLCRUZ / E2_VLCRUZ FK5_VALOR conversionBusiness VLCRUZ / VALOR FK5_TXMOED fixedRateBusiness IF( VLCRUZ / VALOR <>  0 , '1' , '0' ) IF( VLCRUZ / VALOR <>  0 , '1' , '0' ) valueAccount 0 FK5_VALOR conversionAccount VLCRUZ / VALOR FK5_TXMOED fixedRateAccount IF ( VLCRUZ / VALOR <>  0 , '1' , '0') IF ( VLCRUZ / VALOR <>  0 , '1' , '0') accountingAccountPlan Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) accountingAccount CP = ED_DEBITO CR = ED_CREDIT CP = Se saída é SED->ED_DEBITO / Se entrada SED->ED_CREDIT  CR = Se saída é SED->ED_CREDIT / Se entrada SED->ED_DEBITO accountingAccountName_ptBR CT1_DESC01   CT1_DESC01 accountingAccountClassification CT1_NATCTA CT1_NATCTA costCenterPlan Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) Estrutura do cadastro de empresas: Grupo + Empresa + Unid .Negócio + Filial  ( sep="|" pipe ) costCenter CP = E2_CCUSTO / caso não houver utiliza ED_CCD  CR = E1_CCUSTO / caso não houver utiliza ED_CCC CP = ED_CCD CR = ED_CCC compcostCenterName_ptBR CTT_DESC01  CTT_DESC01 integrationType Branco ou 'E'  'E' indicando exclusão do registro/movimento Branco ou 'E'  'E' indicando exclusão do registro/movimento AvailabilityDate Null FK5_DTDISP flexField001 Natureza do título (SE1 / SE2) Natureza do título (SE1 / SE2) flexField002 Natureza do Rateio (SEV) Natureza do Rateio (SEV) flexField003 Centro de Custo do Rateio (SEZ) Centro de Custo do Rateio (SEZ) erp_id Chave do título, conforme campo protheus_pk na staging table da Carol. Chave do título, conforme campo protheus_pk na staging table da Carol. Movimento Bancário Atributo Conteúdo DM Movimento Bancário __mdmID ExternalCodeHeader ExternalCodeDetail FK5_IDMOV (primary key do datamodel e na Gesplan) businessUnit_2 Grupo + Empresa + Unid .Negócio  ( sep="|" pipe ) dueDate2 payday2 FK5_DATA currrency A6_MOEDA bankCurrency A6_MOEDA value FK5_VALOR flexfield001 FK5_NATURE currentAccount A6_FILIAL + FK5_BANCO + FK5_AGENCI + FK5_CONTA  eventType IF ( FK5_RECPAG ='P' , 'S' , 'E' )  beneficiary "MB" documentType FK5_TPDOC documentnumber If(Trim(IFNull(stg.FK5_DOC,''))='','0',Trim(stg.FK5_DOC))  description FK5_HISTOR costcenter FK5_CCUSTO accountingAccount "0" originSystemName "Movimento Bancário." conversionAccount FK5_TXMOED originRoutine FK5_ORIGEM accountDebit FK8_DEBITO - Conta Contábil Debito              accountCredit FK8_CREDIT - Conta Contábil Credito             costCenterDebit FK8_CCD - Centro de Custo Debito    costCenterCredit FK8_CCC - Centro de Custo Credito   itemDebit FK8_ITEMD - Item Contábil Debito      itemCredit FK8_ITEMC - Item Contábil Credito     classValueDebit FK8_CLVLDB - Classe Valor Debito       classValueCredit FK8_CLVLCR - Classe Valor Credito      originSystem "MB" AvailabilityDate FK5_DTDISP Card id 1 label Dados por processo effectType fade Image Added Image Added

Em todos os Data Models (exceto Movimento Bancário) esta previsto o envio do rateio Multi-natureza x Centro de Custo, caso esteja habilitado através dos parâmetros MV_MULNATP e MV_MULNATR.

Sendo assim, uma vez que  título possuir rateio, haverá o envio do registro divido na quantidade de linhas que o valor foi rateado; cada linha com o conteúdo da Natureza do título, Natureza do rateio (EV_NATUREZ) e Centro de Custo distribuído para a Natureza do rateio (EZ_CCUSTO).

03. FLEX FIELDS

A integração permite ainda que campos específicos (ou campos padrão que não fazem parte da integração) sejam levados à Gesplan.

...

Cada Data Model suporte até 50 campos customizados. A configuração deve seguir uma nomenclatura e deve estar vinculado a um grupo de campo de nome fixo também, conforme descrito abaixo:

O cadastro dos flex fields esta restrito à campos somente das tabelas listadas na coluna Origem do dado. Qualquer outra configuração que indique um campos de outra tabela causará falha na execução do pipeline.

...

...

4. DEMAIS INFORMAÇÕES

• TOTVS Carol Overview
• https://docs.carol.ai/ 
• Plugin do VSCode para codificação de pipelines SQL