dhiego.spinillo
Índice

(007)AutomatizarBHubHead de Dados

Quando o ERP e o lakehouse não batem

Problema
Os contratos do ERP e os do lakehouse não batiam, e o financeiro exportava relatório na mão.
O que fiz
Tratei a divergência como bug: conciliação contrato a contrato até achar IDs diferentes e joins errados na ingestão.
Resultado
De 0% para 82% dos registros batendo, com 99,9% de acurácia nos valores, e o fim da exportação manual.
dos registros batendo entre ERP e lakehouse
0% → 82%
de acurácia nos valores
99,9%
exportações manuais depois do ajuste
0

Contratos que batem entre o ERP e o lakehouse

Registros batendo

  • Antes0%
  • Depois do ajuste82%

Acurácia nos valores

  • Depois do ajuste99,9%

Problema

O financeiro usava o Omie como ERP. Comparados com o lakehouse, os contratos não batiam. Sem confiar na base, o time exportava relatório do sistema na mão, e nada que dependesse desses dados podia ser automatizado.

O que fiz

Antes de corrigir número, investiguei. Relatórios de conciliação, contrato por contrato, mostraram a causa: os IDs eram diferentes entre os dois lados, e alguns joins da ingestão casavam registros errados.

Era engenharia de dados, não regra de negócio. Com a causa na mão, a ingestão foi ajustada, e a base do lakehouse passou a ser a fonte.

Quando nada bate, o problema raramente está na conta. Está no caminho do dado.

Confiabilidade

Depois do ajuste, deixamos as bases rodando por uma semana lado a lado com o relatório do financeiro. Quando a quantidade de lançamentos e os valores totais bateram todos os dias, o time passou a usar a base do lakehouse.