Che cos’è la riconciliazione dei dati?
La riconciliazione dei dati (DR) è definita come un processo di verifica dei dati durante la migrazione dei dati. In questo processo i dati di destinazione vengono confrontati con i dati di origine per garantire che l’architettura di migrazione stia trasferendo i dati. Per convalida e riconciliazione dei dati (DVR) si intende una tecnologia che utilizza modelli matematici per elaborare le informazioni.
Perché la riconciliazione dei dati è importante?
Nel processo di migrazione dei dati è possibile che vengano commessi errori nella logica di mappatura e trasformazione. Problemi come errori di runtime come interruzioni della rete o transazioni interrotte possono danneggiare i dati.
Questo tipo di errori può portare a lasciare i dati in uno stato non valido. Questi possono creare una serie di problemi come:
- Record mancanti
- Valori mancanti
- Valori errati
- Record duplicati
- Valori formattati male
- Relazioni interrotte tra tabelle o sistemi
Ecco alcuni motivi importanti per utilizzare il processo di riconciliazione dei dati:
- L’uso di Data Reconciliation ti aiuta a estrarre informazioni accurate e affidabili sullo stato del processo industriale dai dati di misurazione grezzi.
- Ti aiuta anche a produrre un unico insieme coerente di dati che rappresentano l’operazione di processo più probabile.
- Porta anche a informazioni imprecise e problemi con il servizio clienti.
- La riconciliazione dei dati è importante anche per l’integrazione del controllo aziendale.
Oltre a quanto sopra, ci sono molti vantaggi/benefici della riconciliazione dei dati.
Terminologia associata alla riconciliazione dei dati
| Errore lordo | Errori grossolani nelle misurazioni. Riflette solo errori di bias, guasti dello strumento o picchi di rumore anormali se si utilizza solo un periodo di media breve. |
| osservabilità | L’analisi dell’osservabilità può fornire dettagli su quali variabili possono essere determinate per un determinato insieme di vincoli e un insieme di misurazioni. |
| Varianza | La varianza è una misura della variabilità di un sensore. |
| Ridondanza | Ti aiuta a determinare quali misurazioni dovrebbero essere stimate da altre variabili usando le equazioni di vincolo. |
Storia della riconciliazione dei dati
Ecco i punti di riferimento essenziali della storia della riconciliazione dei dati.
- Il DVR (Data validation and Reconciliation) è nato nei primi anni ’60. Aveva lo scopo di chiudere i bilanci dei materiali nella produzione in cui erano disponibili misurazioni grezze per tutte le variabili.
- Alla fine degli anni ’60, tutte le variabili non misurate sono state considerate nel processo di riconciliazione dei dati.
- La dinamica quasi stazionaria per il filtraggio e la stima dei parametri paralleli nel tempo è stata introdotta nel 1977 da Stanley e Mah.
- Il DVR dinamico è stato sviluppato come modello di ottimizzazione non lineare emesso da Liebman nell’anno 1992
Processo di riconciliazione dei dati
I tipi di metodi di riconciliazione dei dati sono:
Riconciliazione dei dati anagrafici
La riconciliazione dei dati anagrafici è una tecnica per riconciliare solo i dati anagrafici tra origine e destinazione. I dati principali sono per lo più immutabili o cambiano lentamente in natura e non viene eseguita alcuna operazione di aggregazione sul set di dati.
Alcuni esempi comuni di riconciliazione dei dati anagrafici sono:
- Numero totale di righe
- Cliente totale in origine e destinazione
- Numero totale di elementi in origine e destinazione
- Conteggio totale delle righe in base a una determinata condizione
- Numero di utenti attivi
- Numero di utenti inattivi ecc.
Precisione dell’attività
- È necessario assicurarsi che le transazioni siano valide e corrette nello scopo.
- Necessità di verificare se le transazioni sono state correttamente autorizzate.
Riconciliazione dei dati transazionali
I dati transazionali costituiscono la base dei report BI. Pertanto, qualsiasi discrepanza nei dati transazionali può avere un impatto diretto sull’affidabilità del report e sull’intero sistema di BI in generale.
Viene utilizzato il metodo di riconciliazione dei dati transazionali in termini di somma totale che impedisce qualsiasi disallineamento causato dalla modifica della granularità delle dimensioni qualificanti.
Esempi di misure utilizzate per la riconciliazione dei dati transazionali dovrebbero essere:
- Somma del reddito totale calcolato da fonte e obiettivo
- Somma dell’intero articolo venduto, calcolato da fonte e destinazione, ecc.
Riconciliazione automatica dei dati:
In un sistema di gestione di data warehouse di grandi dimensioni, è conveniente automatizzare il processo di riconciliazione dei dati rendendolo parte integrante del caricamento dei dati. Consente di mantenere tabelle di metadati di caricamento separate. Inoltre, la riconciliazione automatizzata manterrà tutte le parti interessate informate sulla validità dei rapporti.
Best practice per l’utilizzo della riconciliazione dei dati
- Il processo di riconciliazione dei dati dovrebbe mirare a correggere errori di misurazione.
- Gli errori grossolani dovrebbero essere zero per rendere efficiente il processo di riconciliazione dei dati.
- L’approccio standard di Data Reconciliation si è basato su semplici conteggi di record per tenere traccia dell’avvenuta migrazione o meno del numero di record target.
- La soluzione di migrazione dei dati offre funzionalità di riconciliazione simili e funzionalità di prototipazione dei dati che offrono test di riconciliazione dei dati a volume completo.
Strumenti di riconciliazione dei dati
1) ApriRefine
OpenRefine, precedentemente noto come Google Refine, è un utile framework di riconciliazione del database. Ti consente di pulire e trasferire dati disordinati.
Link per il download: https://openrefine.org/
2) Chiarezza TIBCO
Questo strumento di riconciliazione dei dati offre servizi software su richiesta dal Web sotto forma di Software-as-a-service. Consente agli utenti di convalidare i dati e di pulire i dati. Fornisce funzionalità complete di test di riconciliazione. Ampiamente usato nel processo ETL.
Link per il download: https://clarity.cloud.tibco.com/landing/index.html
3) Winpure
Winpure è un software di pulizia dei dati conveniente e accurato. Ti consente di pulire una grande quantità di dati, rimuovere i duplicati, correggere e standardizzare per progettare il set di dati finale.
Link per il download: https://winpure.com/
Riepilogo
- La convalida e la riconciliazione dei dati (DVR) è una tecnologia che utilizza modelli matematici per elaborare le informazioni.
- L’uso della riconciliazione dei dati consente di estrarre informazioni accurate e affidabili sullo stato del processo industriale dai dati di misurazione grezzi.
- Errore lordo, osservabilità, varianza, ridondanza sono termini importanti utilizzati nel processo di riconciliazione dei dati
- La convalida e la riconciliazione dei dati sono iniziate nei primi anni ’60.
- Tre tipi di metodi di riconciliazione dati sono 1) Riconciliazione dati anagrafici 2) Riconciliazione dati transazionali 3) Riconciliazione dati automatizzata
- Gli errori grossolani dovrebbero essere zero per rendere efficiente il processo di riconciliazione dei dati.
- Alcuni importanti strumenti di riconciliazione dei dati sono: 1)OpenRefine 2)TIBCO 3) Winpure
- Questo metodo è ampiamente utilizzato nel monitoraggio delle prestazioni e dei processi nella raffinazione del petrolio/industria nucleare/chimica
