Data warehouse
Un data warehouse è un archivio centrale in cui si raccolgono dati provenienti da fonti diverse, resi omogenei e conservati nel tempo per essere analizzati. È separato dai sistemi che registrano le operazioni quotidiane, e serve soprattutto a rapporti, statistiche e decisioni. Si alimenta con un processo detto ETL.
Cos’è un data warehouse
Un data warehouse, in italiano magazzino di dati, è un archivio centrale dove si raccolgono dati provenienti da fonti diverse, come il gestionale, il CRM, il sito, la contabilità e i fogli di calcolo. L’enciclopedia Treccani lo descrive come una grande raccolta di dati usata soprattutto a fini decisionali e statistici, tenuta distinta dai dati di esercizio. Viene aggiornata a intervalli regolari integrando basi di dati già esistenti, e i dati vi sono resi omogenei e registrati a livelli diversi di aggregazione.
Differenza tra database operativo e data warehouse
| Aspetto | Database operativo | Data warehouse |
|---|---|---|
| Scopo | Registrare le operazioni (ordini, fatture) | Analizzare e confrontare nel tempo |
| Dati | Aggiornati di continuo, per lo più recenti | Storici, consolidati da più fonti |
| Operazioni tipiche | Inserire e modificare singoli record | Leggere e aggregare grandi quantità di record |
| Utenti | Chi lavora sul gestionale | Analisti e responsabili |
Tenere i due ambienti separati evita che un’analisi pesante rallenti il gestionale e permette di avere una versione unica delle informazioni. Un database operativo e un data warehouse usano spesso lo stesso linguaggio, SQL, ma sono progettati in modo diverso.
Come funziona il processo: ETL
I dati arrivano nel data warehouse con un processo in tre fasi chiamato ETL.
- Extract (estrazione): si leggono i dati dalle fonti.
- Transform (trasformazione): si correggono errori, si eliminano i duplicati, si uniformano formati e codici, per esempio un cliente scritto in tre modi diversi nei tre sistemi.
- Load (caricamento): si inseriscono i dati puliti nel data warehouse, di solito a intervalli stabiliti, per esempio ogni notte.
Il lavoro di pulizia è la parte più lunga e quella che determina l’affidabilità dei risultati: un cruscotto alimentato da dati incoerenti mostra numeri che nessuno riesce a fidarsi di usare.
Come sono organizzati i dati: fatti e dimensioni
Nel data warehouse i dati si dispongono di solito secondo lo schema a stella. Al centro c’è una tabella dei fatti, che contiene le misure da analizzare, come l’importo di una vendita o la quantità di un ordine. Attorno stanno le tabelle delle dimensioni, che descrivono il contesto: prodotto, cliente, data, punto vendita. Questa struttura rende semplice rispondere a domande del tipo «quanto abbiamo venduto per prodotto e per mese?», perché ogni analisi combina un fatto con una o più dimensioni.
Data mart, data lake e cubi di analisi
- Data mart: una parte del data warehouse dedicata a un reparto, per esempio vendite o magazzino.
- Data lake: un archivio che conserva dati grezzi in formati diversi, usato insieme ai big data e ai progetti di analisi avanzata.
- Cubo OLAP: una struttura che permette di guardare uno stesso valore da più dimensioni, come prodotto, periodo e area, e di scendere dal totale al dettaglio.
Data warehouse in sede o nel cloud
Un data warehouse si può installare su server propri oppure usare come servizio nel cloud. Il cloud riduce l’investimento iniziale, permette di aumentare o ridurre la capacità secondo il carico e sposta la gestione dell’infrastruttura sul fornitore, ma i costi dipendono dall’uso e vanno monitorati. La soluzione in sede dà più controllo sul luogo dei dati, utile quando vincoli di legge o contratti lo richiedono. Si valutano anche il collegamento con le fonti, la sicurezza degli accessi e le competenze disponibili nel team.
Qualità e gestione dei dati
Un data warehouse vale quanto i dati che contiene. Serve un responsabile per ogni fonte, regole scritte su come si correggono errori e duplicati, un dizionario che spiega il significato di ogni campo e controlli che segnalino quando un caricamento è incompleto. Le informazioni sui clienti e sul personale richiedono attenzione particolare: gli accessi si assegnano per ruolo e, per i dati personali, valgono le regole del GDPR, comprese quelle sui tempi di conservazione.
Quando serve un data warehouse e quando no
Serve quando le fonti sono molte, i dati devono essere uniti e confrontati nel tempo e le analisi pesanti rallentano i sistemi operativi. Per una piccola azienda con una o due fonti in ordine può bastare uno strumento di business intelligence collegato direttamente a queste, con un archivio intermedio solo quando le necessità crescono. Realizzarne uno senza un obiettivo preciso produce costi e un archivio che nessuno consulta.
Data warehouse, big data e intelligenza artificiale
Il data warehouse contiene dati strutturati e puliti per rispondere a domande note. I big data comprendono volumi e formati più vari, spesso conservati grezzi in un data lake. Le due soluzioni convivono in molte aziende. I dati storici ordinati di un data warehouse sono inoltre la materia prima per addestrare modelli di machine learning, per esempio per prevedere la domanda.