Big data
Big data indica insiemi di dati così grandi, vari o veloci da generare che i sistemi tradizionali non riescono a gestirli. Per elaborarli servono architetture distribuite su più computer. Si usano per trovare schemi, prevedere comportamenti e decidere con più informazioni, nel rispetto delle norme sulla protezione dei dati personali.
Cos’è big data
Con big data si intendono insiemi di dati che per dimensione, varietà o velocità di produzione richiedono tecniche e architetture diverse da quelle dei sistemi tradizionali. Il NIST, nel suo quadro di riferimento sull’interoperabilità dei big data, descrive i big data come insiemi di dati ampi, caratterizzati soprattutto da volume, varietà, velocità o variabilità, che richiedono un’architettura scalabile per essere archiviati, trattati e analizzati. Non esiste una soglia di dimensione valida per tutti: dipende da ciò che i sistemi dell’organizzazione sanno gestire.
Le caratteristiche dei big data: le V
La descrizione più diffusa usa parole che iniziano con la lettera V. Il NIST considera come caratteristiche fondanti volume, varietà, velocità e variabilità; altre trattazioni aggiungono veridicità e valore.
- Volume: la quantità di dati, che arriva a terabyte e petabyte.
- Varietà: formati diversi, come tabelle, testi, immagini, audio, video e dati dei sensori.
- Velocità: il ritmo con cui i dati arrivano e vanno elaborati, in alcuni casi in tempo reale.
- Variabilità: i cambiamenti nel tempo di formato, significato e flusso dei dati.
- Veridicità: l’affidabilità e la qualità dei dati.
- Valore: l’utilità che se ne ricava per le decisioni.
Da dove arrivano i big data
Le fonti principali sono i siti e le app, che registrano le visite e i clic, i social network, le transazioni di pagamento, i sensori e i dispositivi dell’Internet of Things, i registri dei sistemi informatici e i dati pubblici. Un negozio online, per esempio, raccoglie ogni ricerca, ogni prodotto visto e ogni carrello abbandonato, e questi dati insieme descrivono come si comportano migliaia di clienti.
Come si elaborano i big data
Un solo computer non basta, quindi i dati e i calcoli si distribuiscono su molti computer collegati in rete, spesso nel cloud. Gli strumenti più noti sono Hadoop, che ha introdotto l’archiviazione e l’elaborazione distribuite su macchine comuni, e Apache Spark, che lavora soprattutto in memoria e risulta più rapido su molte elaborazioni. Esistono poi database pensati per grandi volumi, detti NoSQL, e archivi come il data lake, che conserva i dati grezzi in formati diversi per usarli in un secondo momento.
Un flusso tipico ha cinque tappe: raccolta, archiviazione, pulizia e preparazione, analisi e presentazione dei risultati. Nella pratica la preparazione dei dati, cioè la correzione di errori, duplicati e formati incoerenti, assorbe una quota consistente del lavoro.
Differenza tra big data e dati tradizionali
| Aspetto | Dati tradizionali | Big data |
|---|---|---|
| Dimensione | Da megabyte a gigabyte | Da terabyte in su |
| Struttura | Tabelle con campi definiti | Strutturati, semi-strutturati e non strutturati |
| Archiviazione | Un database centrale | Sistemi distribuiti su più computer |
| Strumenti | Fogli di calcolo, database relazionali | Hadoop, Spark, data lake |
| Obiettivo | Registrare e interrogare | Trovare schemi e prevedere |
Big data, analisi e intelligenza artificiale
I grandi insiemi di dati sono il materiale con cui si addestrano gli algoritmi di machine learning: più esempi di qualità hanno a disposizione, più i modelli imparano a riconoscere schemi. Dai dati si ricavano previsioni sulla domanda, segnalazioni di frodi nei pagamenti, raccomandazioni di prodotti e manutenzione predittiva dei macchinari. L’analisi che li presenta in forma di rapporti e cruscotti rientra nell’ambito della business intelligence.
Big data e privacy
Se i dati riguardano persone identificabili, valgono le regole del GDPR: serve una base giuridica per il trattamento, si raccolgono solo i dati necessari per scopi dichiarati e si conservano per il tempo utile. Mettere insieme molte fonti può rendere identificabile una persona anche quando ogni singolo insieme di dati sembrava anonimo, e va valutato prima di cominciare. Il trattamento richiede inoltre misure di sicurezza informatica adeguate al volume e alla sensibilità dei dati.
Big data per le piccole e medie imprese
Una PMI non ha quasi mai volumi che richiedano Hadoop. I vantaggi arrivano comunque dagli stessi principi: raccogliere dati con regolarità, mantenerli puliti e usarli per rispondere a domande precise, come quali clienti comprano di nuovo o quali prodotti restano in magazzino. Spesso bastano i dati del gestionale, del sito e del CRM, uniti in un unico posto, e uno strumento di analisi accessibile.
Limiti e rischi
- Qualità: dati sbagliati o incompleti producono conclusioni sbagliate, su qualsiasi scala.
- Correlazione e causa: due fenomeni che si muovono insieme non dipendono per forza l’uno dall’altro.
- Distorsioni: se i dati rispecchiano pregiudizi, i modelli addestrati su di essi li riproducono.
- Costi: archiviazione, elaborazione e competenze pesano sul budget.
- Obiettivo poco chiaro: raccogliere tutto senza una domanda precisa produce archivi enormi e inutilizzati.