Glossario

Big data

Big data indica insiemi di dati così grandi, vari o veloci da generare che i sistemi tradizionali non riescono a gestirli. Per elaborarli servono architetture distribuite su più computer. Si usano per trovare schemi, prevedere comportamenti e decidere con più informazioni, nel rispetto delle norme sulla protezione dei dati personali.

Cos’è big data

Con big data si intendono insiemi di dati che per dimensione, varietà o velocità di produzione richiedono tecniche e architetture diverse da quelle dei sistemi tradizionali. Il NIST, nel suo quadro di riferimento sull’interoperabilità dei big data, descrive i big data come insiemi di dati ampi, caratterizzati soprattutto da volume, varietà, velocità o variabilità, che richiedono un’architettura scalabile per essere archiviati, trattati e analizzati. Non esiste una soglia di dimensione valida per tutti: dipende da ciò che i sistemi dell’organizzazione sanno gestire.

Le caratteristiche dei big data: le V

La descrizione più diffusa usa parole che iniziano con la lettera V. Il NIST considera come caratteristiche fondanti volume, varietà, velocità e variabilità; altre trattazioni aggiungono veridicità e valore.

  • Volume: la quantità di dati, che arriva a terabyte e petabyte.
  • Varietà: formati diversi, come tabelle, testi, immagini, audio, video e dati dei sensori.
  • Velocità: il ritmo con cui i dati arrivano e vanno elaborati, in alcuni casi in tempo reale.
  • Variabilità: i cambiamenti nel tempo di formato, significato e flusso dei dati.
  • Veridicità: l’affidabilità e la qualità dei dati.
  • Valore: l’utilità che se ne ricava per le decisioni.

Da dove arrivano i big data

Le fonti principali sono i siti e le app, che registrano le visite e i clic, i social network, le transazioni di pagamento, i sensori e i dispositivi dell’Internet of Things, i registri dei sistemi informatici e i dati pubblici. Un negozio online, per esempio, raccoglie ogni ricerca, ogni prodotto visto e ogni carrello abbandonato, e questi dati insieme descrivono come si comportano migliaia di clienti.

Come si elaborano i big data

Un solo computer non basta, quindi i dati e i calcoli si distribuiscono su molti computer collegati in rete, spesso nel cloud. Gli strumenti più noti sono Hadoop, che ha introdotto l’archiviazione e l’elaborazione distribuite su macchine comuni, e Apache Spark, che lavora soprattutto in memoria e risulta più rapido su molte elaborazioni. Esistono poi database pensati per grandi volumi, detti NoSQL, e archivi come il data lake, che conserva i dati grezzi in formati diversi per usarli in un secondo momento.

Un flusso tipico ha cinque tappe: raccolta, archiviazione, pulizia e preparazione, analisi e presentazione dei risultati. Nella pratica la preparazione dei dati, cioè la correzione di errori, duplicati e formati incoerenti, assorbe una quota consistente del lavoro.

Differenza tra big data e dati tradizionali

Aspetto Dati tradizionali Big data
Dimensione Da megabyte a gigabyte Da terabyte in su
Struttura Tabelle con campi definiti Strutturati, semi-strutturati e non strutturati
Archiviazione Un database centrale Sistemi distribuiti su più computer
Strumenti Fogli di calcolo, database relazionali Hadoop, Spark, data lake
Obiettivo Registrare e interrogare Trovare schemi e prevedere

Big data, analisi e intelligenza artificiale

I grandi insiemi di dati sono il materiale con cui si addestrano gli algoritmi di machine learning: più esempi di qualità hanno a disposizione, più i modelli imparano a riconoscere schemi. Dai dati si ricavano previsioni sulla domanda, segnalazioni di frodi nei pagamenti, raccomandazioni di prodotti e manutenzione predittiva dei macchinari. L’analisi che li presenta in forma di rapporti e cruscotti rientra nell’ambito della business intelligence.

Big data e privacy

Se i dati riguardano persone identificabili, valgono le regole del GDPR: serve una base giuridica per il trattamento, si raccolgono solo i dati necessari per scopi dichiarati e si conservano per il tempo utile. Mettere insieme molte fonti può rendere identificabile una persona anche quando ogni singolo insieme di dati sembrava anonimo, e va valutato prima di cominciare. Il trattamento richiede inoltre misure di sicurezza informatica adeguate al volume e alla sensibilità dei dati.

Big data per le piccole e medie imprese

Una PMI non ha quasi mai volumi che richiedano Hadoop. I vantaggi arrivano comunque dagli stessi principi: raccogliere dati con regolarità, mantenerli puliti e usarli per rispondere a domande precise, come quali clienti comprano di nuovo o quali prodotti restano in magazzino. Spesso bastano i dati del gestionale, del sito e del CRM, uniti in un unico posto, e uno strumento di analisi accessibile.

Limiti e rischi

  • Qualità: dati sbagliati o incompleti producono conclusioni sbagliate, su qualsiasi scala.
  • Correlazione e causa: due fenomeni che si muovono insieme non dipendono per forza l’uno dall’altro.
  • Distorsioni: se i dati rispecchiano pregiudizi, i modelli addestrati su di essi li riproducono.
  • Costi: archiviazione, elaborazione e competenze pesano sul budget.
  • Obiettivo poco chiaro: raccogliere tutto senza una domanda precisa produce archivi enormi e inutilizzati.

Fonti e approfondimenti