Come preparare i propri dati per un'analisi statistica (R, STATISTICA)
Gli analisti esperti dicono per metà scherzando che l’80 % del tempo di analisi è riordino di dati, e solo il 20 % il calcolo vero e proprio. Meglio preparate i dati, meno soffrite al caricamento in R, STATISTICA o Python - e minore è il rischio che il risultato sia falso a causa di un disordine in ingresso.
Il principio: i «tidy data»
Il più comodo per l’analisi è il formato lungo:
- una riga = un’osservazione (una misura),
- una colonna = una variabile (data, stazione, indicatore, valore, unità),
- nomi di colonne coerenti, niente celle unite né intestazioni «a due piani».
Una tale disposizione si carica in qualsiasi strumento senza ritocchi manuali (vedi anche formato lungo vs largo).
A cosa fare particolarmente attenzione
- Unità coerenti - un indicatore = un’unità in tutto l’insieme di dati; altrimenti le medie non hanno alcun senso.
- Il formato dei numeri - per il CSV, usate un punto decimale e l’UTF-8; una virgola decimale rompe l’importazione in molti strumenti.
- I dati mancanti - contrassegnateli senza ambiguità (per es. una cella vuota /
NA), non con uno zero - lo zero è un valore. - I valori sotto il limite di quantificazione - fissate e descrivete una convenzione (è un problema comune dei dati ambientali); le statistiche ne dipendono.
- Le date - un formato unico e non ambiguo (preferibilmente
AAAA-MM-GG), trattato come tempo.
Ripetibilità
- Tenete i dati grezzi separati dai dati trasformati - potete sempre tornare alla fonte.
- Annotate cosa e come è stato calcolato (anche in una nota), perché l’analisi sia riproducibile.
- CSV / UTF-8 è il formato più sicuro per lo scambio tra programmi.
In pratica
Il minimo di errori sopraggiunge quando i dati sono riordinati fin dall’inizio - in stazioni, campagne e unità fisse. LimnoLog mantiene le misure in questa struttura e le esporta verso Excel pronte per l’elaborazione successiva, mentre analisi e grafici più semplici si fanno direttamente nell’applicazione - riservando R o STATISTICA alle statistiche più pesanti solo quando è davvero necessario.
← Base di conoscenza