Come misurare l’ impatto del giornalismo?

A pochi giorni dal massacro di Newtown Propublica si chiede che cosa è cambiato sul piano legislativo dopo gli analoghi episodi degli ultimi anni, scoprendo che le uccisioni di massa hanno avuto un’ influenza molto limitata dal punto di vista delle norme sulla vendita delle armi. E che, anzi, alcuni stati ne hanno reso più facile l’ acquisto e il possesso. 

Un dato che induce molti dubbi anche sull’ impatto che il giornalismo ha sulla società. E che rilancia una questione chiave del nuovo ecosistema mediatico.      

Si può misurare l’ impatto del giornalismo? E come?

 

 

In un’ epoca di grande (e creativa) confusione come quella che vive l’ informazione oggi potrebbe essere utile individuare parametri, indici, criteri che ci dicano se stiamo leggendo/facendo del buon giornalismo. Certo farlo non è facile quanto dirlo: come stabilire quali parametri sarebbero utili? Come stabilire chi misura cosa? E – questione forse più importante del fascio dei problemi di misurazione – siamo sicuri di sapere, ancora, quali sono le qualità di un buon giornalismo?

 

A dir la verità esistono già dei parametri di misura come il numero di pagine viste, il numero di utenti e tutto l’insieme di numeri che gli strumenti di analisi digitale ci offrono. Ma la questione è: questi numeri misurano davvero la qualità? 

 

La risposta, suggerita da un testo pubblicato da NiemanJournalismLab tempo fa, e con cui concordiamo, è che probabilmente i numeri non riescono a misurare in maniera definitiva, ma rivelano aspetti che vanno comunque considerati.

 

La soluzione ideale secondo Jonathan Stray, l’autore dell’ articolo, starebbe in un database integrato, che ogni redazione dovrebbe avere e aggiornare costantemente. La funzione della banca dati sarebbe quella di collegare le diverse notizie e inchieste, aggiungendo dati su cosa è successo dopo la pubblicazione del servizio, i commenti suscitati, il numero di reindirizzamenti e condivisioni. Il punto di partenza per misurare l’ impatto del giornalismo potrebbe consistere in un  monitoraggio iniziale, che l’autore riduce, fin troppo forse,  all’ utilizzo di un foglio di calcolo nel quale inserire una serie di note accanto ai dati. Quello che è certo e necessario è una risorsa che si occupi di questo.

 

Come conclude Stray stesso, la domanda  più importante che dobbiamo continuare a porci è: perché sto facendo questo? Perché voglio sapere se il mio è un buon giornalismo? Quali sono i suoi effetti sul lettore?

 

Ecco qui di seguito la traduzione dell’articolo originale.

 

 

Misure e metriche ovunque: come si può misurare l’impatto del giornalismo?

Esiste il  bisogno di andare oltre il numero di pagine visitate e delle impression pubblicitarie ma bisogna costruire un metodo migliore per giudicare il nostro lavoro nella cornice di un mondo che cambia intorno a noi.

 

di Jonathan Stray

(Niemanlab.org)

(a cura di Claudia Dani)

 

Se la democrazia rischia di essere più povera senza il giornalismo, quest’ ultimo deve avere un qualche impatto. È possibile measure those effects  misurare tali effetti in qualche modo? Mentre già la maggior parte dei media guarda  ai numeri cercando di tradurli immediatamente in denaro (l’ ampiezza del pubblico, le pagine viste), la professione comincia solo ora a prendere in considerazione le metriche che diano un valore reale al suo lavoro.

 

Ecco perché il recente annuncio del Knight-Mozilla Fellowship al New York Times sulla nascita di un progetto per “la ricerca di giusti criteri di valutazione per il giornalismo” è stato un momento di svolta molto importante. Finalmente una redazione pone pubblicamente la domanda: come misurare l’impatto del nostro lavoro? Non il valore economico, ma quello democratico. Aaron Pilhofer  del Times scrive:

 

Le metriche utilizzate tradizionalmente dalle redazioni rischiavano sempre di essere abbastanza imprecise. La legge è stata cambiata? Il cattivo è finito  in prigione? Sono stati svelati dei pericoli? Sono state salvate delle vite? Oppure – criterio meno significativo di tutti gli altri – questo servizio ha fatto vincere un premio?

Ma la matematica cambia nell’ ambiente digitale. Siamo inondati di criteri di misurazione e abbiamo la capacità di interagire con i lettori a un livello che sarebbe stato impossibile (o incredibilmente costoso) raggiungere nel  mondo analogico.

Il problema ora è capire a quali dati prestare attenzione e quali ignorare.

 

Valutare l’ impatto del giornalismo è un compito difficile, esasperante. Per cominciare, non c’è una definizione univoca di che cosa sia il giornalismo what journalism is.. In più è molto difficile monitorare ciò che accade a una storia una volta che è stata diffusa, e ancora più difficile è  comprendere con certezza se qualche cambiamento è stato davvero indotto da quella notizia.

 

Potrebbe essere impossibile individuare qualcosa di quantificabile da contare, proprio perché ogni notizia potrebbe avere un suo percorso particolare. Ma è fuor di dubbio che si possa fare meglio, rispetto al non fare nulla.

 

L’ idea di monitorare  gli effetti del giornalismo non è nuova: muove i primi passi quando si comincia a discutere del giornalismo professionale all’ inizio del 20° secolo  e continua con le ricerche sull’ “agenda-setting” degli anni ‘70. La novità è la possibilità di un’analisi a basso costo, diffusa, che raggiunga  il livello del singolo utente e del singolo articolo, e il fatto che si pensi di usare questi dati per la gestione di una redazione. La sfida, come Pilhofer ha detto così bene, è capire quali dati usare e come una redazione potrebbe utilizzarli in modo significativo.

 

 

Cosa stiamo cercando di misurare e perché?

 

Le metriche sono strumenti potenti per la comprensione dei meccanismi e per il processo decisionale. Ma non sono fini a se stesse, perché non potranno mai rappresentare esattamente ciò che è importante. Ecco perché il primo passo nella scelta dei parametri è quello di individuare ciò che si vuole misurare, a prescindere dal fatto che ci sia un modo semplice per misurarlo. La scelta di metriche errate, o la non comprensione dei loro limiti, può peggiorare le cose. Le metriche sono solo dei mezzi per arrivare ai nostri obiettivi reali – a volte dei mezzi alquanto poveri.

 

Un prodotto di analisi come Chartbeat produce pagine e pagine di dati: pagine viste, utenti unici, e altro ancora. I media che dipendono dalla pubblicità e dagli abbonamenti devono  prestare attenzione a questi numeri perché sono legati ai ricavi – ma è meno chiaro come potrebbero essere rilevanti sul piano delle scelte editoriali.

 

Prendiamo le pagine viste. La cifra finale è una combinazione di cause ed effetti: successo promozionale, cliccabilità del  titolo, diffusione virale, domanda di informazioni da parte del pubblico, e, infine, il numero di persone che potrebbero essere meglio informate dopo aver letto la notizia. Ciascuno di questi componenti potrebbe essere utilizzato per fare delle scelte editoriali migliori: ad esempio, una promozione più forte per un’ inchiesta importante, scegliere che cosa seguire in futuro, valutare se il servizio ha realmente cambiato qualcosa. Ma può essere difficile separare i vari fattori. Il numero di volte in cui viene letta una notizia è un segnale complesso e frutto di elementi diversi.

 

E’  anche possibile cercare di individuare dei dati sull’ eventuale impatto tramite le metriche del coinvolgimento (engagement) derivate dai social media come, ad esempio, il numero di volte in cui un servizio è stato  condiviso. Josh Stearns ha fatto una buona sintesi dei recenti studi sulla misurazione dell’ engagement. Ma anche se è certamente correlato, il coinvolgimento non è la stessa cosa dell’ impatto. Anche in questo caso, torna la domanda: perché vogliamo veder crescere questo dato? Che cosa esso può dire sugli effetti finali che il giornalismo ha sul mondo?

 

Come professione, il giornalismo raramente considera il suo impatto diretto. Esiste una buona eccezione: una serie di summit, tenutisi nel 2010, che hanno messo in luce fi cinque parametri principali per misurare gli effetti concreti del giornalismo. L’ ultimo di questi parametri fissa il problema con quasi tutti gli strumenti di analisi esistenti:

 

Mentre molti fra i partecipanti ai summit utilizzano strumenti e servizi in commercio per monitorare contatti, coinvolgimento e rilevanza, l’ utilità di questi strumenti, in questo campo, è limitato dal fatto di essere orientati alla ‘fornitura ‘ di un pubblico agli inserzionisti pubblicitari. Chi invece fa giornalismo di pubblico interesse vuol sapere come le persone si avvicinano alle notizie e all’ informazioni nella loro vita personale e collettiva, non se stanno acquistando qualcosa sulla base dell’ inserzione di un prodotto.

 

O come Ethan Zuckerman spiega in un suo interessante post su metriche e impatto civile, “misurare quante persone leggono un articolo è qualcosa che ogni amministratore di rete dovrebbe essere in grado di fare. Ma audience non è la stessa cosa di impatto’’. Non solo, in qualche caso non è detto che un pubblico più ampio sia una cosa migliore: ma potrebbe non essere sempre utile che si tratti di un pubblico ampio,  per alcune storie potrebbe essere meglio avere un pubblico particolare ma in un determinato momento.

 

 

Misurare la conoscenza del pubblico

 

Nell’ era pre-Internet, non c’ era modo di sapere cosa accadeva ad un articolo dopo la sua pubblicazione, e la questione sembra essere stata, per molto tempo, per lo più ignorata. Chiedersi se ci siano stati degli effetti insinua l’ idea che il compito del giornalismo non sarà completo fino a quando una notizia non avrà cambiato qualcosa nei pensieri o nelle azioni di chi l’ ha letta.

 

Se il compito del giornalismo fosse solo quello di informare, per misurare il suo impatto basterebbe chiedersi: la gente sa che cosa è accaduto?  Questa è una domanda a cui si può facilmente rispondere. Un sondaggio Usa sulle elezioni di medio termine del 2010 ha dimostrato che un’ ampia parte dell’ elettorato era male informato su questioni fondamentali, come le valutazioni degli esperti sui cambiamenti climatici o sulla sanità. Ma nonostante questo,  le cronache su questa ricerca si erano concentrati soprattutto sul fatto che gli spettatori di Fox News erano peggio informati di altri, senza dare risalto al fatto centrale, e cioè che alla fine nessun organo di informazione aveva fatto un buon lavoro informativo.

 

Ecco: in uno degli aspetti fra i più basilari di quello che il giornalismo dovrebbe fare – informare gli elettori su temi chiave durante le elezioni –,  nel 2010 il giornalismo americano ha fallito. O forse, in realtà, ha fatto meglio rispetto al 2008: ma, senza parametri confrontabili non lo sapremo mai.

 

Le redazioni in generale si vedono al centro del business della costruzione delle notizie, una struttura impegnata nel lavoro di informazione, e non solo di pubblicazione, dovrebbe operare in modo parecchio diverso. Avere un pubblico significa avere la capacità di orientare l’ attenzione, e un redattore potrebbe decidere di continuare a dirigere l’ attenzione verso qualcosa di importante anche se si tratta di una “notizia vecchia”: se qualcuno non ne è ancora venuto a conoscenza allora si tratta di una notizia nuova. I giornalisti dovrebbero capire come e quando le persone cambiano le loro convinzioni,  perché informare non significa necessariamente cambiare le menti.

 

Non sto dicendo che ogni media dovrebbe preoccuparsi, sul piano industriale, del monitoraggio di come evolve la conoscenza pubblica. Questo è solo uno dei tanti modi possibili per definire l’ effetto del giornalismo, ma potrebbe avere senso solo per certi servizi, e farlo regolarmente comporterebbe la creazione di strumenti alternativi e a basso costo alle grandi istituzioni di ricerca pubbliche. Ma credo che sia utile lavorare su quello che sarebbe necessario. Il punto è definire il successo del giornalismo sulla base di quello che fa il cittadino, e non sulle esigenze dell’ editore.

 

 

Anche altri campi hanno impatto sulle misurazioni  

 

Misurare l’ influenza è difficile. Gli effetti finali sulle convinzioni e i comportamenti saranno per lo più invisibili alla redazione, e a tal punto ingarbugliati nel tessuto della società che sarà impossibile affermare  con certezza che sia stato il giornalismo a causare quel particolare effetto. Ma non si tratta di una situazione senza speranza, perché è  possibile imparare dai numeri che possiamo ottenere. Molte altre realtà sono state alle prese con problemi difficili di quantificazione analoghi a questo.

 

Gli accademici, ad esempio, vorrebbero conoscere l’ effetto delle loro pubblicazioni, esattamente come i giornalisti, e il campo dell’ editoria accademica ha avuto per lungo tempo metriche di conteggio delle citazioni e di quantificazione del fattore impatto della pubblicazione. Ma Internet ha sconvolto il tradizionale schema delle cose e ha portato alla formulazione di metriche di più ampio respiro, che includevano anche il web, come Altmetrics o  i criteri di misurazione della Public Library of Science, che combinano una serie di dati, tra cui quelli dei social media.

 

I ricercatori nel campo delle scienze sociali sono interessati non solo all’ influenza accademica del loro lavoro, ma ai suoi effetti sulla politica e sulle pratiche sociali. Devono affrontare molte le stesse difficoltà che i  giornalisti incontrano nel  valutare il proprio lavoro: effetti non osservabili, tempi lunghi, effetti di causalità. Per fortuna, un sacco di persone intelligenti hanno lavorato al  problema per comprendere quando la ricerca sociale cambia la realtà sociale. Un recente lavoro contiene un’ analisi sui payback framework,  che riesce a valutare i  benefici di  tutte le fasi del ciclo di vita della ricerca, dai beni immateriali, come l’ aumento della conoscenza umana, fino ai cambiamenti concreti di ciò che gli utenti fanno dopo che sono stati informati.

 

Anche le ONG e le organizzazioni filantropiche di tutti i tipi usano metriche di efficacia, da quelle sulle mense a quelle sugli aiuti internazionali. Un  progetto di ricerca alla Stanford University sta analizzando l’ uso di diverse metriche in questo settore. Sono in gestazione anche nuovi tipi di iniziative studiate per produrre sia il cambiamento sociale che un ritorno finanziario, come ad esempio i social impact bond, il cui valore, contrattualmente, viene a volte misurato con il “ritorno sociale degli investimenti.”

 

 

I dati oltre i numeri

Counting the countable because the countable can be easily counted renders impact illegitimate.

– John Brewer, “The impact of impact“

 

 

I numeri sono utili perché consentono un confronto e sperimentazioni comparative. I numeri possono essere confrontati anche in tempi diversi, e questo permette di comprendere se si è fatto meglio o peggio di prima, e di quanto. Dividendo l’ impatto per i costi abbiamo  misure di efficienza, che possono portare a un migliore utilizzo delle risorse giornalistiche.

 

Ma non tutto può essere misurato. Alcuni eventi sono troppo rari  per fornire comparazioni attendibili – quante volte il mese scorso in redazione è arrivata la notizia di un  funzionario corrotto? Alcuni effetti sono molto difficili da definire, come ad esempio “maggiore consapevolezza” o “pressione politica”. E molto spesso, attribuire una causa è senza speranza. Un’ azienda ha cambiato la sua politica per la pressione di un pubblico informato e attento oppure per qualche motivazione interna che ha influenzato chi aveva il potere di decidere?

 

Per fortuna, non tutti i dati sono numeri. Pensi che una notizia abbia contribuito a migliorare la legislazione? Scrivi un articolo che spiega il perché! Hai ricevuto una marea di commenti positivi su un determinato articolo? Salvali!

 

Non tutti gli effetti devono  essere espressi in numeri, e in una varietà di campi si è giunti alla conclusione che le descrizioni narrative sono ugualmente importanti. Si tratta ancora di dati, ma qualitativi (notizie), invece che quantitativi (numeri). Comprendono commenti, reazioni, ripercussioni, gli sviluppi successivi alla notizia, interviste correlate, e molte altre cose che sono potenzialmente significative, ma non facilmente identificabili. La cosa importante è raccogliere queste informazioni in modo affidabile e sistematico, o non si sarà in grado di fare confronti in futuro. (I  geek potranno essere interessati alle varie versioni di analisi qualitativa dei dati).

 

L’analisi qualitativa è particolarmente importante quando non si è  abbastanza sicuri di ciò che si sta cercando.  Con il giusto aiuto, è possibile iniziare a cercare i modelli che potrebbero dire qual è il monitoraggio che uno sta cercando.

 

 

Metriche per un giornalismo migliore

 

È possibile che l’ utilizzo di sistemi di misurazione riesca a migliorare il giornalismo? Se riusciamo a individuare delle metriche che mostrano quando il “meglio” può accadere, allora sì, quasi per definizione. Ma in verità non sappiamo quasi nulla su come effettuare questa operazione.

 

Una prima sfida può essere un cambiamento nel modo di pensare, convincendosi per esempio che misurare gli effetti del giornalismo sia una grande idea. L’ ethos professionale dominante, in generale, respinge l’ idea stessa di un effetto dell’ informazione giornalistica, temendo l’ impegno o lo schierarsi.

 

A volte può essere molto rilevante chiedersi quali siano le scelte politiche in un atto di giornalismo, e l’ idea di una assoluta neutralità è quindi una palese contraddizione se riteniamo che il giornalismo sia importante per la democrazia. Poi c’ è la convinzione che i media abbiano finito il loro lavoro appena un articolo viene pubblicato. Ma questo significa fermarsi ben al di sotto del lettore e confondere la causa con l’ effetto.

 

Le sfide pratiche sono altrettanto scoraggianti. Alcuni dati, come l’analisi dei dati web, sono facili da raccogliere, ma non coincidono necessariamente con quello che per una testata giornalistica in ultima analisi ha valore. E alcune cose non si possono davvero misurare. Ma possono comunque essere considerate.

 

In generale, una redazione dovrebbe avere una banca dati integrata che collega ogni articolo e servizio con indicatori sia quantitativi che qualitativi di impatto: contenere degli appunti su ciò che è accaduto dopo che la storia è stata pubblicata, insieme alla raccolta di analisi, commenti, link , social media, discussioni e altre reazioni che quel servizio ha generato. Con un insieme così ampio di dati si avrebbe la possibilità di capire non solo di che cosa e come il giornalismo viene fatto, ma anche  il modo migliore per valutarlo in futuro. In fondo non è così difficile cominciare. Ogni redazione ha delle forme di analisi dei contenuti e alla fine bastano una serie di note su un foglio di calcolo per monitorare gli effetti qualitativi.

 

Ma la cosa più importante è che abbiamo bisogno di continuare a porci questa domanda: perché stiamo facendo questa valutazione? A volte, quando incrocio qualcuno per strada, mi chiedo se il lavoro che sto facendo potrà mai avere qualche effetto sulla sua vita – e se sì, cosa? E come?

 

È impossibile valutare gli effetti di una cosa se non si sa cosa si vuole ottenere.