Nuove metriche per misurare l’ impatto del giornalismo

L’ idea di monitorare gli effetti del giornalismo non è nuova, ha varie decine di anni. La novità sta nella possibilità di realizzare analisi a basso costo e a largo raggio, basandosi su dati che arrivano fino al livello del singolo utente e del singolo articolo, e nell’ idea di usare questi dati per la gestione di una redazione. La sfida è capire quali dati usare e come renderli significativi – In un ampio articolo su Niemanlab.org Jonathan Stray valuta la possibilità di adottare criteri e metodi di misurazione qualitativa per capire non solo ciò che il giornalismo fa, ma anche il modo per migliorare le valutazioni future – ‘’Per cominciare non c’ è bisogno di nulla di tanto elaborato. Ogni redazione ha dei meccanismi di analisi dei contenuto e gli effetti qualitativi possono essere monitorati con nient’altro che delle note in un foglio di calcolo. Ma,  soprattutto, abbiamo bisogno di continuare a chiederci: perché lo stiamo facendo? A volte, quando incrocio qualcuno per strada, mi chiedo se il lavoro che sto facendo potrà avere qualche effetto sulla sua vita – e se sì, in che termini? E alla fine, è impossibile valutare l’ impatto di un atto se non si sa cosa si vuole realizzare’’.

 

 

Metrics, metrics everywhere: How do we measure the impact of journalism?

 

di Jonathan Stray

(Niemanlab.org)

 

Se la democrazia sarebbe più povera senza il giornalismo, vuol dire che il giornalismo ha degli effetti. Li possiamo misurare in qualche modo?

 

Mentre la maggior parte delle testate giornalistiche hanno cominciato da  tempo a valutare quelle cifre che si traducono in soldi (come numero di lettori unici e pagine viste), la professione – osserva Jonathan Stray in un ampio articolo su Niemanlab.org – sta appena iniziando a considerare delle metriche che misurino il valore reale del suo lavoro.

 

Ecco perché il recente annuncio del Knight-Mozilla Fellowship, sul sito web del New York Times, sulla necessità di “trovare la giusta metrica di valutazione delle notizie” è un momento emozionante. Una delle grandi testate sta pubblicamente ponendo la domanda: Come si misura l’impatto del nostro lavoro? Non il valore in senso economico, ma il valore democratico.

 

 

Aaron Pilhofer, del NYT,  scrive:

 

Le metriche di valutazione che le redazioni hanno tradizionalmente usato erano abbastanza imprecise: La legge è cambiata? Il criminale è stato arrestato? Sono state rivelate delle cose pericolose? Sono state  salvate delle vite? Oppure (anche se meno significativo), questo pezzo ha vinto un premio?

Ma la matematica nell’ ambiente digitale cambia. Siamo inondati di criteri di misurazione e siamo in grado di impegnarci con i lettori a livelli che sarebbero stati impossibili (o eccessivamente costosi) in un mondo analogico.

Il problema ora è capire quali elementi sono importanti e quali si possono ignorare.

 

Valutare l’ impatto del giornalismo è un compito terribilmente difficile. Per cominciare, non c’è una definizione univoca di che cosa è il giornalismo. E’ anche molto difficile registrare che cosa succede a una vicenda una volta che essa è stata raccontata, ed è ancora più difficile sapere con certezza se qualche cambiamento sia stato determinato dal fatto che quella vicenda è stata raccontata. E potrebbe anche non essere possibile trovare qualche elemento di quantificazione, perché ogni storia è un caso particolare. Ma è sicuramente possibile fare qualcosa di meglio del niente.
L’ idea di monitorare gli effetti del giornalismo non è nuova, risale al dibattito all’ interno del nuovo giornalismo professionale della prima parte del 20° secolo e alla fiorirtura di ricerche sulla questione dell’ agenda-setting negli anni Settanta. La novità sta nella possibilità di analizzare a basso costo, a largo raggio e basandosi su dati che arrivano fino al livello del singolo utente e del singolo articolo, e nell’ idea di usare questi dati per la gestione di una redazione. La sfida, come Pilhofer ha detto così bene, è capire quali dati usare e come renderli significativi.

 

Cosa stiamo cercando di misurare e perché?

 

I sistemi di valutazione sono strumenti potenti per la comprensione e il processo decisionale. Ma non sono fini a se stesse, perché non potranno mai rappresentare esattamente ciò che è importante. Ecco perché il primo passo nella scelta delle ‘’metriche’’ è articolare ciò che si vuole misurare, indipendentemente dal fatto che non c’ è un modo semplice per misurarlo. La scelta di metriche inadatte, povere, o di cui non si capiscono bene i limiti può  male, o incomprensione loro limiti, può peggiorare la situazione.

 

Un sito di analisi quantitative come Chartbeat  produce un sacco di dati: pagine viste, utenti unici, e altro ancora. Le testate che si basano sulla pubblicità o sugli abbonamenti devono fare molta attenzione a questi numeri perché essi sono strettamente collegati alle entrate – ma è meno chiaro come essi potrebbero essere rilevanti dal punto di vista editoriale.

 

Consideriamo il dato delle pagine viste. Questo dato è una combinazione di molte cause e di molti effetti: successo promozionale, cliccabilità del titolo, diffusione virale, richiesta di informazioni da parte del pubblico per le informazioni e, infine, numero di persone che potrebbero essere un po’ meglio informati dopo aver letto un servizio.

 

Ciascuno di questi componenti potrebbe essere utilizzato per compiere delle scelte editoriali migliori – come una migliore promozione di un articolo importante, la scelta degli aggiornamenti da dare, o la valutazione degli eventuali cambiamenti che essa avrebbe determinato. Il numero di volte in cui un articolo è stato letto è un segnale complesso, pieno di fattori diversi.

 

E’ anche possibile cercare di ottenere un dato apparentemente significativo attraverso la misurazione del ‘’coinvolgimento’’, ad esempio attraverso i dati sui social media o il numero di volte in cui un articolo viene condiviso. Josh Stearns ha fatto una buona sintesi sulle recenti Ricerche sulla misurazione del  coinvolgimento. Ma anche se c’ è un rapporto, il coinvolgimento non è la stessa cosa dell’ impatto. Anche in questo caso, la domanda in fondo è sempre quella: perché vogliamo vedere un aumento di questi dati? Che cosa essi direbbero a proposito degli effetti finali del vostro giornalismo sul mondo?

 

Come professione, il giornalismo raramente considera il suo impatto in maniera diretta. C’ è una buona, recente, eccezione: una serie di incontri pubblici sull’ impatto del giornalismo, tenuti nel corso del 2010, che alla fine hanno individuato le cinque necessità di fondo di una misurazione dell’ impatto del giornalismo. L’ ultimo di questi bisogni rivela il problema con quasi tutti gli strumenti esistenti di analisi:

 

Mentre molti partecipanti a questi incontri stanno utilizzando strumenti e servizi per monitorare l’ efficacia, il coinvolgimento e la loro rilevanza, l’ uso di questi strumenti è limitata ancora all’ individuazione delle audience da offrire agli inserzionisti. Chi lavora a media di interesse pubblico vuol sapere come gli utenti stanno utilizzando notizie e informazioni nella loro vita personale e civile, e non certo se stanno acquistando qualcosa sulla base di una iserzione pubblicitaria.

 

O,  come Ethan Zuckerman dice nel suo intelligente post su metriche e impatto pubblico, “misurare quante persone leggono un articolo è qualcosa che ogni amministratore di siti web dovrebbe essere in grado di fare. Ma il numero di lettori non è la stessa cosa dell’ impatto’’. Non solo, ma non sempre un gran numero di lettori è meglio. Per alcune vicende,  ubblico non necessariamente stesso impatto. “Non solo, ma potrebbe non essere sempre il caso che un pubblico più ampio è meglio. Per alcune vicende, presentarle  a un pubblico particolare in un momento particolare potrebbe essere più importante.

 

 

Misurare la conoscenza del pubblico

 

Prima di Internet, di solito non c’ era nessun modo di sapere cosa succedeva ad un articolo dopo la sua pubblicazione, e la questione sembra essere stata per lo più ignorata per un sacco di tempo. Chiedersi quale sia l’ impatto ci spinge a pensare che la funzione giornalistica sarebbe monca se un articolo non cambiasse qualcosa nei pensieri o nel comportamento degli utenti.

 

Se si suppone che il giornalismo debba informare, una semplice valutazione di impatto dovrebbe rispondere a questa domanda: i lettori conoscono le cose che sono in questo articolo? Questa è una domanda a cui è possibile dare una risposta. Un sondaggio compiuto nel corso delle elezioni di mid-term del 2010 ha dimostrato che una ampia frazione degli elettori erano male informati su questioni fondamentali, come la posizione degli esperti sui cambiamenti climatici o le spese previste dal disegno di legge sanitario appena approvato. Anche se i risultati dello studio si sono concentrati sul fatto che gli spettatori di Fox News erano quelli peggio informati, il punto chiave, alla fine,  era che nessuna fonte di notizie se la cavava particolarmente bene.

 

Sul piano più stretto e limitato di quello che si suppone il giornalismo dovrebbe fare – informare gli elettori sui problemi principali del momento – il giornalismo americano nel 2010 ha fallito. Anche se,  forse,  in realtà ha fatto meglio rispetto al 2008: ma senza metriche di valutazione comparabili, non lo sapremo mai.
Mentre le redazioni di solito si vedono come i creatori di una vicenda, una struttura che ha come compito informare , e non solo pubblicare, dovrebbe operare in modo parecchio diverso. Avere un pubblico significa avere la capacità di dirigerne l’ attenzione, ed un redattore potrebbe scegliere di continuare a indirizzare l’ attenzione su qualcosa di importante anche se è una “notizia vecchia”, perché, in ogni caso, se c’ è qualcuno che non la conosce, per lui la notizia è nuova. I giornalisti dovranno anche capire come e quando le persone cambiano le loro convinzioni, perché l’ informazione non necessariamente cambia le menti.

 

Non sto sostenendo che ogni testata dovrebbe entrare nel business del monitoraggio dello stato della conoscenza dei cittadini. Questo è solo uno dei tanti modi possibili per definire l’ impatto, ma potrebbe avere senso solo per certe storie, e per farlo costantemente ci sarebbe bisogno di affidare continui sondaggi sui pubblici più vasti. Il punto invece è definire il successo giornalistico basandosi su quello che il cittadino fa, non l’ editore.

 

Anche altri settori hanno delle metriche di misurazione dell’ impatto

 

Misurare l’ impatto è complicato. Gli effetti finali sulle convinzioni e i comportamenti saranno per lo più invisibili per la redazione, e così aggrovigliati nella rete sociale che sarà impossibile dire con certezza che è stato il giornalismo a provocare un effetto particolare. Ma la situazione non è disperata,  perché siamo davvero in grado di imparare cose dai numeri che possiamo ottenere. Molti altri campi sono stati alle prese per un bel po’ di tempo con i difficili problemi di diversi, indiretti e non necessariamente quantificabili tipi di impatto.
Gli accademici desiderano conoscere l’ effetto delle loro pubblicazioni, proprio come fanno i giornalisti, e il campo dell’ editoria universitaria ha avuto per lungo tempo sistemi di misurazione come il numero di citazioni o il  journal impact factor. Ma Internet ha sconvolto il tradizionale schema delle cose, portando a tentare di formulare sistemi di più ampio respiro per la misurazione dell’ impatto, come Altmetrics o le article-level metrics adottate dalla Public Library of Science. Entrambi combinano una grande varietà di dati, compresi quelli provenienti dai social media.

 

I ricercatori in scienze sociali sono interessati non solo all’ influenza accademica del loro lavoro, ma ai suoi effetti sulla politica e la pratica. Si trovano ad affrontare molte delle stesse difficoltà che hanno i giornalisti per valutare il loro lavoro: effetti non osservabili, tempi lunghi, effetti causali complicati. Per fortuna, un sacco di persone intelligenti hanno lavorato sul problema di capire quando la ricerca sociale cambia la realtà sociale. Un recente lavoro include il concetto di payback framework, che tiene conto degli effetti positivi di tutte le fasi del ciclo di vita della ricerca, dai beni immateriali, come l’ aumento del bagaglio umano di conoscenze, ai cambiamenti concreti nei comportamenti dei cittadini dopo essere stati informati.

 

Anche le ONG e le organizzazioni filantropiche di tutti i tipi usano metriche di efficacia, da quelle che operano nel campo delle mense a quelle che si occupano di aiuti internationali. Un progetto di ricerca della Stanford University sta esaminando l’ uso e la diversità delle metriche in questo settore. Stiamo vedendo anche nuovi tipi di iniziative destinate a produrre sia cambiamento sociale che ritorno economico, come i social impact bonds. Il guadagno in questo caso è legato contrattualmente a valutazioni dell’ impatto, a volte misurato come un “ritorno sociale dell’ investimento.”

 

 

I dati oltre i numeri

 

Contare quello è contabile solo perché può essere facilmente contanto rende l’ impatto arbitrario (John Brewer, “The impact of impact“)

 

I numeri sono utili perché consentono confronti standard e esperimenti comparativi. (Un’ analisi dell’ aumento della domanda di storie locali? Una indagine su come i problemi di  divisione in zone siano legati allo sviluppo dei ricavi generati a una conversazione sui social media?) I numeri possono essere anche confrontato su scale di tempi diversi, cosa che ci dà la possibilità di dire se siamo facendo meglio o peggio di prima, e quanto. Dividere l’ impatto con i costi fornisce misure di efficienza, che possono portare a un migliore utilizzo delle risorse giornalistiche.
Ma non tutto può essere contato. Alcuni eventi sono troppo rari nel tempo per poter consentire fornire comparazioni attendibili – quante volte  il mese scorso, adesempio, è capitato alla tua testata di raccontare la vicenda di un funzionario corrotto che è stato scoperto? che  è nata la sua redazione ottenere un funzionario corrotto sparato? Alcuni effetti sono maledettamente difficili da definire, come “maggiore consapevolezza” o “pressione politica”. E molto spesso, attribuire una causa è impossibile. Una testata ha cambiato il suo tono a causa di una maggiore consapevolezza del suo pubblico o questa è stata determinata da una influenza interna di coloro che fanno le scelte di fondo?

 

Fortunatamente, non tutti i dati sono numeri. Pensi che un servizio abbia contribuito a migliorare la legislazione? Scrivi un editoriale che spiega il perché! Hai ricevuto una valanga di commenti positivi su un determinato articolo? Pubblicali e salvali! Non tutti gli effetti possono essere espressi in termini numerici e in vari campi si sta arrivando alla conclusione che le descrizioni narrative sono ugualmente preziose. Si tratta ancora di dati: ma sono dati qualitativi (racconti) e non quantitativi (numeri). Questo tipo di dati include commenti, reazioni, ripercussioni, gli sviluppi successivi della vicenda, interviste correlate e molte altre cose che sono potenzialmente significative, ma non facilmente identificabili. La cosa importante è raccogliere queste informazioni in modo affidabile e sistematico, altrimenti non si sarà in grado di fare confronti in futuro. (I miei lettori geek possono consultare anche le varie versioni di qualitative data analysis).

 

I dati qualitativi sono particolarmente importanti quando non si è abbastanza sicuri di quello che si dovrebbe cercare. Con un criterio corretto infatti si può iniziare a cercare dei modelli che facciano intuire che cosa si dovrebbe misurare.

 

 

Metriche per un giornalismo migliore

 

Può l’ uso di metriche specifiche, di sistemi di misurazione, migliorare il giornalismo? Se riusciamo a trovare delle metriche che ci mostrano quando il “meglio” accade, allora sì, quasi per definizione. Ma in verità non sappiamo quasi nulla su come eseguire questa operazione.

 

La prima sfida sta nel cambiare il proprio pensiero, visto che misurare l’ effetto del giornalismo è un’ idea molto radicale. L’ ethos professionale dominante  è stato molto spesso a disagio di fronte all’ idea che il giornalismo potesse avere un qualche effetto,  perché si temevano atteggiamenti di ‘’sostegno’’ o di ‘’attivismo’’. Anche se a volte è delicato chiedersi se un atto di giornalismo può avere come base una scelta politica, l’ idea di completa neutralità è una palese contraddizione se si ritiene che il giornalismo sia importante per la democrazia. C’è  d’ altra parte la convinzione, a lungo sotterranea, che le redazioni concludano il loro compito appena un servizio è stato pubblicato. Ma questo fa completare il processo troppo lontano dal lettore e confonde causa ed effetto.

 

Le sfide pratiche sono altrettanto scoraggianti. Alcuni dati, come quelli della web analytics, sono facilmente raccoglibili  facile da raccogliere, ma non coincidono necessariamente con i parametri di valore che una redazione utilizza. E alcune cose non possono certo essere contate. Anche se possono essere valutate. Idealmente, una testata dovrebbe  avere un database integrato che collega ogni servizio a indicatori di impatto di carattere sia quantitativo che qualitativo: note e osservazioni su quanto è successo dopo che una  storia è stata pubblicata, elementi analitici, commenti, link in entrata, reazioni sui social media e altre reazioni.

 

Con questo tipo di ampio data set, abbiamo la possibilità di capire non solo ciò che il giornalismo ha fatto, ma il modo per migliorare le valutazioni future. Ma per cominciare non c’ è bisogno di nulla di tanto elaborato. Ogni redazione dei meccanismi di analisi dei contenuto e gli effetti qualitativi possono essere monitorati con nient’altro che delle note in un foglio di calcolo.

Ma,  soprattutto, abbiamo bisogno di continuare a chiederci: perché lo stiamo facendo? A volte, quando incrocio qualcuno per strada, mi chiedo se il lavoro che sto facendo potrà avere qualche effetto sulla sua vita – e se sì, in che termini?

 

E alla fine, è impossibile valutare l’ impatto di un atto se non si sa cosa si vuole realizzare.