Statistiche per tutti: i grade di PFF (Pro Football Focus)
Negli ultimi anni le statistiche sono diventate sempre più importanti nel football, al punto che oggi per un fan è fondamentale avere almeno una vaga idea di come interpretare quelle più importanti. In questa nuova rubrica Huddle Magazine vi porterà alla scoperta del mondo delle analytics.
Per alcuni è una compagnia di visionari all’avanguardia, per altri un’accozzaglia di nerd che stanno rovinando il football con i numeri, per altri ancora una setta di finti nerd che ammantano di scienza un prodotto sopravvalutato. Di sicuro Pro Football Focus, PFF per tutti, è la compagnia di Sports analytics più popolare al mondo e allo stesso tempo quella che ha portato le statistiche avanzate nel dibattito mainstream. In un tempo relativamente breve, infatti, PFF è riuscita a portare temi che un tempo venivano dibattuti negli stanzini dei reparti IT sui tavoli dei talk show generalisti.
Oggi le loro statistiche compaiono nelle grafiche del Sunday Night Football (commentato dal proprietario della compagnia, Chris Collinsworth) e fanno presenza fissa anche nei dibattiti tra semplici tifosi. Tra i loro clienti, infatti, oltre alle 32 squadre NFL ci sono analisti e fan che per la non esattamente modica cifra di 200 dollari all’anno possono avere accesso ad una porzione del database statistico di PFF.
Il vero punto di forza della compagnia basata a Cincinnati è il “grade”, un voto da 1 a 100 che dovrebbe distillare la qualità di una performance in campo. Il grade è per distacco la statistica più popolare e controversa di PFF. Per certi versi è l’essenza stessa di quello che la compagnia rappresenta e il motivo per il quale è venuta alla luce. PFF infatti nasce dall’idea di Neil Hornsby, un quarantenne inglese senza background di coaching ma con un’esperienza non indifferente nel mondo delle statistiche.
A metà anni 2000 Hornsby aveva iniziato a valutare le partite assegnando un voto ad ogni giocatore analizzato dopo aver osservato tutte le azioni della partita. Seguendo la stessa intuizione del suo fondatore, oggi PFF assegna un grade a qualunque giocatore di NFL e alla stragrande maggioranza dei giocatori di college. Vista la popolarità raggiunta dal loro sistema di grading, è importante capirne il funzionamento, i pregi e i difetti.
COME FUNZIONA IL GRADING
“Every player, every play, every game”. Questo è il motto di PFF. Lo slogan si riferisce appunto al fatto che la compagnia assegna un grade a ciascun giocatore, analizzando ogni giocata di ogni partita. Ogni lunedì il suo esercito di analisti passa al setaccio tutte le partite giocate la domenica, valutando in ogni azione la performance dei ventidue giocatori in campo. A ciascuno di questi giocatori viene assegnato un voto, che va da +2 a -2 a seconda che il loro comportamento all’interno dell’azione sia stato ottimo o, al contrario, scadente. Il range di valutazione è lo stesso per tutte le posizioni, ma viene adattato alla valutazione di ciascun ruolo. Ad esempio, un cornerback si guadagnerà un voto +2 con un intercetto acrobatico, una guardia sinistra che si fa battere allo snap causando un sack si prenderà probabilmente un -2. Il modo migliore per capire il grading è prendere in rassegna come PFF valuta i quarterback.
Se un quarterback esegue un lancio perfetto in “tight coverage”, premiando un ricevitore marcato stretto, il voto a quello che PFF designa come “big time throw” sarà +2. L’esempio che la compagnia ha scelto per spiegarlo è l’arcobaleno disegnato da Eli Manning nel Super Bowl del 2011 per Mario Manningham.
Se invece il QB sbaglia maldestramente e commette un errore grave al punto da provocare un intercetto (o anche solo rischiarlo, come vedremo) il voto sarà -2. Nel caso in cui il quarterback si limiti a fare il compitino, ad esempio scaricando un pallone nel flat per un ricevitore libero, il voto sarà 0, perché quella è ritenuta una giocata qualitativamente neutra. Alla fine, la somma algebrica dei voti di un giocatore viene convertita in una scala da 1 a 100. Questo valore è il PFF grade vero e proprio, che va a posizionare il giocatore in una delle cinque “tier”, da élite a rimpiazzabile.
https://twitter.com/PFF/status/652583704800444416?s=20
Bisogna anche notare che i grade di ciascun giocatore è “scomponibile” in base alle diverse situazioni di gioco. Ad esempio un offensive lineman riceverà un “pass blocking grade” e un “run blocking grade”, un running back riceverà un grade per la qualità delle sue corse, uno per la qualità delle sue ricezioni e un altro ancora per il suo lavoro in pass protection.
QUALI SONO I VANTAGGI DEL GRADING
Di nuovo, “Every player, every play, every game”. Il vantaggio del sistema di PFF, quello che ha permesso alla compagnia di diventare fornitrice di tutti e 32 i team NFL, è quello di valutare ogni singola azione, creando un database enorme e “customizzabile” secondo infiniti filtri. Questa montagna di dati è comoda sia per la squadra in fase di scouting (Jon Gruden, che pure non ha risparmiato qualche stilettata a PFF, ha ammesso che l’uso delle statistiche offerte dalla compagnia risparmia al suo staff ore e ore di scouting) sia per fan e analisti, perché permette di evitare di “chartare” a mano ogni singola partita. Grazie al database di PFF si può filtrare di tutto, le giocate sui terzi down, il personale della squadra, il quarto di gioco, persino le condizioni meteo al momento della giocata.
highest passing grade when at least one player goes in motion with the ball is on the left hash and snapped between 15:00 and 13:45 of the 2nd quarter, last 4 seasons:
carson wentz – 91.0
josh allen – 90.0
andy dalton – 85.7
alex smith – 82.0
ryan tannehill – 80.5#pffstats— Seth Galina (@pff_seth) June 22, 2020
Questa versione sotto steroidi del database non è aperta al pubblico, ma è disponibile per le aziende (squadre o compagnie di media) che firmano contratti customizzati con PFF. Noi comuni mortali possiamo accedere alla versione EDGE, che ad un prezzo contenuto offre una serie di contenuti, e alla più costosa ELITE, grazie alla quale si ha accesso ai grade, seppur con funzioni di filtro ridotte. Insomma, PFF offre strumenti utili sia ai coaching staff sia ai fan casuali.
Al di là della sua offerta di pacchetti, il vero pregio di Pro Football Focus, almeno secondo me, è filosofico. PFF ha popolarizzato un modo più lucido di guardare al football, che si riflette nel concetto stesso di grading. L’idea del grading nasce dalla necessità di andare oltre l’apparenza delle statistiche grezze per andare a mettere in questione a chi spetta davvero il credito o il biasimo per un’azione. Troppo spesso si dà per scontato che gli intercetti lanciati siano colpa del quarterback o che i sack accumulati siano tutto merito del defensive lineman. Ovviamente non va sempre così, può succedere che l’intercetto sia colpa del ricevitore che ha corso la traccia sbagliata, o che un sack sia frutto di una mancata comunicazione della linea offensiva anziché dell’abilita del pass rusher di battere il proprio uomo.
Tutte queste sfumature vengono perse nella box score tradizionale, che si limita ad elencare sack e intercetti senza contestualizzarli. Il grading di PFF, invece, ha il merito di riportarle alla luce e di provare ad attribuire le responsabilità in modo più preciso. Il grade di PFF cerca di valutare i giocatori in base al processo, non in base al risultato finale, che spesso dipende da fattori al di fuori della responsabilità del singolo giocatore. La valutazione che troviamo riflessa nel grade, quindi, cerca di isolare la performance del giocatore, filtrando l’influenza positiva e/o negativa degli altri ventuno in campo.
Da questo punto di vista, il concetto di turnover worthy play è molto interessante: mettiamo che un quarterback lancia in bocca ad un linebacker, che però non riesce ad afferrare il pallone. Per il box score quello resta un incompleto tra tanti, mentre PFF darà un grade estremamente negativo a quella giocata perché la riconosce come una giocata “turnover worthy”, (in)degna di un intercetto. Allo stesso modo, un lancio spettacolare che non risulta in un touchdown solo per un drop del ricevitore verrà valutato molto positivamente dal punto di vista del quarterback che ha lanciato quel pallone perfetto e verrà valutato come se il lancio fosse risultato in un touchdown. Il voto negativo, come è giusto che sia, spetterà solo al WR che ha sprecato quell’occasione.
Il football è uno sport complicato e spesso bisogna scavare a fondo nei game tape per stabilire le responsabilità del successo di un’azione. Il grade di PFF ha il pregio di aver tracciato questa strada verso un’analisi più lucida e meno grossolana di quanto accade in campo.
L’ascesa di PFF ha incontrato parecchia resistenza, soprattutto da parte dei giocatori che hanno ricevuto grade negativi e, ancora di più, da parte di coach e analisti “conservatori” e per questo critici di uno stile di analisi basato sulle statistiche avanzate. Alcune di queste critiche sono semplicemente ridicole e non vale nemmeno la pena di prenderle in considerazione. Altre, invece, sono più sensate ed è necessario considerarle per inquadrare a 360 gradi il discorso attorno a PFF.
I PROBLEMI DEL GRADING
Le critiche che mi sento di condividere in modo più o meno convinto sono quelle elencate qui sotto:
1) Non è sempre possibile stabilire i meriti di un’azione perché non siamo certi di quali siano i compiti all’interno di un’azione. Il grading si basa sull’assunto che un occhio esperto possa stabilire sempre chi ha sbagliato in una determinata azione. Si tratta di un assunto piuttosto ottimistico: a meno di far parte del coaching staff, è impossibile avere la certezza assoluta dei compiti dei ventidue in campo. Quando si osserva una squadra dall’esterno c’è sempre un irriducibile grado d’incertezza (ad esempio, senza sapere per certo lo schema chiamato, come facciamo a stabilire su un intercetto dato da un problema di comunicazione è stato il ricevitore a correre la traccia sbagliata e non il quarterback a lanciarla nel posto sbagliato?) che che non si ridurrebbe nemmeno se ad assegnare i grade fossero Bill Belichick e Bill Walsh in persona. Questo aspetto ci porta alla seconda critica.
2) Chi assegna i voti? Un’altra zona grigia del grading è rappresentata da chi assegna i voti. PFF sostiene di avere una schiera di centinaia di addetti al grading, con diversi gradi di importanza e responsabilità. La compagna dice anche che questi “graders” ricevono una formazione lunga mesi, se non anni, per calibrare il loro giudizio sulle partite e ottenere così una valutazione più omogenea possibile. Anche ammettendo che PFF abbia a disposizione gli esperti più qualificati al mondo, resterebbe un problema di fondo riconducibile alla prima critica: dove arrivano le responsabilità di un giocatore? se il giocatore ha sbagliato perché lo schema lo ha messo in una situazione insostenibile? E chi ci garantisce che i graders di PFF abbiano riconosciuto lo schema e i compiti di ciascun giocatore? Siamo sicuri che in nemmeno 48 ore sia possibile mappare in modo così preciso un terreno impervio come quello di una partita di football? Qualche dubbio, considerando alcuni grade visti ultimamente, è legittimo farselo venire.
Highest-graded defensive rookies in Week 8:
1. Trevon Diggs – 90.4
2. Alex Highsmith – 88.7
3. Jeremy Chinn – 80.3
4. Michael Jacquet III – 75.6
5. Tershawn Wharton – 69.4 pic.twitter.com/K70CbGKK6m— PFF (@PFF) November 2, 2020
Ultimamente ha fatto molto scalpore il voto inspiegabilmente alto assegnato al rookie CB dei Cowboys Trevon Diggs, apparentemente basato più sui 2 intercetti che sulla qualità globale della prestazione
Con questo non vogliamo dire che casi come quelli di Diggs siano la norma, semplicemente perché non lo sono: normalmente i voti di PFF danno una panoramica tutto sommato accurata delle performance dei giocatori. Il sistema di grading quindi è tendenzialmente affidabile, ma ci sono comunque delle incoerenze che vanno considerate.
3) Il grade non considera il valore degli avversari e la durezza del compito di un giocatore.
Questo secondo me è uno dei problemi principali: il grade di PFF considera solo la qualità della giocata, non la difficoltà del contesto in cui questa giocata si è svolta. Per capirlo basta un esempio molto semplice. Prendete un cornerback che gioca contro i Falcons. Se questo CB si fa battere da un WR di riserva come Brandon Powell riceverà un grade di -2. Se lo stesso CB si fa battere nello stesso modo da Julio Jones, il suo grade sarà identico, anche se questa volta il CB ha perso uno scontro decisamente più impari, visto che andava contro un Hall of Famer come Julio.
Passiamo ad un esempio pratico. Per la stagione 2019, Darius Slay, da tutti ritenuto un cornerback d’élite, ha ricevuto un grade bassissimo, 56.9. CB molto più deboli di lui hanno avuto grade parecchio più alto. Il motivo? Slay giocava in un sistema, quello di Detroit, che gli chiedeva di seguire a uomo il miglior ricevitore avversario, sempre e comunque. Inevitabile che andando contro Amari Cooper, Davante Adams e Tyreek Hill il povero Slay abbia concesso qualche big play di troppo, ma in generale la sua stagione non è stata per nulla inferiore a quella di altri pari ruolo.
https://twitter.com/joehaden23/status/1240634699803807745?s=20
Alcuni colleghi di Slay, come Joe Haden, hanno avuto parecchio da dire a proposito.
Un altro esempio di come lo schema incida sul grade viene dalla difesa di Seattle. Siamo tutti d’accordo che KJ Wright e Bobby Wagner siano una delle migliori coppie di linebacker della lega. Allora com’è che entrambi abbiano avuto voti scadenti (rispettivamente 59.9 e 62) in pass coverage nel 2019? Come per Slay, i loro grade sono stati penalizzati dalla strategia di Seattle, che giocava quasi sempre in base personnel anche contro squadre che schieravano 3-4 WR in campo. Il risultato è che Wagner e Wright si sono trovati più e più volte a dover inseguire ricevitori molto più agili di loro, e per questo hanno concesso più giocate negative.
Questi esempi ci portano ad un caviat fondamentale: mai e poi mai guardare le classifiche posizionali di PFF e assumere che “X ha un grade più basso di Y quindi X è più scarto di Y”. Ovviamente a PFF sono coscienti dei limiti del loro prodotto, anche se ovviamente tendono a minimizzarli. Chris Collinsworth disse che la perfezione in questo campo non è raggiungibile, ma con il loro grade «we’re pretty damn close», ci siamo dannatamente vicini. Il grading non è e non può essere perfetto, ed è questo che dobbiamo tenere sempre in mente.
IL VERO PROBLEMA DEL GRADE NON È IL GRADE
Dopo aver visto i pregi e i difetti del sistema di valutazione di Pro Football Focus, arriviamo al punto fondamentale. Il vero problema non è il grade in sé, ma come il grade viene presentato da PFF e ancora di più come viene percepito dal pubblico mainstream. «I grade di PFF sono diventati sinonimo di “player performance” sia in NFL che nel college football negli ultimi dieci anni». La pagina di spiegazione del processo di grading si apre con una frase che rispecchia il problema principale del sistema di PFF. Il problema sta tutto nel sostantivo “sinonimo”. Anche per ovvie ragioni commerciali (del resto PFF vive degli abbonamenti di chi paga per avere accesso alle sue valutazioni) Pro Football Focus presenta i grade come un’istantanea dogmatica e inappellabile della performance di un giocatore. Il giocatore X è un grade di 75, quindi è un giocatore mediocre, Y invece sta giocando una stagione da 50, quindi è un giocatore inferiore a X. Troppo spesso il grade non viene presentato come uno dei modi di valutare i giocatori, nemmeno come uno strumento utile ma fallibile, ma letteralmente un sinonimo di “valutazione del giocatore”, sottintendendo che tutti gli altri strumenti di valutazione restino un gradino sotto. Questo fondamentalismo è il più grande limite della strategia comunicativa di PFF, perché rende il grade uno strumento che in mani meno sagge di quella dei loro analisti (la maggior parte dei quali pubblica contenuti di alto livello) finisce per ridurre ad una semplice comparazione tra numeri quella che è una disciplina complicatissima e per sua natura fallibile come la player evaluation. Ironicamente, in questo modo PFF rischia di contraddire il suo marchio di fabbrica: nato come strumento per contestualizzare la complessità del football, il grade viene spesso frainteso e porta ad una nuova semplificazione (X ha un grade più alto di Y quindi è più forte), diversa da quella della box score (X ha 12 sack allora è un pass rusher da all pro, Y ieri ha lanciato 2 intercetti quindi ha giocato male) ma altrettanto nociva.
In realtà, più che dall’interno di PFF, queste semplificazioni grossolane vengono dall’esterno, da (pseudo) analisti pigri o da parte di fan che semplicemente non hanno i mezzi o la voglia per comprendere a pieno il contesto nel quale è inserito il grade. Mano a mano che il grade di PFF diventa più popolare, aumenta anche il numero di persone che ne fa un uso sbagliato, che gli dà uno sguardo il lunedì mattina per poi concludere che chi ha un grade alto è un fenomeno, chi ne ha uno basso è un bluff totale.
Per questo, il problema non è tanto il grade in sé, ma l’uso che ne facciamo. Personalmente mi capita spesso di dare un’occhiata ai grade dei giocatori che vado ad analizzare nei miei video o nelle mie analisi scritte. Lo ritengo un ottimo strumento per farsi un’idea generale dell’andamento di un reparto e di un giocatore specifico all’interno di quel reparto. Dopodiché guardo i filmati e vedo sei i miei occhi confermano quello che i grade dicono. Questo secondo me è un uso responsabile dei grade di PFF. Usarli come punto di partenza, mai come punto di arrivo dell’analisi o, peggio ancora, come testi sacri da consultare alla ricerca della verità. Anche perché la Verità, nel football, non la detiene nessuno. Diffidate di chi vi dice il contrario solo perché pensa di averla attinta da un sito a pagamento.