Tecnhology Review nel suo numero di Gennaio/Febbraio pubblica un’interessante intervista a Peter Norvig, direttore della ricerca di Google. Nell’intervista viene chiaramente dichiarato come il motore californiano continui ad utilizzare persone umane per la valutazione dei risultati della ricerca.
Quando gli viene chiesto di spiegare come Google migliori l’accuratezza dei propri risultati di ricerca, Norvig menziona i seguenti fattori:
- Monitoraggio di tutti i click degli utenti. Se si clicca sul primo risultato di ricerca e non c’è un back a Google, questo viene considerato come un segno di qualità, ovvero l’utente ha trovato quello che stava cercando.
- Google assume persone per controllare la qualità dei risultati di ricerca (quality rater) in particolar modo per specifiche ricerche. Il mito di risultati di ricerca di Google frutto unicamente dei sofisticati algortimi è stato definitivamente sfatato.
- Google esegue test di user experience sia in laboratorio e che presso le abitazioni degli utenti, osservando accuratamente tutte le fasi delle ricerche, al fine di individuare le difficoltà.
- Google non è interessato allo studio del linguaggio naturale di ricerca, ovvero alla capacità del motore di rispondere a ricerche del tipo “Qual è la capitale della Francia?”. Tuttavia, Google continua a lavorare per cercare di capire il significato di concetti, come per esempio la differenza tra “York” e “New York”.
- Google sta lavorando sulla personalizzazione di ricerca, adattando i risultati della ricerca agli interessi dei singoli (Google Universal Search).
- Google sta continuando a lavorare sull’integrazione dei diversi tipi di risultati di ricerca (ad esempio, notizie e post dei blog all’interno dei risultati della ricerca web).
- Google si sta approcciando allo studio del riconoscimento vocale.
- Google sta lavorando su interfacce per telefoni mobili e altri dispositivi Web mobili.
Quello che soprattutto risulta essere interessante dalle parole di Norvig è proprio l’utilizzo di editori e controllori umani per il mantenimento dell’accuratezza dei risultati di ricerca.
“Un altro modo di farlo (manterenere la qualità delle ricerche, ndr) è quello di selezionare casualmente ricerche specifiche e assumere persone per chiedergli se i nostri risultati sono buoni. Questi sono soltanto contractors che assumiamo perchè ci diano il loro giudizio. Noi gli insegniamo come identificare lo spam e i siti a bassa qualità, e poi registriamo i loro giudizi e continuiamo a controllare”. 
La questione è il modo in cui Google fa uso di queste informazioni, adottanto uno dei due approcci:
- Utilizzando l’intervento umano per regolare manualmente i risultati di ricerca. Per dare un esempio: diversi i recensori reputanto un sito X come rilevante e pieno di informazioni pertinenti agli utenti in modo efficiente; il sito viene pertanto premiato con un boost nel suo ranking. Questa è una procedura molto rischiosa, poichè quel Sito X potrebbe perdere qualità nel tempo. Al crescere del numero dei siti per i quali è stato adottato un “trattamento speciale”, più diventano complesse le procedure per il follow-up.
- Sulla base delle raccomandazioni fornite dai quality rater Google può analizzare i propri algoritmi automatici e capire perchè non premino i siti giudicati come migliori dagli editori stessi. Google può di conseguenza regolare gli algoritmi.
Danny Sullivan su Search Engine Land sostiene che non vi è nulla di sbagliato nell’utilizzo di editori umani da parte di Google nello sviluppo degli algoritmi del motore di ricerca.
“Over time, Google’s algorithms (as those with the other major search engines) have continued to change and be refined. But the one unifying element to them all is that they’re trying to do what humans would do. Would humans like pages that rank well because they are stuffed full of nonsensical keywords? No. Enter a filter for that. Would humans like fresh news content getting to the top of the results for search queries that spike in reaction to a news event? Yes — and enter a change for that.”
Danny ha ragione: Google utilizza editori umani per migliorare l’algoritmo, rendendo i risultati di ricerca più utili per l’uomo. E’ inoltre probabile che Google utilizzi i quality rater solo per difendersi contro lo SPAM anche perchè giudizi personali sui singoli siti web che causano miglioramenti o peggioramenti nei ranking sono assolutamente pericolosi, sia per la difficoltà di monitorare costantemente la qualità dei siti, sia perchè metterebbero a repentaglio la loro posizione nei confronti dei webmasters delusi che hanno fatto ricorsi in tribunale.
