L’età dell’algoritmo

Intervista a Massimo Mazzotti e Shreeharsh Kelkar dell’Università di Berkeley

Una varietà di significati è stata attribuita all’onnipresente parola “algoritmo”[1], man mano che essa si allontana dalla sua definizione originale di “procedura per risolvere un problema matematico”. Per capire meglio le sue trasformazioni e il suo uso, ho parlato con colui che ha definito la nostra epoca “l’età dell’algoritmo”[2]. Massimo Mazzotti è uno storico e sociologo della scienza all’Università della California, Berkeley, dove è anche direttore del Centre for Science, Technology, Medicine & Society (CSTMS), “un laboratorio che conduce ricerche sulle storie e le implicazioni della ricerca scientifica, della biomedicina e delle nuove tecnologie”[3]. Mazzotti mi ha messo in contatto con Shreeharsh Kelkar, docente del programma di studi interdisciplinari e affiliato all’Algorithmic Fairness & Opacity Working Group (AFOG), la cui missione è di sviluppare “consigli politici su questioni di equità, trasparenza, interpretabilità e responsabilità negli algoritmi e nei sistemi basati su algoritmi”[4]. In questa intervista, identifichiamo gli algoritmi come strumenti e guardiamo alcune delle loro implicazioni, tra cui i temi del profiling e la registrazione.

Caterina Riva: Hai impiegato la definizione “era dell’algoritmo” per descrivere i tempi che stiamo vivendo. Puoi suggerirmi i diversi significati che la parola algoritmo ha assunto?

Massimo Mazzotti: Dire che oggi viviamo nell’ “l’era dell’algoritmo” significa riconoscere che gli algoritmi stanno rimodellando la realtà sociale in cui viviamo, ma significa anche riconoscere il ruolo della figura dell’algoritmo nel nostro linguaggio e il modo in cui ha catturato la nostra immaginazione. Oggi, quando pensiamo al futuro, pensiamo agli algoritmi. Questo non è qualcosa di completamente nuovo nella storia della tecnologia; altri artefatti hanno giocato un ruolo simile in passato. Pensate all’orologio di precisione della prima età moderna per esempio. Ai tempi di Newton, era inteso come un modello in scala ridotta dell’intero universo e, allo stesso tempo, ha trasformato il mondo rendendo il tempo scientificamente misurabile (e prezzabile) in una misura senza precedenti. Come questi orologi di precisione, gli algoritmi oggi sono sia strumenti per pensare al mondo, che strumenti per trasformarlo. La parola “algoritmo” ha una traiettoria semantica affascinante. Per molto tempo è stato un termine tecnico poco eccitante che si riferiva a un insieme di istruzioni, una procedura standard per la soluzione di un particolare tipo di problema – una ricetta, se volete. In questo senso, c’erano algoritmi per trovare le posizioni dei corpi celesti in un dato momento in un dato luogo. Il concetto di algoritmo esisteva quindi molto prima del termine stesso, che ha avuto origine nella pratica dell’algebra islamica medievale, e non era affatto limitato alla sfera della matematica. All’inizio del periodo moderno, un algoritmo era associato al calcolo formale, alle procedure meccaniche – qualcosa che poteva essere implementato in un dispositivo artificiale o seguito da un umano che si comportava come una macchina. L’algoritmo digitale è quindi il risultato più recente di un processo storico di lunga durata [5]. Si tratta di un algoritmo che può essere tradotto in sequenze di codice che, a loro volta, possono girare su un computer elettronico. Ma ciò che trovo più affascinante è che non usiamo più il termine in questo senso ristretto. Gli algoritmi ora agiscono. Fanno cose. Hanno effetti più ampi su altri sistemi. Ora possiamo dire che “gli algoritmi guidano le auto”, e quindi immaginare gli algoritmi come agenti.

Riva: Che tipo di lavoro fate al CSTMS?

Mazzotti: Al CSTMS dal 2016 studiamo la dimensione sociale degli algoritmi, con un progetto a lungo termine che ha dato origine finora a due grandi conferenze e a diverse pubblicazioni. Il nostro interesse è duplice: esploriamo l’ecologia degli algoritmi – la rete di relazioni socio-tecniche entro cui gli algoritmi esistono e funzionano; e la loro genealogia – i processi storici a lungo termine che hanno prodotto gli algoritmi come artefatti e modi di pensare. Siamo anche molto interessati a come gli studiosi delle scienze umane e gli artisti che usano una serie di media stanno esplorando gli algoritmi e le procedure algoritmiche nel loro lavoro.

Riva: Massimo, nel tuo saggio Algorithmic Life apparso sulla Los Angeles Review of Books nel 2017 [6], parli della natura da “scatola nera” della tecnologia, dove il dataset è nascosto, inaccessibile e inconoscibile all’utente. Qual è il legame tra l’astrazione di un approccio basato sui dati e i suoi effetti reali sperimentati nel mondo?

Mazzotti: Questo è uno dei punti più intriganti degli algoritmi digitali. Chi lavora sul loro significato sociale spesso osserva che sono oggetti molto difficili da studiare, e non solo per questioni di proprietà. Alcuni dicono che sono paradossali, e forse, in definitiva, inconoscibili. A differenza di un orologio meccanico, un algoritmo è un oggetto la cui materialità è liminale, difficile da catturare, e i cui confini, come abbiamo visto, sono spesso sfumati. Sono incorporati nel nostro mondo sociale in un modo diverso, per esempio, dagli orologi.

Inoltre, gli algoritmi sono facilmente “black-boxed“[7], un termine che viene utilizzato per evidenziare come tendiamo a mettere da parte il loro funzionamento interno e a darlo per scontato, come se fossero tecnologie ovviamente affidabili e trasparenti. Ma non lo sono, e per una serie di ragioni. Hai menzionato i dataset come fonte di opacità. In effetti, la struttura del dataset estratto da un algoritmo può essere così complessa, che la semplice lettura del codice dell’algoritmo non ci permette di capirlo. Un’altra fonte di opacità è il modo in cui un algoritmo può essere modificato attraverso l’apprendimento automatico. Questo potrebbe risultare in un algoritmo più accurato, ma la cui architettura e logica è incomprensibile per un essere umano. Sembra esserci un inevitabile compromesso qui: potenza contro comprensione.

Shreeharsh Kelkar: Paul Dourish scrive sui vari significati dell’algoritmo[8]: per gli ingegneri e gli informatici come lui, un algoritmo è il contrario del codice. Se il codice sono linee del programma che scrivono, l’algoritmo è la logica sottostante a quel programma. Un algoritmo è usato come il contrario del giudizio umano, nel senso di automazione, e l’aggettivo “algoritmico” significa il contrario di trasparente o spiegabile.

Un termine migliore per “algoritmo” potrebbe essere sistemi algoritmici che sono fatti di algoritmi, persone (lavoratori e utenti), regole e norme. Sempre più istituzioni si ristrutturano intorno a sistemi algoritmici, rimodellando le vite delle persone che – a vario titolo – interagiscono con questi sistemi.

La mia collega Jenna Burrell ha scritto un importante articolo che descrive in maniera dettagliata i modi in cui i sistemi algoritmici possono essere opachi[9]. In un articolo che ho pubblicato recentemente con un altro collega Benjamin Shetakofsky[10], descriviamo come le compagnie legate a piattaforme utilizzano sistemi algoritmici per gestire i loro utenti, impiegando sia umani che macchine per farlo. Tutti gli studi algoritmici attingono al lavoro umano contingente, flessibile, just-in-time, che è sia ad alta o a bassa retribuzione, in outsourcing o locale. È meglio vedere i sistemi algoritmici o l’intelligenza artificiale (AI) in generale come un assemblaggio – una versione riconfigurata delle relazioni uomo-macchina dove gli esseri umani sono costruiti, attraverso interfacce digitali, come input flessibili e/o supervisori di programmi software che a loro volta eseguono un’ ampia varietà di piccoli compiti computazionali ad alta intensità che coinvolgono l’elaborazione di grandi quantità di dati e il calcolo di similitudini statistiche. È questo assemblaggio riconfigurato che promette di cambiare i nostri posti di lavoro e le nostre vite, piuttosto che qualsiasi specifico progresso tecnologico.

Riva: Sei – perlomeno geograficamente – molto vicino alla Silicon Valley e abbiamo visto come le grandi corporazioni tecnologiche hanno ampliato ulteriormente la loro portata e i loro profitti durante la pandemia del Covid-19. Oltre alla privacy, immagini che il prossimo campo di battaglia del controllo digitale sarà incentrato sulla salute?

Mazzotti: Per come la vedo io, la pandemia non ha portato nulla di particolarmente nuovo in questo senso, ma ha sicuramente accelerato alcuni processi in corso. Le principali corporazioni tecnologiche ci hanno già da tempo fornito strumenti di allontanamento fisico, e ora la pandemia rende molti di essi improvvisamente necessari.

Questo mi fa pensare a un altro punto di svolta nella storia recente del rapporto tra tecnologia e società: l’11 settembre. Quella crisi ha permesso di trasformare la raccolta massiccia di dati in una necessità. Ciò che è più importante, essa ha convalidato una certa logica di raccolta dei dati in un momento in cui la maggior parte dei dati non poteva nemmeno essere analizzata in modo utile. Questo è stato uno stato di eccezione che ha trasformato la nostra nozione di privacy. Oggi vediamo l’intersezione di questa traiettoria delle tecnologie di sorveglianza con le nuove pratiche biopolitiche. Un problema che vedo è che tendiamo a vedere questo come serie di “crisi” (“crisi della privacy”, “crisi della salute”), piuttosto che riconoscere e cercare di affrontare le loro cause strutturali a lungo termine.

Riva: Nel film The Net del 1995, il personaggio interpretato da Sandra Bullock è un’analista di sistemi le cui interazioni sociali consistono principalmente in interazioni con il suo telefono fisso e il suo ingombrante computer, finché non le viene inviato un floppy disk che permette l’accesso a un software di sicurezza chiamato Gatekeeper. Da quel momento in poi, non solo la sua vita viene stravolta, ma tutti i suoi record sono stati cancellati – lei non esiste più. Nel 2020, il problema è un po’ invertito: abbiamo troppe tracce di noi stessi dissipate online e non possiamo cancellare i contenuti che vorremmo seppellire. Che cosa pensa di quello che Edward Snowden chiama “record permanente”[11]?

Mazzotti: È notevole quanto velocemente possiamo abituarci all’idea di “record permanente”, e accettarlo come qualcosa di inevitabile. Se c’è qualcosa che ho imparato dalla storia della tecnologia, tuttavia, è che non ci sono traiettorie inevitabili e predeterminate. Sembrano tali solo retrospettivamente. Al culmine della corsa agli armamenti, uno dei miei insegnanti, il sociologo Donald MacKenzie, scrisse un articolo su come “disinventare” le armi nucleari[12].

Anche se non privo di ironia, l’articolo faceva un’osservazione molto seria: il paesaggio tecnologico in cui tutti viviamo è il risultato di scelte collettive, non di necessità. Questo significa che può essere rimodellato sulla base di nuove priorità e nuovi modi di immaginare il nostro futuro. Vorrei collegarmi a questa espressione di speranza. Lungi dall’essere ingenua, ha trasformato una comprensione sofisticata delle dinamiche sociali del cambiamento tecnologico in un messaggio di consapevolezza e possibilità.

Kelkar: Ci sono state molte discussioni tra gli studiosi su come questa registrazione permanente diventi la base per produrre conoscenza sugli utenti, che viene poi usata per modellare i loro comportamenti e portare a maggiori profitti. Nel suo libro, Shoshana Zuboff chiama questo “capitalismo della sorveglianza” e dettaglia i modi in cui gli algoritmi predittivi portano alla limitazione delle libertà umane[13].

Voglio sottolineare un’altra preoccupazione che viene sottovalutata quando tutta l’attenzione è rivolta agli algoritmi predittivi. Google vuole indicizzare tutte le informazioni del mondo e Facebook vuole rendere tutte le attività sociali. Queste aspirazioni cercano di smantellare i confini tra le attività in modo che tutto sia mediato attraverso queste piattaforme: le distinzioni tra sociale/commerciale, esperto/non esperto, politico/non politico, personale/pubblico sono tutte offuscate. Rigirando una frase coniata dalla giurista Helen Nissenbaum, l’obiettivo oggi (di società di piattaforme come Google e Facebook, ma anche delle forze dell’ordine e di altre istituzioni governative) è quello di confondere, o addirittura sterminare, l’integrità contestuale di particolari attività[14]. Per prendere il tuo esempio, quali tipi di registrazioni dovrebbero essere considerate rilevanti per la salute? Questa dovrebbe essere una questione di discussione pubblica piuttosto che essere lasciata ad attori particolari come società di piattaforme, compagnie di assicurazione o ospedali.

Riva: In termini di tecnologia di sorveglianza, i governi di tutto il mondo hanno accelerato i processi che permettono un’attuazione più invasiva. Stavo leggendo un articolo sul NYTimes[15] su Clearview AI, un’azienda tecnologica americana che fornisce un nuovo strumento di ricerca, con capacità di riconoscimento facciale, alle forze dell’ordine per identificare autori e vittime di crimini[16]. C’è una bibliografia o una ricerca che pensate sia utile per approfondire nello studiare questi problemi?

Mazzotti: Sono molto diffidente nei confronti delle tecnologie di riconoscimento facciale. Credo che i loro potenziali benefici siano ampiamente superati dai loro rischi. Ci sono due ordini principali di problemi da considerare. Uno è tecnico, che è legato alla progettazione effettiva di queste tecnologie. Ci sono grossi difetti nel processo attraverso il quale i volti umani vengono schematizzati e classificati. Questo problema è stato illustrato efficacemente in un’ottima mostra, Training Humans (2019), creata da Trevor Paglen e Kate Crawford, che ha sottolineato i pregiudizi di genere e razziali incorporati nei set di dati standard utilizzati per l’addestramento delle IA[17]. In secondo luogo, e collegato a questo sono le pratiche pervasive di profilazione e sorveglianza di massa abilitate dalle tecnologie di riconoscimento facciale. Il mio collega Luke Stark le paragona giustamente alle tecnologie nucleari più pericolose[18]: sono intrinsecamente tossiche dal punto di vista sociale, indipendentemente dalle intenzioni dei loro creatori. Avrebbero bisogno di essere regolate così rigorosamente che dovrebbero essere vietate per quasi tutti gli scopi pratici.

Kelkar: La ricerca più utile che ho trovato su come le forze dell’ordine usano le tecnologie di sorveglianza (incluso il riconoscimento facciale ma non solo limitato ad esso) è il documento di Sarah Brayne “Big Data Surveillance: The Case of Policing”[19]. Brayne è stata inserita nel Los Angeles Police Department (LAPD) per più di un anno e ha potuto osservare da vicino come gli agenti usano diversi tipi di tecnologie di sorveglianza. Ha scoperto che gli agenti sono meno propensi a usare le tecnologie che violano la loro autonomia, quindi tendono a sminuire i punteggi algoritmici di valutazione del rischio per i criminali (chi potrebbe essere pericoloso o una minaccia immediata) perché questi potrebbero essere in conflitto con le loro intuizioni. D’altra parte, gli agenti sono più propensi a utilizzare tecnologie che espandono il loro raggio d’azione professionale, come Palantir[20], un software che può collegare diversi database per creare un vasto sistema di registrazioni. Questi software agiscono come sistemi di sorveglianza che lavorano in tempo reale, come i sistemi basati su allarmi che avvisano gli agenti quando viene creato un nuovo record per una persona di interesse, per esempio quando una persona viene fermata. In precedenza gli agenti avrebbero dovuto cercare nei database una persona di interesse; ora possono ottenere avvisi in tempo reale su di essa.

I lavoratori di alto livello come le forze dell’ordine, i giudici, i giornalisti e i medici possono usare questi sistemi e mantenere la loro autonomia, mentre i lavoratori di basso livello sono spesso costretti da questi sistemi a routine più estrattive e meno autonome. Questo è il problema centrale nell’uso dei sistemi algoritmici sul posto di lavoro: la riduzione dell’autonomia dei lavoratori e le sue conseguenze.

Nota dell’autore:

Dopo aver intervistato Mazzotti e Kelkar su diverse questioni teoriche intorno ai sistemi di algoritmi, si è ritenuto importante invitare un artista a presentare la propria pratica e ricerca su argomenti simili. Elisa Giardina Papa[21] è un’artista italiana il cui lavoro indaga il genere e il lavoro precario all’interno delle economie digitali. Ha sviluppato una trilogia di opere – Technologies of Care (2016), Labor of Sleep (2017) e Cleaning Emotional Data (2020) – che esplorano i modi in cui il lavoro è riformulato dalle economie digitali e dall’IA[22]. Ha gentilmente accettato di presentare frammenti delle sue opere come parte di questa inchiesta.

In Technologies of Care, documenta i modi e le storie in cui il lavoro di servizio e affettivo viene esternalizzato alle piattaforme internet e ai lavoratori freelance, donne che per la maggior parte lavorano dal Sud del mondo per clienti del Nord del mondo. Sulla scia di Technologies of Care, Elisa Giardina Papa descrive il lavoro Cleaning Emotional Data: “Nell’inverno del 2019, mentre vivevo a Palermo e facevo ricerca sui sistemi di affective computing, sono finita a lavorare in remoto per diverse aziende nordamericane “human-in-the-loop”. Tra i compiti che ho svolto c’erano la tassonomizzazione delle emozioni umane, l’annotazione delle espressioni facciali e la registrazione della mia stessa immagine per creare set di dati per i sistemi AI che presumibilmente interpretano e simulano gli affetti umani. Mentre facevo questo lavoro, alcuni dei video in cui ho registrato le mie espressioni emotive sono stati rifiutati. Sembra che le mie espressioni facciali non corrispondessero completamente alle categorie affettive “standardizzate” fornitemi. Non sono mai stato in grado di sapere se questo rifiuto provenisse da un algoritmo o, per esempio, da un altro gig worker che, forse a causa di differenze culturali, interpretava le mie espressioni facciali in modo diverso.”[23]

1. “Algorithm,” Merriam-Webster. https://www.merriam-webster.com/dictionary/algorithm
2. Massimo Mazzotti, “Algorithmic Life,” Los Angeles Review of Books, Gennaio 22, 2017, https://lareviewofbooks.org/article/algorithmic-life/
3. “Mission,” Center for Science, Technology, Medicine & Society, http://cstms.berkeley.edu
4. Algorithmic Fairness and Opacity Working Group, https://sites.ischool.berkeley.edu/afog/. Vedi il testo aggiornato sul sito: Algorithmic Fairness and Opacity Working Group, http://afog.berkeley.edu
5. Il termine letteralmente significa “lunga durata” e fu introdotto dallo storico francese Fernand Braudel. È un termine standard di riferimento utilizzato nella scuola degli Annales, che Braudel ha contribuito a fondare. È usato per indicare una prospettiva sulla storia che si estende più in là nel passato rispetto alla memoria umana e alla documentazione archeologica, in modo da incorporare la climatologia, la demografia, la geologia e l’oceanologia, e tracciare gli effetti di eventi che si verificano così lentamente da essere impercettibili per coloro che li vivono, come la natura mutevole del pianeta o il costante aumento della popolazione in una particolare area. “Longue durée,” Oxford Reference. https://www.oxfordreference.com/view/10.1093/oi/authority.20110803100114325
6. Massimo Mazzotti.
7. Massimo Mazzotti.
8. Paul Dourish, “Algorithms and their others: Algorithmic culture in context,” Big Data & Society, (Dicembre 2016). https://journals.sagepub.com/doi/full/10.1177/2053951716665128.
9. Jenna Burrell, “How the machine ‘thinks’: Understanding opacity in machine learning algorithms,” Big Data & Society, Vol. 3, No. 1, Giugno 2016. https://journals.sagepub.com/doi/10.1177/2053951715622512
10. Benjamin Shestakofsky and Shreeharsh Kelkar, “Making platforms work: relationship labor and the management of publics,” Theory and Society, Vol. 49, Agosto 2020, 863-96. https://link.springer.com/article/10.1007/s11186-020-09407-z
11. Permanent Record è il titolo dell’autobiografia di Snowden. Vedi Edward Snowden, Permanent Record ( https://us.macmillan.com/books/9781250237231
12. Donald MacKenzie e Graham Spinardi, “Tacit Knowledge, Weapons Design, and the Uninvention of Nuclear Weapons,” American Journal of Sociology, Vol. 101, No. 1 (Luglio 1995), 44-99.
13. Shoshana Zuboff, The Age of Surveillance Capitalism (London: Profile Books, 2019). https://www.publicaffairsbooks.com/titles/shoshana-zuboff/the-age-of-surveillance-capitalism/9781610395694/
14. Helen Nissenbaum, Privacy In Context: Technology, Policy, and the Integrity of Social Life (California: Stanford University Press, 2009). https://www.sup.org/books/title/?id=8862
15. Kashmir Hill, “The Secretive Company That Might End Privacy as We Know It,” The New York Times, January 18, 2020. https://www.nytimes.com/2020/01/18/technology/clearview-privacy-facial-recognition.html
16. See Clearview AI, https://clearview.ai/
17. “‘Training Humans’, formulato da Kate Crawford, ricercatrice e professoressa di AI e  Trevor Paglen, artista e ricercatore, è una delle più importanti mostre dedicate alle training images: le collezioni di foto usate dagli scienziati per allenare i sistemi di intelligenza artificiale per come vedere e categorizzare il mondo. Vedi “KATE CRAWFORD | TREVOR PAGLEN: TRAINING HUMANS,” Fondazione Prada, http://www.fondazioneprada.org/project/training-humans/?lang=en
18. Luke Stark, “Facial recognition is the plutonium of AI,” XRDS: Crossroads, The ACM Magazine for Students, Vol. 25, No. 3 (Aprile 2019), 50–5. https://dl.acm.org/doi/10.1145/3313129
19. Sarah Brayne, “Big Data Surveillance: The Case of Policing,” American Sociological Review, Vol. 82, No. 5 (2017), 977-1008. https://journals.sagepub.com/doi/10.1177/0003122417725865.
20. See Peter Waldman, Lizette Chapman e Jordan Robertson, “Palantir Knows Everything About You,” Bloomberg, Aprile 19, 2018, https://www.bloomberg.com/features/2018-palantir-peter-thiel/
21. ElisaGP, http://www.elisagiardinapapa.org/
22. Per approfondire la ricerca dell’artista: Hu, Tung-Hui e Elisa Giardina Papa. “How AI Manufactures a Smile: Tung-Hui Hu Interviews Artist Elisa Giardina Papa on Digital Labor.” Media-N 16, no. 1 (2020): 141–50. https://iopn.library.illinois.edu/journals/median/article/view/360
23. Lucia Longhi, “Technologies of Care: An Interview with Elisa Giardina Papa,” Berlin Art Link, Febbraio 11, 2020. https://www.berlinartlink.com/2020/02/11/technologies-of-care-an-interview-with-elisa-giardina-papa/

L’articolo qui riprodotto è apparso in inglese sulla rivista So-far di Singapore. La traduzione in italiano è di Lisa Andreani.

In copertina: una scena dal film Good Will Hunting, di Gus Van Sant (1997)