Recognition, l’algoritmo intelligente che confronta foto e dipinti

Un innovativo algoritmo che sonda l’archivio del museo Tate di Londra mettendo a confronto le sue opere con le immagini prodotte in tempo reale dall’agenzia di stampa Reuters.

Si tratta di Recognition, un progetto italiano nato a Fabrica, il centro di ricerca sulla comunicazione con sede a Treviso, parte integrante di Benetton Group, che è stato fortemente voluto e infine fondato nel 1994 da Luciano Benetton; Fabrica offre una borsa di studio annuale, alloggio e viaggio di andata e ritorno per l’Italia ad un gruppo di ricercatori provenienti da tutto il mondo. La gamma di discipline che Fabrica include comprende design, grafica, fotografia, video, musica e giornalismo.

Il team alle spalle di Recognition è composto da Coralie Gourguechon, Monica Lanaro, Angelo Semeraro e Isaac Vallentin, con l’aiuto e il supporto tecnico degli specialisti di intelligenza artificiale di JoliBrain di Tolosa. L’idea ha vinto il prestigioso IK Prize (in memoria della filantropa Irene Kreitman), un premio dedicato ai creativi – ricercatori, sviluppatori, artisti e designer – dell’industria digitale. Il premio è nato nel 2013 dalla Porter Foundation e viene conferito da Tate ad un team, un’azienda o ad un singolo per un’idea originale che utilizza la tecnologia digitale per esplorare e valorizzare le opere in mostra alla Galleria e sul sito della Tate Britain.

Il tema dell’edizione 2016, realizzata in partnership con Microsoft, era l’intelligenza artificiale e come essa può essere applicata per rivisitare l’arte britannica e in particolare la collezione Tate, composta da circa 30 mila opere. Il team vincitore ha ricevuto un premio di £15.000 e un budget di produzione di £90.000 per realizzare la sua idea.

Così è nato l’algoritmo e la conseguente mostra, visitabile dal 2 settembre al 27 novembre 2016. Recognition crea una galleria virtuale in continua espansione cercando nell’archivio e nella collezione di arte britannica online di Tate e mettendo a confronto le opere con le news fotografiche fornite da Reuters, basandosi su similarità visive e tematiche. L’intelligenza artificiale alla base dell’algoritmo abbina due immagini simulando come l’uomo osserva e comprende le immagini, in quattro modi diversi:

• riconoscendo gli oggetti, grazie ad un network sviluppato da JoliBrain utilizzando DeepDetect e Densecap, che riconosce gli oggetti da un’immagine trasformandole in pattern, li evidenzia e li ricerca all’interno delle opere del museo.
• Riconoscimento facciale, implementato grazie al supporto del Microsoft Cognitive Services’ Computer Vision and Emotion APIs, serve non solo per riconoscere il viso di una persona all’interno di un’immagine ma anche l’età, il sesso e perfino lo stato emotivo in cui si trova.
• Riconoscendo la composizione, le sue forme, le strutture, i colori e i layout. Anche qui il contributo di JoliBrain è stato fondamentale, utilizzando DeepDetect hanno infatti creato un network che legge i pixel di un’immagine e trova composizioni similari in altre immagini.
• Infine l’analisi del contesto, spostando l’attenzione sul titolo e la data dell’immagine. Analizzando questi dati, l’algoritmo alla basa di Recognition riesce a creare anche le didascalie che accompagnano le immagini.

Nonostante la tecnologia sia raffinatissima, non sempre osservando il risultato si riconoscono le similitudini fra i singoli aspetti analizzati dall’algoritmo, anche se le percentuali sono elevate: “È l’altra faccia della medaglia. Questa mostra non elabora semplicemente il passato alla luce di quel che accade oggi nel mondo usando un’intelligenza sintetica. A volte svela le differenze fondamentali di percezione fra uomo e macchina.” Dice Angelo Semeraro, uno degli ideatori.

Attraverso lo schermo installato alla Tate Britain i visitatori possono confrontare le coppie selezionate della macchina con quelle scelte da loro stessi, contribuendo così al processo di apprendimento dell’algoritmo. Il team di Recognition infatti sta anche cercando di comprendere se l’intelligenza artificiale può imparare dalle risposte che gli umani danno quando osservano delle immagini e apprendere la soggettività di queste scelte rispetto all’oggettività delle sue. I risultati raggiunti saranno pubblicati online una volta conclusosi il progetto.