Marco Neri

AI – intelligenza artificiale

Creare quello che non esiste

Modello testo-immagine

Un modello text-to-image è un modello di apprendimento automatico che prende come input una descrizione in linguaggio naturale e produce un’immagine corrispondente a tale descrizione. Tali modelli hanno iniziato a essere sviluppati a metà degli anni 2010, a seguito dei progressi nelle reti neurali profonde. Nel 2022, l’output di modelli text-to-image all’avanguardia, come DALL-E 2 di OpenAI, Imagen di Google Brain e Stable Diffusion di StabilityAI ha iniziato ad avvicinarsi alla qualità delle fotografie reali e dell’arte disegnata dall’uomo.

I modelli text-to-image generalmente combinano un modello linguistico, che trasforma il testo di input in una rappresentazione latente, e un modello di immagine generativa, che produce un’immagine condizionata da quella rappresentazione. I modelli più efficaci sono stati generalmente addestrati su enormi quantità di dati di immagini e testo raschiati dal web.

Storia

Prima dell’avvento del deep learning, i tentativi di creare modelli da testo a immagine erano limitati ai collage organizzando immagini di componenti esistenti, ad esempio da un database di ClipArt.

L’attività inversa, la didascalia delle immagini, era più trattabile e un certo numero di modelli di deep learning per la didascalia delle immagini precedeva i primi modelli text-to-image.

Il primo modello moderno text-to-image, alignDRAW, è stato introdotto nel 2015 dai ricercatori dell’Università di Toronto. alignDRAW ha esteso l’architettura DRAW introdotta in precedenza (che utilizzava un autoencoder variazionale ricorrente con un meccanismo di attenzione) per essere condizionata alle sequenze di testo. Le immagini generate da alignDRAW erano sfocate e non fotorealistiche, ma il modello era in grado di generalizzare a oggetti non rappresentati nei dati di addestramento (come uno scuolabus rosso) e gestiva in modo appropriato nuovi suggerimenti come “un segnale di stop sta volando in cieli blu”, dimostrando che non stava semplicemente “memorizzando” i dati del set di addestramento.

Nel 2016, Reed, Akata, Yan et al. sono diventati i primi a utilizzare reti antagoniste generative per l’attività text-to-image. Con modelli addestrati su set di dati ristretti e specifici del dominio, sono stati in grado di generare immagini “visivamente plausibili di uccelli e fiori da didascalie di testo come “un uccello tutto nero con un becco distinto spesso e arrotondato”. Un modello addestrato sul set di dati COCO più diversificato ha prodotto immagini che erano “a distanza … incoraggiante”, ma che mancavano di coerenza nei loro dettagli. I sistemi successivi includono VQGAN+CLIP,  XMC-GAN e GauGAN2.

Uno dei primi modelli text-to-image a catturare l’attenzione del pubblico è stato DALL-E di OpenAI, un sistema di trasformatori annunciato nel gennaio 2021. Un successore in grado di generare immagini più complesse e realistiche, DALL-E 2, è stato presentato nell’aprile 2022, seguito da Stable Diffusion rilasciato pubblicamente nell’agosto 2022.

Da Wikipedia, l’enciclopedia libera

Perché Old Cyborgs? Sono un amante del film di fantascienza, mi piacciono i super eroi e i film della Marvel, e specialmente BLADE RUNNER film di Ridley Scott. Mi piace sognare. Da bambino comperavo i fumetti di Nembo Kid, poi diventato Superman. I sogni di un bambino si riflettono inevitabilmente nell’età adulta.

Il Cyborg come dice il dizionario Treccani:

‹sàibooġ› s. ingl. [comp. di cyb(ernetic) «cibernetico» e org(anism) «organismo»] (pl. cyborgs ‹sàibooġ∫›), usato in ital. al masch. – Nel linguaggio della fantascienza, automa dalle inesauribili ed eccezionali risorse fisiche e mentali, ottenuto con l’innesto di membra e organi sintetici su un organismo umano vivente.

Io ho voluto immaginare come finisce un super uomo, e qui ho creato dal nulla con l’intelligenza artificiale, un Cyborg in pensione.

I Cyborgs invecchiano? Sì, io li ho fatti invecchiare e ritirare dal loro compito principale “Salvare il mondo”, non sono più muscolosi e forti, sono esseri quasi normali. Sono stati creati dalla fantasia e ora dipende solo da noi tenerli in vita.

Roy Batty (Rutger Hauer): Io ne ho viste cose che voi umani non potreste immaginarvi. Navi da combattimento in fiamme al largo dei bastioni di Orione… e ho visto i raggi B balenare nel buio vicino alle porte di Tannhäuser. E tutti quei momenti andranno perduti nel tempo come lacrime nella pioggia. È tempo di morire.

da Blade Runner

Marco Neri

Gallery

AI ai marconeri Milano nonesiste