Väitös, tietotekniikka, MSc Nicola Dainese

Väitöskirjan nimi: World modeling and black-box optimization with language models

Väittelijä: Nicola Dainese
Vastaväittäjä: apulaisprofessori Florian T. Pokorny, KTH Royal Institute of Technology, Ruotsi
Kustos: apulaisprofessori Pekka Marttinen, Aalto-yliopiston perustieteiden korkeakoulu 

Maailmanmallinnus ja mustan laatikon optimointi kielimalleilla 

Viimeaikaiset vahvistusoppimisen (reinforcement learning, RL) edistysaskeleet ovat tuottaneet suorituskykyisiä agentteja, mutta nykyiset menetelmät ovat edelleen dataepätehokkaita ja yleistävät heikosti, oppien alusta alkaen ilman ennakkotietoa. Tämän väitöskirjan tavoitteena onkin tutkia, kuinka kielen avulla voidaan parantaa RL-agenttien otostehokkuutta ja yleistämiskykyä sisällyttämällä ennakkotietoa niiden maailmamalleihin. Lisäksi työ tarkastelee suurten kielimallien (large language model, LLM) käyttöä black box -optimoinnissa (BBO) sovelluksina kehotteiden optimointi ja symbolinen regressio. Nämä tutkimussuunnat yhdistyvät ohjelmallisissa maailmamalleissa, joissa ohjelmasynteesiä sovelletaan maailmamallinnukseen, tuottaen agentteja, jotka mukautuvat nopeasti kielellä kuvattuihin tehtäviin ja hyödyntävät tulkittavia sisäisiä malleja.

Väitöskirjan kontribuutioihin kuuluu stokastinen maailmamalli, joka hyödyntää kielellisiä kuvauksia ja parantaa suorituskykyä suhteessa nykyisiin huippumenetelmiin; LLM-pohjaiset BBO-menetelmät, jotka paljastavat avoimen lähdekoodin kielimallien odottamattoman robustiuden docstring-muutoksille sekä saavuttavat huipputason tuloksia symbolisessa regressiossa yksinkertaisemmilla kaavoilla; sekä kaksi ohjelmallisiin maailmamalleihin perustuvaa lähestymistapaa (toisessa hyödynnetään LLM-pohjaista koodin generointia Monte Carlo -puuhaun ohjaamana nopeamman ja tulkittavan suunnittelun saavuttamiseksi, ja toisessa esitellään visuaalisen suunnittelun vertailuympäristö, joka tuo esiin symbolisen ja suoran VLM-pohjaisen suunnittelun komplementaariset vahvuudet). Yhdessä nämä tulokset edistävät autonomisten agenttien kehitystä, jotka kykenevät järkeilemään, suunnittelemaan ja optimoimaan kielen avulla, yhdistäen mallipohjaisten menetelmien tehokkuuden ja tulkittavuuden LLM:ien joustavuuteen.

Avainsanat: vahvistusoppiminen, maailmanmallit, isot kielimallit, kuva-kielimallit, mustan laatikon optimointi 

Linkki väitöskirjan sähköiseen esittelykappaleeseen (esillä 7 päivää ennen väitöstä): Aalto-yliopiston riiputussivu.

Yhteystiedot: nicola.dainese@aalto.fi