Väitös tietotekniikan alalta, DI Kalle Kujanpää

Väitöskirjan nimi: Hierarchies, Search, and Generative Models in Sequential Decision-Making

Väittelijä: Kalle Kujanpää
Vastaväittäjä: professori Frans Oliehoek, Delft University of Technology, Alankomaat
Kustos: professori Pekka Marttinen, Aalto-yliopiston perustieteiden korkeakoulu 

Kuinka robotit, itseohjautuvat ajoneuvot ja älykkäät agentit saadaan suoriutumaan paremmin käytännön ongelmissa? Vahvistusoppimisella (yritys ja erehdys) tai imitaatio-oppimisella (mallisuorituksista oppiminen) koulutetut älykkäät agentit voivat saavuttaa tai ylittää asiantuntijatason suorituskyvyn hyvin määritellyissä ongelmissa. Tämän suorituskyvyn siirtäminen käytäntöön on kuitenkin osoittautunut haastavaksi.

Tämä väitöskirja esittää ratkaisuja vahvistusoppimisen ja imitaatio-oppimisen keskeisiin haasteisiin, kuten pitkän tähtäimen päättelyyn ja monimutkaisten jakaumien mallintamiseen. Väitöskirjassa esitellyt menetelmät perustuvat kahden perusidean yhdistelmään: hierarkkiseen ongelmanratkaisuun ja hakuun perustuvaan suunnitteluun. Lisäksi tutkimuksessa kehitetään ihmismäisesti käyttäytyviä agentteja, joiden päätöksenteko yhdistää opittuja käyttäytymistyylejä ja generatiivisia malleja.

Väitöskirja edistää peräkkäisen päätöksenteon algoritmeja ja vähentää niiden riippuvuutta yritykseen ja erehdykseen perustuvasta oppimisesta. Samalla hakuun perustuva suunnittelu parantaa niiden suorituskykyä monimutkaisissa tehtävissä. Väitöskirjassa osoitetaan kehitettyjen algoritmien hyödyt useilla sovellusalueilla: opittujen ajotyylien hyödyntäminen johtaa realistisempiin liikennesimulaatioihin, ja robotiikassa aiemman kokemuksen joustava käyttö tehostaa suunnittelua. Menetelmiä sovelletaan myös turvallisuuskriittisten järjestelmien analyysiin kouluttamalla hyökkäävä tekoälyagentti, joka etsii ja hyödyntää haavoittuvuuksia tietokonejärjestelmissä.

Kokeissa tehdään mielenkiintoinen havainto: vaikka jatkuva-arvoiset mallit ovat teoriassa tarkempia, diskreetit mallit yksinkertaistavat suunnittelua ja johtavat usein käytännössä parempaan suorituskykyyn.

Kokonaisuudessaan väitöskirjan tulokset osoittavat, että hierarkiat, suunnittelu ja ihmiskäyttäytymisen mallintaminen tyylien avulla voivat merkittävästi parantaa tekoälyagenttien suorituskykyä. Tulokset ovat merkityksellisiä esimerkiksi itseohjautuvien ajoneuvojen simulaattoreiden kehittäjille, tietoturvainsinööreille ja robotiikan ammattilaisille, jotka pyrkivät parantamaan mallien pitkän tähtäimen päättelykykyä.

Linkki väitöskirjan sähköiseen esittelykappaleeseen (esillä 7 päivää ennen väitöstä): Aaltodoc