Disputation inom automation, system och reglerteknik, M.Sc. Karol Arndt
När
Var
Evenemangsspråk
M.Sc. Karol Arndt försvarar sin doktorsavhandling “Safe and efficient transfer of robot policies from simulation to the real world” den 16 mai 2023 kl. 12 vid institutionen för elektroteknik och automation vid Aalto-universitetets högskola för elektroteknik.
Opponent: Prof. Markus Vincze, TU Wien, Österrike
Kustos: Prof. Ville Kyrki, Aalto-universitetets högskola för elektroteknik, institutionen för elektroteknik och automation
Under det senaste decenniet har det skett stora framsteg när det gäller att utbilda intelligenta agenter för att utföra olika uppgifter genom förstärkning. Men samtidigt som de uppnår goda resultat i virtuella miljöer, presterar inlärningsmetoder fortfarande sämre i verkliga scenarier där det är kostsamt och svårt att samla in data som används för utbildning. För att komma till rätta med detta har det föreslagits att utbilda agenter i simulering och att senare överföra de inlärda färdigheterna till den verkliga världen. Det finns dock olika utmaningar som måste lösas för att kunna utföra kompetensöverföringen på ett säkert och dataeffektivt sätt.
För att uppnå detta föreslår och diskuterar avhandlingen en rad metoder för att träna robotar med hjälp av simulering och distribuera det inlärda beteendet till den verkliga roboten. De föreslagna metoderna kan hjälpa robotar att lära sig snabbare och undvika säkerhetsrisker relaterade till träning i den verkliga världen.
Avhandlingen formaliserar detta problem och bryter ner det i mindre bitar. Den utforskar sedan olika sätt att ta itu med varje del, till exempel hur man överför beteendepolicyer från simulering till den verkliga världen utan några verkliga data, eller hur man använder verkliga data för att förbättra överföringens noggrannhet. Arbetet tar också upp viktiga säkerhetsproblem som uppstår när man överför inlärda beteenden till den verkliga världen, som att se till att roboten inte vidtar åtgärder som kan orsaka skada. Den föreslår ett sätt att ta itu med dessa problem genom säkerhetsmedvetna domänöverföringsalgoritmer.
Forskningen visar att riktiga robotar framgångsrikt kan tränas med hjälp av simuleringar, och att det inlärda beteendet kan överföras till den verkliga världen med god noggrannhet på ett säkert och effektivt sätt, vilket förbättrar de nuvarande sätten på hur robotar kan tränas för att utföra komplexa uppgifter i verkliga världen.
Avhandlingen är offentligt tillgänglig i elektronisk form 10 dagar före disputationen: https://aaltodoc.aalto.fi/doc_public/eonly/riiputus/
Doktorsavhandlingar vid Aalto-universitetets högskola för elektroteknik: https://aaltodoc.aalto.fi/handle/123456789/53