Aalto-yliopiston tutkijat ovat halunneet kehittää toimivan ratkaisun tanssikoreografian ohjaamiseksi virtuaalitodellisuudessa. Aikaisemmat tekniikat kun ovat perustuneet pitkälti etukäteisharjoitteluun ja yksinkertaistamiseen.
”Virtuaalitodellisuudessa on vaikea visualisoida ja viestiä, miten tanssijan pitäisi liikkua. Ihmisen keho on niin moniulotteinen, ja rikas data on vaikea ottaa sisään reaaliajassa”, sanoo professori Perttu Hämäläinen.
Tutkijat kokeilivat aluksi aiemmista tanssipeleistä tuttuja visualisointikeinoja. Useiden prototyyppien ja vaiheiden jälkeen he päätyivät kuitenkin kokeilemaan urheilutapahtumista tuttua yleisöaaltoa tanssin ohjauksessa.
”Mallitanssijoiden aaltomaisen liikkeen avulla voi nähdä jo etukäteen, minkälainen liike on seuraavaksi tulossa. Eikä liikettä tarvitse harjoitella etukäteen”, sanoo väitöskirjatutkija Markus Laattala.
Yleensä uusien liikkeiden ohjausta ei pysty seuraamaan täysin reaaliajassa, koska ihmisen havaintomotoriikassa on viivettä. Tutkijoiden kehittämä WAVE-tekniikka taas perustuu tulevan liikkeen, esimerkiksi käännöksen ennakointiin.
”Kukaan ei ollut keksinyt, miten nykytanssin kaltaista jatkuvaa, sulavaa liikettä voisi opastaa. Meidän toteuttamassamme koreografiassa aallon tekeminen on kommunikointia, eräänlainen mikrokaanon, jossa mallitanssijat seuraavat samaa koreografiaa sekunnin murto-osan viiveellä”, Hämäläinen sanoo.
Tutkijat esittelevät WAVE-tekniikan Havaijilla toukokuussa järjestettävässä CHI2024-konferenssissa, joka on tärkein ihmisen ja tietokoneen väliseen vuorovaikutukseen keskittyvä konferenssi maailmassa.
Minuutin mittaiseen tanssitestiin osallistui kaikkiaan 36 ihmistä. Vertailtavassa virtuaaliversiossa oli vain yksi mallitanssija, jota seurata. Erot toteutusten välillä olivat selkeät.
”Tämä toteutus sopii ainakin rauhallisempiin tanssityyleihin. Tanssija voi vain hypätä sisään ja alkaa tanssia ilman, että täytyy opetella mitään etukäteen. Nopeammissa liikkeissä visuaalisuus voi kuitenkin mennä sekavaksi”, Hämäläinen kertoo.
Uutta tekniikkaa voi soveltaa virtuaalitanssipelien lisäksi musiikkivideoihin, karaokeen ja taijiin, kunhan liike on rauhallista, sulavaa ja jatkuvaa.
”Tanssijan kannalta olisi optimaalista, jos hän saisi itse päättää, miten asettelee mallitanssijat itselleen sopivaan muotoon. Ja jos idean veisi pidemmälle, useat tanssijat voisivat lähettää toisilleen virtuaalitodellisuudessa liikkeitä. Siitä voisi muodostua jokin ihan uusi tapa tanssia yhdessä”, Laattala sanoo.
”Laitteet toimivat niin, että vain kypärässä on kamerat. Toisaalta koneoppimisdatasta voidaan joskus päätellä, miten jalat liikkuvat”, Hämäläinen sanoo.
”Mutta tanssissa päättely on vaikeampaa, koska liikkeet ovat kummallisempia kuin esimerkiksi kävely”, lisää Laattala.
Toisaalta jos oikeassa tanssitilassa on peili, jalkojen liikettä voi seurata konenäön avulla. Virtuaalisen peilin avulla taas voisi muokata tanssijan näkymää.
”Tanssijan suoritusta voi parantaa liioittelun avulla, esimerkiksi lisäämällä notkeutta, hyppyjen korkeutta tai lantion liikettä. Näin heidät voisi saada kokemaan, että he ovat taitavampia kuin ovatkaan, millä on tutkimusten mukaan positiivinen vaikutus liikuntamotivaatioon”, Hämäläinen kertoo.
Virtuaalitanssipelin kehittämiseksi on hyödynnetty Magics-infrastruktuurin liikekaappaussettiä, jossa mallitanssijan päälle on puettu puku ja anturit. Niiden avulla tanssianimaatio on pystytty tallentamaan.
WAVE-tanssipelin voi ladata Meta Quest 2 ja 3 -virtuaalilaseille tästä linkistä. Sieltä löytyy myös lähdekoodi, jotta kuka tahansa voi kehittää peliä eteenpäin.
Artikkeli: Laattala, M., Piitulainen, R., Ady, N., Tamariz, M., & Hämäläinen, P. (2024). Anticipatory Movement Visualization for VR Dancing. ACM SIGCHI Annual Conference on Human Factors in Computing Systems.
Suomen tekoälykeskus FCAI on osaamiskeskittymä, jonka ovat käynnistäneet Aalto-yliopisto, Helsingin yliopisto ja Teknologian tutkimuskeskus VTT. FCAI:n tavoitteena on kehittää uudenlaista tekoälyä, joka voi toimia ihmisen kanssa monimutkaisessa ympäristössä ja auttaa uudistamaan suomalaista teollisuutta. FCAI on yksi Suomen Akatemian lippulaivoista.
