Tietokone opettaa flamencorytmejä äänentunnistuksen avulla
17.04.2012
Ihminen ja tietokone voivat olla vuorovaikutuksessa rytmikkäiden äänien kuten käsien taputtamisen välityksellä. Tuoreessa väitöskirjassa esitetään uusia menetelmiä, joiden avulla tietokone tunnistaa ja analysoi ihmisen äänieleitä reaaliaikaisesti.
Äänieleet ovat ihmisen ääntä tuottavia toimintoja (puhetta lukuun ottamatta), joiden avulla voidaan välittää informaatiota. Niitä ovat esimerkiksi vihellykset, askeläänet tai sormien napsutus.
Äänielesovellukset perustuvat algoritmeihin, jotka pystyvät erottamaan äänieleiden sisältämän informaation tietokoneeseen syötettävästä äänivirrasta. Antti Jylhä esittelee uudenlaisen luokittelun äänieleille ja niiden avulla välitettävälle informaatiolle. Luokittelusta on hyötyä vuorovaikutteisille tietokonesovelluksille, joihin syötetään informaatiota äänen avulla.
Äänisyötteiden ansiosta käyttäjän ei tarvitse olla näköyhteydessä tietokoneeseen eikä ohjata sitä koskettamalla. Siksi äänisyötteet sopivat myös näkövammaisille kehitettäviin sovelluksiin ja tilanteisiin, joissa silmät ovat keskittyneet johonkin muuhun tehtävään (esimerkiksi ympäristön havainnointiin).
Sovellus flamenco-opettajana
Väitöskirjaan kuului useita prototyyppejä äänieleitä hyödyntävistä sovelluksista. Yksi niistä oli virtuaalinen flamenco-opettajasovellus iPalmas. Se pystyy luotettavasti tunnistamaan erilaisia taputuksia ja niiden tempon. Ohjelma esittää käyttäjälle flamencomusiikin taputusrytmejä, kuuntelee käyttäjän tuottamia taputusääniä ja antaa audiovisuaalista palautetta taputussarjojen oppimisesta.
Taputusäänien analyysimenetelmää voidaan soveltaa myös perkussiosoittimien, esimerkiksi bongorumpujen tai tamburiinin, äänten analyysiin.
Väitöstilaisuus
Diplomi-insinööri Antti Jylhä väittelee Aalto-yliopiston sähkötekniikan korkeakoulussa perjantaina 20.4.2012 klo 12. Väitöskirjan otsikko on “Sonic Gestures and Rhythmic Interaction between the Human and the Computer” (suomeksi “Äänieleet ja rytminen vuorovaikutus ihmisen ja tietokoneen välillä”).
Lisätietoa:
Antti Jylhä, puh. 040 730 7979, antti.jylha [at] aalto [dot] fi
