Uutiset

Ihmisaivot seuraavat puhetta ajallisesti tarkemmin kuin muita ääniä

Tuore tutkimus osoittaa, että sanojen ymmärtäminen on aivoille millisekuntipeliä, mutta ympäristön ääniä ne tulkitsevat kokonaisuuksina. Tuloksista voi olla hyötyä, kun tutkitaan häiriöitä puheen käsittelyssä.
Aivokuori seuraa äänen piirteitä hyvin täsmällisesti ymmärtääkseen puhetta. Kuva: Aalto-yliopisto
Aivokuori seuraa äänen piirteitä hyvin täsmällisesti ymmärtääkseen puhetta. Kuva: Aalto-yliopisto

Kuuleminen aktivoi pääosin samoja aivoalueita riippumatta siitä, mitä kuullut äänet ovat. Siksi tutkijoiden on ollut haastavaa selvittää puheen prosessointiin liittyviä erityispiirteitä.

Aivojen puhealueita on pyritty paikallistamaan ja niiden roolia selvittämään useissa tutkimuksissa. Yksi suurimmista haasteista on selvittää, miten aivot yhdistävät hyvin vaihtelevatkin akustiset signaalit tiettyyn kielelliseen merkitykseen ja pystyvät näin esimerkiksi tunnistamaan sanan samaksi, vaikka puhujat lausuisivat sen hieman eri tavoilla.

Aalto-yliopiston professori Riitta Salmelinin johtama tutkijaryhmä lähti ratkomaan haastetta uudella menetelmällä, jossa hyödynnettiin magnetoenkefalografia (MEG) -aivokuvantamismenetelmää ja fysiologiaan perustuvia koneoppimismalleja.

Tutkijat mittasivat kuudentoista suomenkielisen koehenkilön aivoaktivaatiota äänille millisekuntien tarkkuudella samalla, kun nämä kuuntelivat eri ihmisten lausumia sanoja ja monenlaisia ympäristön ääniä eläinten ääntelystä musiikkiin. Sen jälkeen tutkijat muodostivat äänten käsittelystä koneoppimismenetelmien avulla mallin, jonka avulla he pystyivät rekonstruoimaan äänet pelkän aivoaktivaation perusteella eli kertomaan suurella tarkkuudella, minkä äänen koehenkilö oli kuullut.

Tutkimus osoitti, että puheen seuraaminen vaatii aivoilta aivan erilaista tarkkuutta kuin muiden äänien tulkinta.

"Aivokuori seuraa äänen piirteitä hyvin täsmällisesti ymmärtääkseen puhetta. Kun kuulemme esimerkiksi sanan ”kissa”, aivojemme on seurattava sitä ajallisesti hyvin tarkasti ymmärtääksemme sen merkityksen”, Aalto-yliopiston tutkija Anni Nora sanoo.

Aikaan sidottua prosessointia havaittiin aivoissa myös suomen kieleltä kuulostavien keksittyjen sanojen yhteydessä. Sen sijaan esimerkiksi musiikin, naurun ja eläinten äänten kohdalla ajallinen tarkkuus ei korostunut, vaikka ne välittivät merkityksiä puhuttujen sanojen tavoin.

”Kun kuulemme kissan naukuvan, aivot käsittelevät samoja merkityksiä kuin kissa-sanan kuullessamme – miltä kissa näyttää, mitä se tekee, miltä se tuntuu – mutta naukumista itsessään ne analysoivat kokonaisuutena ilman tarvetta ajallisesti täsmälliseen prosessointiin”, Anni Nora kertoo.

Kokemus voi kehittää ajallista tarkkuutta

Ajallisesti tarkkoja äänten käsittelyn malleja on käytetty aikaisemminkin aivotutkimuksessa, Tutkija Ali Faisalin kehittämän, skaalautuvan menetelmän ansiosta tutkijat pystyivät nyt soveltamaan malleja koko aivojen alueelta kerättyyn mittausdataan ja vertaamaan näiden koneoppimismallien avulla ensimmäistä kertaa puheen ja muiden äänten käsittelyä.

Aiempien tutkimusten valossa puheen käsittelytapa saattaa kehittyä ensimmäisten elinvuosien aikana, kun lapsi altistuu vahvasti omalle äidinkielelleen.

Tutkijat aikovat seuraavaksi hyödyntää luonnollisia ääniympäristöjä, kuten osana ympäristön ääniä kuuluvaa puhetta, sekä analysoida puheakustiikan vaikutuksia äänten käsittelyyn. He toivovat selvittävänsä myös, synnyttääkö tiettyihin ääniin erikoistuminen samanlaista aikaan sidottua prosessointia kuin puheen kohdalla havaittiin.

”Tätä voitaisiin tutkia esimerkiksi soitinäänten käsittelyyn erikoistuneilla muusikoilla”, Anni Nora kertoo.

Tutkijat uskovat, että koneoppimismalleja voidaan hyödyntää esimerkiksi puheen käsittelyn häiriöiden tutkimisessa.

Lue Lisää:

Dynamic time-locking mechanism in the cortical representation of spoken words http://dx.doi.org/10.1523/ENEURO.0475-19.2020

Lisätietoja:

Tutkija Anni Nora, Aalto-yliopisto
[email protected]

Professori Riitta Salmelin, Aalto-yliopisto
puh. 050 344 2745
[email protected]

  • Julkaistu:
  • Päivitetty:
Jaa
URL kopioitu

Lue lisää uutisia

Muovinen tutkimuksessa käytetty pää, johon on kiinnitetty mikrofoni.
Mediatiedotteet Julkaistu:

Äänen suunnan katoaminen voi olla epämukavaa ja jopa vaarallista – tutkijat keksivät, miten ongelma korjataan kuulolaitteissa, pelastajien kuulokkeissa ja VR-sovelluksissa

Uusi signaalinkäsittelyn malli mahdollistaa sekä tarkan tilaäänen toiston että äänen säätämisen esimerkiksi kuulovammaisten tarpeisiin.
Two models wearing grey solar cell clothing.
Mediatiedotteet Julkaistu:

Tutkijat kehittivät vaatteisiin näkymätöntä aurinkokennoteknologiaa, joka kestää konepesua

Tutkijat kehittivät tekstiileihin pesunkestävää aurinkokennoteknologiaa, joka voidaan myös piilottaa kankaan alle. Kennojen näkymättömyys suojaa niitä - ja tekee vaatteista houkuttelevampia, sanovat fysiikan ja muotoilun tutkijat. Lupaavia sovelluskohteita löytyy esimerkiksi työ- ja retkeilyvaatteista sekä valoon reagoivista verhoista.
A night sky with the northern lights visible behind the silhouettes of trees. / Yötaivas, jossa revontulet näkyvät puiden siluettien takana.
Mediatiedotteet Julkaistu:

Revontuulten äänet voi kuulla, vaikka niistä ei taivaalla näy vilaustakaan

Äänitallenteet paljastavat, että geomagneettiseen aktiivisuuteen liittyy ääniä, vaikka aktiivisuus olisi liian heikkoa saadakseen aikaan näkyviä revontulia
Ensimmäinen kuva Linnunradan keskellä olevasta mustasta aukosta. Kuva: EHT Collaboration
Mediatiedotteet Julkaistu:

Tähtitieteilijät paljastivat ensimmäisen kuvan galaksimme ytimessä olevasta mustasta aukosta

Aalto-yliopiston, Turun yliopiston sekä Suomen ESO-keskuksen tutkijat osallistuivat käänteentekevän kuvan ottamiseen.