Tekoälyn hyödyntäminen vastuullisesti osana opetuksen ja koulutuksen kehittämistä 

Koulutuksen palauteperiaatteet ohjaavat kaikkea työskentelyämme opiskelijapalautteen parissa. Niiden tavoitteena on tukea vuorovaikutteista, vaikuttavaa ja virtaviivaista palautekulttuuria Aallossa. Opiskelijapalaute on arvokas työkalu, jonka hyödyntämiseen haluamme panostaa. Tekoälyä voidaan hyödyntää palautteen käsittelyn apuvälineenä, mutta se ei korvaa ihmisen tekemää palautteen käsittelyä. Tekoäly voi esimerkiksi poimia esiin aiheita, luokitella vastauksia tai etsiä yhteyksiä, etenkin silloin kun käsiteltävänä on suuri määrä avoimia vastauksia. Tekoälyn tuotokset on kuitenkin aina tarkastettava ihmisen toimesta.

Aalto AI Assistant on yliopiston tarjoama tekoälytyökalu, jota voi hyödyntää osana opiskelijapalautteen analyysiä. Nämä ohjeet opastavat tekoälyn turvalliseen ja vastuulliseen käyttöön palautteen analysoinnissa. Oheinen ohje pyrkii avustamaan sinua käsittelyprosessissa.

Ennen palautteen keräämistä 

1. Huomio vastuullisuus

Eettisen toiminnan varmistamiseksi, perehdythän ennalta opiskelijapalautetta ja tekoälyä koskeviin ohjeisiin ja periaatteisiin mikäli ne eivät ole sinulle tuttuja. Vastuullinen tiedonkäyttö on osa Aallon eettisiä periaatteita. Olet vastuussa keräämäsi ja käsittelemäsi tiedon säilyttämisestä, käsittelemisestä ja jakamisesta ohjeiden mukaisesti. Varmista myös avoimuus: kun tiedät suunnittelevasi tekoälyn hyödyntämistä osana analyysiprosesseja, valmistaudu kertomaan siitä vastaajillesi: sen voi tehdä luennoilla, kyselyyn liittyvässä viestinnässä tai itse kyselyssä. 

2. Harkitse mitä kysyt kun muotoilet kyselyä

Kun suunnittelet palautteen keräämistä, muotoile kysymykset siten, etteivät ne ohjaa vastaajia paljastamaan henkilöllisyyttään tai esimerkiksi terveystietojaan. Älä myöskään kysy mitään turhaa, eli sellaista mihin saatuja vastauksia ei aiota hyödyntää. Palautteen vaikuttavuuden näkökulmasta sen keräämisen päämäärä on mietittävä aina ennalta. 

3. Ohjeista vastaajia kyselyn viestinnässä 

Opiskelijoita on syytä ohjeistaa vastaamaan ilman tunnistetietoja tai terveystietoja. Voit tehdä sen luennoilla, kyselyn viestintämateriaaleissa ja / tai itse kyselyssä. Informoi samalla vastaajiasi käsittelyn tavoista ja tavoitteista.

Joskus palautelomakkeella on vielä muistutus asiasta, esimerkiksi kurssipalautteen palautelomakkeella lukee "Ethän kirjoita palautteeseen luottamuksellisia tai salaisia tietoja, kuten omia tai muiden henkilö- tai terveystietoja." Tiedon luokittelun perusohjeessa on lisätietoja siitä, millaisia tietoja saa käsitellä ja tallentaa eri järjestelmissä ja palveluissa. Varmista, että vastaajasi ovat tietoisia siitä, miten heidän vastauksiaan käytetään opetuksen ja koulutuksen kehittämisessä. Tutkimuksen tekeminen opiskelijapalautteista etenee aina tutkimuslupaprosessin kautta ennen tutkimuksen aloittamista.

Palautteen käsittely ennen tekoäly-avusteista analyysiä

4. Valikoi tekoälyllä käsiteltävä osa datasta

Tarkastele saamaasi dataa. Vaikuttavatko vastaajat ymmärtäneen kysymykset haluamasi tavalla? Onko joku sisällyttänyt vastauksiin tietoja, joista voidaan tunnistaa henkilö tai henkilöitä? Opiskelijapalautteen käsittelyyn liittyvä vastuu tietoturvasta korostuu tekoälytyökaluja hyödynnettäessä. Päätä, mihin osiin datan analyysiä tarvitset tekoälyn apua, ja irrota se kaikesta muusta datasta. Erityisen tärkeää on irrottaa analysoitavasta datasta kaikki sellainen data, joka voisi identifioida vastaajan. Vastaajalistat ja vastauksissa esiintyvät nimet ovat tästä yksi konkreettinen esimerkki. Muista huomioida myös epäsuorat tunnisteet, joita yhdistelemällä vastaajan voi tunnistaa. Esimerkiksi hyvin pienillä kursseilla yhdistelmä pääaineesta, opintojen aloitusvuodesta ja opintopistekertymästä, jos niitä on kysytty palautteen yhteydessä, voivat olla riittäviä yksilöimään vastaajan. Tunnistetiedot tai sensitiiviset tiedot eivät kuulu koulutuksen kehittämiseen, eivätkä etenkään tekoälyä hyödyntäviin analyyseihin.

Tekoälyn hyödyntäminen palautteen käsittelyprosessissa ei korvaa ihmistä, vaan toimii apuvälineenä, ja sen rajoitteet on tärkeää tiedostaa. Pienten palautemäärien käsittelyssä ei useinkaan tarvita tekoälyn apua. 

Palautteen käsittely tekoälyn avulla

5.  Käsittele data Aalto AI Assistantin avulla

Kun olet irrottanut alkuperäisestä datasetistäsi tekoälyn käsiteltäväksi sopivan datan, voit viedä sen Aalto AI Assistantiin. Kun käytät generatiivista tekoälyä opiskelijapalautteiden analysointiin, käytä aina Aalto AI Assistanttia, sillä se on ainoa opiskelijapalautteen käsittelyyn sallittu tekoälytyökalu Aalto-yliopistossa. Aalto AI Assistantin käyttö varmistaa, ettei siihen syötettyä dataa tai kehotteita hyödynnetä tekoälymallin opettamiseen. Voit hyödyntää Aalto AI Assistanttia esimerkiksi teemoittelemaan vastauksia, tekemään yhteenvetoja tai hahmottamaan kuinka sinua kiinnostavat aiheet tulevat esiin vastauksissa. Muista aina tarkistaa tekoälyn tulokset kriittisesti ennen niiden hyödyntämistä osana kehittämistyötä.  Kun analyysisi on valmis, muista aina poistaa käyttämäsi data ja käymäsi keskustelut Aalto AI Assistantista. Tarkemmat ohjeet tähän löydät Aalto AI Assistantin ohjeista. 

Tekoälystä voi olla hyötyä, kun haluat etsiä ja käsitellä tiettyä toistuvaa aihetta koskevat palautteet suurista palautemääristä. Se ei välttämättä osaa poimia kaikkea tarpeellista esiin, kun halutaan tunnistaa harvemmin esiintyviä saavutettavuusongelmia tai opiskelijoiden huolia. Viimekädessä palautteen prosessointi ja jatkotoimenpiteet ovat aina ihmisen vastuulla. 

Esimerkkejä Aalto AI Assistantin prompteista auttamaan opiskelijapalautteiden analyysiä

• "Kehität yliopiston maisteritasoista kurssia. Poimi kurssin opiskelijapalautteesta kaikista useimmiten esiintyvät kurssia koskevat kehitysehdotukset sekä positiiviset palautteet ja tee niistä tiiviit bullet point -listat."
• "Kehität peruskurssin opetuksen sisältöjä. Erottele opiskelijapalautteesta aiheet, jotka ovat olleet opiskelijoiden mielestä vaikeaselkoisia. Arvioi mitkä aiheet mainitaan yleensä yhdessä, ja kuinka usein eri aiheet mainitaan."
• "Olet opetuksen kehittämistä tekevä opettajan assistentti. Valitse oheisista palautteista ne, jotka koskevat sähköisiä opintojärjestelmiä, ja analysoi millaisia teemoja niihin liittyen esiintyy. Järjestä ne yleisimmistä harvinaisempiin."
• "Autat opettajaa suunnittelemaan kurssijärjestelyjä ensi vuodelle. Valikoi palautteesta järjestelyihin liittyvät palautteet, jaottele ne sen mukaan koskevatko ne fyysisiä tiloja, luentoaikatauluja vai harjoitustilaisuuksia, ja kuvaile opiskelijoiden kokemuksia."
• "Tunnista opiskelijapalautteesta keskeiset teemat, kuten opetuksen laatu, opiskelijapalvelut, oppimisympäristöt ja hyvinvointi. Huomioi myös uudet tai yllättävät näkökulmat. Laadi havainnoista suositusehdotuksia, jotka auttavat yliopiston oppimispalveluita parantamaan opiskelijakokemusta ja vastaavat paremmin tarpeisiin."

Voit kokeilla hyödyntää myös Aalto AI Assistantin tarjoamaa Prompt bookia. Kannattaa kokeilla erilaisia prompteja löytääksesi parhaiten tarpeisiisi toimivat.

6. Prosessoi ja jaa tulokset

Muista, että tekoälyn hyödyntäminen palautteen käsittelyssä ei vielä tarkoita prosessoitua palautetta. Tekoälyn tuotokset voivat auttaa palautteen reflektoimisessa, mutta ne on tarkastettava ja jatkokehitystoimenpiteet on päätettävä ja vietävä käytöntöön ihmisen toimesta. Vertaiskeskustelut palautteesta ja kehitystoimista ovat osoittautuneet erittäin hyödyllisiksi. On tärkeää, että palautteiden vaikutus opetukseen ja koulutukseen on näkyvää myös opiskelijoiden suuntaan. Kannustammekin jakamaan palauteanalyysisi tuloksia sidosryhmiesi, opiskelijoidesi ja kollegoidesi kanssa avoimesti. Jakaessasi havaintojasi ja tuloksiasi, varmista kuitenkin, että yleisölläsi on oikeus nähdä sen tason tietoa, joita aiot jakaa. 

Lue myös: Uudet PowerBI-raporttinäkymät kurssipalautteesta julkaistu | Aalto-yliopisto

Esimerkkitapauksia

CASE 1. Olli Opettaja  

• Millaista palautedataa haluan analysoida? Olli opettaa massakurssia, jolla on lähes 200 opiskelijaa ja kerää kurssin lopuksi heiltä loppupalautteen. Loppupalautteeseen sisältyy automaattisesti Aalto- ja koulukysymykset, mutta Olli haluaa lisätä myös muutaman oman, kurssikohtaisen kysymyksen. Näitä kysymyksiä laatiessaan hän kiinnittää erityistä huomiota siihen, että kysymykset tuottavat hänelle kurssin kehittämisen kannalta hyödyllistä tietoa ja etteivät ne kannusta opiskelijoita antamaan tunnistettavia tietoja itsestään. Olli on varannut kurssin viimeiseltä kerralta kymmenen minuuttia loppupalautteen antamiselle ja tätä ennen hän muistuttaa opiskelijoita palautteen antamisen tärkeydestä sekä hyvistä vastaustavoista, ja kertoo opiskelijoille aikovansa kokeilla tekoälyn käyttöä osana palautteen analysointiprosessia.
• Mikä on analyysini päämäärä? Ollin kerättyä loppupalautteen, hänen analyysinsa päämäärä on saada yleiskäsitys sadoista avovastauksista pyytämällä tekoälyä poimimaan useimmin toistuvat palautteen aiheet ja luokittelemaan ne relevanttien pääotsikoiden alle. Tätä varten Olli syöttää tekoälylle kurssin loppupalautteen avokysymysdatan ja ohjeistaa tekoälyä poimimaan ja luokittelemaan siinä toistuvia teemoja. 
• Voinko syöttää palautedatan sellaisenaan tekoälylle? Ennen palautedatan syöttämistä tekoälylle, Olli tarkistaa, ettei kukaan ole kirjoittanut esimerkiksi nimiä tai muita henkilön tunnistamisen mahdollistavia tietoja palautteeseen. Vastaajalistan Olli tietää ehdottomasti jättää laittamatta tekoälylle. 
• Mitä työkalua voin käyttää? Olli käyttää palautteen käsittelyssä Aalto-yliopiston omaa tietoturvallista Aalto AI Assistantia, joka on ainoa Aallossa hyväksytty tekoälytyökalu palautteen käsittelemiseen. 
• Miten käsittelen analyysin tuloksia? Kun Olli saa tekoälyavusteisen analyysinsa valmiiksi, hän käy sen kriittisesti läpi, peilaten sitä raakadataan, ja toteaa, että tekoäly on vetänyt muutaman mutkan suoraksi. Hän korjaa analyysin tuloksia tämän osalta ja lisää samalla sellaisia omia havaintojaan kurssista ja palautteista, joita tekoäly ei ollut huomioinut. Nyt Ollille on muodostunut hyvä kokonaiskuva palautteesta ja hänen on helppo itse poimia siitä prioritoitavat kehittämiskohteet sekä jalostaa ne konkreettisiksi toimenpiteiksi. Jäljelle jää niiden vieminen käytäntöön seuraavalla kurssitoteutuksella.
• Miten viestin tuloksista? Olli keskustelee palautteesta opettajakollegoidensa kanssa. Lisäksi hänellä on tapana hyödyntää MyCoursesin kurssipalautetyökalun vastapalauteominaisuutta, jolla hän kiittää opiskelijoita palautteesta, nostaa siitä esiin muutamia ydinasioita ja kertoo seuraavan toteutuksen kehittämisalueet ja toimenpiteet avoimesti opiskelijoille. Näin opiskelijat tietävät, että heidän antamallaan palautteella on vaikutusta. Samoin Olli tiivistää keskeisimmät palautteet ja kertoo sen pohjalta valikoituneet kehittämisalueet ja toimenpiteet heti seuraavan kurssin alussa uusille opiskelijoille.

CASE 2. Leena LES-asiantuntija  

• Millaista palautedataa haluan analysoida? Leena haluaa tarkastella valmistuneiden opiskelijoiden valtakunnallisista palautteista, millaista palautetta opiskelijat ovat antaneet opintopalveluiden tarjoamista opiskelijoiden tukipalveluista, verratakseen ovatko tänä vuonna lisätyt palvelut muuttaneet opiskelijoiden kokemuksia verraten aikaisempiin vuosiin. Hän tarkistaa palautteiden tietosuojailmoitukset, varmistaen että hänen suunnittelemansa analysointi on niiden mukaista. Hän valikoi avovastausdataa valmistuneiden opiskelijoiden palautteista eri vuosilta, valikoiden sellaisia avovastauskysymyksiä, jotka kehottavat opiskelijoita antamaan palautetta yliopistolle palveluihin liittyen. Hän varmistaa, ettei vastauskentissä ole tunnistamisen mahdollistavia tietoja.
• Mikä on analyysini päämäärä? Leenan tavoitteena on verrata laadullista palautetta eri valmistumisvuosien välillä, ja etsiä millaisia teemoja palautteesta nousee palveluihin liittyen. Hän haluaa myös tutkia, liittyykö eri teemoihin sävyiltään erilaisia avoimia palautteita eri vuosina tunnistaakseen opiskelijoiden hyväksi kokemia palveluita, ja etsiäkseen mahdollisia kehityskohteita. 
• Voinko syöttää palautedatan sellaisenaan tekoälylle? Ennen palautedatan syöttämistä tekoälylle, Leena tarkistaa, ettei kukaan ole kirjoittanut esimerkiksi nimiä tai muita henkilötietoja palautteeseen. Hän ei yhdistä valitsemiinsa avovastauskenttiin sellaisia tietokenttiä, jotka voisivat tunnistaa vastaajia. 
• Mitä työkalua voin käyttää? Leena käyttää palautteen käsittelyssä Aalto-yliopiston omaa tietoturvallista Aalto AI Assistantia, koska se on ainut hyväksytty työkalu palautteen käsittelemiseen. 
• Miten käsittelen analyysin tuloksia? Kun Leena antaa palautteen tekoälyn käsiteltäväksi, hän ohjaa sitä käsittelemään palautetta haluamallaan tavalla: hän esittää tarkat rajat tekoälylle, ja ohjaa sen etsimään haluamiaan tietoja. Hän käsittelee kunkin vuoden palautteen ensin vuosi kerrallaan, ja hioo tuloksia kysymällä jatkokysymyksiä ja selvennyksiä. Saatuaan hyvän käsityksen kunkin vuoden palautteista, hän pyytää vielä tekoälyä vertailemaan eri vuosien palautteita, ja vertaa sitten tekoälyn tuloksia omaan tulkintaansa. Hän valikoi käsiteltäväksi sopivia teemoja, ja konsultoi kollegoitaan tuloksista. Yhteistyössä muiden asiantuntijoiden kanssa tulokset valikoidaan ja muodostetaan luonnos toimintasuunnitelmasta. 
• Miten viestin tuloksista? Leena ja muut asiantuntijat jakavat tuloksensa ja keskusteluttavat luonnostelemansa toimintasuunnitelmansa laajemmin yhteisössä. Yhteisön kommenttien avulla valikoidaan jatkotoimenpiteitä ja muodostetaan yhteistyösuunnitelmia. Esiin nousseiden uusien kysymysten pohjalta tarkastellaan dataa uudestaan nousseista näkökulmista, ja hiotaan tarkennuksia jatkosuunnitelmiin.