Tutkimukselle ja opetukselle oma rajapinta suurelle kielimallille

Aallon tutkimusohjelmistokehittäjät ja IT-palvelujen tekoälytyöryhmä ovat julkaisseet paikallisen suurkielimalli‑yhdyskäytävän (LLM gateway). Yhdyskäytävä on täysin paikallinen, ohjelmointirajapinnan (API) kautta käytettävä LLM‑päätepiste, joka on tarkoitettu ohjelmalliseen käyttöön tutkimuksessa, opetuksessa ja kehitystyössä.

Ihan aluksi: mikä on LLM‑päätepiste ja mitä API tarkoittaa?

Suuri kielimalli (LLM) on tekstin tuottava “moottori”. Esimerkiksi chatbotit, koodausavustajat ja AI‑agentit käyttävät suurta kielimallia. Suuren kielimallin ollessa moottorina tarvitset silti muutakin monimutkaisten tehtävien suorittamiseen. Tämä muu osa autosta on päättely (inference).

Päättelyssä (inference) tekoälymallia käytetään tuottamaan vastaus antamasi syötteen (promptin) pohjalta. Syöte on monelle meistä tuttu tapa olla vuorovaikutuksessa kielimallin kanssa erilaisten chatbot‑käyttöliittymien, kuten Aalto AI Assistantin, kautta.

Ohjelmointirajapinnan (API) kautta käytettävä päätepiste on kielimalliin ja päättelyyn johtava tekninen sisäänkäynti. Et käytä chat-käyttöliittymää, vaan kytkeydyt suurkielimalliin esimerkiksi ohjelmakoodilla, AI‑agentin avulla, koodausavustajalla (esimerkiksi Codex tai Claude Code), uudella räätälöidyllä sovelluksella tai vaikkapa opetusharjoituksella. Chatbotit eivät enää rajoita sinua ja voit esimerkiksi ottaa suurkielimallin uudeksi rakennuspalikaksi tutkimukseen ja opetukseen.

Miksi tämä on tärkeää? Mihin me tarvitsemme tätä?

Suurten teknologiayritysten tekoälytyökalut ovat tehokkaita ja helppokäyttöisiä, mutta ne eivät aina tarjoa parasta ympäristöä yliopistossa tehtävään työhön. Tutkimusaineisto voi sisältää luottamuksellisia haastatteluja, julkaisemattomia käsikirjoituksia, arkaluonteista hankemateriaalia, lähdekoodia ja niin edelleen.

Opetuksen käyttötapaukset voivat sisältää opiskelijatöitä, joiden ei pitäisi päätyä pilviympäristöön. Aallolla on toki luottamukselliset sopimusjärjestelyt EU-alueella sijaitsevan Microsoft Azure -päätepisteen kanssa. Uusi, aidosti paikallinen käyttöympäristö tarjoaa kuitenkin riippumattoman vaihtoehdon, joka ei ole sidottu ulkoisten palveluntarjoajien politiikka- tai hintamuutoksiin.

Paikallisen LLM‑päätepisteen avulla Aalto saa paremman hallinnan

Paikallinen LLM‑päätepiste antaa tutkijoille ja opettajille mahdollisuuden työskennellä paikallisten tekoälymallien kanssa ilman tehokasta tietokonetta tai asentamatta tilaa vieviä malleja. AI‑infrastruktuurin ollessa Aallon omassa hallinnassa myös toistettavuudesta on helpompi huolehtia, mallien vanhat versiot eivät katoa kuten suurilla palveluntarjoajilla voi käydä. Lisäksi vältetään toimittajaloukku, mikä parantaa resilienssiä. Täysi hallinta varmistaa myös digitaalisen suvereniteetin, joka on yhä tärkeämpää tämän päivän geopoliittisessa tilanteessa.

Lue lisätietoja paikallisen LLM‑päätepisteen käytöstä the Local LLM web -sivulta (englanniksi).

Aallon AI‑strategian työkalupakki

Nyt julkaistu paikallinen LLM‑yhdyskäytävä edistää vastuullista AI:n käyttöönottoa tutkimuksessa ja opetuksessa ja on hyvä lisä Aallon kasvavaan AI‑strategian työkalupakkiin.

Aalto AI Assistantin tuore päivitys toi mukaan täysin paikallisen GPT‑OSS‑mallivaihtoehdon, joka on erinomainen tapa aloittaa paikallisten LLM‑mallien kokeilu.

Speech2Text mahdollistaa haastattelujen ja ääniaineistojen litteroinnin Aallon omassa ympäristössä paikallisesti ajetulla OpenAI Whisper ‑mallilla. Tämä on erityisen tärkeää luottamuksellisissa haastatteluissa ja laadullisessa tutkimuksessa, joissa äänitteitä ei aina ole suotavaa lähettää ulkoisiin palveluihin.

Tutkijoille, joiden tarvitsee kokeilla harvinaisempia avoimia LLM-malleja, on tarjolla Triton Aalto HPC-klusteri. Se peilaa jo lähes 300 open‑weights‑mallia, joita voi ajaa päättelyyn klusterin yli 280 GPU:lla. Triton on myös turvallisin paikka aloittaa AI‑koodausagenttien käyttö. Lisätietoja AI‑agenteista löytyy ohjeesta “AI Agents on HPC”.

Opetuksen näkökulmasta MyCourses AI Assistant tuo Aallon AI‑infrastruktuurin opetuksen ja oppimisen keskelle. Se on Aalto AI Assistantin kanssa samaa taustajärjestelmää käyttävä Moodle‑lisäosa. Opettajat voivat ottaa sen käyttöön kursseillaan, tarjoten opiskelijoille mahdollisuuden keskustella kurssin aiheista ja käyttää valittuja kurssimateriaaleja suurkielimallin kontekstina ilman erillisiä ulkoisia AI‑työkaluja.

Ehdota seuraavaa AI‑työkalua Aallon työkalupakkiin

Kokeile nopeasti ja testaa ratkaisuja asiantuntijatiimin kanssa: 

Tutkimukseen liittyvä kehitysidea, tekoälyllä tai ilman tekoälyä? Ota yhteyttä Aallon tutkimusohjelmistokehittäjiin.

Yksittäistä tutkimusprojektia laajempi kehitysidea? Ota yhteyttä IT‑palveluiden AI‑työryhmään. Viemme pyyntöäsi eteenpäin ja toimitamme sinulle ratkaisun.