Ohjeita Tritonin ja LUMIn käyttöönottoon
Kirjautuminen Tritoniin
Pääsy Tritoniin tapahtuu ensin luomalla tili ja sitten yhteys Tritoniin.
-
Tilin luominen:
Triton käyttää Aallon käyttäjätiliä, mutta tili tulee ensin aktivoida:
Aallon käyttäjän tulee pyytää pääsyä Tritoniin seuraavalla sivulla olevan lomakkeen kautta kohdasta "Tieteellinen laskenta" ja sen alla "Triton: New user account":
https://selfservice.esupport.aalto.fi/ssc/app#/home/ -
Yhteyden luominen:
Yhteys luodaan SSH etäyhteyden kautta seuraavalla komennolla:
ssh triton.aalto.fi
Tai jos käyttäjänimesi on eri, käytä seuraavaa komentoa:
ssh KÄYTTÄJÄNIMI@triton.aalto.fi
Tarvittaessa voit lisätä flagin -X, jos käytät graafisia applikaatioita.
Komento aukaisee terminaaliin tilan, jonka kautta Tritonia käytetään. Komennon ajaessa Triton saattaa pyytää salasanaa kirjautumiseen. Salasana on sama kuin Aalto-käyttäjätunnuksella. 0
Lisää tietoa ja ohjeita löydät osoitteesta: https://scicomp.aalto.fi/triton/quickstart/connecting/
Triton FAQ osoitteessa: https://scicomp.aalto.fi/triton/usage/faq/
Tritonin käyttäminen
Yleisiä ohjeita Tritonin käyttämiseen:
-
Yhdistäminen Tritoniin on mahdollista tehdä yllä olevan esimerkin mukaisesti ssh:n kautta Aallon verkossa. ssh:lla yhdistäminen on mahdollista muualtakin verkosta Aalto VPN:n avulla.
Muita vaihtoehtoja yhdistämiseen ovat web-pohjainen käyttöliittymä Open OnDemand, Jyputer ja VS Code:n "remote-SSH" lisäosa.
Lisää tietoa yhdistämisestä löydät osoitteesta: https://scicomp.aalto.fi/triton/quickstart/connecting/
Lista päivittyy
Singularity ja Triton
-
Singularityn käyttäminen Tritonin valmiiksi luoduilla moduuleilla.
Jotkin Tritonin moduuleista aktivoivat automaattisesti Singularity imagen. Oikean imagen valittaessa ympäristön muuttujia asennetaan ja mahdollistetaan apptainer_wrapper käyttö.
apptainer_wrapper sisältää kolme komentoa:
1) apptainer_wrapper shell [SHELL]
mikä antaa käyttäjälle shellin käyttöön imageen2) apptainer_wrapper exec CMD
mikä ajaa ohjelman imagen sisällä3) apptainer_wrapper PARAMETRIT
ajaa Apptainer/Singularity imagen
-
Singularity imagen siirtäminen Tritoniin
1) Lokaalisti luodun imagen siirtäminen tapahtuu käyttämällä komentoa scp tai rsync:
scp <kontin-nimi>.sif KÄYTTÄJÄNIMI@triton.osoite:polku/tritoniin/
rsync -avh <kontin-nimi>.sif KÄYTTÄJÄNIMI@triton.osoite:polku/tritoniin/
Tämän jälkeen Singularity ladataan ja ajetaan seuraavanlaisesti:
module load singularity
singularity exec <kontin-nimi>.sif python script.py2) Singularity definition-tiedoston siirtäminen ja rakentaminen Tritonissa tapahtuu scp -komennon avulla:
scp <kontin-nimi>.def KÄYTTÄJÄNIMI@triton.osoite:polku/tritoniin/
Tämän jälkeen Singularity ladataan ja ajetaan seuraavanlaisesti:
module load singularity
singularity build <kontin-nimi>.sif <kontin-nimi>.defJos kontti on suuri tai tarvitsee vain Tritonista löytyviä kirjastoja, tämä tapa on kannattavin.
Lista päivittyy
Kirjautuminen LUMI:iin ja projektin aloittaminen
Pääsy LUMI:iin tapahtuu ensin käyttäjätilin luomisella ja sen jälkeen projektin luomisella tai projektiin liittymisellä. Tilin luomisen jälkeen LUMI:a on mahdollista käyttää terminaalin tai MyCSC-sivun kautta. Ohjeet terminaalin käyttöönottoon löydät alemmasta LUMI:n käyttäminen -osiosta.
-
Käyttäjätilin luominen:
Aallon käyttäjät luovat tilin Haka-kirjautumisen kautta. Käyttäjätilin luominen tapahtuu seuraavien kohtien avulla:
1. Mene osoitteeseen: https://my.csc.fi/welcome.
2. Paina "Create account".
3. Valitse Haka-kirjautuminen ja sen jälkeen Aalto-yliopisto.
4. Täytä tietosi tilin luomisen sivulla.
5. Seuraavaksi saat sähköpostin, jossa on linkki MyCSC-sivulle CSC-tilisi salasanan asettamiseksi.
6. Onnistuneen rekisteröinnin jälkeen saat vahvistussähköpostin. Jos et tällaista saa, voit kokeilla kirjautua sisään ja jos sekään ei onnistu, voit kokeilla luoda tilin uudestaan.
Tilin luomisen jälkeen voit kirjautua sisään osoitteessa: https://my.csc.fi/login ja valitsemalla Haka-kirjautumisen.
-
Projektin luominen tai projektiin liittyminen MyCSC-sivulla:
Projektin luominen:
MyCSC-sivulla projekti luodaan kirjautumisen jälkeen valitsemalla
1. "Projects" vasemmalta valikosta
2. "+ New project" oikealta
3. projektin kategoria (kategoriat: "Academic", "Course" ja "LUMI". Lisätietoa alempaa)
4. projektin nimi sekä täyttämällä projektin kuvaus ja muut pakolliset tiedot
5. tarvitut palvelut projektiin ja säätämällä resurssipaketteja
6. lopuksi hyväksymällä ehdot
Projektiin liittyminen:
Käyttäjänä projektiin liittyminen tapahtuu hyvin helpsuoraviivaisesti MyCSC-sivulla. Kirjautumisen jälkeen valitaan "Apply project membership".
Vain projektinjohtaja voi hallinnoida projektiin kuuluvia käyttäjiä. Käyttäjiä voidaan lisätä suoraan tai kutsulinkin avulla. Lisää tietoa löytyy alla olevista linkeistä.
Lisää tietoa ja ohjeita:
- Käyttäjätilistä: https://docs.csc.fi/accounts/
- Käyttäjätilin luomisesta: https://docs.csc.fi/accounts/how-to-create-new-user-account/
- Projektin luominen tai projektiin liittyminen sekä LUMI:n kategoriat: https://docs.csc.fi/accounts/how-to-create-new-project/
- Projektin käyttäjien hallinnoiminen projektinjohtajana: https://docs.csc.fi/accounts/how-to-add-members-to-project/
LUMI:n käyttäminen
Yleisiä ohjeita LUMI:n käyttämiseen:
-
LUMI:a on mahdollista käyttää myös terminaalin kautta, jolloin sinulla tulee olla SSH avainpari luotuna. Ohjeet avainparin luomiseen löydät osoitteesta: https://docs.lumi-supercomputer.eu/firststeps/SSH-keys/
Avainparin luomisen jälkeen pääset kirjautumaan LUMI:iin terminaalin kautta komennolla
ssh -i <path-to-private-key> <username>@lumi.csc.fi
jossa <path-to-private-key> korvataan sen tiedoston osoitteella, jossa yksityinen avaimesi sijaitsee, ja <username> korvataan käyttäjänimelläsi.
Jos yhteyden muodostaminen ei onnistu, kannattaa tarkistaa ssh avaimen versio. LUMI:n vankkojen tietoturvakäytänteiden vuoksi ssh avainparin voi joutua luomaan uudestaan, sillä LUMI hyväksyy vain RSA (4096 bittinen) tai ed25519 algoritmilla tehtyjä avaimia.
Vian etsimiseksi voi ajaa seuraavan komennon, joka tulostaa terminaaliin yhteyden luomisen yrityksen vaiheet:
ssh -vvv <lumi-käyttäjätunnus>@lumi.csc.fi
Lisää tietoa SSH kirjautumisesta löydät osoitteesta:
https://docs.lumi-supercomputer.eu/firststeps/loggingin/ -
Tiedonsiirto LUMI:iin ja pois LUMI:sta
Tiedonsiirtoon on kaksi vaihtoehtoa:
1. scp (Secure Copy Protocol)
scp-komentoa voidaan käyttää tiedostojen kopioimiseen ja siirtämiseen eri UNIX-tyylisten käyttöjärjestelmien välillä. scp kopioi ja siirtää kaikki tiedostot. Tiedostoja voidaan siirtää joko lokaalin ja etähostin tai kahden etähostin välillä.Komentoa käytetään seuraavanlaisesti:
scp <alkuperäinen-polku> <määränpään-polku>
missä alkuperäinen-polku on polku siirrettävään tiedostoon, joka siirretään määränpää-polku määritettyyn paikkaan.scp <alkuperäinen-polku> [käyttäjä@]host:<määränpään-polku>
missä määränpään hostin käyttäjä on määriteltyscp [käyttäjä@]host:<alkuperäinen-polku> <määränpään-polku>
missä alkuperäisen hostin käyttäjä on määritelty2. rsync (Remote Sync)
rsync-komentoa käytetään etähostin ja lokaalin hostin synkronoimiseen. Komentoa käyttäessä kopioidun datan määrä on minimaalinen, sillä vain muokatut tiedostot kopioidaan ja siirretään. Komento on myös parempi vaihtoehto suuria tiedostoja siirrettäessä, sillä rsync tallentaa tiedostojen edistymisen.
Komentoa käytetään seuraavanlaisesti:rsync <vaihtoehdot> <alkuperäinen-polku> <määränpään-polku>
missä vaihtoehdot ovat attribuutteja/flageja, jotka suoritetaan suoraan määränpään tiedostoonrsync <vaihtoehdot> <alkuperäinen-polku> [käyttäjä@]host:<määränpään-polku>
missä määränpään hostin käyttäjä on määriteltyrsync <vaihtoehdot> [käyttäjä@]host:<alkuperäinen-polku> <määränpään-polku>
missä alkuperäisen hostin käyttäjä on määritelty
Lisää tietoa scp ja rsync -komentojen käyttämisestä osoitteessa:
https://docs.lumi-supercomputer.eu/firststeps/movingdata/
Lista päivittyy
Singularity ja LUMI
Singularity kontteja on mahdollista käyttää myös LUMI:ssa. Konttien luomiseen ja lisäämiseen on kaksi vaihtoehtoa: konttien imagejen/kuvien ottaminen rekisteristä (kuten DockerHub) tai oman Singularity SIF kontin luominen LUMI:ssa.
-
Valmiin kontin hakeminen ja ottaminen rekisteristä
Kontteja voi hakea pull-komennolla (alla haetaan Ubuntu image DockerHubista):
singularity pull docker://ubuntu:24.04
Imagejen ottamisessa kannattaa olla varovainen ja ottaa vain oikeista, vahvistetuista lähteistä välttyäkseen haavoittuvuuksilta tai jopa haittaohjelmilta. -
Oman kontin luominen
Komento singularity build vaatii pääkäyttäjän (root) oikeuksia, kuten sudo tai fakeroot käyttämistä. Nämä ovat kuitenkin poistettu käytöstä LUMI:n tietoturvakäytänteiden vuoksi.
Kontin luomiseen on kolme mahdollista tapaa:
1) containr-työkalun käyttäminen LUMI:ssa
containr ladataan seuraavilla komennoilla:
module load CrayEnv
module load containrTämän jälkeen kontteja voidaan rakentaa käyttämällä komentoa
containr build
Komentoon voi liittää joko LUMI:n suositellun pohja imagen flagilla --system tai oman pohja imagen käyttämällä flagia --<imagen-nimi>.
2) Oman kontin rakentaminen lokaalilla laitteistolla eli omalla koneella
Kun kontti tehdään omalla, lokaalilla laitteella, se siirretään LUMI:iin yllä olevasta osiosta löytyvillä tiedonsiirron ohjeilla. LUMI:iin siirrettävä tiedosto on SIF-tiedosto.
Esimerkki Singularityn definition-tiedostosta löytyy osoitteesta: https://docs.lumi-supercomputer.eu/software/containers/singularity/#building-containers-on-local-hardware.
3) Kontin rakentaminen tai laajentaminen käyttämällä Singularityn vähempien oikeuksien mahdollistavaa PRoot toimintamallia
Tämä vaihtoehto ei vaadi root-oikeuksia ja on linjassa LUMI:n tietoturvakäytänteiden kanssa.
PRoot käytetään LUMI:ssa moduuleina. Helpoin tapa on käyttää seuraavia komentoja:
module load CrayEnv
module load PRootKontille tulee määritellä deifinition-tiedosto. Tämän jälkeen image luodaan komennolla:
singularity build <imagen-nimi>.sif <def-tiedosto>.def
Lisää tietoa PRoot käytöstä LUMI:ssa löytyy osoitteesta:
https://lumi-supercomputer.github.io/LUMI-EasyBuild-docs/p/PRoot/#pre-installed-modules-and-easyconfigs
Lisää tietoa itse PRoot toimintamallista löytyy osoitteista:
https://docs.sylabs.io/guides/3.11/user-guide/build_a_container.html#unprivilged-proot-builds.
Lisää tietoa Singularityn käytöstä LUMI:ssa löydät osoitteesta:
https://docs.lumi-supercomputer.eu/software/containers/singularity/.
Kommunikaatio Tritonin ja LUMI:n välillä
päivittyy...