Machine learning on HPC: Advanced Workflows and Tools

Kiinnostaako, miten tekoälyajoja voi pyörittää tehokkaasti LUMI-superkoneella? Mietitkö, kuinka hallita hyperparametrihakua tai treenata malleja useilla GPU:illa? Tule mukaan torstaina 21. elokuuta klo 13.00–15.30 (Helsingin aikaa) verkkotilaisuuteen, jossa luvassa on puheita ja demoja edistyneistä AI-työnkuluista HPC-ympäristöissä.

Tilaisuudessa opit, miten käynnistää tekoälytehtäviä LUMI:lla Slurmilla, tehdä hyperparametrihakuja, hyödyntää job array -ajoja sekä treenata malleja HuggingFace Acceleratella käyttäen multi-GPU-ratkaisuja ja kvantisointitekniikoita.

Tapahtuman järjestää Aalto Scientific Computing yhteistyössä CSC – Tieteen tietotekniikan keskuksen kanssa ja LUMI AI Factory. Tilaisuudesta ei saa opintopisteitä; ohjelma koostuu puheista ja demoista. LUMI AI Factory is funded jointly by the EuroHPC Joint Undertaking, and the Participating States Finland, the Czech Republic, Denmark, Estonia, Norway, and Poland.

Aikataulu

• 13:00 - 13:30: Moving AI Jobs to LUMI: Slurm and Job Launchers
  • Speakers: Mats Sjöberg (CSC)
  • Overview of how to run AI tasks on LUMI, advanced Slurm usage, job launchers, and lessons learned beyond the basic Practical Deep Learning course. [Slides]
• 13:30 - 13:45: Q&A
• 13:45 - 14:15: Hyperparameter Search on HPC
  • Speakers: Oskar Taubert (CSC) & Simo Tuomisto (Aalto Scientific Computing)
  • Practical approaches to hyperparameter optimization like running a parameter sweep as array jobs or using search frameworks like Propulate. [Slides] [Code]
• 14:15 - 14:30: Q&A
• 14:30 - 15:00: Training with HuggingFace Accelerate: Multi-GPU and Quantization
  • Speakers: Simo Tuomisto (ASC) & Yu Tian (ASC)
  • Live demo of using HuggingFace Accelerate for scaling training, quantization techniques, and model deployment tips. [Slides]
• 15:00 - 15:30: Open Q&A + Panel discussion

About the speakers

Mats Sjöberg works as a Senior Machine Learning Specialist at CSC, where he develops and supports the machine learning environments in CSC's supercomputers. 

Oskar Taubert works as a Machine Learning Specialist at CSC, where he supports scientific projects focused on scalable machine learning.

Yu Tian works as a research software engineer at Aalto university, supporting researchers working with machine learning and medical research.

Simo Tuomisto works as a research software engineer at Aalto university, contributing to research projects on computational physics and deep learning.

Lisätietoja ja kysymyksiä varten ota yhteyttä Enrico Glereaniin tai kehen tahansa luetelluista puhujista.