Course Outline

Perkenalan

  • Tinjauan umum tantangan penskalaan pembelajaran mendalam
  • Ikhtisar DeepSpeed dan fitur-fiturnya
  • DeepSpeed vs. pustaka pembelajaran mendalam terdistribusi lainnya

Memulai

  • Menyiapkan lingkungan pengembangan
  • Menginstal PyTorch dan DeepSpeed
  • Mengonfigurasi DeepSpeed untuk pelatihan terdistribusi

Fitur Optimasi DeepSpeed

  • Alur pelatihan DeepSpeed
  • ZeRO (optimasi memori)
  • Titik pemeriksaan aktivasi
  • Titik pemeriksaan gradien
  • Paralelisme pipa

Skala Model dengan DeepSpeed

  • Penskalaan dasar menggunakan DeepSpeed
  • Teknik penskalaan tingkat lanjut
  • Pertimbangan kinerja dan praktik terbaik
  • Teknik debugging dan pemecahan masalah

Topik DeepSpeed Lanjutan

  • Teknik optimasi lanjutan
  • Menggunakan DeepSpeed dengan pelatihan presisi campuran
  • DeepSpeed pada perangkat keras yang berbeda (misalnya GPU, TPU)
  • DeepSpeed dengan beberapa node pelatihan

Mengintegrasikan DeepSpeed dengan PyTorch

  • Mengintegrasikan DeepSpeed dengan alur kerja PyTorch
  • Menggunakan DeepSpeed dengan PyTorch Lightning

Penyelesaian Masalah

  • Men-debug masalah umum DeepSpeed
  • Pemantauan dan pencatatan

Ringkasan dan Langkah Berikutnya

  • Rekap konsep dan fitur utama
  • Praktik terbaik untuk menggunakan DeepSpeed dalam produksi
  • Sumber daya lebih lanjut untuk mempelajari lebih lanjut tentang DeepSpeed

Requirements

  • Pengetahuan menengah tentang prinsip-prinsip pembelajaran mendalam
  • Pengalaman dengan PyTorch atau framework deep learning serupa
  • Keakraban dengan pemrograman Python

Hadirin

  • Ilmuwan data
  • Insinyur pembelajaran mesin
  • Pengembang
 21 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories