Course Outline

Pengantar untuk Mengoptimalkan Model Besar

  • Tinjauan umum arsitektur model besar
  • Tantangan dalam penyempurnaan model besar
  • Pentingnya optimasi yang hemat biaya

Teknik Pelatihan Terdistribusi

  • Pengantar paralelisme data dan model
  • Kerangka kerja untuk pelatihan terdistribusi: PyTorch dan TensorFlow
  • Skala di beberapa GPU dan node

Kuantisasi dan Pemangkasan Model

  • Memahami teknik kuantisasi
  • Menerapkan pemangkasan untuk mengurangi ukuran model
  • Pertukaran antara akurasi dan efisiensi

Optimasi Perangkat Keras

  • Memilih perangkat keras yang tepat untuk tugas-tugas fine-tuning
  • Mengoptimalkan GPU dan pemanfaatan TPU
  • Menggunakan akselerator khusus untuk model besar

Efisien Data Management

  • Strategi untuk mengelola kumpulan data besar
  • Praproses dan batching untuk kinerja
  • Teknik penambahan data

Menyebarkan Model yang Dioptimalkan

  • Teknik untuk menyebarkan model yang telah disesuaikan
  • Memantau dan memelihara kinerja model
  • Contoh nyata penerapan model yang dioptimalkan

Teknik Optimasi Lanjutan

  • Menjelajahi adaptasi tingkat rendah (LoRA)
  • Menggunakan adaptor untuk penyempurnaan modular
  • Tren masa depan dalam optimasi model

Ringkasan dan Langkah Berikutnya

Requirements

  • Pengalaman dengan kerangka pembelajaran mendalam seperti PyTorch atau TensorFlow
  • Keakraban dengan model bahasa besar dan aplikasinya
  • Pemahaman konsep komputasi terdistribusi

Hadirin

  • Insinyur pembelajaran mesin
  • Spesialis AI berbasis cloud
 21 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories