Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Pengantar untuk Mengoptimalkan Model Besar
- Tinjauan umum arsitektur model besar
- Tantangan dalam penyempurnaan model besar
- Pentingnya optimasi yang hemat biaya
Teknik Pelatihan Terdistribusi
- Pengantar paralelisme data dan model
- Kerangka kerja untuk pelatihan terdistribusi: PyTorch dan TensorFlow
- Skala di beberapa GPU dan node
Kuantisasi dan Pemangkasan Model
- Memahami teknik kuantisasi
- Menerapkan pemangkasan untuk mengurangi ukuran model
- Pertukaran antara akurasi dan efisiensi
Optimasi Perangkat Keras
- Memilih perangkat keras yang tepat untuk tugas-tugas fine-tuning
- Mengoptimalkan GPU dan pemanfaatan TPU
- Menggunakan akselerator khusus untuk model besar
Efisien Data Management
- Strategi untuk mengelola kumpulan data besar
- Praproses dan batching untuk kinerja
- Teknik penambahan data
Menyebarkan Model yang Dioptimalkan
- Teknik untuk menyebarkan model yang telah disesuaikan
- Memantau dan memelihara kinerja model
- Contoh nyata penerapan model yang dioptimalkan
Teknik Optimasi Lanjutan
- Menjelajahi adaptasi tingkat rendah (LoRA)
- Menggunakan adaptor untuk penyempurnaan modular
- Tren masa depan dalam optimasi model
Ringkasan dan Langkah Berikutnya
Requirements
- Pengalaman dengan kerangka pembelajaran mendalam seperti PyTorch atau TensorFlow
- Keakraban dengan model bahasa besar dan aplikasinya
- Pemahaman konsep komputasi terdistribusi
Hadirin
- Insinyur pembelajaran mesin
- Spesialis AI berbasis cloud
21 Hours