Course Outline

Pengantar Adaptasi Tingkat Rendah (LoRA)

  • Apa itu LoRA?
  • Manfaat LoRA untuk fine-tuning yang efisien
  • Perbandingan dengan metode fine-tuning tradisional

Memahami Tantangan Fine-Tuning

  • Keterbatasan fine-tuning tradisional
  • Batasan komputasi dan memori
  • Mengapa LoRA merupakan alternatif yang efektif

Menyiapkan Lingkungan

  • Menginstal Python dan pustaka yang dibutuhkan
  • Menyiapkan Hugging Face Transformer dan PyTorch
  • Menjelajahi model yang kompatibel dengan LoRA

Menerapkan LoRA

  • Tinjauan umum metodologi LoRA
  • Mengadaptasi model yang telah dilatih sebelumnya dengan LoRA
  • Penyetelan halus untuk tugas-tugas tertentu (misalnya, klasifikasi teks, peringkasan)

Mengoptimalkan Fine-Tuning dengan LoRA

  • Penyetelan hiperparameter untuk LoRA
  • Mengevaluasi kinerja model
  • Meminimalkan konsumsi sumber daya

Praktikum Praktikum

  • Penyempurnaan BERT dengan LoRA untuk klasifikasi teks
  • Menerapkan LoRA ke T5 untuk tugas ringkasan
  • Menjelajahi konfigurasi LoRA khusus untuk tugas-tugas unik

Menyebarkan Model yang Disetel LoRA

  • Mengekspor dan menyimpan model yang disetel LoRA
  • Mengintegrasikan model LoRA ke dalam aplikasi
  • Menyebarkan model di lingkungan produksi

Teknik Lanjutan dalam LoRA

  • Menggabungkan LoRA dengan metode optimasi lainnya
  • Skala LoRA untuk model dan kumpulan data yang lebih besar
  • Menjelajahi aplikasi multimoda dengan LoRA

Tantangan dan Praktik Terbaik

  • Menghindari overfitting dengan LoRA
  • Memastikan reproduktifitas dalam eksperimen
  • Strategi untuk pemecahan masalah dan debugging

Tren Masa Depan dalam Penyetelan Efisien

  • Inovasi baru dalam LoRA dan metode terkait
  • Aplikasi LoRA dalam AI dunia nyata
  • Dampak fine-tuning yang efisien pada pengembangan AI

Ringkasan dan Langkah Berikutnya

Requirements

  • Pemahaman dasar tentang konsep pembelajaran mesin
  • Keakraban dengan pemrograman Python
  • Pengalaman dengan kerangka kerja pembelajaran mendalam seperti TensorFlow atau PyTorch

Hadirin

  • Pengembang
  • Praktisi AI
 14 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories