Course Outline

Pengantar Model Multimodal

  • Tinjauan umum pembelajaran mesin multimodal
  • Aplikasi model multimodal
  • Tantangan dalam menangani berbagai tipe data

Arsitektur untuk Model Multimodal

  • Menjelajahi model seperti CLIP, Flamingo, dan BLIP
  • Memahami mekanisme perhatian lintas modalitas
  • Pertimbangan arsitektur untuk skalabilitas dan efisiensi

Mempersiapkan Dataset Multimodal

  • Teknik pengumpulan data dan anotasi
  • Prapemrosesan input teks, gambar, dan video
  • Menyeimbangkan kumpulan data untuk tugas multimodal

Teknik Penyetelan Halus untuk Model Multimodal

  • Menyiapkan jalur pelatihan untuk model multimoda
  • Mengelola kendala memori dan komputasi
  • Penanganan penyelarasan antar modalitas

Aplikasi Model Multimodal yang Disempurnakan

  • Menjawab pertanyaan secara visual
  • Keterangan gambar dan video
  • Pembuatan konten menggunakan input multimodal

Optimasi dan Evaluasi Kinerja

  • Metrik evaluasi untuk tugas multimodal
  • Mengoptimalkan latensi dan throughput untuk produksi
  • Memastikan ketahanan dan konsistensi di seluruh modalitas

Menerapkan Model Multimodal

  • Model pengemasan untuk penerapan
  • ScalaInferensi yang dapat dilakukan pada platform cloud
  • Aplikasi dan integrasi waktu nyata

Studi Kasus dan Praktik Laboratorium

  • Menyempurnakan CLIP untuk pengambilan gambar berbasis konten
  • Melatih chatbot multimodal dengan teks dan video
  • Menerapkan sistem pengambilan lintas modal

Ringkasan dan Langkah Berikutnya

Requirements

  • Kemampuan dalam Python pemrograman
  • Pemahaman konsep pembelajaran mendalam
  • Pengalaman dengan fine-tuning model pra-terlatih

Hadirin

  • Peneliti AI
  • Ilmuwan data
  • Praktisi pembelajaran mesin
 28 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories