Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Pengantar Model Multimodal
- Tinjauan umum pembelajaran mesin multimodal
- Aplikasi model multimodal
- Tantangan dalam menangani berbagai tipe data
Arsitektur untuk Model Multimodal
- Menjelajahi model seperti CLIP, Flamingo, dan BLIP
- Memahami mekanisme perhatian lintas modalitas
- Pertimbangan arsitektur untuk skalabilitas dan efisiensi
Mempersiapkan Dataset Multimodal
- Teknik pengumpulan data dan anotasi
- Prapemrosesan input teks, gambar, dan video
- Menyeimbangkan kumpulan data untuk tugas multimodal
Teknik Penyetelan Halus untuk Model Multimodal
- Menyiapkan jalur pelatihan untuk model multimoda
- Mengelola kendala memori dan komputasi
- Penanganan penyelarasan antar modalitas
Aplikasi Model Multimodal yang Disempurnakan
- Menjawab pertanyaan secara visual
- Keterangan gambar dan video
- Pembuatan konten menggunakan input multimodal
Optimasi dan Evaluasi Kinerja
- Metrik evaluasi untuk tugas multimodal
- Mengoptimalkan latensi dan throughput untuk produksi
- Memastikan ketahanan dan konsistensi di seluruh modalitas
Menerapkan Model Multimodal
- Model pengemasan untuk penerapan
- ScalaInferensi yang dapat dilakukan pada platform cloud
- Aplikasi dan integrasi waktu nyata
Studi Kasus dan Praktik Laboratorium
- Menyempurnakan CLIP untuk pengambilan gambar berbasis konten
- Melatih chatbot multimodal dengan teks dan video
- Menerapkan sistem pengambilan lintas modal
Ringkasan dan Langkah Berikutnya
Requirements
- Kemampuan dalam Python pemrograman
- Pemahaman konsep pembelajaran mendalam
- Pengalaman dengan fine-tuning model pra-terlatih
Hadirin
- Peneliti AI
- Ilmuwan data
- Praktisi pembelajaran mesin
28 Hours