Course Outline
Kursus ini dipisahkan menjadi tiga hari berbeda, hari ketiga bersifat opsional.
Hari 1 - Machine Learning & Deep Learning: konsep teoritis
1. Pengenalan AI, Machine Learning & Deep Learning
- Sejarah, konsep dasar dan penerapan kecerdasan buatan yang biasa jauh dari fantasi yang dibawa oleh bidang ini
- Kecerdasan kolektif: pengetahuan agregat yang dibagikan oleh banyak agen virtual
- Algoritma genetika: mengembangkan populasi agen virtual melalui seleksi
- Machine Learning biasa: definisi.
- Jenis tugas: pembelajaran yang diawasi, pembelajaran tanpa pengawasan, pembelajaran penguatan
- Jenis tindakan: klasifikasi, regresi, pengelompokan, estimasi kepadatan, pengurangan dimensi
- Contoh algoritma Machine Learning : Regresi linier, Naive Bayes, Random Tree
- Pembelajaran mesin VS Deep Learning: masalah yang Machine Learning tetap menjadi yang tercanggih saat ini (Random Forests & XGBoosts)
2. Konsep dasar jaringan saraf tiruan (Aplikasi: perceptron multi-layer)
- Pengingat dasar-dasar matematika.
- Definisi jaringan saraf: arsitektur klasik, fungsi aktivasi dan pembobotan aktivasi sebelumnya, kedalaman jaringan
- Definisi mempelajari jaringan saraf: fungsi biaya, propagasi balik, penurunan gradien stokastik, kemungkinan maksimum.
- Pemodelan jaringan saraf: pemodelan data input dan output sesuai dengan jenis masalahnya (regresi, klasifikasi, dll). Kutukan dimensi. Perbedaan antara data multi-fitur dan sinyal. Pilihan fungsi biaya berdasarkan data.
- Perkiraan fungsi menggunakan jaringan saraf: presentasi dan contoh
- Mendekati distribusi menggunakan jaringan saraf: presentasi dan contoh
- Augmentasi Data: cara menyeimbangkan kumpulan data
- Generalisasi hasil jaringan saraf.
- Inisialisasi dan regularisasi jaringan saraf: regularisasi L1/L2, Normalisasi Batch...
- Optimasi dan algoritma konvergensi.
3. Alat ML/DL umum
Sebuah presentasi sederhana dengan kelebihan, kekurangan, posisi dalam ekosistem dan kegunaan direncanakan.
- Alat manajemen data: Apache Spark, Apache Hadoop
- Alat umum Machine Learning: Numpy, Scipy, Sci-kit
- Kerangka kerja DL tingkat tinggi: PyTorch, Keras, Lasagna
- Kerangka kerja DL tingkat rendah: Theano, Torch, Caffe, Tensorflow
Hari 2 – Jaringan Konvolusional dan Berulang
4. Konvolusional Neural Networks (CNN).
- Presentasi CNN: prinsip dasar dan aplikasi
- Fungsi dasar CNN: lapisan konvolusional, penggunaan kernel, padding & langkah, pembuatan peta fitur, lapisan tipe 'penggabungan'. Ekstensi 1D, 2D dan 3D.
- Presentasi berbagai arsitektur CNN yang menghadirkan seni klasifikasi gambar: LeNet, VGG Networks, Network in Network, Inception, Resnet. Presentasi inovasi yang dibawa oleh setiap arsitektur dan aplikasinya yang lebih global (Konvolusi 1x1 atau koneksi sisa)
- Penggunaan model perhatian.
- Aplikasi untuk skenario klasifikasi biasa (teks atau gambar)
- CNN untuk generasi: resolusi super, segmentasi piksel demi piksel. Presentasi strategi utama untuk menambah peta fitur untuk menghasilkan gambar.
5. Berulang Neural Networks (RNN).
- Presentasi RNN: prinsip dasar dan aplikasi.
- Pengoperasian dasar RNN: aktivasi tersembunyi, propagasi balik sepanjang waktu, versi terbuka.
- Perkembangan menuju GRU (Gated Recurrent Units) dan LSTM (Long Short Term Memory). Presentasi dari berbagai negara bagian dan perkembangan yang dibawa oleh arsitektur ini
- Masalah konvergensi dan gradien hilang
- Jenis arsitektur klasik: Prediksi deret waktu, klasifikasi...
- Arsitektur tipe Decoder Encoder RNN. Menggunakan model perhatian.
- Aplikasi NLP: pengkodean kata/karakter, terjemahan.
- Aplikasi Video: prediksi gambar urutan video yang dihasilkan berikutnya.
Hari 3 - Model generasi dan Reinforcement Learning
6. Model generasi: Variational AutoEncoder (VAE) dan Generative Adversarial Networks (GAN).
- Presentasi model generasi, tautan dengan CNN yang dilihat pada hari ke-2
- Pengodean otomatis: pengurangan dimensi dan pembuatan terbatas
- Variational Auto-encoder: model generasi dan perkiraan distribusi data. Definisi dan penggunaan ruang laten. Trik reparameterisasi. Aplikasi dan batasan yang diamati
- Jaringan Adversarial Generatif: prinsip dasar. Arsitektur dua jaringan (generator dan diskriminator) dengan pembelajaran bergantian, fungsi biaya tersedia.
- Konvergensi GAN dan kesulitan yang dihadapi.
- Peningkatan konvergensi: Wasserstein GAN, BeGAN. Jarak Pergerakan Bumi.
- Aplikasi untuk menghasilkan gambar atau foto, menghasilkan teks, super
resolusi.
7. Dalam Reinforcement Learning.
- Presentasi pembelajaran penguatan: kontrol agen dalam lingkungan yang ditentukan oleh keadaan dan tindakan yang mungkin dilakukan
- Menggunakan jaringan saraf untuk memperkirakan fungsi keadaan
- Pembelajaran Deep Q: pengalaman memutar ulang, dan aplikasi untuk mengontrol video game.
- Optimalisasi kebijakan pembelajaran. Sesuai kebijakan && di luar kebijakan. Aktor arsitektur kritis. A3C.
- Aplikasi: kontrol video game sederhana atau sistem digital.
Requirements
Tingkat insinyur