Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Rekapitulasi Apache Airflow Dasar-dasar
- Konsep inti: DAG, operator, dan alur eksekusi
- Arsitektur dan komponen aliran udara
- Memahami kasus penggunaan dan alur kerja tingkat lanjut
Membuat Operator Kustom
- Memahami anatomi operator aliran udara
- Mengembangkan operator khusus untuk tugas tertentu
- Menguji dan men-debug operator kustom
Pengait dan Sensor Kustom
- Menerapkan kait untuk integrasi sistem eksternal
- Membuat sensor untuk memantau pemicu eksternal
- Meningkatkan interaktivitas alur kerja dengan sensor khusus
Mengembangkan Plugin Aliran Udara
- Memahami arsitektur plugin
- Merancang plugin untuk memperluas fungsionalitas Airflow
- Praktik terbaik untuk mengelola dan menyebarkan plugin
Mengintegrasikan Aliran Udara dengan Sistem Eksternal
- Menghubungkan Airflow ke database, API, dan layanan cloud
- Menggunakan Airflow untuk alur kerja ETL dan pemrosesan data waktu nyata
- Mengelola ketergantungan antara Airflow dan sistem eksternal
Debugging dan Pemantauan Lanjutan
- Menggunakan log dan metrik Airflow untuk pemecahan masalah
- Mengonfigurasi peringatan dan pemberitahuan untuk masalah alur kerja
- Memanfaatkan alat pemantauan eksternal dengan Airflow
Mengoptimalkan Kinerja dan Scalakemampuan
- Meningkatkan Aliran Udara dengan Seledri dan Kubernetes Eksekutor
- Mengoptimalkan pemanfaatan sumber daya dalam alur kerja yang kompleks
- Strategi untuk ketersediaan tinggi dan toleransi kesalahan
Studi Kasus dan Aplikasi di Dunia Nyata
- Menjelajahi kasus penggunaan lanjutan dalam rekayasa data dan DevOps
- Studi kasus: Implementasi operator khusus untuk ETL skala besar
- Praktik terbaik untuk mengelola alur kerja tingkat perusahaan
Ringkasan dan Langkah Berikutnya
Requirements
- Pemahaman yang kuat tentang Apache Airflow dasar-dasar, termasuk DAG, operator, dan arsitektur eksekusi
- Kemampuan dalam Python pemrograman
- Pengalaman dalam mengintegrasikan sistem data dan orkestrasi alur kerja
Hadirin
- Insinyur data
- DevOps insinyur
- Arsitek perangkat lunak
21 Hours
