Course Outline

Perkenalan

  • Apache Beam vs MapReduce, Spark Streaming, Kafka Streaming, Storm dan Flink

Menginstal dan Mengkonfigurasi Apache Beam

Ikhtisar Fitur dan Arsitektur Apache Beam

  • Model Balok, SDK, Pelari Pipa Balok
  • Back-end pemrosesan terdistribusi

Memahami Model Apache Beam Programming

  • Bagaimana sebuah pipa dieksekusi

Menjalankan contoh alur kerja

  • Mempersiapkan jalur WordHitungan
  • Menjalankan Pipeline secara lokal

Mendesain Pipa

  • Merencanakan struktur, memilih transformasi, dan menentukan metode input dan output

Membuat Alur Kerja

  • Menulis program driver dan mendefinisikan pipeline
  • Menggunakan kelas Apache Beam
  • Kumpulan data, transformasi, I/O, pengkodean data, dll.

Menjalankan Pipeline

  • Menjalankan alur kerja secara lokal, pada mesin jarak jauh, dan pada cloud publik
  • Memilih pelari
  • Konfigurasi khusus pelari

Pengujian dan Debugging Apache Beam

  • Menggunakan petunjuk tipe untuk meniru pengetikan statis
  • Mengelola Python Ketergantungan Pipeline

Memproses Dataset Terikat dan Tak Terikat

  • Pembukaan Jendela dan Pemicu

Membuat Pipa Anda Dapat Digunakan Kembali dan Dirawat

Buat Sumber dan Tempat Penyimpanan Data Baru

  • Apache Beam API Sumber dan Penyerap

Mengintegrasikan Apache Beam dengan Sistem Big Data lainnya

  • Apache Hadoop, Apache Spark, Apache Kafka

Penyelesaian Masalah

Ringkasan dan Kesimpulan

Requirements

  • Pengalaman dengan Python Programming.
  • Pengalaman dengan baris perintah Linux.

Hadirin

  • Pengembang
 14 Hours

Number of participants


Price per participant

Upcoming Courses (Minimal 5 peserta)

Related Categories