Advanced Hadoop for Developers Training Course
Apache Hadoop adalah salah satu framework paling populer untuk memproses Big Data pada cluster server. Kursus ini membahas manajemen data dalam HDFS, Pig tingkat lanjut, Hive, dan HBase. Teknik pemrograman tingkat lanjut ini akan bermanfaat bagi pengembang berpengalaman Hadoop.
Pemirsa : pengembang
Durasi: tiga hari
Format: kuliah (50%) dan laboratorium praktik (50%).
Course Outline
Bagian 1: Data Management di HDFS
- Berbagai Format Data (JSON / Avro / Parquet)
- Skema Kompresi
- Penyamaran Data
- Lab: Menganalisis berbagai format data; mengaktifkan kompresi
Bagian 2: Babi Lanjutan
- Fungsi yang ditentukan pengguna
- Pengantar Perpustakaan Babi (ElephantBird / Data-Fu)
- Memuat Data Terstruktur Kompleks menggunakan Pig
- Penyetelan Babi
- Lab: skrip pig tingkat lanjut, parsing tipe data kompleks
Bagian 3 : Lanjutan Hive
- Fungsi yang ditentukan pengguna
- Tabel Terkompresi
- Hive Penyetelan Performa
- Lab: membuat tabel terkompresi, mengevaluasi format tabel dan konfigurasi
Bagian 4: HBase Lanjutan
- Pemodelan Skema Tingkat Lanjut
- Kompresi
- Pengambilan Data Massal
- Perbandingan meja lebar / meja tinggi
- HBase dan Pig
- HBase dan Hive
- Penyetelan Performa HBase
- Lab: penyetelan HBase; mengakses data HBase dari Pig & Hive; Menggunakan Phoenix untuk pemodelan data
Requirements
- nyaman dengan bahasa pemrograman Java (sebagian besar latihan pemrograman menggunakan java)
- nyaman di lingkungan Linux (dapat menavigasi baris perintah Linux, mengedit file menggunakan vi / nano)
- pengetahuan kerja tentang Hadoop.
Lingkungan laboratorium
Zero Install: Tidak perlu menginstal perangkat lunak hadoop di komputer siswa! Kluster hadoop yang berfungsi akan disediakan untuk siswa.
Siswa akan membutuhkan hal-hal berikut ini
- klien SSH (Linux dan Mac sudah memiliki klien ssh, untuk Windows Putty direkomendasikan)
- browser untuk mengakses cluster. Kami merekomendasikan browser Firefox
Open Training Courses require 5+ participants.
Advanced Hadoop for Developers Training Course - Booking
Advanced Hadoop for Developers Training Course - Enquiry
Advanced Hadoop for Developers - Consultancy Enquiry
Consultancy Enquiry
Testimonials (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Course - Hadoop Administration on MapR
Upcoming Courses (Minimal 5 peserta)
Related Courses
Administrator Training for Apache Hadoop
35 HoursHadirin:
Kursus ini ditujukan untuk spesialis TI yang mencari solusi untuk menyimpan dan memproses kumpulan data besar dalam lingkungan sistem terdistribusi
Gohal:
Pengetahuan mendalam tentang administrasi cluster Hadoop.
Big Data Analytics in Health
21 HoursBig data analytics involves the process of examining large amounts of varied data sets in order to uncover correlations, hidden patterns, and other useful insights.
The health industry has massive amounts of complex heterogeneous medical and clinical data. Applying big data analytics on health data presents huge potential in deriving insights for improving delivery of healthcare. However, the enormity of these datasets poses great challenges in analyses and practical applications to a clinical environment.
In this instructor-led, live training (remote), participants will learn how to perform big data analytics in health as they step through a series of hands-on live-lab exercises.
By the end of this training, participants will be able to:
- Install and configure big data analytics tools such as Hadoop MapReduce and Spark
- Understand the characteristics of medical data
- Apply big data techniques to deal with medical data
- Study big data systems and algorithms in the context of health applications
Audience
- Developers
- Data Scientists
Format of the Course
- Part lecture, part discussion, exercises and heavy hands-on practice.
Note
- To request a customized training for this course, please contact us to arrange.
Hadoop Administration
21 HoursKursus ini didedikasikan untuk spesialis TI yang mencari solusi untuk menyimpan dan memproses set data besar dalam lingkungan sistem terdistribusi
Tujuan kursus:
Mendapatkan pengetahuan tentang administrasi cluster Hadoop
Hadoop For Administrators
21 HoursApache Hadoop adalah kerangka kerja paling populer untuk memproses Big Data pada kluster server. Dalam kursus tiga hari (opsional, empat) ini, peserta akan mempelajari tentang manfaat bisnis dan kasus penggunaan untuk Hadoop dan ekosistemnya, cara merencanakan penyebaran dan pertumbuhan kluster, cara memasang, memelihara, memantau, memecahkan masalah, dan mengoptimalkan Hadoop. Mereka juga akan mempraktikkan pemuatan data massal kluster, membiasakan diri dengan berbagai distribusi Hadoop, dan berlatih memasang dan mengelola Hadoop alat ekosistem. Kursus diakhiri dengan diskusi tentang pengamanan kluster dengan Kerberos.
“…Materinya dipersiapkan dengan sangat baik dan dibahas secara menyeluruh. Labnya sangat membantu dan terorganisasi dengan baik”
— Andrew Nguyen, Kepala Insinyur Integrasi DW, Microsoft Daring Advertising
Hadirin
Hadoop administrator
Format
Kuliah dan praktikum, perkiraan keseimbangannya 60% kuliah, 40% praktikum.
Hadoop for Developers (4 days)
28 HoursApache Hadoop adalah framework paling populer untuk memproses Big Data pada cluster server. Kursus ini akan memperkenalkan pengembang pada berbagai komponen (HDFS, MapReduce, Pig, Hive dan HBase) Hadoop ekosistem.
Hadoop Administration on MapR
28 HoursHadirin:
Kursus ini dimaksudkan untuk mengungkap misteri teknologi big data/hadoop dan menunjukkan bahwa teknologi itu tidak sulit untuk dipahami.
Hadoop and Spark for Administrators
35 HoursThis instructor-led, live training in Indonesia (online or onsite) is aimed at system administrators who wish to learn how to set up, deploy and manage Hadoop clusters within their organization.
By the end of this training, participants will be able to:
- Install and configure Apache Hadoop.
- Understand the four major components in the Hadoop ecoystem: HDFS, MapReduce, YARN, and Hadoop Common.
- Use Hadoop Distributed File System (HDFS) to scale a cluster to hundreds or thousands of nodes.
- Set up HDFS to operate as storage engine for on-premise Spark deployments.
- Set up Spark to access alternative storage solutions such as Amazon S3 and NoSQL database systems such as Redis, Elasticsearch, Couchbase, Aerospike, etc.
- Carry out administrative tasks such as provisioning, management, monitoring and securing an Apache Hadoop cluster.
HBase for Developers
21 HoursThis course introduces HBase – a NoSQL store on top of Hadoop. The course is intended for developers who will be using HBase to develop applications, and administrators who will manage HBase clusters.
We will walk a developer through HBase architecture and data modelling and application development on HBase. It will also discuss using MapReduce with HBase, and some administration topics, related to performance optimization. The course is very hands-on with lots of lab exercises.
Duration : 3 days
Audience : Developers & Administrators
Hortonworks Data Platform (HDP) for Administrators
21 HoursPelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini memperkenalkan Hortonworks Data Platform (HDP) dan memandu peserta melalui penerapan solusi Spark + Hadoop.
Pada akhir pelatihan ini, peserta akan dapat:
- Gunakan Hortonworks untuk menjalankan Hadoop secara andal dalam skala besar.
- Satukan kemampuan keamanan, tata kelola, dan operasi Hadoop dengan alur kerja analitik tangkas Spark.
- Gunakan Hortonworks untuk menyelidiki, memvalidasi, mensertifikasi, dan mendukung setiap komponen dalam proyek Spark.
- Memproses berbagai jenis data, termasuk data terstruktur, tak terstruktur, bergerak, dan diam.
Data Analysis with Hive/HiveQL
7 HoursThis course covers how to use Hive SQL language (AKA: Hive HQL, SQL on Hive, HiveQL) for people who extract data from Hive
Impala for Business Intelligence
21 HoursCloudera Impala adalah mesin kueri pemrosesan paralel masif (MPP) SQL sumber terbuka untuk kluster Apache Hadoop.
Impala memungkinkan pengguna untuk mengeluarkan kueri latensi rendah SQL ke data yang disimpan dalam Hadoop Sistem File Terdistribusi dan Apache Hbase tanpa memerlukan perpindahan atau transformasi data.
Hadirin
Kursus ini ditujukan untuk analis dan ilmuwan data yang melakukan analisis pada data yang disimpan di Hadoop melalui Business Intelijen atau alat SQL.
Setelah kursus ini, peserta akan dapat
- Ekstrak informasi yang berarti dari cluster Hadoop dengan Impala.
- Tulis program khusus untuk memfasilitasi Business Kecerdasan dalam Impala SQL Dialek.
- Pemecahan masalah Impala.
Apache NiFi for Administrators
21 HoursDalam pelatihan langsung yang dipandu instruktur di Indonesia (di tempat atau jarak jauh), peserta akan mempelajari cara menerapkan dan mengelola Apache NiFi di lingkungan lab langsung.
Pada akhir pelatihan ini, peserta akan dapat:
- Instal dan konfigurasikan Apachi NiFi.
- Sumber, transformasi, dan kelola data dari sumber data yang berbeda dan terdistribusi, termasuk basis data dan danau data besar.
- Mengotomatiskan aliran data.
- Aktifkan analitik streaming.
- Terapkan berbagai pendekatan untuk penyerapan data.
- Transformasi Big Data menjadi wawasan bisnis.
Apache NiFi for Developers
7 HoursDalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari dasar-dasar pemrograman berbasis aliran saat mereka mengembangkan sejumlah ekstensi demo, komponen, dan prosesor menggunakan Apache NiFi.
Pada akhir pelatihan ini, peserta akan dapat:
- Memahami arsitektur NiFi dan konsep aliran data.
- Mengembangkan ekstensi menggunakan NiFi dan API pihak ketiga.
- Mengembangkan prosesor Apache Nifi mereka sendiri.
- Menyerap dan memproses data secara real-time dari berbagai format file dan sumber data yang berbeda dan tidak umum.
Python, Spark, and Hadoop for Big Data
21 HoursPelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang yang ingin menggunakan dan mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, dan mengubah kumpulan data yang besar dan kompleks.
Pada akhir pelatihan ini, peserta akan mampu:
- Siapkan lingkungan yang diperlukan untuk mulai memproses data besar dengan Spark, Hadoop, dan Python.
- Memahami fitur, komponen inti, dan arsitektur Spark dan Hadoop.
- Pelajari cara mengintegrasikan Spark, Hadoop, dan Python untuk pemrosesan data besar.
- Jelajahi alat di ekosistem Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, dan Flume).
- Bangun sistem rekomendasi pemfilteran kolaboratif yang serupa dengan Netflix, YouTube, Amazon, Spotify, dan Google.
- Gunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.