Python, Spark, and Hadoop for Big Data Training Course

Kursus ini ditujukan bagi pengembang dan ilmuwan data yang ingin memahami dan menerapkan kecerdasan buatan dalam aplikasi mereka. Fokus khusus adalah pada analisis data, kecerdasan buatan terdistribusi, dan pemrosesan bahasa alami.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan insinyur tingkat menengah yang ingin menggunakan Google Colab dan Apache Spark untuk pemrosesan dan analitik data besar.

Pada akhir pelatihan ini, peserta akan dapat:

• Siapkan lingkungan data besar menggunakan Google Colab dan Spark.
• Memproses dan menganalisis kumpulan data besar secara efisien dengan Apache Spark.
• Visualisasikan data besar dalam lingkungan kolaboratif.
• Integrasikan Apache Spark dengan alat berbasis cloud.

Big data analytics involves the process of examining large amounts of varied data sets in order to uncover correlations, hidden patterns, and other useful insights.

The health industry has massive amounts of complex heterogeneous medical and clinical data. Applying big data analytics on health data presents huge potential in deriving insights for improving delivery of healthcare. However, the enormity of these datasets poses great challenges in analyses and practical applications to a clinical environment.

In this instructor-led, live training (remote), participants will learn how to perform big data analytics in health as they step through a series of hands-on live-lab exercises.

By the end of this training, participants will be able to:

• Install and configure big data analytics tools such as Hadoop MapReduce and Spark
• Understand the characteristics of medical data
• Apply big data techniques to deal with medical data
• Study big data systems and algorithms in the context of health applications

Audience

• Developers
• Data Scientists

Format of the Course

• Part lecture, part discussion, exercises and heavy hands-on practice.

Note

• To request a customized training for this course, please contact us to arrange.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari tentang penawaran teknologi dan pendekatan implementasi untuk memproses data grafik. Tujuannya adalah untuk mengidentifikasi objek dunia nyata, karakteristik dan hubungannya, kemudian memodelkan hubungan ini dan memprosesnya sebagai data menggunakan pendekatan Graph Computing (juga dikenal sebagai Analisis Grafik). Kami mulai dengan ikhtisar umum dan mempersempitnya pada alat tertentu saat kami melangkah melalui serangkaian studi kasus, latihan langsung, dan penerapan langsung.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami bagaimana data grafik dipertahankan dan dilintasi.
• Pilih kerangka kerja terbaik untuk tugas tertentu (dari basis data grafik hingga kerangka kerja pemrosesan batch.)
• Terapkan Hadoop, Spark, GraphX dan Pregel untuk melakukan komputasi grafik di banyak mesin secara paralel.
• Lihat masalah big data dunia nyata dalam bentuk grafik, proses, dan lintasan.

This instructor-led, live training in Indonesia (online or onsite) is aimed at system administrators who wish to learn how to set up, deploy and manage Hadoop clusters within their organization.

By the end of this training, participants will be able to:

• Install and configure Apache Hadoop.
• Understand the four major components in the Hadoop ecoystem: HDFS, MapReduce, YARN, and Hadoop Common.
• Use Hadoop Distributed File System (HDFS) to scale a cluster to hundreds or thousands of nodes.  
• Set up HDFS to operate as storage engine for on-premise Spark deployments.
• Set up Spark to access alternative storage solutions such as Amazon S3 and NoSQL database systems such as Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Carry out administrative tasks such as provisioning, management, monitoring and securing an Apache Hadoop cluster.

Pelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini memperkenalkan Hortonworks Data Platform (HDP) dan memandu peserta melalui penerapan solusi Spark + Hadoop.

Pada akhir pelatihan ini, peserta akan dapat:

• Gunakan Hortonworks untuk menjalankan Hadoop secara andal dalam skala besar.
• Satukan kemampuan keamanan, tata kelola, dan operasi Hadoop dengan alur kerja analitik tangkas Spark.
• Gunakan Hortonworks untuk menyelidiki, memvalidasi, mensertifikasi, dan mendukung setiap komponen dalam proyek Spark.
• Memproses berbagai jenis data, termasuk data terstruktur, tak terstruktur, bergerak, dan diam.

This course covers how to use Hive SQL language (AKA: Hive HQL, SQL on Hive, HiveQL) for people who extract data from Hive

Cloudera Impala adalah mesin kueri pemrosesan paralel masif (MPP) SQL sumber terbuka untuk kluster Apache Hadoop.

Impala memungkinkan pengguna untuk mengeluarkan kueri latensi rendah SQL ke data yang disimpan dalam Hadoop Sistem File Terdistribusi dan Apache Hbase tanpa memerlukan perpindahan atau transformasi data.

Hadirin

Kursus ini ditujukan untuk analis dan ilmuwan data yang melakukan analisis pada data yang disimpan di Hadoop melalui Business Intelijen atau alat SQL.

Setelah kursus ini, peserta akan dapat

• Ekstrak informasi yang berarti dari cluster Hadoop dengan Impala.
• Tulis program khusus untuk memfasilitasi Business Kecerdasan dalam Impala SQL Dialek.
• Pemecahan masalah Impala.

In this instructor-led, live training in Indonesia (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal karena sintaksisnya yang jelas dan keterbacaan kode. Spark adalah mesin pemrosesan data yang digunakan dalam kueri, analisis, dan transformasi data besar. PySpark memungkinkan pengguna untuk menghubungkan Spark dengan Python.

Target Pemirsa: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, yang ingin memperdalam keterampilan mereka dalam pemrosesan big data dan pembelajaran mesin.  

This instructor-led, live training in Indonesia (online or onsite) is aimed at data scientists who wish to use the SMACK stack to build data processing platforms for big data solutions.

By the end of this training, participants will be able to:

• Implement a data pipeline architecture for processing big data.
• Develop a cluster infrastructure with Apache Mesos and Docker.
• Analyze data with Spark and Scala.
• Manage unstructured data with Apache Cassandra.

This instructor-led, live training in Indonesia (online or onsite) is aimed at engineers who wish to set up and deploy Apache Spark system for processing very large amounts of data.

By the end of this training, participants will be able to:

• Install and configure Apache Spark.
• Quickly process and analyze very large data sets.
• Understand the difference between Apache Spark and Hadoop MapReduce and when to use which.
• Integrate Apache Spark with other machine learning tools.

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

MLlib is Spark’s machine learning (ML) library. Its goal is to make practical machine learning scalable and easy. It consists of common learning algorithms and utilities, including classification, regression, clustering, collaborative filtering, dimensionality reduction, as well as lower-level optimization primitives and higher-level pipeline APIs.

It divides into two packages:

• spark.mllib contains the original API built on top of RDDs.

• spark.ml provides higher-level API built on top of DataFrames for constructing ML pipelines.

Audience

This course is directed at engineers and developers seeking to utilize a built in Machine Library for Apache Spark