Apache Spark Fundamentals Training Course

Kursus ini ditujukan bagi pengembang dan ilmuwan data yang ingin memahami dan menerapkan kecerdasan buatan dalam aplikasi mereka. Fokus khusus adalah pada analisis data, kecerdasan buatan terdistribusi, dan pemrosesan bahasa alami.

Big data analytics involves the process of examining large amounts of varied data sets in order to uncover correlations, hidden patterns, and other useful insights.

The health industry has massive amounts of complex heterogeneous medical and clinical data. Applying big data analytics on health data presents huge potential in deriving insights for improving delivery of healthcare. However, the enormity of these datasets poses great challenges in analyses and practical applications to a clinical environment.

In this instructor-led, live training (remote), participants will learn how to perform big data analytics in health as they step through a series of hands-on live-lab exercises.

By the end of this training, participants will be able to:

• Install and configure big data analytics tools such as Hadoop MapReduce and Spark
• Understand the characteristics of medical data
• Apply big data techniques to deal with medical data
• Study big data systems and algorithms in the context of health applications

Audience

• Developers
• Data Scientists

Format of the Course

• Part lecture, part discussion, exercises and heavy hands-on practice.

Note

• To request a customized training for this course, please contact us to arrange.

Dalam pelatihan langsung yang dipandu instruktur di Indonesia ini, peserta akan mempelajari tentang penawaran teknologi dan pendekatan implementasi untuk memproses data grafik. Tujuannya adalah untuk mengidentifikasi objek dunia nyata, karakteristik dan hubungannya, kemudian memodelkan hubungan ini dan memprosesnya sebagai data menggunakan pendekatan Graph Computing (juga dikenal sebagai Analisis Grafik). Kami mulai dengan ikhtisar umum dan mempersempitnya pada alat tertentu saat kami melangkah melalui serangkaian studi kasus, latihan langsung, dan penerapan langsung.

Pada akhir pelatihan ini, peserta akan dapat:

• Memahami bagaimana data grafik dipertahankan dan dilintasi.
• Pilih kerangka kerja terbaik untuk tugas tertentu (dari basis data grafik hingga kerangka kerja pemrosesan batch.)
• Terapkan Hadoop, Spark, GraphX dan Pregel untuk melakukan komputasi grafik di banyak mesin secara paralel.
• Lihat masalah big data dunia nyata dalam bentuk grafik, proses, dan lintasan.

This instructor-led, live training in Indonesia (online or onsite) is aimed at system administrators who wish to learn how to set up, deploy and manage Hadoop clusters within their organization.

By the end of this training, participants will be able to:

• Install and configure Apache Hadoop.
• Understand the four major components in the Hadoop ecoystem: HDFS, MapReduce, YARN, and Hadoop Common.
• Use Hadoop Distributed File System (HDFS) to scale a cluster to hundreds or thousands of nodes.  
• Set up HDFS to operate as storage engine for on-premise Spark deployments.
• Set up Spark to access alternative storage solutions such as Amazon S3 and NoSQL database systems such as Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Carry out administrative tasks such as provisioning, management, monitoring and securing an Apache Hadoop cluster.

Pelatihan langsung yang dipandu instruktur di Indonesia (online atau di tempat) ini memperkenalkan Hortonworks Data Platform (HDP) dan memandu peserta melalui penerapan solusi Spark + Hadoop.

Pada akhir pelatihan ini, peserta akan dapat:

• Gunakan Hortonworks untuk menjalankan Hadoop secara andal dalam skala besar.
• Satukan kemampuan keamanan, tata kelola, dan operasi Hadoop dengan alur kerja analitik tangkas Spark.
• Gunakan Hortonworks untuk menyelidiki, memvalidasi, mensertifikasi, dan mendukung setiap komponen dalam proyek Spark.
• Memproses berbagai jenis data, termasuk data terstruktur, tak terstruktur, bergerak, dan diam.

In this instructor-led, live training in Indonesia (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Python adalah bahasa pemrograman tingkat tinggi yang terkenal karena sintaksisnya yang jelas dan keterbacaan kode. Spark adalah mesin pemrosesan data yang digunakan dalam kueri, analisis, dan transformasi data besar. PySpark memungkinkan pengguna untuk menghubungkan Spark dengan Python.

Target Pemirsa: Profesional tingkat menengah di industri perbankan yang familiar dengan Python dan Spark, yang ingin memperdalam keterampilan mereka dalam pemrosesan big data dan pembelajaran mesin.  

This instructor-led, live training in Indonesia (online or onsite) is aimed at data scientists who wish to use the SMACK stack to build data processing platforms for big data solutions.

By the end of this training, participants will be able to:

• Implement a data pipeline architecture for processing big data.
• Develop a cluster infrastructure with Apache Mesos and Docker.
• Analyze data with Spark and Scala.
• Manage unstructured data with Apache Cassandra.

Apache Spark's learning curve is slowly increasing at the begining, it needs a lot of effort to get the first return. This course aims to jump through the first tough part. After taking this course the participants will understand the basics of Apache Spark , they will clearly differentiate RDD from DataFrame, they will learn Python and Scala API, they will understand executors and tasks, etc.  Also following the best practices, this course strongly focuses on cloud deployment, Databricks and AWS. The students will also understand the differences between AWS EMR and AWS Glue, one of the lastest Spark service of AWS.  

AUDIENCE:

Data Engineer, DevOps, Data Scientist

OBJECTIVE:

This course will introduce Apache Spark. The students will learn how  Spark fits  into the Big Data ecosystem, and how to use Spark for data analysis.  The course covers Spark shell for interactive data analysis, Spark internals, Spark APIs, Spark SQL, Spark streaming, and machine learning and graphX.

AUDIENCE :

Developers / Data Analysts

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di tempat) ini ditujukan untuk ilmuwan data dan pengembang yang ingin menggunakan Spark NLP, dibangun di atas Apache Spark, untuk mengembangkan, menerapkan, dan meningkatkan skala model dan jalur pemrosesan teks bahasa alami.

Pada akhir pelatihan ini, peserta akan dapat:

• Siapkan lingkungan pengembangan yang diperlukan untuk mulai membangun jalur NLP dengan Spark NLP.
• Memahami fitur, arsitektur, dan manfaat penggunaan Spark NLP.
• Gunakan model terlatih yang tersedia di Spark NLP untuk mengimplementasikan pemrosesan teks.
• Pelajari cara membangun, melatih, dan menskalakan Spark NLP model untuk proyek tingkat produksi.
• Terapkan klasifikasi, inferensi, dan analisis sentimen pada kasus penggunaan dunia nyata (data klinis, wawasan perilaku pelanggan, dll.).

Dalam pelatihan langsung yang dipimpin instruktur di Indonesia ini, peserta akan mempelajari cara menggunakan Python dan Spark bersama-sama untuk menganalisis data besar saat mereka mengerjakan latihan langsung.

Pada akhir pelatihan ini, peserta akan mampu:

• Pelajari cara menggunakan Spark dengan Python untuk menganalisis Big Data.
• Kerjakan latihan yang meniru kasus dunia nyata.
• Gunakan alat dan teknik yang berbeda untuk analisis data besar menggunakan PySpark.

Pelatihan langsung yang dipimpin instruktur di Indonesia (online atau di lokasi) ditujukan untuk pengembang yang ingin menggunakan dan mengintegrasikan Spark, Hadoop, dan Python untuk memproses, menganalisis, dan mengubah kumpulan data yang besar dan kompleks.

Pada akhir pelatihan ini, peserta akan mampu:

• Siapkan lingkungan yang diperlukan untuk mulai memproses data besar dengan Spark, Hadoop, dan Python.
• Memahami fitur, komponen inti, dan arsitektur Spark dan Hadoop.
• Pelajari cara mengintegrasikan Spark, Hadoop, dan Python untuk pemrosesan data besar.
• Jelajahi alat di ekosistem Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, dan Flume).
• Bangun sistem rekomendasi pemfilteran kolaboratif yang serupa dengan Netflix, YouTube, Amazon, Spotify, dan Google.
• Gunakan Apache Mahout untuk menskalakan algoritma pembelajaran mesin.

Spark SQL is Apache Spark's module for working with structured and unstructured data. Spark SQL provides information about the structure of the data as well as the computation being performed. This information can be used to perform optimizations. Two common uses for Spark SQL are:
- to execute SQL queries.
- to read data from an existing Hive installation.

In this instructor-led, live training (onsite or remote), participants will learn how to analyze various types of data sets using Spark SQL.

By the end of this training, participants will be able to:

• Install and configure Spark SQL.
• Perform data analysis using Spark SQL.
• Query data sets in different formats.
• Visualize data and query results.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

MLlib is Spark’s machine learning (ML) library. Its goal is to make practical machine learning scalable and easy. It consists of common learning algorithms and utilities, including classification, regression, clustering, collaborative filtering, dimensionality reduction, as well as lower-level optimization primitives and higher-level pipeline APIs.

It divides into two packages:

• spark.mllib contains the original API built on top of RDDs.

• spark.ml provides higher-level API built on top of DataFrames for constructing ML pipelines.

Audience

This course is directed at engineers and developers seeking to utilize a built in Machine Library for Apache Spark