Введение в инженерию больших данных

В ходе курса вы узнаете о среде для работы с большими данными - Apache Hadoop, а также познакомитесь с двумя основополагающими компонентами фреймворка Apache Hadoop: HDFS - распределенной файловой системой, MapReduce - подходом для обработки большого объема данных.

Вы сможете узнать об основных компонентах экосистемы Apache Hadoop. Узнаете в чем отличие MapReduce от Yarn, и почему появился Spark.

Узнаете что полезного можно получить из интернета. В практической части курсы мы выкачаем данные из twitter, произведем их очистку и обогащение, а после визуализируем.

Присоединяйтесь к Telegram-каналу Онлайн-курсы НИТУ МИСИС или пишите на openedu@misis.ru. Мы ответим на все ваши вопросы.

При прохождении курса студенты будут знакомиться с короткими видеолекциями, выполнять большое количество практических заданий, читать и оценивать работы друг друга, обсуждать наиболее дискуссионные вопросы на форуме.

1. Hadoop: The Definitive Guide, 4th Edition Storage and Analysis at Internet Scale By Tom White Publisher: O'Reilly Media March, 2015

2. Spark: The Definitive Guide Big data processing made simple By Bill Chambers, Matei Zaharia Publisher: O'Reilly Media January, 2017

Для успешного освоения обучающиеся должны владеть базовыми знаниями языка SQL

Курс состоит из 8 разделов и 10 недель обучения:

1. Определения термина «Большие данные» (Big Data)

   1. Что такое Большие Данные

   2. Предпосылки появления технологий Big Data

   3. Характеристики Big Data

   4. Примеры

   5. Вызовы Big Data

   6. Особенности работы с большими данными

   7. Подходы к архитектуре Big Data систем

2. Обзор экосистемы Apache Hadoop

   1. Базовые понятия

   2. Apache Hadoop

   3. История появления

   4. Возможности Apache Hadoop

   5. Экосистема Apache Hadoop

   6. Основные компоненты

   7. HDFS

   8. Принцип работы HDFS

3. Распределенные вычисления

   1. Особенности распределенных вычислений

   2. Парадигма MapReduce

   3. Принцип работы MapReduce

   4. Пример MapReduce - счетчик слов в тексте

   5. MapReduce и YARN

4. Apache Spark

   1. Введение

   2. Принципы работы Apache Spark

   3. Resilient Distributed Dataset (RDD): возможности и свойства

   4. Доступные операции над RDD

   5. Библиотеки Spark

5. Получение данных

   1. Введение Flume

   2. Принцип работы

   3. Source

   4. Channel

   5. Sink

6. SQL on Hadoop

   1. Hive

   2. Форматы хранения

   3. Компрессия

   4. UDF

7. Визуализация данных

   1. Обзор способов визуализации

   2. Apache Zeppelin

   3. Cloudera Search (Solr + Hue)

8. Прочие компоненты экосистемы Hadoop

   1. Sqoop

   2. Nutch

   3. Hbase

   4. Zookeeper

   5. Oozie

   6. Pig

   7. Impala

В результате освоения курса у обучающихся формируются следующие компетенции:

• владеет основными понятиями и характеристиками больших данных

• знает основные компоненты Apache Hadoop

• знаком с HDFS и MapReduce

Курс направлен на формирование общепрофессиональных  компетенций:

ОПК-2 - Способен разрабатывать оригинальные алгоритмы и программные средства, в том числе с использованием современных интеллектуальных технологий, для решения профессиональных задач

ОПК-4 - Способен применять на практике новые научные принципы и методы исследований