Hadoop. Система для обработки больших объемов данных
Цели программы
- Познакомить слушателя с современными методами хранения и обработки больших объемов данных на примере системы Hadoop;
- Сформировать у слушателя практические навыки разработки приложений с использованием программной модели MapReduce.
Нашли опечатку?
Write Close
Close
Увидели опечатку? Сообщите нам!
Целевая аудитория
Специалист junior
Длительность программы
29 академических часов
Формат обучения
Дистанционный
Материалы программы
Видеоролики, презентации, тестирования
Преподавательский состав
Евгений Чернов
Руководитель отдела анализа запросов в Поиск@Mail.ru, преподаватель Техносферы (проект МГУ и Mail.ru)
Окончил факультет прикладной математики МФТИ. Несколько лет работал в Институте Системного Программирования РАН. Больше 5 лет работаю в Поиск@Mail.ru. Долгое время отвечал в нем за обработку всех пользовательских данных.
1 Введение
1.1 Вводный урок курса
1.2 Что такое Hadoop?
2 Распределенная файловая система HDFS
2.1 Архитектура HDFS
2.2 Shell-команды
2.3 Java API
3 MapReduce. Введение
3.1 Парадигма MapReduce
3.2 Фреймворк MapReduce
3.3 Java API. Введение
3.4 Java API. Продолжение
3.5 Hadoop Streaming
4 Решение задач с помощью MapReduce
4.1 Алгоритмы на MapReduce
4.2 Реляционные функции
4.3 Расчет TF-IDF
5 Алгоритмы на графах в MapReduce
5.1 Графы в MapReduce
5.2 Поиск кратчайшего пути в графе
5.3 PageRank
5.4 Проблемы MR-алгоритмов на графах
6 Pig и Hive
6.1 Pig
6.2 Основные операторы PigLatin
6.3 Hive
6.4 Pig vs Hive
7 NoSQL базы данных: HBase и Cassandra
7.1 Способы хранения данных
7.2 NoSQL
7.3 Введение в HBase
7.4 Архитектура HBase
7.5 Cassandra
8 Spark
8.1 Основные понятия Spark
8.2 Операторы Spark
8.3 Фреймворк Spark
9 YARN. MapReduce 2.0
9.1 Что такое YARN?
9.2 Компоненты YARN
9.3 MapReduce 2.0
9.4 Заключительный урок
Часто задаваемые вопросы
Вопрос:
Как зайти в сегмент Академии технологий и данных ВШС (АТД)?
Ответ:
Для входа в сегмент АТД (https://atd.sberbank-school.ru/) Вам необходимо знать Ваш логин и пароль. В случае, если Вы не знаете или забыли Ваш логин и (или) пароль, пожалуйста, обратитесь в Службу технической поддержки по адресу atdhelp@sberbank-school.ru
Вопрос:
Могу ли я проходить обучение в сегменте АТД не с рабочего компьютера?
Ответ:
Да, Вы можете зайти в сегмент АТД с любого компьютера, имеющего доступ в Интернет.
Вопрос:
Я могу проходить обучение из "Альфы"?
Ответ:
Нет, для работы в сегменте АТД необходим доступ в Интернет.
Вопрос:
Куда обращаться, если что-то не работает (пароль неверен, не открывается тест, не отображаются материалы и т.п.)?
Ответ:
Обратитесь в Службу технической поддержки по адресу atdhelp@sberbank-school.ru
Made on
Tilda