Про инфраструктуру в облаках мы рассказываем на многих курсах Слёрма. Но, как правило, речь идёт о большой тройке: Microsoft Azure, Google Cloud, AWS. На новом курсе Spark-инженер мы с первого дня будем работать на российской системе Yandex Cloud.О Yandex Cloud
Yandex Cloud — это отечественная облачная платформа мощными вычислительными ресурсами: виртуальными машинами, дисками, базами данных. Яндекс ведёт аппаратную поддержку, помогает пользователю с настройкой, обеспечивает защиту данных.
На облаке можно собрать полный цикл обработки данных любого типа — от сбора и хранения до анализа и визуализации.Как будем использовать Yandex Cloud на курсе
Уже в первых модулях курса Spark-инженер мы будем работать с реальным кластером. Вам понадобятся знания Scala/Python для автоматизации, сбора и парсинга данных. В конце модуля будет занятие, на котором мы развернём кластер и будем деплоить Spark-приложение.
Вы научитесь:
✔️ делать deploy приложения и данных;
✔️ распределять ресурсы;
✔️ правильно выбирать хранилища;
✔️ работать с форматами Orc, Parquet и Delta;
✔️ работать с батчевым и стриминговым API;
✔️ делать оркестрацию и мониторинг Spark-приложения.
Когда вы закончите курс, у вас будет приложение на основе реальных данных и собственного кода.Как проходит обучение на курсе Spark-инженер
➡️ Теория по видеолекциям. Можно смотреть когда угодно.
➡️ Практические задания. После лекций дадим несколько заданий, чтобы закрепить знания.
➡️ Онлайн-встречи с экспертами. После каждого модуля будут вебинары, где разберём домашние задания и обсудим сложности.
➡️ Помощь комьюнити. В Telegram-чате можно познакомиться с остальными студентами и поделиться опытом.
➡️ Финальный проект. Вы создадите проект на основе собственных данных и своего кода.
В курсе всего 7 модулей. Это 82 часа теории и практики.
❗️ Первый поток курса Spark-инженер стартует в сентябре.
Цена — 90 000 ₽.
Посмотреть программу и записаться на курс.
Источник новости: habr.com
