ВИАКАДЕМИЯ
Институт переподготовки и
повышения квалификации

Введение в инженерию больших данных

курс повышения квалификации

«Введение в инженерию больших данных», курс повышения квалификации

Может сложиться впечатление, что каждый хочет стать дата-саентистом (Data Scientist). Но что Вы скажете о Data Engineering (инжиниринга данных)? По сути, это своего рода гибрид дата-аналитика и дата-саентиста. Дата-инженер отвечает за управление рабочими процессами, конвейерами обработки и ETL-процессами. Инженерия данных связана с данными, а именно с их доставкой, хранением и обработкой. Ввиду важности этих функций, основная задача инженеров — обеспечить надежную инфраструктуру для данных.

Без дата-инженера код никогда не станет проектом, и никакая бизнес-проблема не будет эффективно решена. Инженер данных пытается превратить это все в продукт. Высокая зарплата и огромный спрос — это лишь малая часть того, что делает эту работу чрезвычайно привлекательной! Если эта работа пробуждает в Вас энтузиазм — Вы способны научиться этому, Вы можете овладеть всеми необходимыми навыками и стать настоящей звездой в области разработки данных. Вы можете осуществить это даже без навыков программирования или других технических знаний. Это сложно, но возможно! Если вы хотите пополнить ряды героев, никогда не поздно начать учиться.

  

Добро пожаловать на дистанционный курс
«Введение в инженерию больших данных»!

СТАРТ НОВОЙ ГРУППЫ ЯНВАРЬ 2021 ГОДА

Курсы для IT-специалистов
дистанционный курс повышения квалификации

 

  ИНФОРМАЦИЯ О КУРСЕ
 

Продолжительность:

72 ак.часа

Форма обучения:

Дистанционная

Срок освоения курса:

10 недель

Итоговый документ:

Удостоверение
о повышении квалификации

Стоимость курса:

9 900 руб.

(обучение с поддержкой
куратора)

 

АВТОР КУРСА

 

Ривкин Андрей Маркович

Начальник отдела по технологиям больших данных

 

СВЯЖИТЕСЬ С НАМИ
ПРЯМО СЕЙЧАС

 

+7 (495) 120-00-76
Адрес электронной почты защищен от спам-ботов. Для просмотра адреса в вашем браузере должен быть включен Javascript.

 

Удостоверение о повышении квалификации

 

Удостоверение о повышении квалификации

Вот так будет выглядеть
Ваше удостоверение
(нажмите для увеличения)

В ходе курса вы узнаете о среде для работы с большими данными – Apache Hadoop, а также познакомитесь с двумя основополагающими компонентами фреймворка Apache Hadoop: HDFS - распределенной файловой системой, MapReduce - подходом для обработки большого объема данных.

Вы сможете узнать об основных компонентах экосистемы Apache Hadoop. Узнаете в чем отличие MapReduce от Yarn, и почему появился Spark.

Узнаете, что полезного можно получить из интернета. В практической части курсы мы выкачаем данные из twitter, произведем их очистку и обогащение, а после визуализируем. Процесс обучения сопровождается большим количеством практических занятий. Слушателям предстоит решать задачи разной сложности.

 

Ученый может открыть новую звезду, но не может ее создать.
Ему придется просить инженера сделать это за него.

Гордон Линдсей Глегг 

Вам подойдет этот курс, если Вы:

  • знакомы с основами SQL;
  • учитесь на технической специальности;
  • работаете разработчиком ПО;
  • планируете в дальнейшем углубиться в тематику «Большие данные».

 

Требования: для успешного освоения обучающиеся должны владеть базовыми знаниями языка SQL. Без знания SQL в инженерии данных делать нечего, так как Вам неизбежно придется создавать запросы для извлечения данных. Не помешает знание язык программирования Python.

* На курс принимаются лица, имеющие (или получающие в настоящее время) высшее или среднее профессиональное образование.

 

Как проходит обучение? Каждую неделю будет доступна новая тема курса: видеолекции, раскрывающие содержание каждой темы, презентации и конспекты, с которыми Вы сможете ознакомиться в любое удобное время. Все темы включают практические занятия, в которых Вам предстоит ознакомиться с примерами решения типовых задач, а затем выполнить задания самостоятельно. В конце каждой темы Вы пройдете контрольный тест, который покажет, насколько Вы усвоили предложенный материал. Рекомендуем изучать материал последовательно, что существенно облегчит Вашу работу.

Содержание каждой темы курса и сроки сдачи контрольных (оцениваемых) заданий Вы можете посмотреть в расписании курса, после подписки на курс. У каждого контрольного задания (тест, практическое задание) есть срок выполнения (дедлайн), по истечении которого ответы система принимать не будет. В расписании курса указан дедлайн для каждого задания, который варьируется от двух до четырех недель в зависимости от его сложности.

Курс включает в себя видеолекции с презентациями и конспектами, практические задания с методическими указаниями и проверкой их решения на on-line тестах, выполнение заданий кейсов для отработки практических навыков, самостоятельную работу слушателя на основе самоконтроля. После окончания обучения курс останется у Вас в личном кабинете. Вы сможете обратиться к видеолекциям и другим материалам курса в любое время. Однако оцениваемые контрольные задания после окончания обучения будут закрыты.

 

Трудоемкость курса – 72 академических часа.

Стоимость курса с доступом в течение 10 недель – 9 900 рублей (обучение с поддержкой куратора)

 

 

Учебная программа дистанционного курса
«Введение в инженерию больших данных»

Тема 1. Определения термина «Большие данные» (Big Data)

  • Что такое Большие Данные
  • Предпосылки появления технологий Big Data
  • Характеристики Big Data
  • Примеры
  • Вызовы Big Data
  • Особенности работы с большими данными
  • Подходы к архитектуре Big Data систем

Тема 2. Обзор экосистемы Apache Hadoop

  • Базовые понятия
  • Apache Hadoop
  • История появления
  • Возможности Apache Hadoop
  • Экосистема Apache Hadoop
  • Основные компоненты
  • HDFS
  • Принцип работы HDFS

Тема 3. Распределенные вычисления

  • Особенности распределенных вычислений
  • Парадигма MapReduce
  • Принцип работы MapReduce
  • Пример MapReduce - счетчик слов в тексте
  • MapReduce и YARN

Тема 4. Apache Spark

  • Введение
  • Принципы работы Apache Spark
  • Resilient Distributed Dataset (RDD): возможности и свойства
  • Доступные операции над RDD
  • Библиотеки Spark

Тема 5. Получение данных

  • Введение Flume
  • Принцип работы
  • Source
  • Channel
  • Sink

Тема 6. SQL on Hadoop

  • Hive
  • Форматы хранения
  • Компрессия
  • UDF

Тема 7. Визуализация данных

  • Обзор способов визуализации
  • Apache Zeppelin
  • Cloudera Search (Solr + Hue)

Тема 8. Прочие компоненты экосистемы Hadoop

  • Sqoop
  • Nutch
  • Hbase
  • Zookeeper
  • Oozie
  • Pig
  • Impala

Итоговая аттестация

 

В результате прохождения курса слушатель будет владеть основными понятиями и характеристиками больших данных, знать основные компоненты Apache Hadoop, будет знаком с HDFS и MapReduce. Курс направлен на формирование компетенций по разработке оригинальных алгоритмов и программных средств, в том числе с использованием современных интеллектуальных технологий, для решения профессиональных задач, а также способности применять на практике новые научные принципы и методы исследований. Вы будете уметь: загружать данные в Apache Hadoop; создавать Hive таблицы над json данными; обращаться к Hive таблицам из pySpark; выполнять обработку данных используя Spark; загружать данные в Cloudera Search; анализировать данные используя Cloudera Search.

 

Учитесь с удовольствием!

 

Как пройти дистанционный курс повышения квалификации «Введение в инженерию больших данных»? Зарегистрируйтесь на сайте, перейдите в раздел Оплата обучения, добавьте курс в Корзину и оплатите его. Обучение начнется с даты, указанной в верхней части этой страницы.

управление логистикой курсы транспортной логистике работа логистиком	дистанционное дополнительное образование логистика технологических процессов и производств

ОБЛОЖКИ ДЛЯ ДИПЛОМОВ: ОБЛОЖКИ ДЛЯ УДОСТОВЕРЕНИЙ: ОБЛОЖКИ ДЛЯ АТТЕСТАТОВ: ОБЛОЖКИ ДЛЯ СВИДЕТЕЛЬСТВ: ОБЛОЖКИ ДЛЯ СЕРТИФИКАТОВ: БЛАНКИ:

• Высшее образование (бордовые, синие)
• Среднее профобразование (бордовые, синие)
• Профпереподготовка с гербом (бордовые, синие, голубые)
• Профессиональная переподготовка (бордовые, синие, голубые)
• Универсальные с гербом (бордовые, синие)
• Универсальные (бордовые, синие)
• Об окончании аспирантуры (бордовыесиние)
• Об окончании адъюнктурыординатуры
• Диплом Кандидата наукДоктора наук

• Повышение квалификации с гербом (бордовые, синие, голубые)
• Повышение квалификации (бордовые, синие, голубые)
• Удостоверение кадета
• Удостоверение гимназиста

• Аттестат Доцента
• Аттестат Профессора
• Для аттестата 9 класса красного цвета
• Для аттестата 9 класса фиолетового цвета
• Для аттестата 11 класса борового цвета
• Для аттестата 11 класса сине-голубого цвета

Свидетельство об обучении зеленого цвета
Свидетельство универсальное бордового цвета
• Свидетельство о профессии рабочего, должности служащего
• Свидетельство о должности служащего
• Свидетельство окончании детского сада (персиковая, зеленая, селадоновая)

• Сертификат специалиста
• Сертификат бордового цвета
• Сертификат темно-синего цвета

• Для диплома о профпереподготовке
• Для приложения к диплому о профпереподготовке
• Для удостоверения о повышении квалификации
Свидетельство


 

ВСЕ РАЗДЕЛЫ САЙТА                                                             Ви Академия, учебные курсы ВИА Академия, учебные курсы ВИААкадемия

СТРАХОВАНИЕ ФИЗИЧЕСКИХ И ЮРИДИЧЕСКИХ ЛИЦ

АВТОТРАНСПОРТ

• ОСАГО
• КАСКО
ДСАГО
• Зеленая карта
Техническая помощь
Шины-Диски
Сигнализация

ТУРИЗМ

Невыезд за границу
Страхование путешествующих за границу
Страхование путешествий по России

МЕДИЦИНА

Добровольное медицинское страхование (18 лет-79 лет)
Страхование жизни ребенка
  (ДМС, 0 лет-18 лет)

Обязательное медицинское страхование
Международное медицинское страхование
Страхование от несчастного случая (НС)
Страхование от укуса клеща
Страхование спортсменов от несчастных случаев
Телемедицина

ИМУЩЕСТВО

Страхование квартиры
Страхование дома и дачи
Гражданская ответственность
Страхование личных вещей
Комплексное ипотечное страхование

МИГРАНТЫ

Трудовой мигрант (ДМС)

КОРПОРАТИВНОЕ СТРАХОВАНИЕ

• Грузы
• Имущество
• Гражданская ответственность
• Профессиональная ответственность
• Ответственность транспортных операторов
• Строительно-монтажные риски
• Суда и ответственность судовладельцев
• Добровольное медицинское страхование (ДМС) сотрудников
• Страхование сотрудников от несчастных случаев и болезней
• Телемед Бизнес

КУРСЫ ВИАКАДЕМИИ
БАНКОВСКОЕ ДЕЛО

«Банковский специалист широкого профиля»
«Основы бухгалтерского учета в банке»
«Банковский аналитик»

МАРКЕТИНГ

«Маркетинг»
«Цифровой маркетинг и социальные сети»
«Интернет-маркетинг в бизнесе»

УПРАВЛЕНИЕ И МЕНЕДЖМЕНТ

«Основы проектной деятельности»
«Управление проектами в современной компании»
«Проектный менеджмент»
«Производственный менеджмент»
«Менеджмент качества при создании инновационных продуктов»
«Контрактная система в сфере закупок для обеспечения государственных и муниципальных нужд»
«Технологии «Фабрик Будущего»
«Технологии цифровой промышленности»
«Организация, технология и проектирование предприятий торговли»

BIM ПРОЕКТИРОВАНИЕ, АРХИТЕКТУРА И ДИЗАЙН

«Специалист по BIM-проектированию в среде ArchiCAD»
«Проектирование зданий. BIM»
«Инженерная и компьютерная графика»

ЭКОНОМИКА

«Экономика предприятия»

ОБУЧЕНИЕ В СФЕРЕ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ

«Java-разработчик веб-приложений»
«Enterprise Java-разработчик»
«Веб Java-разработчик»

«Сетевой администратор»
«Беспроводные сети Wi-Fi: технологии, настройка и безопасность»
«Передача и коммутация данных в компьютерных сетях»
«Технологии TCP/IP»

«Введение в индустрию VR»
«Введение в инженерию больших данных»
«Наука о данных и аналитика больших объемов данных»
«Управление данными»
«Web 2.0 программирование на языке Python»

ЛОГИСТИКА

«Логистика»
«Логистика технологических процессов и производств»

HR И ДЕЛОПРОИЗВОДСТВО

«Управление человеческими ресурсами»
«Делопроизводство (документационное обеспечение)»

КУРСЫ ПО УПРАВЛЕНИЮ В ГРАЖДАНСКОЙ АВИАЦИИ

«Эксплуатация аэропортов»
«Эксплуатация воздушных судов»

ОБРАЗОВАНИЕ

«Цифровые образовательные технологии»
«Современные образовательные технологии: новые медиа в классе»

Наши контакты

Институт переподготовки и повышения квалификации ВИАКАДЕМИЯ

Москва, ул. Сущёвский Вал (м. "Савёловская") д. 5, стр. 3, оф. 312

  • dummy +7 (495) 120-00-76

  • dummy online@viacademia.ru

Демо-доступ к курсу

Хотите заглянуть внутрь дистанционного курса «Банковский специалист широкого профиля»?

 

Мы принимаем к оплате Банковские карты

 

© Copyright ВИАКАДЕМИЯ 2020

Search