Основы глубинного обучения

Программа предназначена для преподавателей, ведущих дисциплину «Основы глубинного обучения», учебных ассистентов и студентов направления подготовки/специальности «01.03.02 Прикладная математика и информатика», обучающихся по образовательным программам бакалавриата.

Целями освоения дисциплины Основы глубинного обучения являются:

• ознакомление студентов с основными принципами функционирования и обучения нейронных сетей
• развитие навыков написания программного кода для обучения нейронных сетей в фреймворке PyTorch на языке программирования Python

Курс состоит из  6 видеолекций, разбитых на тематические блоки. В каждой теме 8-15 роликов по 8-12 минут, между которыми есть вопросы для проверки.

Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning. MIT Press, 2016. Retrieved from https://www.deeplearningbook.org/

Hastie, T., Tibshirani, R., Friedman, J. The elements of statistical learning: Data Mining, Inference, and Prediction. Springer, 2009. Retrieved from https://web.stanford.edu/~hastie/Papers/ESLII.pdf

Для освоения учебной дисциплины студенты должны владеть следующими знаниями и компетенциями:
   - Знание основ программирования на языке высокого уровня, знание основных алгоритмов и
концепций машинного обучения.

1. Введение в нейронные сети

Построение нейронных сетей, полносвязные слои, обратное распространение ошибки.

2. Работа с изображениями и сверточные архитектуры    

Операция свертки и сверточные нейронные сети, методы борьбы с переобучением нейронных сетей и регуляризация.

3. Современные сверточные архитектуры и их использование     

Принципы построения современных сверточных архитектур, перенос знаний, интерпретация моделей и задача переноса стиля.

4. Работа с последовательностями и рекуррентные архитектуры    

Векторные представления слов, токенизация слов, рекуррентные архитектуры, применение сверточных архитектур к текстам.

5. Механизм внимания и Трансформер    

Механизм внимания, построение Трансформера и его применение к задаче классификации, контекстозависимые векторные представления слов из Трансформеров.

6. Нейронные сети в реальных условиях    

Практика применения нейронных сетей, оценка неопределенности, оптимизация нейронных сетей.

Студент способен разрабатывать и реализовывать в виде программного модуля алгоритм решения поставленной теоретической или прикладной задачи на основе математической модели.

• Осознает сущность и значение информации в развитии современного общества; владеет основными методами, способами и средствами получения, хранения, переработки информации (ОК-12).
• Способен разрабатывать и реализовывать в виде программного модуля алгоритм решения поставленной теоретической или прикладной задачи на основе математической модели (ПК-2).     
• Способен собирать, обрабатывать и интерпретировать данные современных научных исследований в области математики и компьютерных наук, необходимых для формирования выводов по соответствующим научным исследованиям (ПК-1).

Программные средства

• Code::Blocks — Кроссплатформенная среда разработки, Разработка ПО, Свободное лицензионное соглашение
• Microsoft Visual Studio 2015 Community — Среда разработки, Разработка ПО, Свободное лицензионное соглашение
• Anaconda Community
• Пакеты Python для науки, математики, инженерии и анализа данных — Разработка ПО, Свободное лицензионное соглашение