up

Нейронные сети

8 October 2020 - 31 January 2021 г.
The course has already started
60 days
До конца записи
  • 10 недели

    длительность курса

  • от 5 до 6 часов в неделю

    понадобится для освоения

  • 2 зачётных единицы

    для зачета в своем вузе

Теория нейронных сетей – раздел искусственного интеллекта, в котором рассматриваются семейства обучаемых и самообучающихся моделей и алгоритмов, инспирированных биологическими сетями нейронов. Благодаря своей адаптивности искусственные нейронные сети оказываются эффективным, а в ряде случаев незаменимым инструментом в решении таких задач машинного обучения, как аппроксимация функций, распознавание образов, кластеризация данных, компьютерное зрение и адаптивное управление.

Курс «Нейронные сети» посвящен изучению математических основ теории нейронных сетей, приводятся краткая история теории нейронных сетей, математические модели нейросетевых архитектур, постановка задачи обучения и методы ее решения, рассматриваются особенности организации процесса обучения и применения нейронных сетей для решения практических задач. Изложение ведется строгим математическим языком, сопровождается множеством формул и математических выкладок. Для изучения данного курса требуются знания университетских курсов математического анализа, линейной алгебры, теории вероятностей и математической статистики. Желательны базовые знания методов оптимизации и прикладного статистического анализа данных.

Цель курса состоит в получении и закреплении теоретических и практических знаний, необходимых для решения прикладных задач обработки данных с  использованием нейронных сетей.

Курс ориентирован на студентов и аспирантов, обучающихся по направлению Прикладная математика и информатика, а также на исследователей, интересующиеся наукой о данных и применяющих машинное обучение и нейронные сети в своей научной и практической деятельности.

О курсе

В курсе рассматриваются математические модели нейронных сетей, особое внимание уделяется многослойным нейронным сетям и решаемым с их помощью задачам. Рассматриваются принципы построения нейронных сетей, методы обучения и оценки обобщающей способности, особенности подготовки данных для обучения и интерпретации результатов обучения, приводятся практические рекомендация при построении нейронных сетей для решения прикладных задач обработки данных.

Формат

 

Четыре последовательно связанных модуля (наименования есть в программе курса), в каждом модуле от 4 до 5 уроков (лекций), контрольные вопросы, зачетные материалы в электронной форме. 

Курс является двуязычным. Материал подается в основном на английском языке с русскими субтитрами.

1. Yoshua Bengio. Learning Deep Architectures for AI // Foundations and Trends in Machine Learning: Vol. 2: No. 1, pp 1-127. 2009.

2. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Second Edition. Springer, 2009.

3. I. Goodfellow, Y. Bengio, and A. Courville. Deep learning. MIT press, 2016.

4. J. Gareth, et al. An introduction to statistical learning. New York: Springer, 2013.

5. M. Nielsen. Neural networks and deep learning. San Francisco, CA, USA: Determination press, 2015.

Требования

Для изучения данного курса требуются знания университетских курсов математического анализа, линейной алгебры, теории вероятностей и математической статистики. Желательны базовые знания методов оптимизации и прикладного статистического анализа данных.

Знание английского языка на уровне не ниже Intermediate.

Программа курса

Module 1. Introduction.

1. Artificial neural networks as biologically inspired models.

2. The structure of a neuron.

3. Brief history of artificial neural networks.

4. AI, ML and ANNs.

5. An overview of neural network architectures.

 

Module 2. Multilayer neural networks.

Lesson 1. Activation functions.

Lesson 2. Mathematical model of multilayer neural network. Lesson 3. Loss functions.

Lesson 4. Backpropagation algorithm.

 

Module 3. Neural Network Training algorithms.

Lesson 1. Gradient descent methods.

Lesson 2. Per-parameter adaptive learning rate methods.

Lesson 3. Stochastic gradient descent.

Lesson 4. Second order methods.

Lesson 5. Weight initialization.

 

Module 4. Generalization in Neural Networks.

Lesson 1. Generalization capability.

Lesson 2. Bias-variance decomposition.

Lesson 3. Cross-validation techniques.

Lesson 4. Regularization techniques.

Lesson 5. Dropout and batch-normalization.

Результаты обучения

В результате успешного прохождения курса у вас сложится понимание того, что такое искусственные нейронные сети, для решения каких задач и в каких случаях их следует применять, в чем преимущества и особенности нейросетевого подхода. Вы узнаете о том, как выбрать архитектуру нейронной сети, как правильно организовать процесс обучения, как работают основные алгоритмы обучения и что характеризуют их параметры, и сможете осмысленно сконструировать, обучить и оценить качество обученной нейросетевой модели.

Знания

  • Основные архитектуры и математические модели нейронных сетей.
  • Методы обучения нейронных сетей.
  • Методы оценки качества нейронных сетей.
  • Методы улучшения обобщающей способности нейронных сетей.

Умения

  • Применять нейронные сети для решения прикладных задач обработки данных.
  • Применять методы обучения нейронных сетей и настраивать их параметры.
  • Оценивать обобщающие способности нейронных сетей.

Навыки

  • Владеть терминологией теории нейронных сетей.
  • Владеть инструментальными средствами для обучения нейронных сетей.

Трофимов Александр Геннадьевич

К.н.т., доцент
Должность: доцент НИЯУ МИФИ

Похожие курсы