up

Обработка данных на языке Python

Start date will be announced later

Start date for course enrollment has not been announced yet

  • Russian

    course language

  • 16 weeks

    course duration

  • about 5 hours per week

    needed to educate

  • 2 credit points

    for credit at your university

About

В курсе изучаются основные подходы и библиотеки обработки и визуализации данных в языке Python. Слушатели учатся методам работы с разными типами данных – от слабоструктурированных, до табличных, а также учатся решать практические задания по подготовке данных, с использованием открытых наборов данных и API. В курсе слушатели знакомятся с библиотеками, которые необходимы для эффективного решения широкого круга аналитических задач, такими как Ipython, Pandas, Numpy, Matplotlib и Scikit-learn, и др.

  1. Python for Data Analysis by Wes McKinney (O’Reilly). Copyright 2017 Wes McKinney, 978-1-491-95766-0
  2. Волкова В.М., Программные системы статистического анализа. Обнаружение закономерностей в данных с использованием системы R и языка Python [Электронный ресурс]: учебное пособие / Волкова В.М. - Новосибирск : Изд-во НГТУ, 2017. - 74 с. - ISBN
  3. 978-5-7782-3183-2 - Режим доступа: http://www.studentlibrary.ru/book/ISBN9785778231832.html
  4. www.python.org

Course program

Модуль 1. IPython: интерактивные вычисления и среда разработки. Облачная среда вычислений Google Colab.

Модуль 2. Основы работы с модулем Pandas. Датафреймы и базовые операции над ними.

Модуль 3. Чтение и запись данных, форматы файлов. Библиотека Os.

Модуль 4. Переформатирование данных: очистка, преобразование, слияние, изменение формы .

Модуль 5. Агрегирование данных и групповые операции.

Модуль 6. Основы работы с модулем NumPy: массивы и векторные вычисления.

Модуль 7. Построение графиков и визуализация. Библиотека Matplotlib.

Модуль 8. Временные ряды. Передискретизация периодов. Скользящее среднее.

Модуль 9. Базовая обработка текстов. Регулярные выражения. Библиотека Re.

Модуль 10. Базовый парсинг сайтов. Библиотекa BS4. Построение дерева тегов статической Html страницы.

Модуль 11. Поиск аномальных значений. Восстановление пропущенных значений.

Модуль 12. Квантование и перекодирование данных. Библиотека Sklearn.

Модуль 13. Регрессионный анализ в Библиотеке Sklearn. Линейная регрессия.

Модуль 14. Продвинутая обработка текстов. Векторизация текстовых данных с библиотекой Sklearn.

Модуль 15. Работа  с языком SQL в файловой СУБД Sqlite3.

Модуль 16. Модуль Random, генерация случайных подвыборок и оценка статистических характеристик исходной выборки.

 

Education directions

Knowledge

Знание специализированных библиотек Python для анализа данных.

Skills

Умение разрабатывать прикладные программы на языке программирования Python.

Abilities

Практический навык использования набора библиотек языка Python для прикладных задач в области анализа данных.

Киреев Василий Сергеевич

Кандидат технических наук, Доцент
Position: Доцент отделения интеллектуальных кибернетических систем офиса образовательных программ

Similar courses