Сбор и анализ данных в Python

Мы познакомимся с базовыми понятиями статистики, научимся аккуратно собирать данные, обрабатывать их и визуализировать. Также мы поговорим про базовые теоремы, которые используются в математической статистике: ЗБЧ и ЦПТ.

Мы изучим основы математической статистики и аккуратную работу с данными, научимся собирать и обрабатывать данные с помощью Python, поговорим про их визуализацию и предварительный анализ. 

Мы также познакомимся с основными распределениями и описательными статистиками, с которыми аналитики сталкиваются на повседневной основе. И обсудим теоремы, на которых базируется вся наука о данных: закон больших чисел и центральную предельную теорему.

Курс состоит из 5 недель. Каждая включает в себя несколько коротких видеолекций (суммарная продолжительность – от 60 до 100 минут), тест на знание теоретического материала (5 – 15 вопросов), а также тест, включающий в себя выполнение заданий по программированию и решение теоретических задач. На некоторых неделях задание по программированию заменено заданием на взаимное оценивание. В конце курса предусмотрен итоговый экзамен, состоящий из тестовых вопросов.

• Лучано, Р. Python. К вершинам мастерства / Р. Лучано ; перевод с английского А. А. Слинкин. — Москва : ДМК Пресс, 2016. — 768 с. — ISBN 978-5-97060-384-0

Базовые навыки программирования на языке Python. Математика для анализа данных: теория вероятностей, производные, оптимизация, интегралы, матрицы.

1. Распределения и описательные статистики
Вспомним основные определения из теории вероятностей. Поговорим об описательных статистиках. Попробуем сделать в Python простые вещи, связанные с визуализацией, случайными величинами и табличками.
2. Особенности в данных
Поговорим про зависимые случайные величины, нормальное распределение и проблемы в данных.
3. Сбор и очистка данных
4. Разведочный анализ данных и визуализация
Анализируем данные по мемам и логи магазина. Смотрим на пайплайн знакомства с данными.
5. Закон больших чисел и центральная предельная теорема
Говорим о том, какими бывают сходимости случайных величин, учимся решать задачи с помощью симуляций.

• Генерировать случайные величины из различных распределений и решать задачи с помощью симуляций.
• Понимать, какой смысл стоит за различными распределениями, центральной предельной теоремой и законом больших чисел.
• Работать с API разных сервисов, писать парсеры для сбора данных, делать предобработку и предварительный анализ  данных.

• Создание и сопровождение требований и технических заданий на разработку и модернизацию систем и подсистем малого и среднего масштаба и сложности (ПК-12).
• Разработка и документирование программных интерфейсов, разработка процедур сборки модулей и компонент программного обеспечения, разработка процедур развертывания и обновления программного обеспечения (ПК-7).