наверх

Первичная обработка и хранение данных

  • 74 недели

    длительность курса

  • около 9 часов в неделю

    понадобится для освоения

  • 1 зачётная единица

    для зачета в своем вузе

Назначение курса – показать практические аспекты технологий, связанных с хранением, обработкой, подходами к анализу больших объёмов данных. Практические упражнения курса могут быть выполнены при помощи MS Excel , языков программирования (не является обязательным) , реляционных СУБД Oracle , NoSQL СУБД.

О курсе

Цифровая культура – это в первую очередь понимание современных информационных технологий, их функционала, а также возможность грамотно использовать их в работе или быту. И это относится не к смартфонам или умным кофеваркам, а к таким инструментам, как работа с базами данных, машинное обучение, компьютерное моделирование, статистический анализ, работа с графическими редакторами и многое другое.

Специалист, который обладает навыками в области цифровой культуры, знает, как использовать инструменты, предлагаемые нам современными информационными технологиями, вне зависимости от того, имеет ли он профильное образование в области IT. Более того, цифровая культура подразумевает, что человек соблюдает так называемую цифровую этику. Это значит, что он знает, как строить общение с другими пользователями, как представлять информацию о себе, какие данные являются публичными, а какие – нет, как обеспечить информационную безопасность, какое законодательство существует в его стране в области работы с данными. Иными словами, он осознает, как правильно позиционировать себя в информационном пространстве и какие границы нельзя переступать, когда находишься в нем.

Зачем нужны знания в области цифровой культуры? Информационные технологии проникли во все сферы жизни без исключения. Будущее за Интернетом вещей, блокчейном и другими распределенными сетями, автоматизацией и экономикой роботов. Информации в целом становится все больше и больше, и обработка данных может помочь в создании лучших социальных сервисов, внедрению инноваций в промышленности, в управлении. Такие профессии, как дата-сайентист и системный аналитик, становятся все более востребованными, хотя еще далеко не все понимают, чем занимаются эти специалисты. Большая доля общения, как делового, так и личного, происходит в сети, что определяет особенности мышления и поведения поколения. Таким образом, практически в любых сферах деятельности мы сталкиваемся с необходимостью хранить, искать и анализировать большие объемы информации.

Чтобы уметь это делать, то есть грамотно обращаться с окружающей нас информацией и при этом получать осмысленные результаты, и нужна цифровая культура. То есть человек, обладая знаниями в этой области, понимает, какие алгоритмы подходят для обработки и анализа данных, какие задачи можно ставить в области данных, какие технологии подходят для решения этих задач и каким результатам можно доверять.

При этом цифровая культура сегодня нужна абсолютно всем специалистам как в технических, так и в гуманитарных профессиональных областях. Ведь даже если в обязанности сотрудника не входит разработка, например, программного обеспечения, он должен уметь поставить перед программистом техническое задание, грамотно формулируя задачи своей предметной области. Статистический анализ и обработка больших данных важны в любой работе, связанной с экономикой. От специалистов в области коммуникации требуются навыки работы с графическими редакторами, системами CMS, HTML-разметкой и другими цифровыми инструментами. Филологу нужно уметь анализировать тексты, биоинформатику – обрабатывать последовательности ДНК. Потому что такова экономика будущего, и без знаний в области цифровой культуры уже невозможно стать востребованным специалистом практически в любой профессии.

Формат

В состав курса входят видео-лекциии и упражнения. Длительность курса составляет 4 недели. Трудоемкость курса – 1 зачетная единица. Средняя недельная нагрузка на обучающегося – 9 часов.

  1. Флах, П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных [Электронный ресурс] — Электрон. дан. — Москва : ДМК Пресс, 2015. — 400 с. — Режим доступа: https://e.lanbook.com/book/69955 .

  2. Анализ данных : учебник для академического бакалавриата / В. С. Мхитарян [и др.] ; под ред. В. С. Мхитаряна. — М. : Издательство Юрайт, 2018. — 490 с. — (Серия : Бакалавр. Академический курс). — ISBN 978-5-534-00616-2. — Режим доступа : www.biblio-online.ru/book/CC38E97A-CCE5-4470-90F1-3B6D35ACC0B4.

  3. Миркин, Б. Г. Введение в анализ данных : учебник и практикум / Б. Г. Миркин. — М. : Издательство Юрайт, 2018. — 174 с. — (Серия : Авторский учебник). — ISBN 978-5-9916-5009-0. — Режим доступа : www.biblio-online.ru/book/46A41F93-BC46-401C-A30E-27C0FB60B9DE.

Требования

Для успешного освоения курса необходимы базовые навыки работы с компьютером и сетью Интернет.

Программа курса

  1. Виды и источники данных. Загрузка и разделение данных. Объединение данных из разных источников. Очистка данных и заполнение пропусков. Контроль диапазонов.

  2. Первичная обработка данных. Сглаживание и нормировка данных. Преобразование данных. Визуализация данных. Формы представления количественных и качественных данных. Когнитивная визуализация данных.

  3. Хранение и доступ к данным. Виды баз данных. Реляционные СУБД

  4. NoSQL базы данных. Большие данные.

Результаты обучения

  1. Знание аналитических методов обработки данных (РО-1)
  2. Умение применять цифровые технологии, в том числе программные продукты, в повседневной жизни и в профессиональной сфере (РО-2)
  3. Владение основными технологиями информационного поиска и технологиями обработки, анализа и защиты данных (РО-3)
  4. Умение использовать компьютерную технику и цифровые технологии для автоматизации информационно-аналитической деятельности (РО-4)
  5. Владение современными инструментами и компьютерными технологиями для решения задач, связанных с обработкой и анализом данных, применительно к любой предметной области (РО-5)

Формируемые компетенции

Способность осуществлять целенаправленную самостоятельную деятельность по оптимальному удовлетворению индивидуальных и профессиональных информационных потребностей с использованием цифровых технологий и искусственного интеллекта (КК-4)

Направления подготовки

01.04.02 Прикладная математика и информатика
09.04.01 Информатика и вычислительная техника
09.04.02 Информационные системы и технологии
09.04.03 Прикладная информатика
09.04.04 Программная инженерия
10.04.01 Информационная безопасность
11.04.02 Инфокоммуникационные технологии и системы связи
11.04.03 Конструирование и технология электронных средств
12.04.01 Приборостроение
12.04.02 Оптотехника
12.04.03 Фотоника и оптоинформатика
12.04.05 Лазерная техника и лазерные технологии
13.04.02 Электроэнергетика и электротехника
15.04.02 Технологические машины и оборудование
15.04.04 Автоматизация технологических процессов и производств
15.04.06 Мехатроника и робототехника
16.04.01 Техническая физика
16.04.03 Холодильная, криогенная техника и системы жизнеобеспечения
18.04.02 Энерго- и ресурсосберегающие процессы в химической технологии, нефтехимии и биотехнологии
19.04.01 Биотехнология
19.04.02 Продукты питания из растительного сырья
19.04.03 Продукты питания животного происхождения
20.04.01 Техносферная безопасность
23.04.03 Эксплуатация транспортно-технологических машин и комплексов
24.04.02 Системы управления движением и навигация
27.04.01 Стандартизация и метрология
27.04.02 Управление качеством
27.04.03 Системный анализ и управление
27.04.04 Управление в технических системах
27.04.05 Инноватика
27.04.07 Наукоемкие технологии и экономика инноваций
27.04.08 Управление интеллектуальной собственностью
38.04.01 Экономика
38.04.02 Менеджмент
38.04.05 Бизнес-информатика

Михайлова Елена Георгиевна

К. ф.-м. н., доцент
Должность: Советник при ректорате-директор по направлению "цифровая культура" Университета ИТМО, директор высшей школы цифровой культуры Университета ИТМО

Графеева Наталья Генриховна

Кандидат физико-математических наук
Должность: доцент высшей школы цифровой культуры Университета ИТМО

сертификат об окончании курса

Сертификат

Сертификат участника обычно выдается при достижении 60% от общего рейтинга при условии сдачи работ до жесткого дедлайна. Сертификат с отличием, как правило, выдается при достижении 90% от общего рейтинга при условии сдачи работ до мягкого дедлайна.

Похожие курсы