Применение технологий искусственного интеллекта и машинного обучения для поиска угроз информационной безопасности

Автоматизация аналитической деятельности для поиска фактов несанкционированного доступа

2-4 часа в неделю, 8 семестр

Что нам нужно

1. Знания об используемых методах для решения типовых задач кластеризации, классификакации и регрессии и их применении для решения практических задач.
2. Инфраструктура подготовки и предобработки данных, навыки приготовления данных для их последующего использования при построении моделей машинного обучения, а также самостоятельно – в виде отдельного аналитического продукта.
3. Умения правильно использовать алгоритмы машинного обучения и контролировать их результаты.
4. Навыки использования созданных моделей машинного обучения для решения практических задач поиска угроз информационной безопасности.

Комплексное практическое задание

Темы

Тема 1. Общее понятие машинного обучения. Типовые подходы. Актуальные проблемы информационной безопасности, решаемые с помощью машинного обучения.

Машинное обучение

На основе исходных данных и правильных ответов мы генерируем правила их вывода.

“Автоматизация действий, которые мы ассоциируем с целовеческим мышлением, т.е. таких действий, как принятие решений, решение задач, обучение” – R.Bellman

“Искусство создания машин, которые выполняют функции, требующие интеллектуальности при их выполнении людьми” – R.Kurzweil

“Наука о том, как научить компьютеры делать то, в чем люди в настоящее время их превосходят” – E.Rich and K.Knight Artificial Intelligence. McGraw-Hill, New-York,

Современные алгоритмы и средства автоматизации аналитической деятельности.

Актуальные проблемы ИБ

1. Автоматизация анализа событий (логов) для выявления нарушителей ИБ (Threat Hunting)
2. Статический (SAST) и динамический анализ (DAST) программного обеспечения для выяления недекларированных возможностей
3. Прогнозирование нагрузки на отдельные сервисы и прогнозирование сбоев и отказов технических систем в целом.

Подробнее об этом – здесь

Дополнительные источники

1. Курс ШАД
2. Awesome Machine Learning for Cyber Security
3. Аналитика от Kaspersky

Дополнительные материалы к занятиям

1. Data Mining Tools for Malware Detection
2. Изучаем Adversarial Tactics, Techniques & Common Knowledge (ATT@CK). Enterprise Tactics
3. The Matrix has you: обзор проектов, использующих MITRE ATT&CK
4. Cyber Wardog Lab by Roberto Rodriguez
5. Data Driven Security

Data Science

1. Схема знаний современных аналитических средств

Обработка больших данных

Данные можно считать большими (BigData) когда они не помещаются в оперативную память Вашего компьютера.

В зависимости от характеристик Вашего компьютера, Вы можете достаточно скоро встретиться с ситуацией, когда память (ОЗУ, она же RAM) исчерпана.

Для решения этой проблемы можно рассмотреть следующие направления:

1. Использование СУБД, например, Clickhouse от Yandex.
2. Использование подхода lazy-loading для данных:
   • Apache Arrow
   • R vroom
3. Аренда виртуальной машины – например Yandex.Cloud. Учитывая продолжительность данного курса, аренда высокопроизводительной машины на время выполнения задания потребует от Вас затрат сравнимых со стоимостью чашки кофе (и не из Starbucks!). При этом, Вы получите хороший опыт и удовольствие от мощной высокопроизводительной техники. Главное – не забывайте выключать виртуальную машину, когда не занимаетесь решением задач.