Информационно-аналитические технологии поиска угроз информационной безопасности

Проактивный поиск ранее неизвестных продвинутых угроз информационной безопасности (APT)

R
Tidyverse
API
Техническая аналитика
Воспроизводимые исследования
Threat Hunt
Cyber Threat Intelligence
Author

i2z1@ddslab.ru

Published

October 17, 2024

4-8 часа в неделю, 7 семестр

Проверка практик и лабораторных работ

Статус проверкиhttps://i2z1.quarto.pub/checklab/

Для чего

Выявление сложных угроз, которые невозможно обнаружить традиционными автоматическими методами (APT)

Что делаем

Сбор и всесторонний комплексный анализ информации:

Метрики состояния своей инфраструктуры

  • Журналы сервисов (приложений)
  • Журналы ОС
  • Журналы СЗИ
  • Собираемые агрегированные метрики
  • Syslog
  • Vector
  • ELK Stack
  • Clickhouse
  • а также интегрированные системы:
    • Falco
    • Osquery
    • Fleet

Источники угроз, признаки компрометации нарушителями

  • MITRE ATT&CK
  • PTES
  • Lockheed Martin Cyber Kill Chain
  • Mandiant Attack Lifecicle
  • YARA
  • SIGMA
  • Источники информации об угрозах ИБ
  • Threat Intelligence Platform (TIP)

Как делаем

Современный стек анализа данных

  • воспроизводимость ииследований
  • Quarto в аналитической работе
  • использование версионирования и Github
  • Импорт данных
  • Очистка данных
  • Преобразование данных
  • Анализ: визуализация и создание моделей данных
  • Оформление результатов и коммуникация

Язык программирования R

  • base R
  • Tidyverse
  • ggplot2
  • htmlwidgets
  • plotly
  • echarts.js
  • leaflet

Облачные технологии анализа данных

Экосистема Yandex.Cloud

Рекомендуемые источники

  1. Data Mining Tools for Malware Detection
  2. Изучаем Adversarial Tactics, Techniques & Common Knowledge (ATT@CK). Enterprise Tactics
  3. The Matrix has you: обзор проектов, использующих MITRE ATT&CK
  4. Cyber Wardog Lab by Roberto Rodriguez
  5. Data Driven Security
  6. OWASP Top 10
  7. Информационно-аналитические технологии поиска угроз информационной безопасности

Тематические подборки

Введение в R

  1. Введение в R. Разбираемся в анализе данных с использованием статистического пакета – Статья в журнале Xakep

Извлечение данных

  1. zeekr – импорт данных о сетевом трафике при помощи анализатора Zeek
  2. readr – импорт из табличных форматов

Анализ данных

  1. Tidyverse – экосистема работы с данными, курируемая компанией Posit
  2. datatable – альтернативный пакет обработки данных, ориентированный на высокую эффективность использования памяти и скорость обработки

Визуальный анализ

Графики и диаграммы
  1. Awesome-r-dataviz – пакеты визуализации в R
  2. The R Graph Gallery – галерея графиков в R, разные типв графиков
Таблицы
  1. Winners of the 2022 Table Contest – результаты соревнований по генерации таблиц

Модели нарушителя

  1. MITRE ATT&CK
  2. PTES
  3. Lockheed Martin Cyber Kill Chain
  4. Mandiant Attack Lifecicle

Обзор от Алексея Лукацкого о мапинге техник MITRE на модель ФСТЭК – ссылка на статью.

Материалы к практическим занятиям

Подготовка рабочего окружения

  1. Установка R в Astra Linux
  2. План отчета
  3. Требования к оформлению

Дополнительные материалы

Обработка данных в командной строке (bash)

  1. Чтение и манипулирование JSON – jq
  2. Распаковка и чтение gz-архивов в памяти – pigz
  3. grephttps://www.gnu.org/software/grep/manual/grep.html

Экосистема языка программирования R

  1. Интерпретатор R 4.2
  2. RStudio Desktop или виртуальное облачное IDE Rstudio Cloud
  3. Пакеты R (packages)
    • tidyverse
    • vroom
    • iptools
    • rmarkdown (или quarto)

Docker

  1. Шпаргалка по Docker
  2. Русская шпаргалка по Docker для начинающих DevOps

Threat Intelligence

  1. OpenCTI (через docker)

Сбор данных

  1. Zeek
  2. пакет для R zeekr