OSINT и Threat Inteligence

Содержание

• Сбор новостей
• Видеоаналитика с использованием LLM
• Обогащение материалов TI из материалов расследований
• Анализ цепочек поставок и долгосрочное планирование развития архитектуры
• Управление патч-менеджментом
• Аналитика ИБ

Сбор и анализ информации с использованием современных средств

Сбор новостей

Построение системы распределенного сбора новостных потоков киберразведки из источников имеющих географические ограничения доступа

TipИдея

Создание системы сбора новостей с использованием существующих технологий (RSSHub, RSSBridge)

WarningОписание

Система собирает новостные потоки, категорирует и анализирует по ключевым словам, формируя дайджест.

ImportantКлючевые навыки

Data Engineering, Data pipeline, RSS, микросервисы, ClickHouse

Видеоаналитика с использованием LLM

Разработка системы видеоаналитики и транскрибации видео для выявления запрещённых материалов

TipИдея

Создание системы видеоаналитики на базе машинного зрения и трансформации речи в текст для автоматического выявления запрещённого контента (экстремистские материалы, дипфейки) в видеостримах.

WarningОписание

Система анализирует видео в реальном времени или в виде файлов записи. Возможный функционал:

• Детекцию объектов (оружие, символика) с помощью YOLO/OpenCV
• Транскрибацию аудио Whisper/Vosk с распознаванием контекстных угроз
• Верификацию дипфейков через анализ артефактов или аномалий аудиоспектрограмм
• Интеграцию с БД запрещённых материалов (хеш-суммы, цифровые отпечатки)

ImportantКлючевые навыки

Компьютерное зрение (OpenCV, YOLO), Обработка аудио (Whisper, Vosk), R (анализ аномалий), Микросервисы, ClickHouse

Обогащение материалов TI из материалов расследований

Разработка системы realtime анализа научных публикаций для обогащения материалов Threat Intelligence с использованием LLM

TipИдея

Создание системы мониторинга научных публикаций (https://arxiv.org/) для сбора материалов по интересующим темам.

Такой темой может быть исследование в какой-либо области информационной безопасности

WarningОписание

Система отслеживает публикацию новых научных статей по интересующей тематике. Возможный функционал:

• Скачивание и категоризация статей
• Распознавание (OCR) текста статей, извлечение аннотаций, авторов и их афиллирования
• Суммаризация текстов статей, извлечение именованных сущностей (например, названий семейств вредоносного ПО, хеш-сумм исследованных образцов, названия ПО, присвоенных CVE и т.д.)
• Организация хранения извлеченной информации, организация поиска по ней, построение дашбордов и анализ

ImportantКлючевые навыки

LLM, RAG, Data Engineering, Микросервисы, ClickHouse

Анализ цепочек поставок и долгосрочное планирование развития архитектуры

Анализ качества процессов разработки open-source проектов

TipИдея

Рекомендательная система – анализируя данные о процессе разработки даем рекомендации об целесообразности использования проекта

WarningОписание

Поиск возможных бэкдоров, а также оценка вероятности их внедрения разработчиками в open-source проект по таким признакам как:

1. Качество процесса разработки, включая
   • активность сообщества разработчиков
   • применение практик безопасной разработки (SSDL)
   • оценка программных зависимостей
   • оценка репутации разработчиков
2. Анализ исходного кода (SAST)
3. Участие сторонних компаний в разработке и финансировании

ImportantКлючевые навыки

Data Engineering, Web Scraping, Machine Learning, Secure Software Development Lifecycle

Погружение в проблематику:

1. Detecting Backdoors in Collaboration Graphs of Software Repositories
2. https://codescoring.ru/ – разработчики схожей платформы
3. https://t.me/codemining

 

Управление патч-менеджментом

Разработка рекомендательной системы приоритизации патч-менеджмента (patch management)

TipИдея

Рекомендательная система – Анализируя опасность уязвимости и информацию о структуре ландшафта ИТ компании отранжировать системы для приоритизации усилий

WarningОписание

Построение рекомендательной системы выстраивания приоритета патч-менеджмента с учетом:

1. Анализа опасности уязвимости
2. Анализа периметра защищаемой инфраструктуры
   • результаты инвентаризаций инфраструктуры
   • результаты сетевого сканирования
   • результаты Shodan/Censys/ZoomEye
3. Анализа прошедших инцидентов ИБ
   • анализ информации из Threat Intelligence Platform
4. Анализа взаимодействия компонентов внутри защищаемой инфраструктуры
   • какие сервисы используются
   • какие централизованные средства управления инфраструктурой используются

ImportantКлючевые навыки

Data Engineering, Web Scraping, Machine Learning, OSINT

Погружение в проблематику:

1. https://habr.com/ru/post/671808/ – процесс vulnerability management
2. https://vulners.com/ – поисковик уязвимостей
3. https://habr.com/ru/company/icl_services/blog/251575/ – типовые практические проблемы патч менеджмента

 

Аналитика ИБ

Комплексный анализ структуры определенного вида деятельности в сфере информационной безопасности

NoteПроекты уже в процессе – присоединяйтесь!

https://github.com/i2z1/TIPoster – программно генерируемый постер по Threat Intelligence

TipИдея

Сама по себе шпаргалка – это результат анализа информации по теме. Традиционно, рисование любого наглядного пособия или шпаргалки выполняется в каком-либо графическом редакторе или даже в Wordе / Powerpointе.

Однако, если информация быстро устаревает и ее планируется часто обновлять, то имеет смысл рассмотреть варианты программной генерации такой издательской продукции.

Преимущество подхода в том, что один раз настроив внешний вид мы дальше просто меняем содержимое, а готовый плакат/брошюра перегенерируется автоматически. Одним из таких средств может быть Quarto/Rmarkdown.

Примеры таких работ можно найти в RStudio Cheatsheets, а также в проекте Posterdown.

При этом научная новизна может заключаться как в методике сбора и анализа материала по теме, так и в методике программной генерации результата.

Тематикой такой работы может быть:

• киберразведка – Threat Intelligence
• поиск следов злоумышленника внутри инфраструктуры – Threat Hunting
• извлечение информации из СЗИ и автоматизированных систем – Data Engineering

WarningОписание

Например, по тематике Threat Intelligence плакат может включать:

1. Роль и задачи TI
   • при анализе собственной инфраструктуры и поиску IoC
   • для организации работы Security Operations Center (SOC)
2. Средства сбора информации об угрозах
   1. Форматы, назначение, структура и средства создания
      • Yara
      • Sigma
   2. Источники
      • песочницы
      • анализ тематических форумов (Darknet)
      • материалы расследований
3. Средства распространения
   1. Форматы фидов
   2. Источники
      • популярные открытые фиды
      • коммерческие фиды
4. Средства агрегации, их основные возможности и недостатки
   • открытые TIP
     • MISP
     • OpenCTI
   • проприетарные TIP
5. Конвертеры информации из TIP в форматы сигнатур СЗИ
6. Дополнительные популярные источники информации о TI
7. Основные поставщики решений TI на российском рынке

ImportantКлючевые навыки

OSINT, структуризация информации, mindmaps, веб-разработка, верстка

Погружение в проблематику:

1. Awesome Threat Intelligence – https://github.com/hslatman/awesome-threat-intelligence
2. Threat Intelligence Platforms – https://www.anti-malware.ru/practice/methods/threat-intelligence-platform
3. Практические вопросы выбора инструментов Threat Intelligence – https://www.anti-malware.ru/analytics/Technology_Analysis/Threat-Intelligence-tools-selection