Киберугрозы внедрения LLM в государственные и муниципальные информационные системы
Авторы
Артем Андреевич Вяткин
Cанкт-Петербургский федеральный исследовательский центр Российской академии наук
Автор
Денис Степанович Мурадян
Санкт-Петербургский государственный университет
Автор
Александр Владимирович Попцов
Cанкт-Петербургский федеральный исследовательский центр Российской академии наук
Автор
Олег Александрович Шутько
ПАО «Сбербанк»
Автор
Ключевые слова:
государственное управление,
промпт-инъекции,
искусственный интеллект,
большие языковые модели
Аннотация
В статье рассматриваются три основных типа промпт-инъекций: прямые, косвенные и направленные на генерацию вредоносных инструкций. Авторы предлагают систематизированный подход к их анализу в контексте применения LLM в государственном корпоративном секторе. Также анализируется специфика уязвимостей, возникающих при использовании LLM для автоматизации обработки обращений граждан, подготовки служебных документов и поддержки электронного документооборота. Сделан вывод о необходимости разработки специализированных методик защиты, регламентов использования LLM, внедрения механизмов валидации выводов моделей и ограничения полномочий агентных систем.
