Статьи

Киберугрозы внедрения LLM в государственные и муниципальные информационные системы

Дата поступления: 03.12.2025 Дата публикации: 15.11.2025

EDN: JKODWP

Полный текст:

Аннотация

В статье рассматриваются три основных типа промпт-инъекций: прямые, косвенные и направленные на генерацию вредоносных инструкций. Авторы предлагают систематизированный подход к их анализу в контексте применения LLM в государственном корпоративном секторе. Также анализируется специфика уязвимостей, возникающих при использовании LLM для автоматизации обработки обращений граждан, подготовки служебных документов и поддержки электронного документооборота. Сделан вывод о необходимости разработки специализированных методик защиты, регламентов использования LLM, внедрения механизмов валидации выводов моделей и ограничения полномочий агентных систем.

Ключевые слова

Поступила в редакцию: 03.12.2025

Организации

Работа выполнена в рамках проекта по государственному заданию СПб ФИЦ РАН № FFZF-2025-0006.

Как цитировать

Для цитирования:

Вяткин А.А., Мурадян Д.С., Попцов А.В., и др. Киберугрозы внедрения LLM в государственные и муниципальные информационные системы // Государственная служба. 2025. Т. 27, № 6. С. 16–25.

For citation:

Vyatkin A.A., Muradyan D.S., Poptsov A.V., et al. Cyber threats of LLM implementation in state and municipal information systems // Gosudarstvennaya Sluzhba. 2025. Vol. 27, no. 6. P. 16–25.

Поделиться

Как цитировать

Вяткин А.А., Мурадян Д.С., Попцов А.В., и др. Киберугрозы внедрения LLM в государственные и муниципальные информационные системы // Государственная служба. 2025. Т. 27, № 6. С. 16–25.

Коды статьи

  • EDN JKODWP
  • Тип статьи (РИНЦ) Научная статья (Научная статья)

Список литературы

  1. Селиверстова А.Д. Возможности и риски, этические проблемы использования искусственного интеллекта в публичном управлении. Гуманитарные, социально-экономические и общественные науки. 2024. № 3. С. 56–60. https://doi.org/10.23672/SAE.2024.88.31.023
  2. Семин А.Н., Гусманов Р.У., Стовба Е.В., Мешкова Н.Г. Применение технологий искусственного интеллекта в органах государственной власти: вызовы и перспективы. ЭТАП: экономическая теория, анализ, практика. 2025. № 5. С. 33–44. https://doi.org/10.24412/2071-6435-2025-5-33-44.
  3. Талапина Э.В. Искусственный интеллект и правовые экспертизы в государственном управлении. Вестник Санкт-Петербургского университета. Серия: Право. 2021. № 4. С. 865–881.
  4. Ahmad N., Anshari M., Hamdan M., Ali E. Ethics and Public Trust in AI Governance: A Literature Review. International Journal of Law Government and Communication. 2024. Vol. 9. No. 37. P. 296–305. https://doi.org/10.35631/IJLGC.937025. In English
  5. Gulyamov S., Gulyamov S., Rodionov A., Khursanov R., Mekhmonov K., Babaev D., Rakhimjonov A. Prompt Injection Attacks in Large Language Models and AI Agent Systems: A Comprehensive Review of Vulnerabilities, Attack Vectors, and Defense Mechanisms. Preprints. 2025. https://doi.org/10.20944/preprints202511.0088.v1. https://www.preprints.org/frontend/manuscript/40097b1a4d5fc29a26a1088e674be312/download_pub. In English
  6. Heverin T., Cohen E. Evaluating the Effectiveness of Psychological Prompt Injection Attacks on Large Language Models for Social Engineering Artifact Generation. European Conference on Cyber Warfare and Security. 2025. Vol. 24. No. 1. P. 879–883. https://doi.org/10.34190/eccws.24.1.3515. In English
  7. Huang L., Yu W., Ma W., Zhong W., Feng Z., Wang H., Chen Q., Peng W., Feng X., Qin B., Liu T. A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. ACM Transactions on Information Systems. 2025. Vol. 43. No. 2. P. 1–55. https://doi.org/10.1145/3703155. In English
  8. Kwon H., Pak W. Text-Based Prompt Injection Attack Using Mathematical Functions in Modern Large Language Models. Electronics. 2024. Vol. 13. No. 24. Article 5008. https://doi.org/10.3390/electronics13245008. In English
  9. Mathew E.S. Enhancing Security in Large Language Models: A Comprehensive Review of Prompt Injection Attacks and Defenses. Journal on Artificial Intelligence. 2025. Vol. 7. P. 347–363. https://doi.org/10.32604/jai.2025.069841. In English
  10. Şaşal S., Can Ö. Prompt Injection Attacks on Large Language Models: Multi-Model Security Analysis with Categorized Attack Types // Proceedings of the 17th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K 2025). Vol. 1: KDIR. 2025. P. 517–524. https://doi.org/10.5220/0013838400004000. In English
  11. Yang H., Nawi H.S.A., Zhang Y. Artificial Intelligence and Large Language Models in Government Document Management. Journal of Logistics, Informatics and Service Science. 2025. Vol. 12. No. 4. P. 129–145. In English
  12. Yi J., Xie Y., Zhu B., Kiciman E., Sun G., Xie X., Wu F. Benchmarking and Defending against Indirect Prompt Injection Attacks on Large Language Models // Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2025. P. 1809–1820. https://doi.org/10.1145/3690624.3709179. In English
  13. Seliverstova A.D. Opportunities and risks, ethical problems of using artificial intelligence in public administration. Gumanitarnyye, sotsialno-ekonomicheskiye i obshchestvennyye nauki. 2024. No. 3. P. 56–60. https://doi.org/10.23672/SAE.2024.88.31.023. In Russian
  14. Semin A.N., Gusmanov R.U., Stovba E.V., Meshkova N.G. Application of artificial intelligence technologies in public authorities: challenges and prospects. ETAP: ekonomicheskaya teoriya, analiz, praktika. 2025. No. 5. P. 33–44. https://doi.org/10.24412/2071-6435-2025-5-33-44. In Russian
  15. Talapina E.V. Artificial intelligence and legal expertise in public administration. Vestnik Sankt-Peterburgskogo universiteta. Seriya: Pravo. 2021. No. 4. P. 865–881. In Russian