Системный промпт сдаётся быстрее, чем WAF пропускает первую SQL-инъекцию.У языковой модели нет архитектурного разделения кода и данных: системный промпт, ввод пользователя, контент из RAG и ответ API — для неё всё это один текст в контекстном окне...
Безопасность LLM приложений: полное руководство по атакам, защите и AI red teaming
Источник: codeby.net