Содержание
Вы знали, что нейросеть может уверенно сослаться на пункт договора, которого в нем нет? Так проявляется особенность технологии: модель иногда выдает выдуманное за факт. Разбираем, как избегать таких галлюцинаций.
Представьте, что вы загрузили в нейросеть договор аренды и спросили: «Какой штраф предусмотрен за досрочное расторжение?» Модель отвечает: «Согласно пункту 5.3, штраф составляет два месячных платежа».
Звучит убедительно, ведь есть и ссылка на документ, и сумма. Только в договоре нет ни этого пункта, ни этого штрафа.
Почему модель выдумывает#
Нейросети устроены так, что по сути они угадывают наиболее вероятный ответ на конкретный вопрос. Они учатся на огромном количестве текстов и каждый раз подбирают продолжение, которое звучит правдоподобнее всего. Формулировка вопроса вида «Какой штраф предусмотрен за досрочное расторжение?» наводит модель на мысль, что нужная информация точно есть в документе. В результате она может придумать, вместо того чтобы проверить по тексту. Именно поэтому то, как сформулирован вопрос, напрямую влияет на точность ответа.
Чем сильнее модель и чем больше данных использовано при ее обучении, тем лучше она понимает смысл запроса, планирует ответ и может перепроверять саму себя. Поэтому новые версии, как правило, ошибаются реже: например, OpenAI сообщает, что GPT-6.1 Sol допускает примерно на 32% меньше фактических ошибок на сложных запросах, чем GPT-6 Sol.
Получается, можно избегать галлюцинаций, если просто выбрать модель мощнее? Отчасти — да. Но если вы хотите уменьшить количество галлюцинаций системно и не зависеть от мощности модели, начните с правильно сформулированного промта.
Три приема, которые снижают риск выдуманного ответа#
Просите цитату и номер пункта
Дословная цитата поможет быстрее найти нужное условие в договоре и проверить, правильно ли модель его интерпретировала
Задавайте нейтральный вопрос и разрешайте ответ «не найдено»
Вопрос «Какой штраф предусмотрен?» уже подразумевает, что штраф есть, и модель подстраивается. Вопрос «Предусмотрены ли штрафы?» оставляет место для ответа «нет». Добавьте в запрос: «Если такого условия в тексте нет, так и напиши». В таком случае вы разрешаете дать корректный ответ.
Ограничивайте модель текстом договора
Добавьте в запрос: «Ничего не додумывай». Это сужает поле для угадывания: модель опирается на загруженный текст, а не на общие представления о том, как обычно пишутся договоры.
Ниже текст договора аренды. Предусмотрены ли в нем штрафы за досрочное расторжение? Если да, приведи дословную цитату и номер пункта. Если такого условия нет, напиши «в тексте не найдено». Ничего не додумывай. [текст договора]
Как использовать рекомендации в работе#
Для предварительного анализа просите ИИ находить нужные условия и сверяйте каждую цитату с договором: убедитесь, что пункт существует, и прочитайте его целиком, чтобы фраза не оказалась вырванной из контекста. Решение о подписании лучше принимать вместе с юристом, так как нейросеть помогает быстро найти спорные условия, но не знает всех обстоятельств и не оценит риски за вас.