Если показать нейросети два текста в новом диалоге и спросить, какой из них был создан ею раньше, модель иногда действительно выберет правильный вариант, но воспринимать такой ответ как распознавание собственного текста или доказательство авторства нельзя. Об этом «Газете.Ru» рассказал заведующий лабораторией доверенного искусственного интеллекта РТУ МИРЭА Юрий Силаев.
Если предыдущая генерация недоступна модели в текущем контексте или через механизмы памяти, она не «вспоминает» конкретный текст, а оценивает признаки, которые считает характерными для машинной генерации: слишком ровную структуру, предсказуемое построение абзацев, определенную лексику, последовательность аргументов или общий стиль изложения. Проблема в том, что ни один из этих признаков не принадлежит исключительно ИИ: человек тоже может писать структурированно и шаблонно, а текст нейросети после редактирования может потерять большую часть характерных особенностей. Более того, нейросеть может ошибиться в обе стороны — назвать своим текст человека или решить, что сгенерированный ею текст написал человек: на результат влияет даже то, как поставлен вопрос, насколько длинный перед ней текст и к какому жанру он относится.
«Есть и еще одна причина для ошибки. Модель может ориентироваться не столько на реальное авторство, сколько на свое представление о том, как выглядит «хороший ответ нейросети». Например, аккуратно структурированный и грамотно написанный текст может показаться ей более похожим на собственный. Получается парадокс: иногда ИИ фактически отвечает не на вопрос «писал ли я это?», а на вопрос «похоже ли это на текст, который я мог бы написать?»», — отметил Силаев.
Поэтому запросить у чат-бота «это написал ты?» можно из любопытства, но использовать полученный ответ как проверку авторства не стоит, тем более нельзя только на его основании обвинять школьника, студента или сотрудника в использовании нейросети: даже специализированные детекторы работают с вероятностью и могут ошибочно помечать человеческие тексты как созданные ИИ.
Надежнее смотреть не на один «процент ИИ», а на происхождение текста: историю его создания, черновики, промежуточные версии, источники и способность автора объяснить собственные аргументы и ход работы. Сам текст может содержать признаки машинной генерации, но в большинстве обычных ситуаций он не несет универсальной надежной метки, по которой можно однозначно установить, что эти строки написал человек, а эти — нейросеть.
Ранее россиянам назвали опасные признаки зависимости от ИИ.
