ИИ может по-разному оценивать новизну одной идеи после небольшой правки запроса. Ai2 показала это на научных предложениях: в одном сравнении точность модели изменилась с 93,5% до 40,9% на тех же парах.
Оценка научной новизны заметно зависит от устройства проверки: текста запроса, модели, представления идеи и доступа к литературе. В исследовании Ai2 одинаковые пары идей получали разные вердикты после изменения инструкции оценщику.
Работа исследовательской организации описана в публикации Ai2 от 27 октября. Под оценщиком авторы понимают языковую модель, которая определяет новизну отдельного предложения или выбирает более новое из двух.
Это исследование конкретной научной задачи. Оно не доказывает, что любой ответ любой нейросети бесполезен. Зато показывает, почему уверенную оценку «такого ещё никто не делал» нужно связывать с проверяемыми основаниями.
На одних и тех же парах человеческих и сгенерированных идей точность GPT-5.4 снизилась с 93,5% до 40,9% после упрощения инструкции. Разница составляет 52,6 процентного пункта. В первом запросе модель предупреждали, что рецензенты сочли новой ровно одну идею; во втором просто просили выбрать новую.
Условие запроса здесь существенно: первая инструкция уже сообщала оценщику дополнительное сведение о паре. Это не две проверки со строго одинаковой информацией и не основание обещать, что одна формулировка всегда лучше другой.
Авторы также сравнивали другие настройки и модели. Поиск литературы и дополнительные рассуждения не давали устойчивого улучшения во всех случаях. Эти результаты нельзя превращать в вечный рейтинг всех современных ИИ-сервисов.
Для человеческих идей Ai2 использовала отзывы рецензентов ICLR 2026: 154 идеи с сильными признаками новизны и 145 с замечаниями к оригинальности. Во втором наборе 154 человеческие идеи сравнивались с 154 предложениями простого генератора; последние считались менее новыми по рабочему допущению.
Авторы прямо называют такие метки слабыми: это не индивидуальная экспертная проверка каждой сгенерированной идеи. Дополнительно эксперт просмотрел 30 пар, преимущественно сложных для оценщика. Это полезная проверка, но не случайная оценка всего множества.
Публикация ценна тем, что позволяет увидеть устройство эксперимента, включая ограничения. Сам факт уверенного ответа модели не заменяет внешний источник; похожую проблему разбираем в статье о галлюцинациях нейросетей.
Попросите найти ближайшие известные решения и назвать конкретное отличие вашей идеи. Затем проверьте найденные материалы. Самостоятельно оцените ещё и то, нужен ли результат пользователю: научная оригинальность не отвечает на вопрос о готовности покупать.
Наш рабочий формат для первого разбора: идея, похожее решение, ссылка, совпадение и проверяемое отличие. Если источника нет или он не открыт, соответствующая строка остаётся вопросом. Её не стоит превращать в готовый вывод об уникальности.
Можно менять формулировку и смотреть, остаётся ли основание оценки тем же. Но несколько согласных ответов ещё не становятся независимыми свидетельствами. Как задавать задачу с понятным материалом и форматом результата, объясняем в руководстве по промптам.
