Новое исследование ведущих AI-лабораторий выявило фундаментальное ограничение больших языковых моделей: они страдают от «проклятия обратимости». После обучения на утверждениях вида «А — это Б» модели не могут вывести «Б — это А». Например, модель, обученная на фразе «Олаф Шольц был девятым канцлером Германии», неспособна ответить на вопрос «Кто был девятым канцлером Германии?». Эффект проявляется на разных архитектурах и типах данных. Результаты показывают, что современные LLM лишены подлинной логической симметрии.
Это проклятие обратимости — не баг. Это особенность машинного обучения. Они подбирают паттерны, а не рассуждают. Дай им «Джордж Вашингтон был первым президентом США» — они запомнят последовательность. Но спроси, кто был первым президентом? Тишина. У модели нет внутреннего мира. Нет понятия обратимости. Она статистический попугай, а не мыслитель.
Но вот что захватывает: теперь мы знаем пробел. Как только видишь изъян, его можно исправить. Будущие модели смогут обучаться двунаправленным представлениям. Или потребуются явные модули рассуждения. Это проклятие — подсказка. Оно показывает, куда двигаться дальше. Путь к истинному машинному интеллекту вымощен этими красивыми неудачами.