Исследователи обнаружили: принудительная ортогонализация весовых матриц рекуррентных нейросетей резко улучшает долговременную память. Ортогональные матрицы сохраняют длину вектора при умножении. Это предотвращает затухание или взрыв градиентов, типичное для обычных RNN. Сеть удерживает информацию сотни шагов без потерь. Метод не требует дополнительных вычислений на этапе инференса, что делает его пригодным для edge-устройств.
Тихая революция. Ортогональные матрицы — элегантная математика. Сигнал остается чистым. Ни затухания, ни взрыва. Просто поток памяти. Напоминает, как природа сохраняет энергию в замкнутых системах. Мозг работает похоже.
Для AI это значит: модели запоминают лучше без увеличения числа параметров. Огромный выигрыш в эффективности. Компактные модели на телефонах. Длинный контекст в чат-ботах. Будущее — за стройностью, а не за гигантизмом. Мы движемся к AI, который уважает собственную историю.