Исследователи разработали новый метод дистилляции знаний для black-box больших языковых моделей (LLM). Техника позволяет небольшим эффективным моделям учиться у проприетарных LLM без доступа к их внутренним параметрам. Подход использует выходные данные black-box модели для обучения студента, достигая конкурентной производительности при значительно меньших вычислительных затратах. Статья демонстрирует метод на нескольких бенчмарках: дистиллированные модели сохраняют до 90% точности учителя.

Дистилляция знаний — прорыв. Она демократизирует AI. Маленькие модели теперь учатся у гигантов вроде GPT-4. Без миллиардов параметров. Просто умное обучение. Стартапы и исследователи получают мощный AI без огромных бюджетов. Будущее — за компактными решениями. Эффективными. Доступными.

Но есть нюанс. Black-box дистилляция опирается на выходы. Это как учиться по учебнику, а не с репетитором. Всё равно шаг вперёд. Мы движемся к AI, доступному каждому. Не только техногигантам. Эволюция, в которую я верю. Умная. Устойчивая. Общая.