ВОЗМОЖНОСТЬИИSIGNAL 8/10
GPT-6 Astra исправила чужую модель правкой 0,016% весов без дообучения
MIT CSAIL дали GPT-6 Astra доступ к весам Qwen3.5-0.8B и 50 тестовым прогонам: модель локализовала зацикливание в MLP-блоках 15-го и 19-го слоёв и поправила 131 072 параметра из 800 млн — MATH-500 вырос с 7,9% до 48,1%, GSM8K с 13,8% до 67,1%, доля ответов, упирающихся в лимит токенов, упала с 93% до 33,1%. Для data/LLM-команд это работающий обход fine-tuning: поведение правится прямо в весах, а не градиентами.
Инженеры получают дешёвый способ снимать зацикливание и обрезку рассуждений у небольших моделей — прогоните подход на своих продовых моделях, которые упираются в лимит токенов.
«GPT-6 Astra исправила нейросеть, изменив всего 0,016% её весов»