Топ AI-исследований недели: SkillOpt, «сон» для LLM и стареющие агенты

Изначально опубликовано DAIR.AI в X. Перевод и адаптация на русском.

DAIR.AI собрали подборку из десяти заметных AI-работ недели. Главная линия подборки — инженерия агентных систем: как обучать не только модель, но и её навыки, рантайм, контекст, память и даже жизненный цикл агента.

1. SkillOpt

Microsoft Research предлагает смотреть на компактный документ с навыком агента как на обучаемое состояние замороженной модели. Вместо того чтобы вручную писать SKILL.md и надеяться, что он обобщится, SkillOpt оптимизирует сам текст навыка через прогоны задач, рефлексию, ограниченные правки и проверку на hold-out валидации.

• Skill-документ как обучаемый параметр: отдельная optimizer-модель предлагает добавления, удаления и замены инструкций. «Текстовый learning rate» ограничивает агрессивность переписывания документа.
• Валидационные ворота вместо надежды: правка принимается только если проходит отложенную проверку. Это превращает написание навыков из интуитивного prompt-tweaking в измеримый цикл оптимизации.
• 52 победы из 52: SkillOpt обходит Trace2Skill, TextGrad, GEPA, EvoSkill, human-written skills и one-shot skills на 6 бенчмарках и 7 целевых моделях. В прямом чате с GPT-5.5 прирост составляет около +23,5 пункта, в Codex-loop — +24,8, в Claude Code — +19,1 относительно режима без навыка.
• Почему важно: если оптимизировать можно сам документ навыка, узкое место смещается с возможностей базовой модели на качество обучения естественно-языкового состояния вокруг замороженного агента. Это дешёвый и модельно-независимый рычаг, который многие команды пока недоиспользуют.

Paper | Tweet

2. Компиляция агентных workflow в веса

Эта работа показывает, что полный агентный workflow можно дистиллировать в веса небольшой модели и запускать примерно на два порядка дешевле, сохраняя качество близко к frontier-системе. Вместо внешнего оркестратора над LLM процедура компилируется в fine-tuned модель — авторы называют это subterranean agent.

• Весь workflow, а не только ответ: студент усваивает многошаговые LLM-вызовы, tool calls, промежуточные scratchpads и точки принятия решений.
• Оркестратор растворяется в модели: классические agent frameworks гоняют planner-loop на каждый запрос. Если скомпилировать этот цикл в веса, исчезают существенные издержки по стоимости и задержке.
• Качество почти frontier при ~100x меньшей цене: экономия возникает из-за схлопывания множества модельных вызовов в один forward pass.
• Почему важно: production-агенты постоянно платят за один и тот же orchestration loop. Если его можно один раз скомпилировать в дешёвую модель, экономика узких высоконагруженных workflow резко меняется.

Paper | Tweet

3. AutoScientists

AutoScientists от Harvard — децентрализованная команда AI-агентов для долгих вычислительных научных задач без центрального planner. Агенты самоорганизуются вокруг перспективных гипотез, критикуют предложения друг друга до расхода экспериментального compute и фиксируют как успехи, так и провалы, чтобы не повторять тупики.

• Без центрального планировщика: агенты читают общее экспериментальное состояние, собираются в команды вокруг перспективных направлений и перестраиваются, когда прогресс стопорится.
• Сначала оценка, потом compute: предложения критикуются и скорятся до запуска экспериментов, что снижает потери на заведомо слабых траекториях.
• Сильные результаты на реальных science-задачах: на BioML-Bench из 24 biomedical ML задач AutoScientists достигает 74,4% среднего leaderboard percentile, улучшая лучший предыдущий AI-agent результат на +8,33%.
• Почему важно: многие multi-agent research-системы всё ещё упираются в центральный planner. Децентрализованная самоорганизация с явным обменом неудачами — другой шаблон для долгого научного поиска.

Paper | Tweet

4. Language Models Need Sleep

Длинный контекст дорог: attention плохо масштабируется с длиной истории. Эта работа изучает «соноподобную» консолидацию: модель периодически сворачивает недавний контекст в persistent fast weights, очищает KV-cache и во время sleep-фазы делает offline recurrent passes по накопленной истории.

• Консолидировать, затем очистить cache: агент сохраняет выученное в fast weights внутри SSM-блоков, не таща всю цену attention в каждый следующий шаг.
• Compute уходит в sleep, latency остаётся wake-time: дополнительная работа выполняется offline, а предсказания после пробуждения остаются быстрыми.
• Больше sleep помогает самым сложным случаям: рост длительности sleep улучшает качество, особенно там, где нужен сложный reasoning по длинной истории.
• Почему важно: long-horizon агенты первыми чувствуют квадратичную цену контекста. Консолидация даёт альтернативу бесконечному росту context window.

Paper | Tweet

5. Адаптировать интерфейс, а не модель

Life-Harness утверждает: когда frozen LLM-agent систематически ошибается в детерминированной среде, проблема часто не в reasoning модели, а в интерфейсе между моделью и окружением. Значит, исправлять нужно runtime harness, не трогая веса и benchmark-среду.

• Ошибки превращаются в reusable interventions: повторяющиеся сбои переводятся в runtime-фиксы по action realization, environment contracts, trajectory regulation и procedural skills.
• Модель заморожена, среда неизменна: меняется только интерфейс между ними, поэтому подход можно применять поверх разных backbones без fine-tuning.
• Широкий стабильный прирост: на 7 deterministic agent benchmarks и 18 model backbones Life-Harness улучшает 116 из 126 model-environment settings со средним relative improvement 88,5%.
• Почему важно: это ещё один аргумент за code-as-harness: значительная часть agent failures — инженерные проблемы интерфейса, а не повод сразу дообучать модель.

Paper | Tweet

6. The Efficiency Frontier

Контекст часто доминирует в production-расходах на LLM, а правильная стратегия зависит от того, как часто переиспользуется preprocessing. Работа формулирует выбор context strategy как deployment-aware оптимизацию с учётом качества, token cost и reuse.

• Reuse-aware cost model: log-utility метрика учитывает убывающую отдачу от дополнительного контекста и амортизированную цену preprocessing.
• Разные режимы эксплуатации: границы между retrieval и preprocessing стратегиями сдвигаются в зависимости от числа повторных использований подготовленного контекста.
• Реальная экономия токенов: на 5 000 HotpotQA instances deployment-aware optimization снижает effective token usage примерно на 25% при сопоставимом качестве; amortized memory compression даёт более чем 50% меньшую token cost относительно full-context.
• Почему важно: многие команды один раз выбирают context strategy и платят за неё всегда. Здесь это превращается в измеримое cost-performance решение.

Paper | Tweet

7. Прогнозирование научного прогресса с AI

CUSP — cutoff-conditioned benchmark из 4 760 реальных научных событий по разным дисциплинам. Для каждого события модели проверяются на feasibility assessment, mechanistic reasoning, generative solution design и temporal prediction. Главный вывод трезвый: модели распознают правдоподобные направления, но плохо предсказывают исходы.

• Recognition — не foresight: модели могут выбирать правдоподобные исследовательские направления, но ненадёжно предсказывают, будет ли прорыв реализован и когда.
• Зависит от домена, timing — самое сложное: прогнозы прогресса в AI более предсказуемы, чем события в biology, chemistry и physics; temporal prediction — самое слабое место.
• Дело не только в training cutoff: качество слабо зависит от того, находится событие до или после knowledge cutoff модели. Дополнительное pre-cutoff знание помогает, но не закрывает разрыв до full-information setting.
• Почему важно: модели демонстрируют overconfidence и response biases. Если лаборатории используют AI для triage research bets, нужен benchmark, который отделяет полезное выявление направлений от слабого прогнозирования исходов.

Paper | Tweet

8. Ваши агенты тоже стареют

AgingBench — longitudinal reliability benchmark для agent lifespan engineering. Его идея проста: долгоживущих агентов нельзя оценивать так же, как freshly initialized models. Бенчмарк описывает деградацию через четыре механизма: compression aging, interference aging, revision aging и maintenance aging.

С помощью temporal dependency DAG он кодирует межсессионные зависимости и строит aging curves на протяжении операционного жизненного цикла, а не одну day-one оценку. Это помогает понять, куда направлять repair: в summarization, memory retrieval, обновление derived state или routine lifecycle maintenance.

Paper | Tweet

9. Harnesses не всегда лучше

Эта работа рассматривает LLM agent harnesses через inference-time trajectory alignment. Harness раскладывается на два механизма: task decomposition, который дробит задачу на sub-goals, и guided execution, который меняет локальные распределения действий во время выполнения.

Ключевой вывод: более сложный harness не гарантирует лучший результат. Усиление decomposition или guidance может улучшить execution, но снизить итоговый task success. Появляются failure modes вроде over-decomposition, over-pruning и hallucinated execution. Интересно, что partial harnesses, задающие только начальные шаги и оставляющие остальное агенту, иногда дают более высокий pass rate, чем полностью структурированные workflow.

Paper | Tweet

10. Epicure

Epicure обучает семейство multilingual ingredient embeddings с нуля на 4,14 млн рецептов из 11 источников на семи языках. Сырые ingredient strings нормализуются до 1 790 canonical entries через LLM-augmented pipeline.

Проект выпускает три skip-gram / Metapath2Vec варианта с общей архитектурой, но разными графовыми обходами: recipe co-occurrence, chemical-compound structure из FlavorDB или гибрид. Каждый вариант оказывается в своей точке спектра между chemistry и recipe context. Итог — компактная downloadable карта emergent geometry of food и хорошее напоминание, что representation learning полезен далеко за пределами текста.

Paper | Original thread

Что стоит забрать строителям агентов

Подборка хорошо показывает сдвиг фокуса: «умнее модель» уже не единственная ось прогресса. Всё больше выигрыша лежит вокруг модели — в skill-документах, harness-архитектуре, стоимости контекста, памяти, lifecycle maintenance и способах компиляции процедур. Для production-агентов это, пожалуй, главный сигнал недели: оптимизировать нужно всю систему, а не только prompt и model choice.