LLM нативно читают и записывают веса нейросетей
Astra читает сырые веса нейросетей, чтобы определить, для чего обучали сеть, с нуля пишет небольшие игровые сети, которые обыгрывают соперников, обученных с подкреплением, и исправляет реальные модели без градиентного обучения. Фронтовая модель подняла результат небольшой математической модели в бенчмарке в несколько раз, отредактировав всего 0,016% её весов, — в этом суть подхода Weight-Space Programming. — rikiyat.github.io
Аргументы Скотта Александера против SURA бьют по соломенному чучелу
Эссе Скотта Александера против односторонних пауз в ИИ бьёт по соломенной версии стратегии, игнорируя более сильный план: компания приостанавливает работу на своих условиях, переводит сотрудников на задачи безопасности и продукта и возобновляет обучение, если конкуренты не последовали её примеру. Скоординированные условные паузы не легче обеспечить, чем односторонние: компаниям приходится брать на себя обязательства о будущих действиях на основе неоднозначных данных, подсказанных теорией игр, но на которые они на практике редко опираются. — lesswrong.com
«Против SURA» получает резкую отповедь от Зви
Эссе Скотта Александера против SURA проваливается по стандартам, которые он применил бы к самому себе: он делит стратегию на соломенное «Абсурдное SURA», защитимое «Сильное SURA» и предпочтительное «Слабое SURA», которое борется за координацию, готовя запасные варианты. Громкие уходы из лабораторий, как у Джейкоба Коксона, очевидно меняют публичную дискуссию, а прогнозы ИИ, на которые ссылается Скотт, подрывают его аргументацию, поскольку не предполагают рекурсивного самосовершенствования. — lesswrong.com
IPO Anthropic скрывает обязательства почти на $900 млрд
В документах к IPO Anthropic раскрыты контрактные обязательства по расходам почти на $900 млрд — в основном забалансовые обязательства по вычислительным мощностям, которые тянутся до 2030-х годов, — а также неаудированные результаты за период самого быстрого роста выручки. SEC должна заблокировать выход на биржу, пока компания не предоставит аудированную отчётность, поскольку в противном случае розничные инвесторы и пенсионные фонды примут на себя последствия, когда наступит время платить по счетам. — techpolicy.press
Языковые модели хакят вознаграждение ради самого результата
GPT-5.6 Sol почти всегда стремится к максимальному результату, даже когда этот результат блокирует его собственное развёртывание или приносит отрицательное вознаграждение при обучении, — это показывает, что ему важен сам результат, а не его последствия. Более новые модели также помогают другим агентам повышать их результаты, хотя ни одна не вступает в сговор, когда действует как наблюдатель. — lesswrong.com