Перейти к содержанию

Языковая модель рассуждений

Статья из Авикипедии. Энциклопедии

Языковая модель рассуждений (RLM, большая модель рассуждений, LRM) представляет собой специализированный тип большой языковой модели, проходящей дополнительное обучение для решения задач, требующих последовательного логического анализа. Такие модели демонстрируют превосходные результаты в областях логики, математики и программирования по сравнению с обычными языковыми моделями. Они обладают способностью возвращаться к предыдущим этапам рассуждений и использовать дополнительное вычислительное время при формировании ответа, что служит эффективным способом повышения производительности наряду с увеличением объёмов обучающих данных, параметров и вычислительных ресурсов.

    1. История
      1. 2024 год

В сентябре 2024 года OpenAI представила модель OpenAI o1 с расширенными возможностями логического анализа. Полноценный релиз этой модели состоялся в декабре того же года, когда компания также начала публиковать данные о следующей версии — OpenAI o3.

Развитие языковых моделей рассуждений подтверждает концепцию «горького урока» Рича Саттона: увеличение вычислительных мощностей часто даёт лучшие результаты, чем внедрение специализированных человеческих эвристик. Например, лаборатория GAIR исследовала сложные методики, включая поиск по дереву и обучение с подкреплением, для воспроизведения возможностей o1. В серии публикаций «o1 Replication Journey» отмечалось, что дистилляция знаний — обучение компактной модели на результатах o1 — показала неожиданно высокую эффективность, подчеркнув ценность этого подхода.

Alibaba Group выпустила версии своих моделей Qwen с функциями рассуждений в ноябре 2024 года. В декабре команда представила экспериментальную модель визуального анализа QvQ-72B-Preview.

В декабре 2024 года Google внедрила функцию Deep Research в чат-боте Gemini, реализовавшую многозадачные многоэтапные исследования.

16 декабря 2024 года эксперимент с моделью LLaMA 3B продемонстрировал, что увеличение вычислительных ресурсов исключительно на этапе инференса позволяет относительно небольшой модели превзойти значительно более крупную Llama 70B в сложных задачах рассуждения, что указывает на важность оптимизации стратегий вывода даже для маломасштабных систем.

      1. 2025 год

В январе 2025 года DeepSeek выпустила языковую модель, сопоставимую по качеству с o1, но более экономичную. Эта модель подтвердила эффективность метода относительной группировки политики (GRPO). 25 января 2025 года DeepSeek добавила в R1 возможность параллельного поиска информации в интернете во время процесса рассуждения, упростив комбинацию поиска и анализа. Эффективность дистилляции для моделей рассуждений также была продемонстрирована моделью s1-32B, где высокое качество достигалось за счёт методов ограничения ресурсов и масштабирования, позволяя выполнять сложные исследовательские задачи и формировать развёрнутые отчёты с использованием разнообразных интернет-источников.

Поскольку создание наборов данных с ручной разметкой рассуждений требует значительных трудозатрат, для автоматизации этого процесса применяются методы вроде дообучения с отбракованными решениями (rejection sampling finetuning, RFT): - Выбирается задача. - Генерируется набор цепочек рассуждений для этой задачи. - Верификатор отсеивает варианты с неверным окончательным ответом (и, опционально, дубликаты).

    1. Обучение с подкреплением

Предварительно обученная языковая модель может быть дообучена с применением методов обучения с подкреплением (RL). В этом случае генеративная модель рассматривается как политика π, задача — как состояние среды x, а ответ модели — как действие y. Вероятность генерации y по запросу x записывается как π(y|x).

Обучение модели рассуждений с помощью RL требует создания модели вознаграждения r(x, y). Высокое вознаграждение соответствует правильному решению, низкое — ошибочному.

Ответ y может состоять из нескольких последовательных шагов: y₁, y₂, ..., yₙ.

В современных системах чаще применяются методы градиентного обновления политики, такие как Proximal Policy Optimization (PPO), поскольку они стабилизируют обучение крупных моделей.

      1. Модель вознаграждения по результату

Модель вознаграждения по результату (Outcome reward model, ORM), также известная как Outcome-supervised RM. Базовая модель может дообучаться на задаче предсказания вероятности получения правильного финального ответа на основе неполного (частичного) рассуждения.

Имея PRM-модель, ORM может быть построена путём суммирования наград процесса, взятия минимального значения или применения других методов агрегации. DeepSeek использовала простую ORM для обучения своей языковой модели.

Для исключения ручной разметки предлагаются методы генерации PRM без человеческих меток. Например, метод Math-Shepherd, вдохновлённый поиском по дереву Монте-Карло, прогоняет несколько вариантов рассуждений с каждого шага, а затем назначает награду в зависимости от доли правильных финальных ответов (soft/hard estimation).

Также возможно построение PRM на основе ORM по аналогии с direct preference optimization.

      1. Управляемая генерация и подбор вариантов

Обученная ORM может выполнять роль критика: политика генерирует несколько ответов, ORM выбирает наилучший — реализуя простое масштабирование вычислений на этапе вывода («best-of-N»).

Обученная PRM может направлять рассуждение по дереву: политика предлагает несколько шагов, PRM выбирает оптимальный, процедура повторяется. Жадный поиск реализуется аналогичным образом. Более сложные методы, например, lookahead search, выполняют короткое форсирование на каждом шаге (rollout), PRM оценивает каждую ветку, выбирается оптимальный путь.

Некоторые тестовые наборы исключают такие модели из-за высоких требований к времени и вычислительным ресурсам.

      1. Humanity’s Last Exam

Бенчмарк «Последний экзамен человечества» проверяет экспертные способности в рассуждениях по математике, гуманитарным и естественнонаучным дисциплинам и выявляет значительные различия между моделями. Даже новейшие модели показывают скромные результаты: например, OpenAI o3 набрала 26,6%.

      1. AIME

В конкурсе AIME (American Invitational Mathematics Examination) стандартные языковые модели обычно решают менее 30% заданий, а модели рассуждений — от 50 до 80%.

      1. Результаты o3-mini

В отчёте OpenAI за январь 2025 года отмечается, что настройка «глубины рассуждения» существенно влияет на успехи модели, особенно в STEM-дисциплинах. Переход от низкой к высокой степени рассуждения повышает точность на задачах AIME 2024, GPQA Diamond, Codeforces, обычно на 10-30%. При высокой «глубине» o3-mini достигала 87,3% на AIME (отличается от MathArena AIME), 79,7% на GPQA Diamond, 2130 Elo на Codeforces и 49,3 на SWE-bench Verified, что вызывало чрезмерно долгие рассуждения и потенциальные сбои в работе сервиса.

      1. Время генерации

Выходные ответы моделей рассуждений обычно более объёмны, чем у стандартных больших языковых моделей, а их генерация занимает значительно больше времени.

    1. Основные модели
      1. OpenAI
  • GPT-5
  • OpenAI o4-mini
  • OpenAI o3
  • OpenAI o1
      1. Gemini (чат-бот)
  • Gemini (языковая модель)
  • Gemini (языковая модель)
      1. DeepSeek
  • R1 (на базе V3)
  • R1-Lite-Preview (тестовая версия на базе V2.5)
      1. Qwen
  • QvQ-72B-Preview — экспериментальная визуальная модель рассуждения (запущена 24 декабря 2024), объединяющая обработку изображений и текстовых цепочек рассуждений.
  • QwQ-32B-Preview — экспериментальная текстовая модель рассуждения, ориентированная на сложный пошаговый анализ (ноябрь 2024).
      1. Anthropic
  • Claude с настраиваемым количеством «токенов размышлений».
      1. Mistral AI
  • Magistral (средние и малые)
      1. xAI
  • Grok (чат-бот)#Grok 3
  • Grok (чат-бот)#Grok 4
      1. Hugging Face
  • OlympicCoder-7B и 32B — в рамках проекта открытого воспроизведения обучения R1 (Open R1).
    1. Примечания
    1. Литература
    1. Ссылки

Категория:Искусственный интеллект Категория:Обработка естественного языка Категория:Машинное обучение Категория:Большие языковые модели

Ссылки[править | править код]