Перейти к содержанию

Малая языковая модель

Статья из Авикипедии. Энциклопедии

Малая языковая модель (МЯМ; англ. Small Language Model, SLM) — это разновидность языковой модели, основанной на нейронных сетях, предназначенной для обработки, понимания и генерации естественного языка. Основное отличие МЯМ от больших языковых моделей (БЯМ, LLM) заключается в значительно меньшем количестве параметров и более узкой специализации.

К категории малых языковых моделей принято относить модели, имеющие от нескольких миллионов до нескольких десятков миллиардов параметров. В то же время большие языковые модели обычно содержат сотни миллиардов параметров. Благодаря меньшему размеру, МЯМ проще и быстрее обучать, а также их можно эффективно запускать на локальных устройствах пользователей, таких как персональные компьютеры и ноутбуки.

Методы обучения[править | править код]

Обучение малых языковых моделей сочетает в себе традиционные подходы, применяемые для больших языковых моделей, и специализированные техники, позволяющие достичь высокой производительности при ограниченном размере модели. Среди ключевых методов выделяются:

  • Квантование — метод сжатия модели, заключающийся в уменьшении разрядности вычислений для весов и активаций.
  • Обрезка — практика удаления части параметров из уже обученной нейронной сети с целью уменьшения её размера.
  • Тонкая настройка — дообучение предварительно обученной модели под конкретную задачу, например, анализ тональности текста.

Популярные модели[править | править код]

В таблице представлен перечень известных малых языковых моделей с указанием количества параметров и компаний-разработчиков.

Название модели Параметры (млрд) Разработчик
Phi-3 Mini 3,8 Microsoft
Phi-3 Small 7 Microsoft
Phi-3 Medium 14 Microsoft
Mistral 7B 7,3 Mistral AI
GPT-4o mini 8 OpenAI
Gemma 2 2B 2 Google DeepMind
Gemma 7B 7 Google DeepMind
RecurrentGemma 2B 2,68 Google DeepMind
LLaMA 3.2 3b 3 Meta
Llama 3 8B 8 Meta
OpenELM 0,27 / 0,45 / 1,1 / 3 Apple
Qwen1.5 0,5 / 1,8 / 4 / 7 Alibaba Cloud

Примечания[править | править код]

Ссылки[править | править код]