Малая языковая модель
Малая языковая модель (МЯМ; англ. Small Language Model, SLM) — это разновидность языковой модели, основанной на нейронных сетях, предназначенной для обработки, понимания и генерации естественного языка. Основное отличие МЯМ от больших языковых моделей (БЯМ, LLM) заключается в значительно меньшем количестве параметров и более узкой специализации.
К категории малых языковых моделей принято относить модели, имеющие от нескольких миллионов до нескольких десятков миллиардов параметров. В то же время большие языковые модели обычно содержат сотни миллиардов параметров. Благодаря меньшему размеру, МЯМ проще и быстрее обучать, а также их можно эффективно запускать на локальных устройствах пользователей, таких как персональные компьютеры и ноутбуки.
Методы обучения[править | править код]
Обучение малых языковых моделей сочетает в себе традиционные подходы, применяемые для больших языковых моделей, и специализированные техники, позволяющие достичь высокой производительности при ограниченном размере модели. Среди ключевых методов выделяются:
- Квантование — метод сжатия модели, заключающийся в уменьшении разрядности вычислений для весов и активаций.
- Обрезка — практика удаления части параметров из уже обученной нейронной сети с целью уменьшения её размера.
- Тонкая настройка — дообучение предварительно обученной модели под конкретную задачу, например, анализ тональности текста.
Популярные модели[править | править код]
В таблице представлен перечень известных малых языковых моделей с указанием количества параметров и компаний-разработчиков.
| Название модели | Параметры (млрд) | Разработчик |
|---|---|---|
| Phi-3 Mini | 3,8 | Microsoft |
| Phi-3 Small | 7 | Microsoft |
| Phi-3 Medium | 14 | Microsoft |
| Mistral 7B | 7,3 | Mistral AI |
| GPT-4o mini | 8 | OpenAI |
| Gemma 2 2B | 2 | Google DeepMind |
| Gemma 7B | 7 | Google DeepMind |
| RecurrentGemma 2B | 2,68 | Google DeepMind |
| LLaMA 3.2 3b | 3 | Meta |
| Llama 3 8B | 8 | Meta |
| OpenELM | 0,27 / 0,45 / 1,1 / 3 | Apple |
| Qwen1.5 | 0,5 / 1,8 / 4 / 7 | Alibaba Cloud |
Примечания[править | править код]
Ссылки[править | править код]
- <nowiki>[англ.
- https://www.ibm.com/think/topics/small-language-models|title=What
- https://huggingface.co/blog/jjokah/small-language-model|title=Small
- https://education.yandex.ru/showcaptcha?cc=1&form-fb-hint=2.77&mt=48177C22345456B099E549509DAFBDF5CA4450B62D7D2615FEC5E3E78BF69B8E607BB9C3AF36B99A2853BA99FE7A8F9888E3EC5C9520F18E6A4AA93B38261DD525F1C6CF1832B47B9072F71CC16F0C0A03114ACFB5AD50B61D17352889EB4093D3E6591D3A33FE2CA4F4350DA1CAB6A5F5768AF3D3AFFC0013B39EFB56B152CF0D5D3E234C11FD45E11687E7A2FB273B5297FA3F64D697AB02859A1744D4E79AE86ED4F6B2415C7AA879EF428F255A3F31583E4A5773B35FC1000D361CAF9B921B1928468368C1F05C67B6C815F96B7C288BB2018CDC2F046D86CE16121199DCE3BF51C161A84907E14D72&retpath=aHR0cHM6Ly9lZHVjYXRpb24ueWFuZGV4LnJ1L2hhbmRib29rL21sL2FydGljbGUvZGlzdGlsbHlhY2l5YS16bmFuaWo__8101bd91186efe664d754f3c1e9d67d6&t=2%252F1758961609%252F931bf77eaa2b95628b85e04429c160bb&u=7361451017541699542&s=281363db51a9992fd8859736375f3749|title=Яндекс
- https://habr.com/ru/articles/797443/|title=Сравнение
- https://www.ibm.com/think/topics/small-language-models
- https://huggingface.co/blog/jjokah/small-language-model
- https://education.yandex.ru/showcaptcha?cc=1&form-fb-hint=2.77&mt=48177C22345456B099E549509DAFBDF5CA4450B62D7D2615FEC5E3E78BF69B8E607BB9C3AF36B99A2853BA99FE7A8F9888E3EC5C9520F18E6A4AA93B38261DD525F1C6CF1832B47B9072F71CC16F0C0A03114ACFB5AD50B61D17352889EB4093D3E6591D3A33FE2CA4F4350DA1CAB6A5F5768AF3D3AFFC0013B39EFB56B152CF0D5D3E234C11FD45E11687E7A2FB273B5297FA3F64D697AB02859A1744D4E79AE86ED4F6B2415C7AA879EF428F255A3F31583E4A5773B35FC1000D361CAF9B921B1928468368C1F05C67B6C815F96B7C288BB2018CDC2F046D86CE16121199DCE3BF51C161A84907E14D72&retpath=aHR0cHM6Ly9lZHVjYXRpb24ueWFuZGV4LnJ1L2hhbmRib29rL21sL2FydGljbGUvZGlzdGlsbHlhY2l5YS16bmFuaWo__8101bd91186efe664d754f3c1e9d67d6&t=2%252F1758961609%252F931bf77eaa2b95628b85e04429c160bb&u=7361451017541699542&s=281363db51a9992fd8859736375f3749
- https://habr.com/ru/articles/797443/