Перейти к содержанию

LoRA (машинное обучение)

Статья из Авикипедии. Энциклопедии

LoRA (Low-Rank Adaptation, адаптация низкого ранга) — это метод эффективной по параметрам тонкой настройки (fine-tuning) в глубоком обучении для больших языковых моделей и других глубоких нейронных сетей. Представленный в 2021 году исследователями Microsoft, LoRA позволяет адаптировать предварительно обученные модели к конкретным задачам, требуя значительно меньше вычислительных ресурсов и обучаемых параметров по сравнению с традиционной полной тонкой настройкой модели.