Перейти к содержанию

Генеративная модель

Статья из Авикипедии. Энциклопедии

Генеративная модель — это статистическая модель, применяемая в вероятностных классификаторах и других задачах машинного обучения, которая описывает процесс формирования наблюдаемых данных. Она определяет совместное распределение вероятностей между наблюдаемыми и целевыми переменными, что позволяет создавать новые примеры данных, имитирующие структуру исходного набора.

В статистической классификации выделяют два основных подхода: генеративный и дискриминативный. Генеративные модели строят вероятностные описания взаимосвязей между признаками (набор данных X) и классами (Y), тогда как дискриминативные модели оценивают вероятность принадлежности к классу непосредственно по наблюдениям.

Терминология в этой области не является единообразной. Например, некоторые источники различают «генеративное», «условное» и «дискриминативное» обучение, в то время как другие ограничиваются разделением на генеративные (совместное распределение) и дискриминативные (условное распределение или отсутствие вероятностной модели).

Типичные примеры линейных классификаторов:

  • Генеративные:
 * Наивный байесовский классификатор
 * Линейный дискриминантный анализ
  • Дискриминативные:
 * Логистическая регрессия

В задачах классификации цель состоит в том, чтобы по наблюдению x определить правильную метку y (или распределение вероятностей по меткам). Это можно сделать напрямую — без построения вероятностной модели (распределительно-свободный классификатор), либо оценить P(Y|X=x) с помощью дискриминативной модели, либо построить генеративную модель P(X, Y), на основе которой затем вычислить P(Y|X=x) и провести классификацию. Чем более косвенный метод используется, тем больше вероятностной информации он задействует, что позволяет учитывать предметные знания. На практике выбор подхода определяется особенностями конкретной задачи, а также возможностью комбинировать различные методы.

Определение[править | править код]

Альтернативная формулировка:

  • Генеративная модель — это модель условной вероятности наблюдаемых данных X при заданной целевой метке y, то есть P(X|Y=y), которая объединяет генеративное моделирование и глубокие нейронные сети. С увеличением масштаба нейросетей обычно растёт и объём обучающих данных, необходимый для достижения высокой производительности.

К известным глубоким генеративным моделям относятся вариационные автокодировщики (VAE), генеративно-состязательные сети (GAN), авторегрессивные языковые модели. В последнее время активно разрабатываются очень крупные DGMs и VQ-VAE, применяемые для генерации изображений (сотни миллионов параметров), а также Jukebox — большая генеративная модель музыкального аудио (миллиарды параметров).

Типы[править | править код]

Генеративные модели[править | править код]

К основным типам генеративных моделей относятся:

  • Гауссовские смеси (и другие типы смесей вероятностных моделей)
  • Скрытая марковская модель
  • Вероятностная бесконтекстная грамматика
  • Байесовская сеть (например, наивный Байес, авторегрессионная модель)
  • Оценка с усреднённой зависимостью от одного признака
  • Латентное размещение Дирихле
  • Машина Больцмана (например, ограниченная машина Больцмана, глубокая нейронная сеть убеждений)
  • Автокодировщик
  • Генеративно-состязательная сеть
  • Генеративная модель на потоках
  • Энергетическая модель
  • Модель диффузии

Если наблюдаемые данные действительно получены из генеративной модели, то метод максимального правдоподобия параметров является естественным способом обучения модели. Однако поскольку большинство статистических моделей лишь приближённо описывают «истинное» распределение, при решении конкретных задач часто предпочтительнее напрямую моделировать условное распределение с помощью дискриминативной модели, чтобы избежать излишних предположений. Окончательный выбор подхода определяется спецификой приложения.

Дискриминативные модели[править | править код]

  • Метод k ближайших соседей
  • Логистическая регрессия
  • Метод опорных векторов
  • Обучение дерева решений
  • Случайный лес
  • Максимально-энтропийные марковские модели
  • Условные случайные поля

Примеры[править | править код]

Простой пример[править | править код]

Пусть входные данные x ∈ {1, 2}, а множество меток y ∈ {0, 1}; всего существует 4 возможных наблюдения: (x, y) = {(1,0), (1,1), (2,0), (2,1)}

Оценка совместного распределения вероятностей p(x, y) по эмпирической мере:

y=0 y=1
x=1 1/4 1/4
x=2 1/4 1/4

Распределение p(y|x) в этом случае:

y=0 y=1
x=1 1/2 1/2
x=2 1/2 1/2

Примечания[править | править код]

Литература[править | править код]

  • , , . Опубликовано как книга (см. выше).

Ссылки[править | править код]

  • (на англ.)
  • (на англ.)

Ссылки[править | править код]