Перейти к содержанию

Пространство Баррона

Статья из Авикипедии. Энциклопедии

Пространство Баррона

В функциональном анализе пространство Баррона — это функциональное пространство. Оно возникло при изучении свойств универсальной аппроксимационной теоремы для прямых нейронных сетей (машинное обучение). Оно находит применение в теоретическом машинном обучении, например, в статистической теории обучения.

Определение[править | править код]

Приведем следующую универсальную аппроксимационную теорему:

Словесно, для данного подмножества X⊂ℝn и фиксированной функции активации σ, не являющейся полиномиальной функцией, любая непрерывная функция типа X→ℝm может быть аппроксимирована двухслойной нейронной сетью с линейным слоем (A,b), за которым следует нелинейная активация σ, а затем еще один линейный слой C. Более того, для любого компактного подмножества K⊂X аппроксимация может быть сколь угодно точной.

Естественно рассмотреть предел бесконечной ширины, где суммирование превращается в интеграл:f(x):=∫cσ(aTx+b)ρ(da,db,dc)где a,b,c принимают значения в ℝn,ℝ,ℝm, а ρ — вероятностное распределение на ℝn×ℝ×ℝm.

См. также[править | править код]

  • Универсальная аппроксимационная теорема
  • Статистическая теория обучения
  • Пространство Бесова

Ссылки[править | править код]