Пространство Баррона
Пространство Баррона
В функциональном анализе пространство Баррона — это функциональное пространство. Оно возникло при изучении свойств универсальной аппроксимационной теоремы для прямых нейронных сетей (машинное обучение). Оно находит применение в теоретическом машинном обучении, например, в статистической теории обучения.
Определение[править | править код]
Приведем следующую универсальную аппроксимационную теорему:
Словесно, для данного подмножества и фиксированной функции активации , не являющейся полиномиальной функцией, любая непрерывная функция типа может быть аппроксимирована двухслойной нейронной сетью с линейным слоем , за которым следует нелинейная активация , а затем еще один линейный слой . Более того, для любого компактного подмножества аппроксимация может быть сколь угодно точной.
Естественно рассмотреть предел бесконечной ширины, где суммирование превращается в интеграл:где принимают значения в , а — вероятностное распределение на .
См. также[править | править код]
- Универсальная аппроксимационная теорема
- Статистическая теория обучения
- Пространство Бесова