страница 1 ... страница 5 | страница 6 | страница 7 страница 8 страница 9 ... страница 13 | страница 14
ОБОБЩЕННОЕ ПРАВИЛО ОБУЧЕНИЯ ХЕББА
При нормировании весовых коэффициентов в процессе обучения нейронной сети можно получить нормированное или обобщенное правило Хебба. В этом случае веса определяются по формуле
Данное правило может быть аппроксимировано путем разложения в ряд Тейлора следующим выражением:
Первый терм в предыдущей формуле yj(t) xi(t) представляет собой стандартное правило Хебба, а второй терм yj(t)yj(t)wij(t) предназначен для нормализации весовых коэффициентов. При использовании нормализованного правила Хебба или иначе обобщенного правила Хебба можно получить собственные векторы ковариационной матрицы входных данных.
2.7. РАДИАЛЬНЫЕ БАЗИСНЫЕ СЕТИ И ИХ ОБУЧЕНИЕ
Регрессионный анализ связан с отысканием оценки значения непрерывной числовой выходной переменной по значениям входных переменных. Задачи аппроксимации экспериментальных данных можно решать также с помощью искусственных нейронных сетей следующих типов: многослойного персептрона, радиальных базисных сетей, обобщенно-регрессионных сетей, вероятностных сетей [8]. Искусственные нейронные сети выходные значения представляют, как правило, в определенном диапазоне или масштабируют. Простейшей из масштабирующих функций является минимаксная функция, выполняющая линейное преобразование после определения минимального и максимального значений функции так, чтобы получаемые значения находились в нужном диапазоне. Задача аппроксимации функции для нейронной сети формируется как задача контролируемого обучения (обучения с учителем).
Суть задачи состоит в следующем. Имеются значения функции в отдельных точках (узлах), система базисных функций и векторов регулируемых весовых коэффициентов. Необходимо обучить сеть, т. е., выбрать весовые коэффициенты при базисных функциях так, чтобы их комбинация давала аналогичную зависимость, которая наилучшим образом аппроксимирует множество значений функции отклика.
Радиальные функции, изменяющиеся монотонно, в зависимости от расстояния до центральной точки имеют вид:
Гаусса – ;
мультиквадратичная – ;
обратная мультиквадратичная – .
Параметр определяет радиус влияния каждой базисной функции и быстроту стремления к нулю при удалении от центра. Эти функции применимы для аппроксимации данных в многомерном пространстве. Системы линейных уравнений, к которым они приводят, имеют единственное решение. Центральная точка, шкала расстояния и форма радиальной функции являются параметрами модели и полностью фиксированы, если модель линейная. Радиальная базисная сеть (РБФ-сеть) будет нелинейной, если базисная функция может смещаться или изменять размер, или если она содержит более одного скрытого слоя. Обычно РБФ-сеть включает входной слой, скрытый слой, состоящий из радиальных элементов, и линейный выходной слой.
Обобщенно-регрессионные и вероятностные сети также имеют радиальные базисные слои с числом нейронов, равным числу элементов или менее обучающего множества, но в отличие от обычной РБФ-сети включают еще соответственно линейный и конкурирующий слои. Для обобщенно-регрессионной сети в качестве начального приближения матрицы весов второго линейного слоя выбирается целевой массив, на выходе формируется вектор, соответствующий среднему нескольких целевых векторов, связанных с входными векторами, близкими к данному вектору входа. Вероятностные сети, как правило, используются для решения задач классификации. В конкурирующем слое таких сетей сопоставляются вероятности принадлежности входного вектора к тому или иному классу и, в конечном счете, определяется вектор класса, вероятность принадлежности к которому выше.
Нейронные модели сетей, включая РБФ-сети, являются непараметрическими моделями и их веса (и другие параметры) не имеют определенного смысла по отношению к задаче, в которой они применяются. Вход функции активации определяется как модуль разности вектора весов (W) и вектора входа (P), который умножается на смещение (S0). Радиальная базисная функция, используемая в пакете NNT, имеет вид:
radbas(S)=exp(-(W-P)S0)2).
Эта функция имеет максимум, равный единице, когда вход равен 0. Когда расстояние между векторами W и P уменьшается, выход радиальной базисной функции увеличивается. Таким образом, радиальный базисный нейрон действует как индикатор, формирующий значение 1, когда вход P идентичен вектору весов W. Смещение S0 позволяет корректировать чувствительность радиального базисного нейрона.
После задания вектора входа каждый нейрон скрытого слоя находит значение выхода в соответствии с тем, как близок вектор входа к вектору весов каждого нейрона. Радиальные базисные нейроны с векторами весов, значительно отличающимися от вектора входа P, будут иметь выходы, близкие к 0, и их влияние на выходы линейных нейронов будет незначительно.
Величина влияния или протяжения (spread) или коэффициент сглаживания радиальной базисной функции определяет ширину «колпаков» гауссовых функций с центром в каждом обучающем наблюдении. Малая величина протяжения приводит к функции с резкими пиками и малой ошибкой аппроксимации, но такая сеть не способна к обобщению и может плохо аппроксимировать наблюдения контрольного множества.
Процесс обучения радиальных базисных сетей включает две стадии: процесс настройки центров базисных функций и обучение нейронов в скрытом слое, поэтому РБФ-сети обучаются достаточно быстро. Первоначально настраиваются центры базисных функций, затем с фиксированными параметрами РБФ-нейронов обучается выходной слой. Альтернативная методика состоит в получении большого числа входных образов, выборе на их основе возможных значений центров и затем использовании обычных методов обучения для настройки центров и весов.
-
-
страница 1 ... страница 5 | страница 6 | страница 7 страница 8 страница 9 ... страница 13 | страница 14
|