страница 1 страница 2 страница 3 ... страница 13 | страница 14
1. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
Нейросетевые технологии обработки информации позволяют создавать адаптивные системы, обработка данных в которых осуществляется посредством параллельных операций ассоциирования. Правила ассоциирования генерирует сама система, обучаясь на примерах и корректируя свое функционирование по результатам деятельности. Основным элементом искусственной нейронной сети является нейронный элемент или формальный нейрон, осуществляющий операцию нелинейного преобразования суммы произведений входных сигналов на весовые коэффициенты.
НЕЙРОННЫЙ ЭЛЕМЕНТ
Нейронный элемент, используемый при моделировании искусственных нейронных сетей, можно представить схемой, приведенной на рис. 1.
Рис. 1. Нейронный элемент
Каждая компонента вектора входного сигнала X=(x1,x2,…,xn), представляющая собой выходные сигналы других нейронных элементов или вход сети, умножается на соответствующий вес связи весового вектора W=(w1,w2,…,wn) и поступает на суммирующий блок . Вес связи является скалярной величиной, положительной для усиливающих и отрицательной величиной для тормозящих связей. Уровень возбуждения нейронного элемента равен или в векторном виде S=XW. Взвешенная сумма S представляет собой скалярное произведение вектора весов на входной вектор:
,
где |w|, |x| – длины векторов W и X соответственно, а α – угол между этими векторами. Длины векторов определяются через их координаты:
,
.
Если входные векторы являются нормированными и |X|=const, то величина взвешенной суммы будет зависеть только от угла между векторами X и W. При различных входных сигналах взвешенная сумма будет изменяться по косинусоидальному закону. Она достигает максимального значения при коллинеарности входного и весового векторов. Выходной сигнал Y определяется преобразованием суммы S нелинейной функцией активации F:
Y=F(wixi).
Абсолютные значения весов wi, i=1,2,…,n, как правило, принадлежат отрезку [0;1], что позволяет избежать больших входных значений для других нейронных элементов.
Нейронная сеть, получающая на входе некоторый сигнал, способна после прохода его по нейронам выдавать на выходе результат, зависящий от весовых коэффициентов всех нейронов. Если S0 – смещение (порог) нейронного элемента, характеризующее смещение функции активации по оси абсцисс, тогда взвешенная сумма
-S0.
Обучение нейронной сети есть не что иное, как «настраивание» весовых коэффициентов на то, чтобы определенному входному сигналу соответствовал определенный выходной сигнал. Обучающая выборка для нейронных сетей представляет собой набор, состоящий из строк с обучающими примерами.
ФУНКЦИИ АКТИВАЦИИ НЕЙРОННЫХ ЭЛЕМЕНТОВ
Наиболее распространенными функциями активации, нелинейными усилительными характеристиками нейронного элемента или передаточными функциями являются следующие: пороговая, сигнум, логистическая, гиперболический тангенс, линейная, линейная ограниченная, радиальная базисная и др.
1. Пороговая бинарная функция – это функция, для которой нейронный элемент остается неактивным до достижения входом порогового значения S0 (рис. 2).
Если S0=0 , то бинарная пороговая функция называется единичной функцией активации с жестким ограничением (hardlim(S)).
Рис. 2. Бинарная пороговая функция
2. Сигнум, или модифицированная пороговая функция, для которой значение S0=0 (рис. 3), задается уравнением
Рис. 3. Функция сигнум
3. Сигмоидная логистическая функция (S-образная, имеющая две горизонтальные асимптоты и одну точку перегиба) является возрастающей сжимающей функцией, значения которой принадлежат интервалу (0; 1) (рис. 4):
,
где с>0 – коэффициент, характеризующий крутизну логистической функции, усиливающей слабые сигналы (logsig(S)).
Рис. 4. Логистическая функция
В общем случае логистическая функция определяется уравнением:
,
где S0 – значение смещения. Если значение коэффициента с велико, то график общей логистической функции приближается к пороговой функции (рис. 5).
Рис. 5. Общая логистическая функция
Биполярная сигмоидная функция (рис. 6), уравнение которой
,
принимает значения в диапазоне (-1; 1).
Рис. 6. Биполярная логистическая функция
4. Гиперболический тангенс (рис. 7) аналогичен биполярной логистической функции без смещения и является симметричной функцией (tansig(S)): .
Рис. 7. Гиперболический тангенс
5. Линейная функция активации, уравнение которой Y(s)=k s, где k – угловой коэффициент наклона прямой, представлена на рис. 8 (purellin(S)).
Рис.8. Линейная функция
6. Линейная, ограниченная на отрезке [-a; a] функция активации (рис. 9) определяется по формуле:
где p, как правило, равно единице (satlin(S)):
Рис. 9. Линейная ограниченная функция
7. Радиально-базисная функция активации (radbas(S)) характеризуется функцией Гаусса для нормального закона распределения, в соответствии с которой:
,
где – cреднеквадратичное отклонение, характеризующее крутизну радиально-базисной функции (рис.10). Величина s определяется в соответствии с евклидовым расстоянием между входным и весовым векторами:
S2 =|X-W|2 = .
Наряду с перечисленными функциями могут использоваться и другие функции активации, например, логарифмическая функция [2].
Рис. 10. Радиально-базисная функция
Многомерные радиальные распределения позволяют производить многомерный анализ путем сведения его к анализу одномерных симметричных распределений, таких как многомерное нормальное распределение или равномерное в шаре с центром в начале координат [6].
страница 1 страница 2 страница 3 ... страница 13 | страница 14
|