Нейрокомпьютерная техника: Теория и практика

сторінка №9

...нкции активации нейрона использовался
простой порог, тем самым образуя разрывность передаточной функции нейронов.
Как синхронность функционирования, так и разрывность функций, являются
биологически неправдоподобными и совсем необязательными; непрерывные
асинхронные ДАП отвергают синхронность и разрывность, но функционируют в
основном аналогично дискретным версиям. Может показаться, что такие системы
должны являться нестабильными. В [9] показано, что непрерывные ДАП являются
стабильными (однако для них справедливы ограничения емкости, обсужденные
ранее).
В работах [2-5] показано, что сигмоида является оптимальной функцией
активации благодаря ее способности усиливать низкоуровневые сигналы, в то же
время сжимая динамический диапазон нейронов. Непрерывная ДАП может иметь
сигмоидальную функцию с величиной (, близкой к единице, образуя тем самым
нейроны с плавной и непрерывной реакцией, во многом аналогичной реакции их
биологических прототипов.
Непрерывная ДАП может быть реализована в виде аналоговой схемы из
резисторов и усилителей. Реализация таких схем в виде СБИС кажется возможной
и экономически привлекательной. Еще более обещающей является оптическая
реализация, рассматриваемая в гл. 9. АДАПТИВНАЯ ДАП
В версиях ДАП, рассматриваемых до сих пор, весовая матрица вычисляется в
виде суммы произведений пар векторов. Эти вычисления полезны, поскольку они
демонстрируют функции, которые может выполнять ДАП. Однако это определенно
не тот способ, посредством которого производится определение весов нейронов
мозга.
Адаптивная ДАП изменяет свои веса в процессе функционирования. Это
означает, что подача на вход сети обучающего набора входных векторов
заставляет ее изменять энергетическое состояние до получения резонанса.
Постепенно кратковременная память превращается в долговременную память,
настраивая сеть в результате ее функционирования. В процессе обучения
векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них
или оба вектора могут быть зашумленными версиями эталона; сеть обучается
исходным векторам, свободным от шума. В этом случае она извлекает сущность
ассоциаций, обучаясь эталонам, хотя "видела" только зашумленные
аппроксимации.
Так как доказано, что непрерывная ДАП является стабильной независимо от
значения весов, ожидается, что медленное изменение ее весов не должно
нарушить этой стабильности. В работе [10] доказано это правило.
Простейший обучающий алгоритм использует правило Хэбба [8], в котором
изменение веса пропорционально уровню активации его нейрона-источника и
уровню активации нейрона-приемника. Символически это можно представить
следующим образом: ?wij = ?*(OUTi OUTj), (7.5)
где ?wij - изменение веса связи нейрона i с нейроном j в матрицах W или
Wt, OUTi - выход нейрона i слоя 1 или 2; ? - положительный нормирующий
коэффициент обучения, меньший 1. КОНКУРИРУЮЩАЯ ДАП
Во многих конкурирующих нейронных системах наблюдаются некоторые виды
конкуренции между нейронами. В нейронах, обрабатывающих сигналы от сетчатки,
латеральное торможение приводит к увеличению выхода наиболее высокоактивных
нейронов за счет соседних. Такие системы увеличивают контрастность, поднимая
уровень активности нейронов, подсоединенных к яркой области сетчатки, в то
же время еще более ослабляя выходы нейронов, подсоединенных к темным
областям.
В ДАП конкуренция реализуется взаимным соединением нейронов внутри
каждого слоя посредством дополнительных связей. Веса этих связей формируют
другую весовую матрицу с положительными значениями элементов главной
диагонали и отрицательными значениями остальных элементов. Теорема
Кохен-Гроссберга [1] показывает, что такая сеть является безусловно
стабильной, если весовые матрицы симметричны. На практике сети обычно
стабильны даже в случае отсутствия симметрии весовых матриц. Однако
неизвестно, какие особенности весовых матриц могут привести к неустойчивости
функционирования сети. ЗАКЛЮЧЕНИЕ
Ограниченная емкость памяти ДАП, ложные ответы и некоторая
непредсказуемость поведения привели к рассмотрению ее как устаревшей модели
искусственных нейронных сетей.
Этот вывод определенно является преждевременным. ДАП имеет много
преимуществ: она совместима с аналоговыми схемами и оптическими системами;
для нее быстро сходятся как процесс обучения так, и процесс восстановления
информации; она имеет простую и интуитивно привлекательную форму
функционирования. В связи с быстрым развитием теории могут быть найдены
методы, объясняющие поведение ДАП и разрешающие ее проблемы. Литература
12. Cohen M., Grossberg S. 1983. Absolute stability of global pattern
formation and parallel memory storage by competitive neural networks. IEE
Transactions on Systems, Man, and Cybernetics SMC-13:815-926.
13. Grossberg S. 1973. Contour enhancement, short term memory, and
constancies in reverberating neural networks. Studies in Applied Mathematics
52:217-57.

14. Grossberg S. 1976. Adaptive pattern classification and universal
recording, 1: Parallel development and coding of neural feature detectors.
Biological Cibernatics 23:187-202.
15. Grossberg S. 1978. A theory of human memory: Self-organization and
performance of sensory-motor codes, maps, and plans. In Progress in
theoretical biology, vol. 5, ed. R. Rosen and F. Shell. New lork: Academic
Press.
16. Grossberg S. 1980. How does the brain build a cognitive code?
Psychological Review 1:1-51.
17. Grossberg S. 1982. Studies of mind and brain. Boston: Reidel Press.
18. Haines K., Hecht-Nielsen R. 1988. А ВАМ with increased information
storage capacity. Proceedings of the IEEE International Conference on Neural
Networks, vol. 1, pp. 181-190. San Diego, CA:SOS Printing.
19. Hebb D. O. 1949. The organization of behavior. New lork: Wiley.
20. Kosko B. (1987a). Bi-directional associative memories. IEEE
Transactions on Systems, Man and Cybernetics 18(1):49-60.
21. Kosko B. (1987b). Competitive adaptive bi-directional associative
memories. In Proceedings of the IEEE First International Conference on
Neural Networks, eds. M.Caudill and C.Butler, vol. 2, pp. 759-66. San Diego,
CA:SOS Printing.
22. Kosko B. (1987с). Constructing an associative memory. Byte,
September, pp. 137-44.
23. Kosko В., Guest С. 1987. Optical bi-directional associative memories.
Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image
Understanding 758:11-18.
24. McEliece R. J., Rosner E. G. Rodemich E. R., Venka-tesh S. S. 1987.
The capacity of Hopfield associative memory. IEEE Transactions on
Information Theory IT-33:461-82.

Глава 8.

Адаптивная резонансная теория
Мозг человека выполняет трудную задачу обработки непрерывного потока
сенсорной информации, получаемой из окружающего мира. Из потока тривиальной
информации он должен выделить жизненно важную информацию, обработать ее и,
возможно, зарегистрировать в долговременной памяти. Понимание процесса
человеческой памяти представляет собой серьезную проблему; новые образы
запоминаются в такой форме, что ранее запомненные не модифицируются и не
забываются. Это создает дилемму: каким образом память остается пластичной,
способной к восприятию новых образов, и в то же время сохраняет
стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в
процессе функционирования?
Традиционные искусственные нейронные сети оказались не в состоянии решить
проблему стабильности-пластичности. Очень часто обучение новому образу
уничтожает или изменяет результаты предшествующего обучения. В некоторых
случаях это не существенно. Если имеется только фиксированный набор
обучающих векторов, они могут предъявляться при обучении циклически. В сетях
с обратным распространением, например, обучающие векторы подаются на вход
сети последовательно до тех пор, пока сеть не обучится всему входному
набору. Если, однако, полностью обученная сеть должна запомнить новый
обучающий вектор, он может изменить веса настолько, что потребуется полное
переобучение сети.
В реальной ситуации сеть будет подвергаться постоянно изменяющимся
воздействиям; она может никогда не увидеть один и тот же обучающий вектор
дважды. При таких обстоятельствах сеть часто не будет обучаться; она будет
непрерывно изменять свои веса, не достигая удовлетворительных результатов.
Более того, в работе [1] приведены примеры сети, в которой только четыре
обучающих вектора, предъявляемых циклически, заставляют веса сети изменяться
непрерывно, никогда не сходясь. Такая временная нестабильность явилась одним
из главных факторов, заставивших Гроссберга и его сотрудников исследовать
радикально отличные конфигурации. Адаптивная резонансная теория (APT)
является одним из результатов исследования этой проблемы [2,4].
Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения
новых образов, в то же время предотвращая изменение ранее запомненных
образов. Эта способность стимулировала большой интерес к APT, но многие
исследователи нашли теорию трудной для понимания. Математическое описание
APT является сложным, но основные идеи и принципы реализации достаточно
просты для понимания. Мы сконцентрируемся далее на общем описании APT;
математически более подготовленные читатели смогут найти изобилие теории в
литературе, список которой приведен в конце главы. Нашей целью является
обеспечение достаточно конкретной информацией, чтобы читатель мог понять
основные идеи и возможности, а также провести компьютерное моделирование с
целью исследования характеристик этого важного вида сетей. АРХИТЕКТУРА APT
Адаптивная резонансная теория включает две парадигмы, каждая из которых
определяется формой входных данных и способом их обработки. АРТ-1
разработана для обработки двоичных входных векторов, в то время как АРТ-2,
более позднее обобщение АРТ-1, может классифицировать как двоичные, так и
непрерывные векторы. В данной работе рассматривается только АРТ-1. Читателя,
интересующегося АРТ-2, можно отослать к работе [3] для полного изучения
этого важного направления. Для краткости АРТ-1 в дальнейшем будем обозначать
как APT. Описание APT
Сеть APT представляет собой векторный классификатор. Входной вектор
классифицируется в зависимости от того, на какой из множества ранее
запомненных образов он похож. Свое классификационное решение сеть APT
выражает в форме возбуждения одного из нейронов распознающего слоя. Если
входной вектор не соответствует ни одному из запомненных образов, создается
новая категория посредством запоминания образа, идентичного новому входному
вектору. Если определено, что входной вектор похож на один из ранее
запомненных векторов с точки зрения определенного критерия сходства,
запомненный вектор будет изменяться (обучаться) под воздействием нового
входного вектора таким образом, чтобы стать более похожим на этот входной
вектор.

Запомненный образ не будет изменяться, если текущий входной вектор не
окажется достаточно похожим на него. Таким образом решается дилемма
стабильности-пластичности. Новый образ может создавать дополнительные
классификационные категории, однако новый входной образ не может заставить
измениться существующую память. Упрощенная архитектура APT
На рис. 8.1 показана упрощенная конфигурация сети APT, представленная в
виде пяти функциональных модулей. Она включает два слоя нейронов, так
называемых "слой сравнения" и "слой распознавания". Приемник 1, Приемник 2 и
Сброс обеспечивают управляющие функции, необходимые для обучения и
классификации.
Перед рассмотрением вопросов функционирования сети в целом необходимо
рассмотреть отдельно функции модулей; далее обсуждаются функции каждого из
них.
Слой сравнения. Слой сравнения получает двоичный входной вектор Х и
первоначально пропускает его неизмененным для формирования выходного вектора
C. На более поздней фазе в распознающем слое вырабатывается двоичный вектор
R, модифицирующий вектор C, как описано ниже.
Каждый нейрон в слое сравнения (рис. 8.2) получает три двоичных входа (0
или I): (1) компонента хi входного вектора X; (2) сигнал обратной связи Ri -
взвешенная сумма выходов распознающего слоя; (3) вход от Приемника 1 (один и
тот же сигнал подается на все нейроны этого слоя).

Рис. 8.1. Упрощенная сеть АРТ

Рис. 8.2. Упрощенный слон сравнения
Чтобы получить на выходе нейрона единичное значение, как минимум два из
трех его входов должны равняться единице; в противном случае его выход будет
нулевым. Таким образом реализуется правило двух третей, описанное в [З].
Первоначально выходной сигнал G1 Приемника 1 установлен в единицу,
обеспечивая один из необходимых для возбуждения нейронов входов, а все
компоненты вектора R установлены в 0; следовательно, в этот момент вектор C
идентичен двоичному входному вектору X.
Слой распознавания. Слой распознавания осуществляет классификацию входных
векторов. Каждый нейрон в слое распознавания имеет соответствующий вектор
весов Bj Только один нейрон с весовым вектором, наиболее соответствующим
входному вектору, возбуждается; все остальные нейроны заторможены.
Как показано на рис. 8.3, нейрон в распознающем слое имеет, максимальную
реакцию, если вектор C, являющийся выходом слоя сравнения, соответствует
набору его весов, следовательно, веса представляют запомненный образ или
экземпляр для категории входных векторов. Эти веса являются действительными
числами, а не двоичными величинами. Двоичная версия этого образа также
запоминается в соответствующем наборе весов слоя сравнения (рис. 8.2); этот
набор состоит из весов связей, соединяющих определенные нейроны слоя
распознавания, один вес на каждый нейрон слоя сравнения.
В процессе функционирования каждый нейрон слоя распознавания вычисляет
свертку вектора собственных весов и входного вектора C. Нейрон, имеющий
веса, наиболее близкие вектору C, будет иметь самый большой выход, тем самым
выигрывая соревнование и одновременно затормаживая все остальные нейроны в
слое.
Как показано на рис. 8.4, нейроны внутри слоя распознавания взаимно
соединены в латерально-тормозящую сеть. В простейшем случае (единственном,
рассмотренном в данной работе) предусматривается, что только один нейрон в
слое возбуждается в каждый момент времени (т. е. только нейрон с наивысшим
уровнем активации будет иметь единичный выход; все остальные нейроны будут
иметь нулевой выход). Эта конкуренция реализуется введением связей с
отрицательными весами lij с выхода каждого нейрона ri на входы остальных
нейронов. Таким образом, если нейрон имеет большой выход, он тормозит все
остальные нейроны в слое. Кроме того, каждый нейрон имеет связь с
положительным весом со своего выхода на свой собственный вход. Если нейрон
имеет единичный выходной уровень, эта обратная связь стремится усилить и
поддержать его.

Рис. 8.3. Упрощенный слой распознавания
Приемник 2. G2, выход Приемника 2, равен единице, если входной вектор X
имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим
ИЛИ от компонента вектора X.
Приемник 1. Как и сигнал G2, выходной сигнал G1 Приемника 1 равен 1, если
хотя бы одна компонента двоичного входного вектора X равна единице; однако
если хотя бы одна компонента вектора R равна единице, G1 устанавливается в
нуль. Таблица, определяющая эти соотношения:

Рис. 8.4. Слой распознавания с латеральным торможением

ИЛИ от компонента вектора X
ИЛИ от компонента вектора R
G1

0

0

0

1

0

1

1

1

0

0

1

0

Сброс. Модуль сброса измеряет сходство между векторами X и C. Если они
отличаются сильнее, чем требует параметр сходства, вырабатывается сигнал
сброса возбужденного нейрона в слое распознавания.
В процессе функционирования модуль сброса вычисляет сходство как
отношение количества единиц в векторе C к их количеству в векторе C. Если
это отношение ниже значения параметра сходства, вырабатывается сигнал
сброса. Функционирование сети APT в процессе классификации
Процесс классификации в APT состоит из трех основных фаз: распознавание,
сравнение и поиск.
Фаза распознавания. В начальный момент времени входной вектор отсутствует
на входе сети; следовательно, все компоненты входного вектора X можно
рассматривать как нулевые. Тем самым сигнал G2 устанавливается в 0 и,
следовательно, в нуль устанавливаются выходы всех нейронов слоя
распознавания. Поскольку все нейроны слоя распознавания начинают работу в
одинаковом состоянии, они имеют равные шансы выиграть в последующей
конкуренции.
Затем на вход сети подается входной вектор X, который должен быть
классифицирован. Этот вектор должен иметь одну или более компонент, отличных
от нуля, в результате чего и G1, и G2 становятся равными единице. Это
"подкачивает" нейроны слоя сравнения, обеспечивая один из двух единичных
входов, необходимых для возбуждения нейронов в соответствии с правилом двух
третей, тем самым позволяя нейрону возбуждаться, если соответствующая
компонента входного вектора X равна единице. Таким образом, в течение данной
фазы вектор S в точности дублирует вектор X.
Далее для каждого нейрона в слое распознавания вычисляется свертка
вектора его весов Вj и вектора C (рис. 8.4). Нейрон с максимальным значением
свертки имеет веса, наилучшим образом соответствующие входному вектору. Он
выигрывает конкуренцию и возбуждается, одновременно затормаживая все
остальные нейроны этого слоя. Таким образом, единственная компонента rj
вектора R (рис. 8.1) становится равной единице, а все остальные компоненты
становятся равными нулю.
В результате, сеть APT запоминает образы в весах нейронов слоя
распознавания, один нейрон для каждой категории классификации. Нейрон слоя
распознавания, веса которого наилучшим образом соответствуют входному
вектору, возбуждается, его выход устанавливается в единичное значение, а
выходы остальных нейронов этого слоя устанавливаются в нуль.
Фаза сравнения. Единственный возбужденный в слое распознавания нейрон
возвращает единицу обратно в слой сравнения в виде своего выходного сигнала
rj. Эта единственная единица может быть визуально представлена в виде
"веерного" выхода, подающегося через отдельную связь с весом tij на каждый
нейрон в слое сравнения, обеспечивая каждый нейрон сигналом рj, равным
величинеtij (нулю или единице) (рис. 8.5).

Рис. 8.5. Путь сигнала отдельного возбужденного нейрона в слое
распознавания
Алгоритмы инициализации и обучения построены таким образом, что каждый
весовой вектор Тj имеет двоичные значения весов; кроме того, каждый весовой
вектор Вj представляет собой масштабированную версию соответствующего
вектора Тj. Это означает, что все компоненты P (вектора возбуждения слоя
сравнения) также являются двоичными величинами.
Так как вектор R не является больше нулевым, сигнал G1 устанавливается в
нуль. Таким образом, в соответствии с правилом двух третей, возбудиться
могут только нейроны, получающие на входе одновременно единицы от входного
вектора X и вектора P.
Другими словами, обратная связь от распознающего слоя действует таким
образом, чтобы установить компоненты C в нуль в случае, если входной вектор
не соответствует входному образу, т. е. если X и P не имеют совпадающих
компонент.
Если имеются существенные различия между X и P (малое количество
совпадающих компонент векторов), несколько нейронов на фазе сравнения будут
возбуждаться и C будет содержать много нулей, . в то время как X содержит
единицы. Это означает, что возвращенный вектор P не является искомым и
возбужденные нейроны в слое распознавания должны быть заторможены. Это
торможение производится блоком сброса (рис. 8.1), который сравнивает входной
вектор X и вектор C и вырабатывает сигнал сброса, если степень сходства этих
векторов меньше некоторого уровня. Влияние сигнала сброса заключается в
установке выхода возбужденного нейрона в нуль, отключая его на время текущей
классификации.

Фаза поиска. Если не выработан сигнал сброса, сходство является
адекватным, и процесс классификации завершается. В противном случае другие
запомненные образы должны быть исследованы с целью поиска лучшего
соответствия. При этом торможение возбужденного нейрона в распознающем слое
приводит к установке всех компонент вектора R в 0, G1 устанавливается в 1 и
входной вектор X опять прикладывается в качестве C. В результате другой
нейрон выигрывает соревнование в слое распознавания и другой запомненный
образ P возвращается в слой сравнения. Если P не соответствует X,
возбужденный нейрон в слое распознавания снова тормозится. Этот процесс
повторяется до тех пор, пока не встретится одно из двух событий:
1. Найден запомненный образ, сходство которого с вектором X выше уровня
параметра сходства, т. е. S>(. Если это происходит, проводится обучающий
цикл, в процессе которого модифицируются веса векторов Tj и Bj, связанных с
возбужденным нейроном в слое распознавания.
2. Все запомненные образы проверены, определено, что они не соответствуют
входному вектору, и все нейроны слоя распознавания заторможены. В этом
случае предварительно не распределенный нейрон в распознающем слое
выделяется этому образу и его весовые векторы Bj и Tj устанавливаются
соответствующими новому входному образу.
Проблема производительности. Описанная сеть должна производить
последовательный поиск среди всех запомненных образов. В аналоговых
реализациях это будет происходить очень быстро; однако при моделировании на
обычных цифровых компьютерах этот процесс может оказаться очень длительным.
Если же сеть APT реализуется на параллельных процессорах, все свертки на
распознающем уровне могут вычисляться одновременно. В этом случае поиск
может быть очень быстрым.
Время, необходимое для стабилизации сети с латеральным торможением, может
быть длительным при моделировании на последовательных цифровых компьютерах.
Чтобы выбрать победителя в процессе латерального торможения, все нейроны в
слое должны быть вовлечены в одновременные вычисления и передачу. Это может
потребовать проведения большого объема вычислений перед достижением
сходимости. Латеральные тормозящие сети, аналогичные используемым в
неокогнитронах, могут существенно сократить это время (гл. 10). РЕАЛИЗАЦИЯ
APT Обзор
APT, как это можно увидеть из литературы, представляет собой нечто
большее, чем философию, но намного менее конкретное, чем программа для
компьютера. Это привело к наличию широкого круга реализации, сохраняющих
идеи APT, но сильно отличающихся в деталях. Рассматриваемая далее реализация
основана на работе [5] с определенными изменениями для обеспечения
совместимости с работой [2] и моделями, рассмотренными в данной работе. Эта
реализация может рассматриваться в качестве типовой, но необходимо иметь в
виду, что другие успешные реализации имеют большие отличия от нее.
Функционирование сетей APT
Рассмотрим более детально пять фаз процесса функционирования APT:
инициализацию, распознавание, сравнение, поиск и обучение.
Инициализация. Перед началом процесса обучения сети все весовые векторы
Bj и Tj, а также параметр сходства (, должны быть установлены в начальные
значения.
Веса векторов Bj все инициализируются в одинаковые малые значения.
Согласно [2], эти значения должны удовлетворять условию ?для всех i, j,
(8.1)
где т - количество компонент входного вектора, L - константа, большая 1
(обычно L = 2).
Эта величина является критической; если она слишком большая, сеть может
распределить все нейроны распознающего слоя одному входному вектору.
Веса векторов Tj все инициализируются в единичные значения, так что tij =
1?для всех j,i. (8.2)
Эти значения также являются критическими; в [2] показано, что слишком
маленькие веса приводят к отсутствию соответствия в слое сравнения и
отсутствию обучения.
Параметр сходства ( устанавливается в диапазоне от 0 до 1 в зависимости
от требуемой степени сходства между запомненным образом и входным вектором.
При высоких значениях ( сеть относит к одному классу только очень слабо
отличающиеся образы. С другой стороны, малое значение ( заставляет сеть
группировать образы, которые имеют слабое сходство между собой. Может
оказаться желательной возможность изменять коэффициент сходства на
протяжении процесса обучения, обеспечивая только грубую классификацию в
начале процесса обучения, и затем постепенно увеличивая коэффициент сходства
для выработки точной классификации в конце процесса обучения.
Распознавание. Появление на входе сети входного вектора X инициализирует
фазу распознавания. Так как вначале выходной вектор слоя распознавания
отсутствует, сигнал G1 устанавливается в 1 функцией ИЛИ вектора X,
обеспечивая все нейроны слоя сравнения одним из двух входов, необходимых для
их во...

Список сторінок

• #
• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14

Поділитися у соцмережах