8. Использование нейроподобных структур в средствах измерений
Введение
3. Применение нейрокомпьютеров в средствах измерений
6. Основные области применения
Введение
С середины 80-х гг. непрерывно растет интерес к моделированию нейронных сетей. Их особенностью является параллельная работа, и поэтому моделирование таких сетей на ЭВМ, имеющих традиционную архитектуру, требует затрат большого количества времени. Для ускорения этого процесса в разных странах мира начали появляться специализированные устройства, получившие название нейрокомпьютеров.
Существует большое разнообразие типов нейрокомпьютеров - от специализированных интегральных схем, в которые вводится заранее определенная структура нейронной сети, до универсальных программируемых сопроцессоров к вычислительным машинам, на которых можно реализовать любую модель любой нейронной сети. Существует также и целый ряд промежуточных типов нейрокомпьютеров с той или иной степенью специализации. На нейрокомпьютерах целесообразно решать задачи, в которых традиционно силен человек и где вычислительные машины уступают человеческому мозгу. Примерами таких задач могут быть ассоциативный поиск информации, распознавание зрительных и слуховых образов, формирование сложных моделей внешнего мира для автоматического выполнения работ в реальной среде, построение баз знаний о некоторой предметной области, построение систем поддержки принятия решений и др. Нейрокомпьютеры, как и человеческий мозг, слабы в области выполнения расчетных работ, связанных с большим объемом вычислений, с высокой точностью. Поэтому во многих случаях их целесообразно использовать совместно с ЭВМ. Как правило, нейрокомпьютеры так и разрабатывают в виде приставки к персональной или другой вычислительной машине.
Нейроподобные структуры дают возможность по новому подойти к решению целого ряда задач, считающихся традиционно сложными для вычислительных машин, благодаря ряду своих особенностей приведем некоторые из них.
Параллельность обработки информации. Данным процессом исследователи интересовались на протяжении всей истории развития электронной вычислительной техники, и в настоящее время создано большое количество вычислительных средств, позволяющих распараллеливать решение задач. Опыт работы с такими устройствами показывает, что хорошие результаты получаются в тех случаях, когда обрабатываемые данные имеют однородную структуру (векторы, матрицы и т.п.), однако попытки применения их для решения задач, связанных с поиском на графах, и аналогичных задач, к которым обычно сводят проблемы искусственного интеллекта, наталкиваются на большие трудности. Нейроподобные структуры дают возможность организовать данные в виде однородных массивов и применить методы распараллеливания, но при этом они дают и новые возможности поиска хранящейся в этих структурах информации, что позволяет надеяться на новые подходы к решению задач искусственного интеллекта.
Ассоциативность. Это свойство нейроподобных структур восстанавливать хранящуюся в них информацию по ее части. Подобное свойство пытались воспроизвести на всех этапах развития вычислительной техники, однако в подавляющем большинстве случаев предложенные ассоциативные устройства осуществляют поиск информации по заранее выделенной ее части (по ключу). Ассоциативность нейроподобных структур отличается от ассоциативности большинства других типов технических устройств возможностью восстановления информации по любой ее части.
Способность к автоматической классификации. В вычислительной технике данному свойству уделялось большое внимание. Разработаны разнообразные автоматические классификаторы и классифицирующие программы, реализуемые на универсальных ЭВМ. Особенностью нейроподобных структур является то, что способность к автоматической классификации внутренне присуща многим таким структурам и для ее реализации не требуется применение дополнительных мер.
Способность к обучению. В процессе обучения нейроподобные структуры способны перестраиваться для решения различных задач. Многие программы в той или иной степени такой способностью обладают и все-таки в целом основным способом подготовки вычислительной машины к решению новой задачи остается создание новой программы и обучение, а основным способом подготовки нейроподобных структур к решению новых задач является обучение. В этом между нейроподобными структурами и вычислительными машинами нет какого-либо резкого принципиального различия, речь идет скорее о количественном соотношении затрат, необходимых при разработке новых программ и параметрической настройке их на решаемые задачи. Однако надо иметь в виду, что в нейроподобных сетях под "программой" понимаются исходная структура (вводимая разработчиком до начала обучения нейроподобной сети), исходные значения параметров и алгоритмы функционирования различных блоков нейроподобной сети. Это понятие не совсем точно соответствует понятию программы в вычислительной машине. Общность их заключается в том, что в обоих случаях разработчик, используя свои представления о задаче подготавливает устройство к ее решению, а к предъявлению примеров, на которых строится процесс обучения, прибегает лишь после создания самой программы.
Надежность. Нейроподобные структуры работают с высокой надежностью. Эксперименты, проведенные на вычислительных машинах, показывают, что выход из строя большого количества элементов нейроподобной сети (до 10%, а иногда и более) не приводит к отказам в работе всей структуры. Надо отметить, что хотя источник высокой надежности нейроподобных структур обычный - дублирование элементов, в отличие от традиционных схем дублирования оно не приводит к избыточным затратам аппаратуры, поскольку в нейроподобных структурах каждый элемент принимает участие в реализации многих функций, что позволяет при высокой степени дублирования экономно использовать рабочие элементы. Отказ каждого элемента в нейроподобной структуре ведет к ухудшению многих функций, но это ухудшение настолько мало, что его, как правило, практически невозможно обнаружить.
Перечисленные свойства делают нейроподобные структуры привлекательными и вполне оправдан тот интерес, который исследователи проявляют к ним в течение последних лет. Здесь следует объяснить причины, по которым этого интереса не было на протяжении второй половины 60-х и 70-х гг. Их следует разделить на субъективные и объективные. К субъективным, по-видимому, следует отнести надежды первых исследователей на быстрое и эффективное решение всех проблем в данной области и на получение законченных полезных результатов. Но надежды не оправдались и последовавшее затем разочарование было чрезвычайно глубоким. Из множества объективных причин необходимо выделить две. Первая заключается в теоретических трудностях, с которыми столкнулись исследователи нейроподобных структур - нелинейными, сложными объектами, трудно поддающимися анализу. При этом многие исследователи поддались соблазну сильного упрощения, линеаризации исследуемого объекта, что привело к потере основных полезных свойств нейроподобных структур. Результаты же, полученные на таких упрощенных моделях, были отнесены ко всему множеству неисследованных структур. Второй объективной причиной было слабое развитие аппаратных средств. Попытки найти достаточно дешевые и технологичные аналоговые элементы для реализации адаптивных межнейронных связей в те годы закончились неудачей, а развитой микропроцессорной техники, позволяющей решить эти проблемы на цифровой элементной базе, еще не было.
Бурное развитие электронной технологии в 70-х и 80-х гг. привело к тому, что в настоящее время существует адекватная элементная база для аппаратной поддержки нейроподобных структур, а целый ряд теоретических проблем, не решенных в 50-х и гг. удалось решить, не прибегая к излишним упрощениям. Поэтому в настоящее время сложились условия, благоприятные для развития работ по нейроподобным структурам и нейрокомпьютерам. Выбирая конкретное направление работ, сейчас очень важно правильно оценить ситуацию и свои реальные возможности. Зарубежные исследователи, разрабатывая универсальные устройства для моделирования самых различных нейронных сетей, делают ставку на высокий уровень электронной технологии, позволяющий реализовывать высокопроизво-дительные параллельные устройства, но наша элементная база не позволяет нам успешно конкурировать в этой области. Поэтому целесообразно выбрать конкретный тип нейроподобной сети и разрабатывать для него специализированное вычислительное устройство, позволяющее скомпенсировать недостатки элементной базы высоким уровнем специализации. При этом есть риск сильно сузить круг задач, которые сможет решать такое устройство. К счастью, существуют нейроподобные структуры, обладающие большой универсальностью, и реализация специализированного устройства для них позволяет ориентировать устройство на решение широкого круга задач, сохранив преимущества специализации. Этот путь позволяет разработать конкурентоспособные устройства даже на слабой элементной базе
1. Понятие нейроподобной сети
На компьютерном рынке России, перенасыщенном вычислительными средствами традиционной однопроцессорной архитектуры фон Неймана, появился новый вид программно-аппаратных изделий, которые реализуют параллельную распределенную обработку информации, аналогичную мыслительной деятельности высокоорганизованных живых существ. Речь идет о нейроподобных сетях (НПС) и различных видах их реализации: нейропакетах, нейроплатах и нейрокомпьютерах (НК).
Современные цифровые вычислительные машины способны с высоким быстродействием и точностью решать формализованные задачи с вполне определенными данными по заранее известным алгоритмам. Однако в тех случаях, когда задача не поддается формализации, а входные данные неполны, зашумлены или противоречивы, применение традиционных компьютеров становится неэффективным. Альтернативой им становятся специализированные компьютеры, реализующие нетрадиционные нейросетевые технологии. Сильной стороной этих комплексов является нестандартный характер обработки информации. Она кодируется и запоминается не в отдельных ячейках памяти, а в распределении связей между нейронами и в их силе, поэтому состояние каждого отдельного нейрона определяется состоянием многих других нейронов, связанных с ним. Следовательно, потеря одной или нескольких связей не оказывает существенного влияния на результат работы системы в целом, что обеспечивает ее высокую надежность.
Высокая <естественная> помехоустойчивость и функциональная надежность касаются как искаженных (зашумленных) потоков информации, так и в смысле отказов отдельных процессорных элементов. Этим обеспечиваются высокая оперативность и достоверность обработки информации, а простая дообучаемость и переобучаемость НПС позволяют при изменении внешних факторов своевременно осуществлять переход на новые виды решаемых задач.
Приведенные выше преимущества нейросетевой обработки данных определяют области применения НПС:
обработка и анализ изображений;
распознавание речи независимо от диктора, перевод;
обработка высокоскоростных цифровых потоков;
автоматизированная система быстрого поиска информации;
классификация информации в реальном масштабе времени;
планирование применения сил и средств в больших масштабах;
решение трудоемких задач оптимизации;
адаптивное управление и предсказание.
Во многих зарубежных странах, где нейрокомпьютеры и нейроплаты не являются невиданной экзотикой, их уже сегодня активно применяют военные и медики, финансовые брокеры и налоговые инспекторы, специалисты по обработке изображений и представители многих других профессий. Таможенники используют нейроплаты для обнаружения пластиковых бомб и наркотиков, финансисты - для предсказания курсов валют, летчики - для распознавания наземных целей, банкиры - для оценки кредитных рисков
Основные положения теории деятельности головного мозга и математическая модель нейрона были разработаны У. Маккалоком и Ч. Питтсом в 1943 году и опубликованы в статье <Логическое исчисление идей, относящихся к нервной деятельности>, которая была издана на русском языке в сборнике <Автоматы> только спустя 13 лет. Согласно предложенной модели мозг представляет собой ансамбль нейронов, имеющих одинаковую структуру. Каждая нейроструктура - нейтрон реализует некоторую функцию, называемую пороговой, над входными значениями. Если значение функции превышает определенную величину - порог (что характеризует суммарную значимость полученной нейроном информации), нейрон возбуждается и формирует выходной сигнал для передачи его другим нейронам. Пройдя путь от рецепторов (слуховых, зрительных и других) через нейронные структуры мозга до исполнительных органов, входная информация преобразуется в набор управляющих воздействий, адекватных ситуации.
Отдельные нейроны, соединяясь между собой, образуют новое качество, которое, в зависимости от характера межнейронных соединений, имеет различные уровни биологического моделирования:
группа нейронов;
нейронная сеть;
нервная система;
мыслительная деятельность;
мозг.
Нейроподобная сеть - это параллельная связная сеть простых адаптивных элементов, которая взаимодействует с объектами реального мира аналогично биологической нервной системе. С инженерной точки зрения такая сеть представляет собой сильно распараллеленную динамическую систему с топологией направленного графа, которая может выполнять переработку информации посредством изменения своего состояния в ответ на постоянный или импульсный входной сигнал.
В настоящее время основными направлениями реализации НПС являются:
программная реализация на цифровых ЭВМ традиционной архитектуры;
программно-аппаратная реализация в виде сопроцессоров к ЭВМ общего назначения;
аппаратная реализация путем создания нейрокомпьютеров на базе нейроплат в виде параллельных нейроподобных структур.
Ранние варианты реализации НПС относятся к первым двум из указанных направлений. Первое направление характеризуется универсальностью, дешевизной и низкой скоростью обучения и функционирования НПС. Для второго направления характерна высокая скорость моделирования функционирования НПС, но при этом существуют серьезные физические ограничения числа моделируемых элементов и связей между ними, а также возможностей обучения и до обучения. По мере развития элементной базы ЭВМ стало возможным самостоятельное развитие третьего направления, которое положило начало индустрии нейрокомпьютеров, представляющих совокупность аппаратных и программных средств для реализации моделей нейронных сетей.
На сегодняшний день известно уже более 200 различных парадигм нейронных сетей (не только детерминированных, но и вероятностных), десятки НПС реализованы в специализированных кристаллах и платах, на их основе созданы мощные рабочие станции и даже суперкомпьютеры.
2. Нейроподобный элемент
Нейроподобный элемент, который обычно используется при моделировании нейронных сетей, приведен на рисунке. На нейроподобный элемент поступает набор входных сигналов x1 ... хм (или входной вектор image006.gif (190 bytes)), представляющий собой выходные сигналы других нейроподобных элементов. Этот входной вектор соответствует сигналам, поступающим в синапсы биологических нейронов. Каждый входной сигнал умножается на соответствующий вес связи w1:wm -аналог эффективности синапса. Вес связи является скалярной величиной, положительной для возбуждающих и отрицательной для тормозящих связей. Взвешенные весами связей входные сигналы поступают на блок суммации, соответствующий телу клетки, где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S:
Выходной сигнал нейрона у определяется путем пропускания уровня возбуждения S через нелинейную функцию f :
где и - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции:
Бинарная.
сигмоидная:
В такой модели нейрона пренебрегают многими известными характеристиками биологического прототипа, которые некоторые исследователи считают критическими. Например, в ней не учитывают нелинейность пространственно-временной суммации, которая особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам, различного рода временные задержки, эффекты синхронизации и частотной модуляции, рефрактерность и т. п. Несмотря на это нейроподобные сети, простроенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойства, напоминающие свойства биологических систем.
Из выше сказанного: нейроподобная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (кодирующий входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов. Множество выходных сигналов нейронов сети y1:ум называют вектором выходной активности, или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где Wij - вес связи между i- и j-м нейронами. В процессе функционирования (эволюции состояния) сети осуществляется преобразование входного вектора в выходной, т. е. некоторая переработка информации, которую можно интерпретировать, например, как функцию гетеро- или авто- ассоциативной памяти.
Конкретный вид выполняемого сетью преобразования информации обусловливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т. е. той или иной топологией межнейронных связей, выбором определенных подмножеств нейроподобных элементов для ввода и вывода информации, наличием или отсутствием конкуренции, направлением и способами управления и синхронизации информационных потоков между нейронами и т. д.
2.1. Обучение нейроподобной сети.
Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Многие из них являются развитием высказанной Д. О. Хеббом идеи о том, что обучение основано на увеличении силы связи (синаптического веса) между одновременно активными нейронами. Таким образом, часто используемые в сети связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Математически это правило можно записать следующим образом:
где wij (t) и wij(t + 1) - значение веса связи от i-го к j-му нейрону соответственно до и после его изменения, б - скорость обучения. В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них будут представлены в параграфах, посвященных рассмотрению конкретных нейросетевых моделей.
2.2. Методы исследования нейроподобных сетей.
Для исследования построенной модели сети (с заданными характеристиками элементов, архитектурой и обучающими правилами) применяют три основных метода: аналитическое исследование, а также математическое (имитационное) и физическое моделирование. Сложность аналитического исследования рассматриваемых нами моделей с коллективным поведением обусловлена наличием большого числа взаимодействующих нелинейных нейроподобных элементов. Несмотря на это интересные аналитические результаты получены для многих из рассматриваемых далее моделей нейронных сетей, что в значительной степени способствовало их популярности.
Физическое моделирование позволяет быстро получать достоверные результаты работы модели, однако связано с технической сложностью аппаратной реализации большого количества нейроподобных элементов со многими адаптивными связями.
Математическое моделирование на универсальных ЭВМ дает возможность создать практически любые модели нейронных сетей, однако из-за последовательного характера их работы в обозримое время удается исследовать модели ограниченного размера. В настоящее время существуют и продолжают создаваться специальные вычислительные средства для эффективного моделирования больших нейроподобных сетей, а также реализованные в виде микросхем очень быстродействующие аппаратные модели небольших нейросетей
3. Применение нейрокомпьютеров в средствах измерений
Длительное время считалось, что нейрокомпьютеры эффективны для решения так называемых неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задачи процесса обучения на реальном экспериментальном материале.
В первую очередь к таким задачам относилась задача аппроксимации частного вида функций, принимающих дискретное множество значений, т. е. задача распознавания образов.
В настоящее время к этому классу задач добавляется класс задач, иногда не требующий обучения на экспериментальном материале, но хорошо представимый в нейросетевом логическом базисе. К ним относятся задачи с ярко выраженным естественным параллелизмом обработки сигналов, обработка изображений и др. Подтверждением точки зрения, что в будущем нейрокомпьютеры будут более эффективными, чем прочие архитектуры, может, в частности, служить резкое расширение в последние годы класса общематематических задач, решаемых в нейросетевом логическом базисе. К ним кроме перечисленных выше, можно отнести задачи решения:
линейных и нелинейных алгебраических уравнений и неравенств большой размерности;
систем нелинейных дифференциальных уравнений;
уравнений в частных производных;
задач оптимизации и других задач.
В целом формируется три раздела нейроматематики: общая, прикладная и специальная.
3.1 Общая нейроматематика.
В последние годы резко расширился интерес к решению общих математических задач в нейросетевом логическом базисе. Даже такие, казалось бы, простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и другие, многие авторы пытаются решить с помощью нейрокомпьютеров, так как при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно выполнить значительно эффективнее, чем на известных булевских элементах. Во многих научных работах разрабатываются и исследуются нейросетевые алгоритмы решения следующих задач:
системы линейных уравнений и неравенств;
обращение матриц;
задачи оптимизации (линейное и нелинейное программирование);
сортировка;
Решение других задач общей нейроматематики, таких, например, как решение:
обыкновенных дифференциальных уравнений с произвольной нелинейной правой частью;
дифференциальных уравнений в частных производных.
Отдельным важным разделом нейроматематики так же является комплекс задач, связанных с формализацией с помощью графов.
Вероятно, в ближайшие годы множество задач общей нейроматематики будет расширяться.
4. Нейроматематика
Как правило, множество задач прикладной нейроматематики представляют задачи в принципе не решаемые известными типами вычислительных машин. Многие из них уже сейчас решаются с помощью нейрокомпьютеров.
Общие задачи:
контроль кредитных карточек;
системы скрытого обнаружения веществ с помощью устройств на базе тепловых нейронов и нейрокомпьютера на заказных цифровых нейрочипах;
системы автоматизированного контроля безопасного хранения ядерных изделий и автоматизированного контроля установок и слежения за безопасностью АЭС.
Задачи обработки изображений:
обработка аэрокосмических изображений, в частности: сжатие с восстановлением, сегментация, контрастирование, обработка текстур;
формирование и обработка изображений, формируемых адаптивным составным телескопом (100-400 зеркал);
выделение на изображении движущихся целей;
поиск и распознавание на изображении объектов заданной формы;
обработка информации в высокопроизводительных сканерах, ориентированных на применение в больших информационных системах.
Задачи обработки сигналов:
прогнозирование финансовых показателей;
упреждение мощности АЭС;
обработка траекторных измерений;
выделение речевого сигнала в негауссовском шуме значительного уровня;
распознавание диктора.
Задачи управления динамическими объектами:
управление вертолTтом, самолTтом;
управление зеркалами (100-400 зеркал) адаптивного составного телескопа;
управление роботами;
Нейросетевые экспертные системы.
система выбора воздушных маневров в процессе ведения воздушного боя;
медицинская диагностическая экспертная система для оценки состояния летчика.
Системы виртуальной реальности.
Конечно, основное направление применения нейроподобных структур - исследования, где по каким-то причинам не может быть задействован человек. Это могут быть исследования вредные для человека, недоступные в данный момент или слишком дорогие.
Ярким примером является интеллектуальный мобильный робот (ИМР) - это техническая система, способная автономно двигаться к цели по заранее неизвестной среде без помощи человека. Принципиально новый подход к проблеме создания систем управления таких интеллектуальных мобильных роботов был предложен в НИИ многопроцессорных вычислительных систем Таганрогского государственного радиотехнического университета. Отличительной особенностью этого подхода является создание систем управления ИМР на базе однородных нейроподобных структур (ОНС), реализующих нецифровые методы обработки информации, присущие мозгу человека. Использование таких нейроподобных структур позволяет добиться ряда важных преимуществ.
В результате проведенных исследований разработаны теоретические и практические основы построения систем управления ИМР на базе однородных нейроподобных структур. Для практической реализации развиваемого подхода была разработана и изготовлена специальная элементная база, включающая в себя СБИС фрагмента ОНС и многокристальный модуль ОНС. СБИС фрагмента ОНС содержит 128 нейропроцессоров на кристалле, объединенных в одно решающее поле, причем предусмотрена возможность стыковки данных СБИС друг с другом с целью наращивания размеров решающего поля. Многокристальный модуль содержит 8 СБИС фрагмента ОНС в одном корпусе, объединенных в одно решающее поле.
5. Прикладные результаты
Проведенные теоретические исследования послужили основой для создания целого ряда образцов нейропроцессорных систем управления ИМР различного назначения. В частности, в рамках российской космической программы, было создано несколько прототипов интеллектуальных мобильных роботов-планетоходов, предназначенных для исследования поверхности планет Солнечной системы, в частности, Марса.
Бортовая система управления данных ИМР была построена на базе нейроподобной структуры, содержащей 4096 элементарных нейропроцессоров. Ввод информации о среде движения в систему осуществлялся с помощью сканирующего лазерного дальномера и телекамеры. Данная система обеспечивала возможность автономного движения ИМР к последовательности из 16 целей по заранее неизвестной, пересеченной местности со скоростями до 10 км/час. Созданные прототипы ИМР- планетоходов прошли успешные испытания на естественных полигонах в условиях, приближенных к реальным, подтвердившие работоспособность и эффективность заложенных в них принципов.
6. Основные области применения
Робототехнические системы, предназначенные для функционирования в условиях опасных для жизнедеятельности человека, в частности в космосе или под водой, в зоне радиоактивного или химического загрязнения, при инспекции взрывоопасных зон и предметов, при проведении спасательных работ в зонах разрушения и т.д. Кроме того, полученные результаты могут также найти применение при создании интеллектуальных промышленных и домашних роботов.
Результаты исследований описаны в статье "Многопроцессорные распределенные системы управления интеллектуальных мобильных роботов", опубликованной в журнале "Современные технологии автоматизации" N4, 1997.
Список литературы:
www.chip-news.ru - В. Шахнов, А. Власов, А. Кузнецов "Нейрокомпьютеры архитектура и реализация"
www.tsu.ru
http://iit.ntu-kpi.kiev.ua
http://citforum.ru
http://sunsite.cs.msu.su/
http://alife.narod.ru/
http://neurnews.iu4.bmstu.ru
http://neural.narod.ru/
http://www.history.ru/
http://forum.aicommunity.org/