Из чего построен мозг
Мозг построен из клеток двух типов: глиальных и нейронов. И хотя роль глии в его работе, видимо, довольно значительна, большинство исследователей полагает, что в основном понимание работы мозга может быть достигнуто при изучении нейронов, объединенных в единую связанную сеть. Эта парадигма и используется при построении, изучении и применении искусственных нейронных сетей.
1 Следует, однако, заметить, что имеются и другие точки зрения. В частности, такие ученые как Пенроуз и Хамерофф считают, что главные события происходят не в нейронной сети, а в самих клетках, а именно в их цитоскелетоне, в так называемых микротрубочках. Согласно их точке зрения, и память, и даже сознание определяются конформационными изменениями белков во внутриклеточных структурах и связанными с ними квантовыми эффектами.
Количество нейронов в мозге оценивается величиной 1010-1011. Типичные нейроны имеют тело клетки (сому), множество ветвящихся коротких отростков - дендритов и единственный длинный и тонкий отросток - аксон. На конце аксон также разветвляется и образует контакты с дендритами других нейронов - синапсы (Рисунок 1).
Рисунок 1. Схема нейрона и межнейронного взаимодействия
Внутриклеточное пространство нейрона имеет отрицательный электрический потенциал по отношению к внеклеточному (-70 mV), то есть клетка в целом поляризована. Поляризация возникает за счет избирательной проницаемости клеточной мембраны для ионов натрия и калия, приводящей к разнице их концентраций внутри и вне клетки. Однако, если внешним образом достаточно сильно[1] изменить потенциал мембраны одного нейрона (передатчика) вблизи выхода аксона из его клеточного тела, то проницаемость мембраны меняется и перераспределение ионов во внутриклеточном и внеклеточном пространстве аксона приводит к распространению по нему волны кратковременной деполяризации. Электрический импульс, распространившись по всем ветвлениям окончания аксона со скоростью около 100 м/с, достигает синапсов, расположенных в местах его контакта с дендритами или сомой других клеток. Под воздействием этого импульса в синапсах выделяются специальные химические вещества - нейромедиаторы, которые, пересекая синаптическую щель, взаимодействуют с мембраной нейрона-приемника и изменяют ее потенциал.
Таким образом воздействие передается от одного нейрона к другим. Заметим, что это воздействие может являться как возбуждающим - способствующим дальнейшей генерации волны деполяризации в нейроне-приемнике, так и ингибирующим - препятствующим такой генерации. Тип воздействия определяется химической природой нейромедиатора, выделяющегося в синапсе.
После генерации импульса нейрон некоторое время (период рефрактерности) не может активироваться. Поэтому частота, с которой нейрон может генерировать импульсы ограничивается примерно 100 Гц.
Каждый из нейронов устанавливает синаптические связи в среднем с 104 другими нейронами. Поэтому число связей в мозге оценивается в 1014 -1015. Очень грубо можно считать, что нейроны мозга могут находиться в двух состояниях - возбужденном
(когда они предают свое воздействие другим нейронам) и покоящемся (когда такой передачи нет).
До сих пор неизвестно, каким кодом пользуется нервная система для передачи взаимодействия. Может быть, он является бинарным, и значение имеют указанные состояния нейронов. Возможно, важна частота электрической активности нейронов, кодирующая интенсивность сигнала. Например, у нейронов коры эта частота может быть пропорциональна вероятности некоторого события. Наконец, информация может содержаться не в импульсных процессах, а в более медленных изменениях потенциала мембраны, которые не всегда активируют клетку (т.е. не превышают порога активации). Однако при любом предположении модель сети взаимодействующих нейронов оказывается исключительно богатой и обладающей свойствами, которые можно сопоставить с реальными возможностями мозга.
Литература
А.А.Веденов. Моделирование элементов мышления. М.: Наука, 1988
Т. Кохонен. Ассоциативная память. М.: Мир, 1980;
Ф.Розенблатт. Принципы нейродинамики. М.: Мир, 1964.
Ф. Уоссерман. Нейрокомпьютерная техника. М.: Мир, 1992.
Ф.В.Широков. Введение в нейрокомпьютинг. ИНФРА-М. Электронное издание. 1995.
Arbib M., ed. The Handbook of Brain Theory and Neural Networks. MIT Press, 1995.
[1] “Достаточно сильное” изменение означает, что оно должно превосходить некоторое пороговое значение, которое может быть специфичным для каждого нейрона.
[2] Болезненность родов у человека как раз и является платой за опережающее развитие мозга, сопровождающееся увеличением его объема.
[3] Сейчас это пугающее предсказание, по-видимому, неактуально - вспомним основные параметры героев Шварценнегера.
[4] Одновременная активность большинства нейронов мозга проявляется в виде эпилептических припадков.
[5] Противоположную точку зрения, не нашедшую экспериментального подтверждения, называют как раз grandmother-cell hypothesis.
Мышление
Обсуждение способности к мышлению наиболее важно с точки зрения сопоставления традиционной вычислительной техники и нейрокомпьютеров. Казалось бы, современные компьютеры способны решать задачи высокого интеллектуального уровня. Они могут интегрировать сложнейшие системы дифференциальных уравнений, осуществлять логический вывод и как следствие - рассчитывать свойства веществ и играть в шахматы лучше человека.
Однако, все их достижения связаны с тем, что решение этих проблем может быть формализовано и представлено в виде последовательностей арифметических и логических операций - алгоритмов. Современный компьютер является ни чем иным, как чрезвычайно быстродействующим арифмометром, способным выполнить любую инструкцию, заключенную в программе. Структура компьютера является реализацией универсальной машины Тьюринга, и эта структура полностью отделена и независима от данных, которые обрабатываются компьютером при решении конкретной задачи.
Математические вычисления и логический вывод доступны и мозгу человека. Однако, они не исчерпывают того, что мы понимаем под мышлением. Удивительным образом, за реализацию соответствующих функций ответственно одно, левое, полушарие человеческого мозга. Его работа позволяет нам говорить, строить грамматически правильные фразы, писать. Оно ответственно за наше восприятие времени и, похоже, вследствие этого обрабатывает информацию последовательно, шаг за шагом.
1 Любопытна гипотеза, связывающая именно левое полушарие с его способностью понимать что такое время, с тем, как мать держит младенца. Обычно ей удобно держать его на левой руке - тогда правая свободна для кормления, игры и пр. Вследствие такого положения ребенок прижимается к груди матери правым ухом и именно им слышит удары ее сердца. Правая часть тела, однако, связана с противоположным, левым, полушарием, которое и знакомится с первым метрономом, задающим временной отсчет жизни новорожденного.
В свое время, известный американский математик, лауреат Нобелевской премии по экономике Ричард Беллман заметил, что современные компьютеры по своей природе наиболее приспособлены для решения задач с начальными условиями (задачи Коши).
Такие задачи могут быть решены последовательным
получением решения от одного момента времени к другому, начиная с начального условия. В известном смысле, вся современная наука является результатом выдающегося и не всегда явно осознаваемого открытия Ньютона, впервые отделившего законы природы от начальных условий. Можно сказать, что традиционные компьютеры, в которых алгоритм отделен от данных, являются парафразом этого достижения. Из вышесказанного следует, что принципы работы обычных компьютеров оказываются в некотором смысле аналогичными принципам обработки информации именно левым полушарием мозга человека.
Однако, математика, логика и наука в целом являются позднейшими достижениями человеческого мышления. То есть, развитие вычислительной техники стартовало с имитации наиболее поздних находок эволюции человеческого мозга. Пропущенным оказался целый пласт его возможностей, которые реализованы в другом, правом, полушарии.
Что характерно для обработки информации в правом полушарии? Множество исследований свидетельствуют в пользу того, что оно ответственно за наше восприятие пространства, за смысл слов, интуицию, воображение, образное мышление. Похоже, что в отличие от левого полушария, оно обрабатывает информацию параллельным способом. Правое полушарие почти не умеет говорить, но знает, что значат грамматически правильные фразы левого полушария.
1 В отличие от левого полушария, правое не знает глаголов и может оперировать лишь с существительными. Более того, оно, по-видимому, не способно лгать. Действительно, ложь требует построения логического отрицания, что не под силу правому полушарию.
Нейрокомпьютеры и являются теми системами, которые должны реализовать возможности, заложенные в правом полушарии мозга.
Одним из основных отличий правого полушария от левого является то, что оно работает не с абстрактными именами объектов - символами, а с образами конкретных объектов, информацию о которых мозг получает из внешнего мира.
В каком- то смысле оно пользуется правилом “Лучше один раз увидеть, чем сто раз услышать”. Все виденное нами в жизни хранится в правом полушарии, все имена - в левом. Можно сказать, что понятие “собака” известно левому полушарию, а вот образ конкретной Жучки находится в правом.
Хотя правое полушарие и не знакомо с логикой и математикой, оно способно учиться узнавать предметы просто по их предъявлению, а не по описанию, в его подходах данные и метод составляют единое целое. Способность правого полушария обучаться на примерах объясняется в теории нейронных сетей пластичностью синаптических связей - их способностью менять свою силу, настраиваясь на решение определенной задачи.
Воображение и интуиция, которые также связываются с работой правого полушария, дают нам возможность принимать решение в тех случаях, когда никакого рецепта не существует. Они являются более древними изобретениями мозга, чем логическое мышление и имеют прямую связь с творчеством. Очень ярко эта творческая активность проявляется в способности видеть сны. Изобретение сна, играющего, по всей видимости важную роль в упорядочивании сенсорной информации, является древним достижением эволюции. Из млекопитающих только ехидна и дельфин не видят снов. Дельфин лишен их потому, что его полушария спят по очереди - для сна со сновидениями этого недостаточно.
1 Оказывается, во время сна наш мозг расходует на 10% больше энергии, нежели во время бодрствования (мозг потребляет около 25 ватт). В определенные периоды (в фазах так называемого парадоксального сна) человеческий мозг, по-видимому, осуществляет очень важную процедуру обработки информации, полученной днем. Часто именно во сне людям приходило решение важных проблем (открытие периодической таблицы химических элементов Менделеевым, формулы бензола Кекуле - множество таких случаев собрано Адамаром). В опытах с животными (крысами) было установлено, что в стрессовых условиях, требующих принятия важных решений, доля парадоксального сна у них резко увеличивается.Нормальный человек видит сны 1.5-2 часа в течение сна, новорожденный - в течение 8 часов. Плод в чреве матери “видит” сны в течение 12 часов!
Обычные компьютеры не знают и не имитируют ничего подобного сну. Это может быть важным указанием на то, что творческие процедуры на них вряд ли реализуемы. Напротив, как мы увидим далее, в нейронных сетях и нейрокомпьютерах процедуры, имитирующие сон, имеют очень важное значение.
Нейрокомпьютеры
Нейрокомпьютинг, как Вы уже догадались, как раз и является описанной выше новой парадигмой вычислительных систем. Основная задача нейрокомпьютеров - обработка образов, основанная на обучении - та же, что и у биологических нейросистем. Подобно биологическим, искусственные нейросети нацелены на параллельную обработку широкополосных образов. В новой схемотехнике, как и в мозгу, остутствуют общие шины, нет разделения на активный процессор и пассивную память. Вычисления, как и обучение, распределены по всем активным элементам - нейронам, каждый из которых есть элементарный процессор образов, т.к. производит хотя и простейшую операцию, но сразу над большим количеством входов. Как вычисления, так и обучение полностью параллельны. В этом сила природных нейрокомпьютеров. Это дает возможность решать задачи, непосильные даже самым мощным суперкомпьютерам, несмотря на миллионнократную разницу в быстродействии элементной базы.
Нейрокомпьютеры в заголовках газет
Одной из характерных черт нейрокомпьютинга является обучение на примерах. Поэтому и мы начнем с серии примеров, которые лучше любых описаний наметят возможные области практических приложений нейросетей и подкрепят решимость читателя заняться их изучением. В последнее время в прессе все чаще стали мелькать сообщения, где так или иначе упоминаются искусственные нейронные сети. Вот только несколько выдержек, иллюстрирующих возможные области применений нейросетей:
1 Автопилотируемый гиперзвуковой самолет-разведчик. Названный LoFLYTE (Low-Observable Flight Test Experiment) реактивный беспилотный самолет длиной 2,5 м был разработан для NASA и Air Force фирмой Accurate Automation Corp., Chattanooga, TN в рамках программы поддержки малого инновационного бизнеса. Это экспериментальная разработка для исследования новых принципов пилотирования, включая нейронные сети, позволяющие автопилоту обучаться, копируя приемы пилотирования летчика. Со временем нейросети перенимают опыт управления, а скорость обработки информации позволит быстро находить выход в экстремальных и аварийных ситуациях. LoFLYTE предназначен для полетов со скоростью 4-5 Махов, когда скорости реакции пилота может не хватить для адекватного реагирования на изменения режима полета. (Пресс-релиз NASA №96-154 от 2 августа 1996 г. )
1 Системы безопасности в аэропортах. Американская фирма SAIC (Science Application International Corporation) использовала нейронные сети в своем проекте TNA. TNA представляет собой ящик стоимостью $750.000, который способен обнаруживать пластиковую взрывчатку в запакованном багаже. TNA бомбардирует багаж медленными нейтронами, вызывающими вторичное гамма-излучение, спектр которого анализируется нейронной сетью. Система обнаруживает взрывчатку с вероятностью выше 97% и просматривает 10 мест багажа в минуту (для Международного Аэропорта Лос-Анжелеса потребуется 10 таких систем общей стоимостью около $8 млн). SAIC получила контракт на разработку TNA от Федерального Управления по Авиации (FAA) в 1986 г и вначале пыталась для классификации спектров реализовать линейно-дискриминантный метод.
Такой подход, однако, требовал крайне нежелательной предварительной сортировки багажа по габаритам. SAIC регулярно получала финансирование от FAA, близился день демонстрации … И тогда корпорация решила использовать нейронные сети. В итоге система с требуемыми параметрами была доработана в кратчайший срок.
1 Нейросети на финансовых рынках. Американский Citibank использует нейросетевые предсказания с 1990 года. В 1992 году, по свидетельству журнала The Economist, автоматический дилинг показывал доходность 25% годовых, что намного превышает показатели большинства брокеров. Chemical Bank использует нейро-систему фирмы Neural Data для предварительной обработки транзакций на валютных биржах 23 стран, фильтруя “подозрительные” сделки. Fidelity of Boston использует нейросети при управлении портфелями с суммарным объемом $3 миллиарда. Полностью автоматизированные системы ведения портфелей с использованием нейросетей применяют, например, Deere & Co - на сумму $100 млн и LBS Capital - на сумму $400 млн. В последнем случае экспертная система объединяется с примерно 900 нейросетями. Труды лишь одного семинара “Искусственный интеллект на Уолл-стрит” составляют шесть увесистых томов.
1 Распознавание краденных кредитных карт. В 1986 году известный конструктор нейрокомпьютеров профессор Роберт Хехт-Нильсен основал компанию HNC. Переключившись в 1990 году с призводства нейрокомпьютеров на предоставление конкретных решений в различных областях, HNC Software Corp. является сейчас лидером на рынке контроля транзакций по пластиковым картам. Ее основной продукт Falcon (Сокол), выпущенный в сентябре 1992 г., контролирует сейчас более 220 млн карточных счетов, выявляя и предотвращая в реальном времени подозрительные сделки по, возможно, краденным кредитным/дебетным картам. Искусственные нейросети обучаются типичному поведению клиентов, различая резкую смену характера покупок, сигнализирующую о возможной краже. Ежегодные потери крупных банков от подобных краж измеряются десятками миллионов долларов, и когда в 1994 г.
впервые за всю историю пластиковых карт эти потери пошли на убыль, этот прогресс пресса связывала с успешным внедрением системы Falcon. Клиентами HNC Software являются 16 из 25 крупнейших в мире эмитентов пластиковых карт. (Пресс-релиз HNC Software http://www.hnc.com)
1 Активная реклама в Internet. Нейросетевой продукт SelectCast фирмы Aptex Software Inc. (дочерней фирмы HNC Software Corp.) выявляет профили интересов пользователей Internet и предлагает им соответствующим образом отфильтрованную рекламу. В июле 1997 года один из лидеров поискового рынка Internet - Excite, Inc. лицензировала SelectCast для использования на своих поисковых серверах. После установки на серверах Excite и Infoseek, нейросетевая реклама охватит около трети всех пользователей Internet. Согласно проведенным исследованиям, установлено, что отклик на такую активную рекламу в среднем вдвое выше, чем на обычную рекламу, размещаемую в Сети. А на отдельные виды рекламы отклик возрос впятеро. Заметим, что рекламный сектор Internet переживает сейчас период бурного развития. Результаты первого полугодия 1997 года свидетельствуют о годовом темпе роста 250%, что в денежном выражении составит в 1997 году $400 млн. (Scientific American, Dec 1997, “On-line Advertising goes one-on-one”.)
1 Мониторинг и персонализированная рассылка новостей. Распознавание темы текстовых сообщений - другой пример успешного использования искусственных нейросетей. Сервер новостей Convectis (продукт все той же Aptex Software Inc. http://www.aptex.com) выбран в июне 1997г. лидером персонализированной доставки новостей в Internet - PointCast Inc. - для автоматической рубрикации сообщений по категориям. Сверяя значения слов по контексту, Convectis способен в реальном масштабе времени распознавать тематику и рубрицировать огромные потоки текстовых сообщений, передаваемых по сетям Reuters, NBC, CBS и др. Так, например, информационное агентство Scoop, специализирующееся на поставке бизнес-новостей и также лицензировавшее Convectis в июле 1997г., использует свыше 1600 источников информации.
После анализа сообщения Convectis генерирует аннотацию, список ключевых слов и список рубрик, к которым относится данное сообщение. Существуют и другие электронные агентства новостей, использующие нейросети для рубрикации и персонализации информации (см., например, http://www.wisewire-corp.com)
Приведенные выше примеры свидетельствуют о том, что нейросетевая обработка данных постепенно становится неотъемлемой компонентой высоких технологий, определяющих жизнь современного мира. На них будут опираться новые военные доктрины, они будут контролировать нашу безопасность и торговать на электронных биржах, на них основываются нарождающиеся масс-медиа в глобальной сети Internet. Интерфейс с этой глобальной Сетью, постепенно превращающейся в единый распределенный компьютер, также, по-видимому, будет основываться на нейросетевых обучаемых агентах - представителях пользователя в Сети.
Что же это такое - искусственные нейронные сети? Какое отношение имеют искусственные нейросети к естественным? Чем отличается нейрокомпьютинг от обычных методов компьютерного моделирования? Каковы его "экологические ниши" в мире информационных технологий и перспективы на будущее? Этим вопросам и будет посвящен данный обзор.
Для начала попробуем описать особенности обработки информации мозгом. Посмотрим, что из того, на что способен мозг, еще по большей части недоступно современным системам обработки информации.
Операционные системы будущего
Однако, наибольшие изменения, коснутся, по-видимому, самих компьютеров. По мнению Билла Гейтса, главы небезызвестной Microsoft, высказанному им на собрании совета директоров, через 10 лет 90% операционной системы будет занято решением задач распознавания образов. Таким образом, при проектировании будущих поколений компьютеров нейрокомпьютинг выдвигается на первый план.
Можно даже представить себе примерный сценарий проникновения нейросистем в компьютеры будущего, связанный с развитием глобальной сети Internet. Сейчас именно она направляет развитие компьютерных систем, постепенно превращая разрозненную сеть персоналок, рабочих станций и мэйнфреймов в единый мировой сетевой компьютер с неограниченными информационными ресурсами. Известная фирма Forrester Research, занимающаяся прогнозированием рынков, оценивает рынок услуг, связанных с Internet, в 2001 году на уровне $350 млрд. Практически все крупные компьютерные фирмы уже включились в борьбу за этот гигантский потенциальный рынок. Достаточно упомянуть ту же Microsoft, тратящую по $100 млн. в год только на исследования, связанные с Internet.
И подобно тому, как эпоха великих открытий XV века стимулировала развитие астрономии и точной механики для совершенствования навигационных приборов, освоение нового - информационного - океана требует развития новых средств навигации - ассоциативного поиска, создания адаптивных и автономных агентов. (Уже сейчас индексация Сети ведется автономными роботами.) Вспомним, каким мощным стимулом развития персональных ЭВМ был удобный графический интерфейс пользователя. Новый интерфейс пользователя для работы в Сети будет основываться на агентах, представляющих интересы пользователя в сети. Этот новый вид программного обеспечения, получивший название agentware, претендует на центральное место в будущей системе человеко-машинного общения. Между тем, первые экземпляры agentware уже появились на рынке, и что характерно, многие основаны на технологии нейросетей (см., например, http://www.agentware.com).
Это, по-видимому, сегодня кратчайший путь к созданию легко обучаемых автономных электронных секретарей. Естественно предположить, что именно на этом направлении, в силу его стратегической важности, в ближайшем будущем будет достигнут наибольший прогресс.
Видимо, искусственный интеллект, о котором так долго говорили и спорили, начнет, наконец, материализовываться в этих пока что очень примитивных нейро-агентах. Вскоре электронные агенты вынуждены будут вступить в общение не только со своим хозяином и пассивными данными, но и с другими такими же агентами. В Сети возникнет новый социум с новыми правилами отношений. Разум же и личность, напомним, - понятия социальные. Агенты, учащиеся принимать решения от лица пользователя в социальном окружении, неизбежно приобретут все атрибуты личности.
Но это в будущем. Современный же нейрокомпьютинг - только первая ласточка. В наше время эта технология распознавания ситуаций и принятия решений отрабатывается в конкретных, четко очерченных областях (например, игра на бирже), не требующих знания социального контекста, пока недоступного компьютерам. До принятия действительно значимых управленческих решений нейрокомпьютерами еще очень далеко. Но дорогу осилит идущий.
От символов - к образам
Именно интерфейс пользователя, делающий удобным и комфортным человеко-машинное общение стал двигателем нового этапа развития ЭВМ. Узким местом, снижающим эффективность человеко-машинного симбиоза, является неспособность современных ЭВМ оперировать сенсорной или, более обще - образной информацией. Человек, мозг которого ориентирован именно на такого рода информацию, является сейчас единственным связующим звеном между миром абстрактных символов, перерабатываемых компьютерами, и внешним миром.
Неспособность компьютеров видеть, слышать и ощущать не позволяет им освободить людей от их теперешних обязанностей “универсальных манипуляторов” и контролеров при машинном производстве. Отсутствие сенсорного восприятия мира компьютерами делает доступные им модели мира беспомощными. Компьютерный "кретинизм" мешает в человеко-машинном общении, не дает возможности объяснить компьютерам самые элементарные для человека понятия.
Между тем, уже сейчас стоимость компьютерной обработки информации и стоимость человеческого мышления почти сравнялись.
1 В мозгу человека около 1010 нейронов, из которых ежемоментно активизировано примерно 108, работащих с характерной частотой 102 Гц. Принимая в качестве зарплаты "белого воротничка" $30,000 в год получим оценку стоимости обработки информации человеком:
Человек: (1010 оп/c 3 107 c/год) / (30 000 $/год ) = 1013 оп/$
Вычисления на современном персональном компьютере производительностью 107 оп/с при амортизации около $300 в год стоят лишь на порядок меньше:
Универсальный процессор: (107 оп/c 3 107 c/год) / (3 00 $/год ) = 1012 оп/$.
Специализированные процессоры (например, сигнальные процессоры DSP), как правило, дают дополнительный выигрыш в стоимости вычислений примерно на порядок:
Специализированный процессор: (108 оп/c 3 107 c/год) / (3 00 $/год ) = 1013 оп/$,
примерно сравниваясь с человеком при таком способе сопоставления.
Конечно, не следует относиться к этим оценкам слишком уж серьезно, т.к. "операции" в этих случаях имеют совершенно разный смысл.
Нейрон обрабатывает ~ 104 аналоговых значений синапсов, тогда как процессоры оперируют единичными, хотя и 32-разрядными операндами. Однако, принимая во внимание перспективы аналоговых СБИС, позволяющих повысить производительность на 3-4 порядка, “экономическое” превосходство компьютеров - вопрос ближайшего будущего, в пределах нанешнего поколения людей. И победа Deep Blue над Каспаровым - лишь первая ласточка грядущих перемен.
Следовательно, становится экономически целесообразным переложить все рутинные человеческие функции на компьютеры: все, что может быть формализовано немедленно превращается в программные продукты и включается в производственный процесс.
Однако, наращивание темпов компьютеризации наталкивается на ограниченные возможности современных компьютеров в решении неалгоритмизируемых задач - обработке образов. Это и есть то узкое место, которое сейчас резко сужает возможные области применения компьютеров и, соответственно, - емкость потенциального рынка. Искусственные нейросети призваны “расшить” это узкое место, обеспечив компьютерам способность оперировать образной информацией.
От вычислений - к обработке символов
Переход к транзисторам, а потом - внедрение интегральных схем, делало компьютеры все более доступными. Удешевление машинного времени позволяло перекладывать на них все больше рутинной работы, должным образом формализованной и созревшей, таким образом, для автоматизации.
Движущей силой нового, "демократического" этапа развития вычислительной техники стала автоматизация труда информационных работников - белых воротничков. До появления ЭВМ автоматизация производства затрагивала, в основном, труд рабочих - синих воротничков. Работа же с информацией по-прежнему опиралась на бумажную технологию прошлых веков. По мере усложнения производства это приводило к постоянному разрастанию штатов и росту издержек. Использование компьютеров для автоматизации конторского труда давало максимальную экономическую отдачу. Появилась концепция "безбумажного офиса", основанная на компьютерной обработке символьной информации - как числовой, так и текстовой. Компьютеры перестали восприниматься только как калькуляторы, а превратились в средства работы с текстовыми документами, хранения и обработки баз данных.
Новое качество придало компьютерным технологиям появление персональных ЭВМ и распространение компьютерных сетей. Эти два новшества приблизили компьютер к рядовому человеку и сделали для него потенциально доступной всю информацию, накопленную в мире. Выход компьютеров "в массы" сопровождался, с одной стороны, невиданными ранее темпами удешевления электронной обработки данных, с другой - качественной "гуманизацией" компьютерного интерфейса.
Память
Компьютеры имеют память! В нее можно записать программы, данные, изображения, что угодно. Однако, все они хранятся как некоторые именованные переменные. Специальные процедуры хеширования позволяют вычислить по имени переменной ее адрес в физической памяти, и именно по этому адресу будет искаться соответствующая запись. Никакой связи между адресом, по которому находятся данные, и содержанием самих данных не существует. Такая адресация предполагает пассивность данных в процессе поиска. Это обстоятельство чрезвычайно затрудняет поиск данных с частично известным содержанием.
Мозг использует другой способ поиска информации - не по адресу, а по содержанию, вернее, по его достаточно представительной части. Вспомните телепередачу “Угадай мелодию”, в которой участникам предлагается восстановить текст куплета по нескольким нотам мелодии. Очевидно, что эти ноты составляют лишь часть песни, в которой музыка вместе с текстом составляют единый информационный образ.
Память, способная восстанавливать полную информацию по ее достаточной части (двух нот в нашем примере недостаточно) называется содержательно-адресованной. При этом, мозг способен извлекать информацию и в случае, если исходные данные (ключ) являются не собственно ее частью, но связаны с ней устойчивой связью (в случае, если мелодию не удается узнать по нотам, она может быть восстановлена мозгом, если в поле его зрения попадется машущий крылами Валдис Пельш). Такая память называется в общем случае ассоциативной (авто- или гетеро-, соответственно).
1 Трудно поверить, но в довоенном Токио не существовало нумерации домов, и таксисты доставляли пассажиров в нужное место, пользуясь информацией типа за трехэтажным домом с синей крышей мимо высокого забора до старой сливы. Таким образом, они использовали ассоциативную память, потребность в которой сильно упала после прихода американцев и присвоения жилищам адресов (вспомните пресловутый угол 5-й авеню и 42-й улицы).
Итак, наша память имеет ассоциативный содержательно-адресованный характер.
Но это еще не все. Она является также и распределенной. Это означает, что в мозге нет специализированного нейрона, отвечающего, например, за распознавание вашей бабушки[5]. Наоборот, в запоминании некоторой информации участвует множество нейронов, так что гибель некоторых из них обычно не удаляет соответствующий образ из памяти. Более того, мозг обладает огромной компенсаторной способностью: поражение обширных участков приводит к тому, что соответствующие функции берут на себя другие его части. Такое свойство систем называется робастностью (robust - крепкий, здоровый). Вспомните, что произойдет с вашей программой в компьютере, если в ней запортить несколько бит - и Вы оцените достоинства хранения информации в мозге.
1 Заметим, что распределенность не предполагает бесструктурность. Мозгу присуща определенная пространственная локализация функций. Так, в области затылка расположена зрительная кора, а лобные доли ответственны за планирование поведения. Интересно, что открытие различных по функциям отделов коры мозга произошло благодаря высокой скорости, с которой вылетали пули из русских винтовок во время русско-японской войны. Такие пули, попадая японским солдатам в голову, не убивали их, но поражали те или иные участки мозга. Изучая таких пациентов, японские врачи смогли впервые связать расстройства восприятия и поведения с местом поражения коры.
Наконец, важнейшим свойством нашей памяти является ее активность. Суриков не видел, как Суворов переходит через Альпы, но создал в своем сознании соответствующий образ и материализовал его на холсте. Еще более причудливые примеры активности памяти могут быть найдены на картинах Босха.
1 Активность памяти есть внутреннее свойство мозга, присущее не только изобретателям и ученым, а каждому человеку. Вспомним Булгакова: “- Читаю, читаю, - рассказывал слесарь корреспонденту, - слова все легкие: Мечислав, Богуслав, и хоть убей не помню - какой кто. ... Помню одно: Мандриан.Какой думаю Мандриан? Нет там никакого Мандриана. На левой стороне есть два Баранецких. Один господин Адриан, другой Мариан. А у меня Мандриан.”
Итак, человеческая память отличается от компьютерной тем, что она: содержательно-адресованая, ассоциативная, распределенная, робастная и активная.
Перспективы нейрокомпьютинга
Вписав появление нейрокомпьютинга в общий процесс эволюции компьютеров, мы получаем возможность заглянуть в ближайшее будущее - экстраполируя сегодняшние тенденции.
Первые компьютеры: супер-калькуляторы
Технические предпосылки создания компьютеров накапливались постепенно. Механические калькуляторы существовали еще со времен Паскаля. Теория универсального компьютера была разработана англичанином Аланом Тьюрингом в 30-х годах. А новую элементную базу (лампы) подготовило широкое распространение радиотехники. Требовался лишь толчок со стороны практики, должна была возникнуть задача, которую было бы невозможно решить без ЭВМ. Такую задачу предоставила Вторая Мировая Война. Для военных нужд потребовался супер-калькулятор. Сначала это были задачи рассчета баллистических траекторий и составления баллистических таблиц корректировки стрельбы. Затем появился новый класс задач, связанных с созданием атомного оружия, и с тех пор военные неизменно выступали как основные заказчики супер-вычислителей.
1 Одной из главных задач Лаборатории баллистических исследований министерства обороны США был расчет баллистических траекторий и составление корректировочных таблиц. Каждая такая таблица содержала более 2000 траекторий, и лаборатория не справлялась с объемом вычислений, несмотря на свой раздувшийся штат: около ста квалифицированных математиков, усиленных несколькими сотнями подсобных вычислителей, окончивших 3-х месячные подготовительные курсы. Под давлением этих обстоятельств в 1943г. армия заключила с расположенным неподалеку Высшим техническим училищем Пенсильванского университета, где в помощь лаборатории был создан специальный вычислительный центр, контракт на $400 тысяч для создания первого электронного компьютера ENIAC. Руководили проектом Джон Мочли и Прес Экерт (последнему в день подписания контракта исполнилось 24 года). ENIAC был построен уже после окончания войны. Он потреблял 130 кВт, содержал 18 000 ламп, работающих с тактовой частотой 100 кГц, и мог производить 300 операций умножения в секунду.
Таким образом, в момент своего появления компьютеры занимались исключительно вычислениями, что и отразилось в их названии. Вычисления по заранее разработанному алгоритму требовали одного: очень много раз повторять однотипную череду операций. На решение таких - алгоритмических - задач и были нацелены ЭВМ 40-х и 50-х годов.
Последовательная архитектура первых ЭВМ была продиктована их чрезвычайной дороговизной. Это позволяло обойтись минимумом аппаратуры, минимизировать издержки вычислений. Машинные ресурсы всячески экономились, и всю заботу о составлении алгоритмов и переводе их в машинные коды брали на себя люди.
К моменту появления первых ЭВМ война уже кончилась, но потребность в вычислениях осталась. Правда в 50-х годы приобрести ЭВМ могли себе позволить лишь крупные научные центры и государственные учреждения. В 60-х, после появления серийных ЭВМ, центральный компьютер появился и в коммерческих фирмах.
Право-лево-полушарный симбиоз
Нейрокомпьютеры, как мы видим, вовсе не призваны заменить существующие традиционные вычислительные машины. Они лишь восполняют те возможности, для которых не удается построить формальных алгоритмических схем. Подобно тому, как в человеческом мозге левое и правое полушарие работают в диалоге и сообща, современные информационные системы должны использовать симбиоз традиционных компьютеров и нейромашин для полноценной и продуктивной обработки информации (см. Рисунок 3).
Рисунок 3. Симбиоз традиционных и нейро- компьютеров сродни симбиозу правого и левого полушарий головного мозга
Однако, поскольку наш курс посвящен именно нейрокомпьютерам, мы хотели бы, все же, еще раз подчеркнуть важность именно правополушарной обработки информации. С этой целью мы приведем отрывок из доклада академика Владимира Игоревича Арнольда, сделанного в 1997 году и посвященного “жестким” и “мягким” математическим моделям. Содержание его как нельзя лучше поддерживает наш вывод.
“В истории России был премьер-министр с математическим образованием (окончивший Санкт-Петербургский университет по математике в школе Чебышева). Вот как он описывает разницу между мягким и жестким математическим моделированием (С.Ю.Витте. Воспоминания, т.3, гл.5):
“Между математиками есть двоякого рода люди: 1) математики-философы, т.е. математики высшей математической мысли, для которых цифры и вычисления есть ремесло; для этого рода математиков цифры и исчисления не имеют никакого значения, их увлекают не цифры и исчисления, а сами математические идеи. Одним словом, это математики, так сказать чистой философской математики; 2) напротив, есть такие математики, которых философия математики, математические идеи не трогают, которые всю суть математики видят в исчислениях, цифрах и формулах... Математики-философы, к которым принадлежу и я, относятся всегда с презрением к математикам-исчислителям, а математики-исчислители, среди которых есть много ученых весьма знаменитых, смотрят на математиков-философов как на людей в известном смысле “тронутых” “.
Сейчас мы знаем, что описанные Витте различия имеют физиологическое происхождение. Наш мозг состоит из двух полушарий. Левое отвечает за умножение многочленов, языки, шахматы, интриги и последовательности силлогизмов, а правое - за пространственную ориентацию, интуицию и все необходимое в реальной жизни. У “математиков - исчислителей” по терминологии Витте гипертрофировано левое полушарие, обычно за счет правого. Это заболевание и составляет их силу (вспомним “Защиту Лужина” Набокова). Но доминирование математиков этого типа и привело к засилью аксиоматически - схоластической математики, особенно в преподавании (в том числе и в средней школе), на которое общество естественно и законно реагирует резко отрицательно. Результатом явилось повсеместно наблюдаемое отвращение к математике и стремление всех правителей отомстить за перенесенные в школе унижения ее изничтожением.
Мягкое моделирование требует гармоничной работы обоих полушарий мозга.”
Мягкие модели, о которых говорит Арнольд, это модели, поддающиеся изменениям, точное значение параметров в них не имеет значения. Эта мягкость и представляет главное достоинство нейросетевых моделей, которые лежат в основе архитектур будущих нейрокомпьютеров.
Специфика образной информации
Широкополосность образов имеет далеко идущие последствия. Пусть компьютер манипулирует n-разрядными символами. Количество информации, требуемое для описания произвольного преобразования таких символов составляет
| Разрядность n машинных слов |
Длина произвольного алгоритма |
| 8 | 256 B |
| 16 | 128 KB |
| 32 | 16 GB |
| … | … |
| 1024 | 21000 B |
Таблица 1. Длина алгоритма произвольного преобразования n-разрядных символов.
Отсюда и следует качественное различие обработки символьной (малоразрядной) и образной (многоразрядной) информации. Для символов в принципе возможно описать любой способ их обработки. Для образов это в принципе невозможно. Естественно, существуют относительно тривиальные преобразования образов, поддающиеся формализации, т.е. имеющие компактное описание. На таких операциях построены графические ускорители и программные пакеты обработки изображений. Однако, в общем случае операции с образами неформализуемы. Преобразование образов, следовательно, должно основываться на алгоритмах, описанных лишь частично.
Для таких неформализуемых задач частичным описанием алгоритма является некое подмножеством полной таблицы преобразований - множество примеров, или обучающее множество. Возникает новый класс задач - восстановления алгоритма по набору примеров, обучения на примерах.
Процессоры образов должны обладать способностью обобщения конечного числа примеров на потенциально необозримое множество возможных ситуаций, иными словами, способностью предсказуемого поведения в новых ситуациях. В этом своем качестве они противоположны обычным компьютером, где алгоритм в явном виде задает поведение во всех мыслимых ситуациях.
Итак, возникает новая парадигма вычислительных машин: алгоритмы, порождаемые данными в универсальном процессе обучения, специализированные для данного класса операций с образами, адаптированные под конкретные информационные задачи. Это - естественный путь развития вычислительной техники, который обеспечивает одновременно и универсальность и простоту архитектуры таких универсальных спец-процессоров.
Структура и функции мозга
Мозг управляет организмом в целом, его восприятием окружения, движением, поддержанием важнейших функций жизнедеятельности, оперативно реагируя на всевозможные изменения среды. Генетическая программа организма, конечно, тоже способна адаптироваться к изменяющимся условиям, но очень медленно, за счет крайне редких полезных мутаций. Если использовать только этот способ, то необходимо производить огромное потомство, только малая часть которого выживает. Этим методом пользуются низшие формы жизни - такие как бактерии и вирусы. Высшие же формы в ходе эволюции выработали у себя способность к изменению и адаптации в течение жизни - благодаря особому свойству своей нервной системы - пластичности. Поэтому у высших животных потомство немногочисленно, зато мозг сильно развит.[2]
Объем накопленной в мозге информации вначале дополнял, а затем и превзошел (у рептилий и млекопитающих) объем наследственной информации, закодированной в ДНК (см. Рисунок 2). Можно сказать, что генетическая информация у высших организмов исполняет роль ракеты-носителя, направляя процесс построения организма. Затем управление передается адаптирующейся к внешнему миру нервной системе, вершиной которой и является мозг.
Рисунок 2. Сравнение наследственной и приобретенной информации для различных видов организмов
В строении мозга как на фотографии запечатлен весь эволюционный путь его развития. Так, мозг человека фактически включает в себя три больших отдела, управляющие наиболее древней структурой (нейрошасси), доставшейся нам еще от рыб и амфибий, и ответственной за поддержание жизнедеятельности и размножение. Первый отдел - рептильный комплекс - возник несколько сот миллионов лет назад и помогает нам ориентироваться в пространстве. Второй отдел - лимбическая система - образовался около ста пятидесяти миллионов лет назад. Благодаря ей мы обладаем эмоциями. Наконец, последнее достижение - новая кора, особо развитая у человека, позволяет нам говорить и логически мыслить.
В фантастических романах прошлого человек будущего (или инопланетный гуманоид) иногда изображался как хилое существо с огромным мозгом.[3] На самом деле, и при нынешних его размерах (примерно 5% от общего веса тела) мозг человека потребляет около 20% кислорода и, следовательно, энергии.
При этом он обычно не задействован "на полную мощность": одновременно активны в нем лишь 2-3% нейронов[4]. Благодаря такой избыточности, мозг человека обладает огромным запасом прочности, позволяющим ему работать даже несмотря на серьезные повреждения и утраты. Этой способности лишены современные компьютеры.
1 Известны случаи, когда человек продолжал сознательную жизнь после удаления большей части коры головного мозга. В одном из них, молодой человек, получивший в автокатастрофе травмы черепа, оцененные как несовместимые с жизнью, выжил, и, несмотря на удаление в ходе многочисленных операций большой части тканей мозга (включая обе лобных доли!), возвратился к работе директором коммерческого буфета. Известный пример проявления компенсаторных возможностей дает мозг Ленина. Для него были характерны многочисленные поражения коры левого полушария, отягощенные колоссальной нагрузкой (при письме) на управляемую им правую руку, и обращающие на себя внимание хорошо развитые слои клеток в правом полушарии.
Трудности современной схемотехники
Главное отличительное свойство образов - большая информационная насыщенность, или, выражаясь языком электротехники, широкополосность информации. Иными словами, образ характеризуется числом бит на порядки превосходящим информационную размерность символа. Сравните 32-64-разрядные машинные слова современных ЭВМ и графические образы, характеризуемые мегабайтами информации. При этом, образ является единым информационным объектом. Многие его атрибуты (например, связность областей) являются глобальными - их нельзя вычленить, обрабатывая отдельные части образа независимо.
Можно, конечно, обрабатывать образы последовательно, шаг за шагом, небольшими порциями - символами, как это до сих пор и делают компьютеры. Машинные слова современных процессоров имеют размерности от 16 до 64. Однако, это с неизбежностью замедляет вычисления. Повышение параллелизма за счет увеличения разрядности универсальных процессоров идет медленно и с большим трудом, т.к. сопровождается резким усложнением их структуры. Согласно эмпирическому закону Рента, число элементов современных электронных схем, оперирующих n-разрядной информацией растет как n4.8 (см. Рисунок 4).
Рисунок 4. Эмпирическая зависимость числа вентилей в микропроцессорах от количества входов-выходов.
Очевидно, что эта тенденция, распространенная на размерность n > 100, приводит к нереалистичным размерам электронных схем. Следовательно, коренное увеличение быстродействия, требуемое для обработки образов в реальном времени, должно сопровождаться не менее коренным изменением схемотехники. Должны появиться специализированные процессоры образов, построенные на новых принципах, отличных от используемых в универсальных компьютерах. Специфика этого нового поколения процессоров диктуется самой природой образной информации - ее широкополосностью.
Вездесущие умные нейрочипы
Сегодняшний нейрокомпьютинг проходит "обкатку", в основном, в программном продукте для задач ассоциативной обработки данных, редко используя при этом свой "параллельный" потенциал. Эпоха истинного - параллельного - нейрокомпьютинга начнется с выходом на рынок широкого ассортимента аппаратных средств - специализированных нейрочипов для обработки изображений, речи и прочей сенсорной информации. Можно представить себе, например, дверные замки, распознающие хозяина по виду, голосу, и быть может, запаху в совокупности. Системы жизнеобеспечения жилищ станут адаптивными и обучаемыми. Все бытовые приборы поумнеют и приобретут способность угадывать, что от них требуется именно в данный момент. Провозвестником таких изменений можно считать нейросетевой блок адаптивного управления в недавно появившемся пылесосе фирмы Samsung.
Сенсорные датчики приобретут способность реагировать, а регулирующие системы - ощущать. Умные контроллеры, распознающие потенциально опасные ситуации и умеющие принимать адекватные превентивные решения, получат распространение в сложных электрических и тепловых сетях. На них будут основываться системы регулирования транспортными потоками и потоками данных в компьютерных сетях и сотовой связи.
Восприятие
В дополнение к эволюционному разделению частей мозга, о котором мы говорили выше, в нервной системе явно различаются три типа нейронных структур: сенсорные, внутренние и эффекторные. Первые связывают наш мозг с внешним миром и обеспечивают поступление в него зрительной, слуховой, вкусовой, обонятельной и осязательной информации. Есть у нас и шестое чувство - чувство равновесия, за которое отвечает вестибулярный аппарат. Его особенность заключается в том, что он не вынесен наружу. Эффекторные нейроны управляют мышцами, внутренними органами, стенками сосудов и пр. Мозг таким образом контролирует работу сердца, дыхание, кровяное давление, температуру, поддерживает нужное содержание кислорода в крови, осуществляет гормональную регуляцию и пр. Промежуточные нейроны обрабатывают информацию, получаемую от сенсорных и передаваемую эффекторным нейронам.
Существующие компьютерные системы позволяют вводить в них изображения, звуковую и другие виды информации. Однако, в отличие от компьютера, снабженного сканером, телекамерой и микрофоном, мозг обладает вниманием, свойством, которое позволяет ему сосредотачиваться на важной в данный момент информации и игнорировать несущественную. Эффективные системы предобработки сенсорной информации, вырабатываемые в течение жизни путем обучения, позволяют мозгу эффективно распознавать сенсорные образы - способность, пока мало освоенная современными компьютерами.
1 В восьмидесятые годы была объявлена программа создания компьютеров 5-го поколения. Эти компьютеры должны были иметь средства работы с реальными данными окружающего мира - изображениями, мелодиями, текстами и пр. Однако, как стало ясно теперь, полноценное решение этой задачи возможно только нейрокомпьютерами - системами, работа которых основывается на использовании архитектуры и свойств биологической нервной ткани.
Встречная эволюция мозга и компьютеров
Итак, мы описали особенности двух парадигм обработки информации - "логической" и "образной". Первая доминирует в существующих компьютерах, вторая - лежит в основе работы мозга, хотя человеческий мозг отличает от мозга прочих животных наличие обоих компонент мышления. Для полноценного существования в окружающем нас мире ценны оба способа обработки информации. И они рано или поздно возникают - как в ходе биологической эволюции, так и в процессе эволюции компьютеров, но, что характерно, - в разной последовательности. Биологическая эволюция шла "от образов - к логике". (Вспомним три слоя мозга: древнейший - ориентация в пространстве, более новый - эмоции, и новейшая кора - речь и логика). Компьютеры же, напротив, начав с логики, лишь спустя несколько десятилетий начинают осваивать распознавание образов.
Откуда такое различие в направлениях развития? Что касается развития Жизни - понятно. На ранних этапах эволюции требовалось лишь правильно реагировать на внешние воздействия. Задача понимания законов действительности, их формализации для передачи из поколения в поколение возникла лишь с появлением социальных животных и языка. Мыслить логически - роскошь, доступная лишь тем, кто сумел выжить в миллиардолетней борьбе за существование. А компьютеры? Почему они не пошли по тому же пути? Почему мы узнаем о существовании нейрокомпьютеров на пятом десятке лет компьютерной гонки? Для ответа на этот вопрос, ключевой для понимания перспектив нейрокомпьютинга, необходимо бросить хотя бы беглый взгляд на историю развития компьютеров.
