Читать книгу УМК «Нейросетевые технологии». Руководство по подготовке квалифицированных нейроконструкторов - Александр Аполлонович Кириченко - Страница 2

Состав работ, связанных с Нейрокибернетикой

Кому и для чего нужны «Нейросетевые технологии?»

В литературе состав работ, связанных с «Нейрокибернетикой» обычно представляется тремя направлениями:

– Разработка и программная реализация математических моделей искусственных нейросистем (ИНС).

– «Разработка и использование нейрокомпьютеров (НК)»

– «Разработка и реализация математических моделей высшей нервной системы человека (ВНСЧ)».

Первое из выделенных направлений, известное так же под названием «Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания)» или «Разработка и использование нейропакетов», связано с построением и применением нейросетей из искусственных нейронов. Для их программной реализации создаются нейропакеты (НП). В ИНС, как правило, используются модели простых нейронов, бистабильные или реализующие элементарные нелинейные функции (например, функцию знака, сигмоидальные функции и т. д.).

Второе направление (НК) связано с физической реализацией нейросетей – с нейрокомпьютерами (НК), их разработкой и использованием. В (НК) так же находят применение модели простых нейронов, нейросетей и элементы, реализующие некоторые конструкции из вычислительной техники. Обращает на себя внимание, что главным в этом направлении является то, как реализовать работу нейросетей, возможность расширения состава решаемых интеллектуальных задач не за счёт поиска новых алгоритмов работы мозга и совершенствования конструкции нейросетей, а за счёт применения известных алгоритмов лингвистики, математической статистики, вычислительной техники.

Третье направление связано с разработкой моделей Высшей нервной системы человека, использующих достижения специалистов медицинского и биологического профиля, основанные на результатах биохимических исследований, активном исследовании сенсорных, внутренних (чувство равновесия), эффекторных (управление мышцами, внутренними органами, сосудами) нейронных структур человека. Среди них наиболее важными являются исследования, направленные на моделирование неизвестных алгоритмов мыслительной деятельности, таких, как интуиция, возникновение ассоциаций, особенностей протекания креативного мышления и реализации алгоритмов обработки образов, а так же – характерного для мышления динамического преобразования образов в рекуррентных, и особенно – в рекурсивных нейросетях.

История создания УМК

Учебно-методический комплекс «Нейросетевые технологии» начал формироваться в Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Национальный исследовательский университет «Высшая школа экономики» в 2012 году сначала в виде общеуниверситетского факультатива «Нейропакеты – современный интеллектуальный инструмент исследователя», а с 2015г. – в виде майнора «Нейросетевые технологии» на Факультете компьютерных наук в Департаменте программной инженерии.

Основная трудность преподавания этой дисциплины была связана с отсутствием доступного программного обеспечения для проведения практических занятий. Приходилось использовать очень дорогие, громоздкие и не совсем удобные универсальные математические пакеты: Matlab Neural Network Toolbox, STATISTICA Neural Networks, NeuroSolutions, BrainMaker, Encog, Azur.

Были попытки использовать и freeware пакеты Deductor Academic, SNNS и др. Но Deductor обладал очень ограниченными возможностями по демонстрации нейронных сетей. А SNNS был подготовлен к использованию под операционной системой Unix.

При изучении Нейросетевых технологий наибольшую эффективность получили такие freeware пакеты, как Sharky, Пермский нейроимитатор, MemBrain. Наиболее подходящим оказался freeware нейроконструктор MemBrain.

Структура УМК

Накопленный опыт показал, что Учебно-методический комплекс (УМК) «Нейросетевые технологии» должен состоять из четырёх частей:

– Основы теории искусственных нейронных сетей

– Нейросетевые исследования хозяйственных процессов (решение задач кластеризации, классификации, прогнозирования, узнавания, предсказания).

– Конструирование искусственных нейронов и нейронных ансамблей для работы со смысловой частью информации

– Нейросетевое программирование (от искусственных нейронных сетей до моделирования высшей нервной деятельности человека).

Первые две части соответствуют уровню подготовки бакалавра.

В первой части учащихся знакомят с устройством нейронных сетей и их возможностями. На практических занятиях изучается устройство и работа с нейропакетом MemBrain.

Вторая часть даёт возможность познакомиться с различными нейропакетами и научиться решать практически возникающие задачи узнавания, классификации, прогнозирования, предсказания, сжатия, кластеризации объектов (образов). Для решения таких задач необходимы в основном простые нейросети типа перцептронов, сетей Кохонена, сетей Хопфилда, и др., которые можно отнести к нейроконструкциям первого уровня сложности.

Третья часть направлена на разработку и использование нейрокомпьютеров (проектирование и конструирование нейроконструкций (НК) на основе использования нейрологических элементов; разработка программного обеспечения (ПО) НК; обучение НК решению различных классов задач).

Нейросетевые конструкции становятся более сложными, в них используется интерфейс пользователя, автоматизируется управление проведением нейросетевых исследований, нейрокомпьютерные элементы реализуются в виде искусственных нейронных ансамблей (ИНА).

Самое главное, что нейроконструкции этого уровня создаются для работы со смысловой частью информации:

– сопоставление сложных объектов и оценку их сходства;

– выделение типового объекта из группы однородных;

– поиск типичных черт, существенных признаков;

– формирование описания типового объекта, выделение его отличительных черт;

– определение понятий (дефиниции);

– выявление причинно-следственных связей;

– интерпретация связей и свойств исследуемых объектов;

– генерация гипотез;

– выявление закономерностей;

– самообучение, адаптация.

Если необходимых нейросетевых алгоритмов в момент исследования неизвестно, в таких нейроконструкциях допускается использование известных алгоритмов из математической статистики, например, для выявления причинно-следственных связей, формирования существенных признаков, генерации гипотез, а так же – таких конструкций, как систем управления базами знаний (СУБЗ). В них можно использовать не выполненные в виде нейронных сетей логические элементы, а обычные цифровые программы.

Третья и четвёртая части направляются на усложнение нейросетей: активное использование нейросетей типа автоэнкодеров и образование на их основе глубоких нейросетей или конструкций для глубокого обучения, использующих группирование нейросетей в нейроконструкции, объединение подсетей разного уровня, активно использующих свёртки и свёрточные нейросети, теорию нечётких множеств, элементы нейронечётких систем, эвристических моделей и методов, разнообразных программных средств.

Эти две части предназначены для создания различных видов интеллектуальных моделей: обучающих, самообучаемых, для естественноязыкового (ЕЯ) диалога, для распознавания образов, автоматической классификации, для оцифровки и преобразования смысла, для исследования психических процессов (таких, как ассоциативная память, мышление, интуиция, и др…).

Каждая часть комплекса предназначена для изучения в течение семестра в режиме 1 раз в неделю в виде одной лекции и одного-двух практических занятий.

В состав УМК включены 4 учебные программы, контрольно-измерительные материалы для них и методическая литература в виде pdf-файлов издательства Ридеро для изучения каждой части дисциплины «Нейросетевые технологии»:

– «Основы теории искусственных нейронных сетей. pdf»

– «Универсальный нейропакет (Графический нейросетевой редактор – имитатор).pdf»

– «Конструирование искусственных нейронных ансамблей (ИНА).pdf»

– «Нейросетевое программирование. pdf»

и pdf-файл издательства КНОРУС

«Практикум по нейропакетам для бакалавров», М., 2019г. а так же сетевое электронное издание учебного пособия

«Нейропакеты. Лекции. 2016.pdf», 248 страниц.

В реальных условиях оформление рабочих программ часто меняется. Состав и структура их зависят от вуза. Поскольку форма и содержание рабочей программы непостоянны, в разделе «Рабочие программы» помещены только их отличительные особенности.

Ввиду отсутствия подходящего отечественного нейроконструктора, обучение ориентировано на использование свободнораспространяемого в Интернет нейросетевого пакета MеmBrain.

Первые две части сориентированы на обучение в составе бакалавриата; третья и четвёртая части предназначены для углублённого изучения нейросетевых технологий в магистратуре и в аспирантуре.

Контрольно-измерительные материалы могут быть реализованы с помощью комплекса freeware тестирующих программ, полученных с сайта http://mytest.klyaksa.net/.

Динамика изменения сложности изучаемых нейроконструкций

Моделирование нейроконструкций началось с плоских нейросетей. Научились создавать сети для решения задач классификации, кластеризации, прогнозирования, предсказания. Показали, что эти нейросети могут обучаться и получать (генерировать) новые знания.

А медики и биологи в это время работали с нейросетями другого типа: их можно назвать 3d-сетями, или динамическими нейросетями, образами, объектами для которых существенным является фактор времени. Нейроконструкции у них работали не только с плоскими нейросетями. В этих нейроконструкциях нужно было иметь память для хранения знаний. Причём, хранить надо знания разных типов (символы, понятия, правила, …) и всё это в связи со временем. Обнаружены нейроны новой, не встречавшейся ранее конструкции, нового предназначения, нетипичные для используемых плоских нейросетей.

При обработке новых типов знаний появилась необходимость хранения новых характеристик – свойств, таких, как ассоциации, интуиция, …, и явлений (озарение, …), алгоритмов, процессов. Появилась необходимость изучения нового процесса – мышления, алгоритмов мышления (логика, аналогии, ассоциации, …). Новые виды мышления: ассоциативное, логическое, конкретноситуационное, понятийное, эмпирическое, нагляднообразное, символическообразное, пралогическое, креативное активно используют СУБЗ и специфические для разных видов мышления конструкции.

Создаваемые в будущем нейроконструкции могут выполняться в виде эвристических программ, экспертных систем, систем символьных преобразований, баз знаний, машин логического вывода, систем автоматического программирования, рассуждающих систем, нейронных программных систем, семантических поисковых систем, систем речевого общения, и других…

Можно надеяться, что создаваемые нейроконструкции с постоянно растущим интеллектом в конечном итоге позволят решать трудно формализуемые задачи, такие, как:

– доказательство теорем,

– управление роботами,

– распознавание изображений,

– машинный перевод,

– понимание текстов на естественном языке,

– программирование компьютерных игр,

– машинное творчество (синтез музыки, стихотворений, текстов, сказок)

и разрабатывать модели Высшей нервной системы человека, основанные на активном использовании интуиции, ассоциативного поиска и креативного мышления.

Принятое построение последовательности преподавания дисциплины позволяет реализовать постепенное возрастание сложности изучаемых нейроконструкций:

«Нейроконструкции 1 уровня сложности»

– Нейроны (командные нейроны-переключатели, пороговые нейроны, нейронные слои с латеральным торможением, и др.);

– нейронные ансамбли;

– функциональные узлы;

– плоские нейросети (афферентные нейросети; сети Кохонена; рекуррентные НС; рекурсивные нейросети; сети Гроссберга; нейросети, работающие по принципу «победитель забирает все»…)

– нейросетевые модели без усложнений.

«Нейроконструкции 2 уровня сложности»

– глубокие нейросети

– конструкции для глубокого обучения,

– группирование нейросетей в нейроконструкции, использованние созданных групповых отношений

– взаимодействие подсетей разного уровня (переключение обучающих модулей в разных группах нейроконструкции),

– активное использование свёрток и свёрточных нейросетей.

– программы на алгоритмическом языке C# для эмуляции, настройки и тестирования нейронных сетей различной архитектуры.

«Нейроконструкции более высокого уровня сложности для моделирования высшей нервной деятельности»

– модели, реализующие лингвистическую экспертизу текста;

– модели, использующие интуицию;

– реализация сформированного при обучении нейросети нового знания в правила продукции;

– нейроконструкции с использованием ассоциативного поиска;

– реализация элементов креативного мышления.