Читать книгу Искусственный Интеллект Царствия Облачного - Борис Дмитриевич Яровой - Страница 3

Машина, которая улучшает сама себя, может улучшить скорость своих вычислений или уменьшить потребность в вычислительных ресурсах. Она может снижать уровень ошибок или строить более точную модель оптимального решения. Рекурсивное самоулучшение приводит к тому, что система не только сама улучшается со временем, но и сам процесс улучшения становиться при этом все лучше и лучше. Многие теоретики ИИ считают что такой процесс будет продолжаться бесконечно. Однако автор считает, что здесь в качестве ограничителя будет срабатывать «Закон убывающей отдачи», который гласит, что улучшение одного из факторов сверх определенных показателей обеспечивает улучшение результата на всё меньшую величину, то есть темп прироста результата меньше темпа роста улучшающего фактора.

Например, ИР занявшись улучшением своего кода понимает, что наибольшей плотностью записи информации обладает система счисления с основанием равным основанию натуральных логарифмов, то есть равным числу Эйлера (е=2,71…). То есть из целочисленных систем троичная система счисления является наиболее эффективной. Благодаря тому что основание 3 нечетно, в троичной системе возможно симметричное относительно нуля расположение цифр: – 1, 0, 1, с которым связаны такие ценные свойства, как:

Естественность представления отрицательных чисел;

Отсутствие проблемы округления: обнуление ненужных младших разрядов округляет – приближает число к ближайшему «грубому».

Для изменения знака представляемого числа нужно изменить ненулевые цифры на симметричные.

При суммировании большого количества чисел значение для переноса в следующий разряд растет с увеличением количества слагаемых не линейно, а пропорционально квадратному корню числа слагаемых.

Схемы с 3-значной логикой дают возможность сократить количество используемых логических и запоминающих элементов, а также межэлементных соединений. Трехзначная логика обладает большей выразительностью, чем двузначная. Например, существует лишь 16 комбинаций входов-выходов двухвходового двоичного вентиля, тогда как у аналогичного троичного вентиля таких комбинаций 19683.

Учитывая все это, ИР берет и переписывает свой код с бинарной (двоичной) системы в троичную. Но дальше в этом направлении двигаться некуда, так как 4-значный код уже не дает такие преимущества. Дальнейший прогресс здесь возможен только на принципиально ином уровне, когда трансформация ИР осуществляется не на уровне кода, а на уровне физической реализации троичного компьютера, аналогично производимой в СССР ЭВМ «Сетунь».

Вместо того чтобы создавать программу для моделирования ума взрослого человека, почему бы не попробовать создать такую, которая моделирует ум ребёнка? Если такую программу затем подвергнуть соответствующему обучению, то можно было бы получить мозг взрослого человека. Предположительно, мозг ребёнка – это что-то вроде тетради, которую покупают в магазине канцелярских товаров. Довольно простая вещь и множество чистых листов… Надежда на то, что в мозге ребёнка есть совсем небольшое устройство, так что нечто, подобное такому устройству, можно легко запрограммировать. Можно предположить, что в первом приближении объем работы при обучении (этого устройства) такой же, как и для (устройства в мозге) ребёнка.

Алан Тьюринг

Q-обучение (Q-learning) – метод, применяемый в искусственном интеллекте при агентном подходе. Относится к экспериментам вида обучение с подкреплением. На основе получаемого от среды вознаграждения агент формирует функцию полезности Q, что впоследствии дает ему возможность уже не случайно выбирать стратегию поведения, а учитывать опыт предыдущего взаимодействия со средой. Одно из преимуществ Q-обучения – то, что оно в состоянии сравнить ожидаемую полезность доступных действий, не формируя модели окружающей среды.

Обучение с подкреплением – одна из трех основных парадигм машинного обучения, наряду с обучением с учителем и обучением без учителя.

Обучение с подкреплением (англ. reinforcement learning) – один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой. С точки зрения кибернетики, является одним из видов кибернетического эксперимента. Откликом среды (а не специальной системы управления подкреплением, как это происходит в обучении с учителем) на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или ее модель.