Читать книгу Образование для образованных. 2020 - Анатолий Левенчук - Страница 14

2. Ролевое мастерство: быстро вписывайтесь в проекты
Предобучи, потом подстрой/pretrain then finetune

Оглавление

Какой-то аналог этой ситуации с общим обучением в бакалавриате и потом обучением целевому прикладному мастерству в магистратуре может быть подсмотрен в исследованиях по искусственному интеллекту. Там ведь стоит такая же задача по обучению нейронной сети самым разным прикладным умениям (о мастерстве тут говорить сложно: оно подразумевает личное отношение к делу, в отличие от знаний, навыков, умений, которые демонстрируются вне связи с личным отношением). Говорят об этом обучении ровно тем же языком, которым говорят об обучении людей. Но говорят точнее, ибо математиков в сфере AI больше, и решают задачи более трудные: компьютеры научить интеллекту труднее, чем людей. Поэтому мы активно будем делать «реэкспорт» идей из сферы AI в образование – после того как люди из AI взяли эти идеи из образования, почистили и обогатили их, мы возьмём их и опять применим к обучению людей.

Текущий тренд в работе нейронных сетей с естественным языком – это использование так называемых языковых моделей. Берётся огромная пустая нейронная сеть, и ей скармливается огромное/gargantuan число самых разных текстов на всех доступных языках (википедия там только маленькая часть). В этих текстах отражены какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка), а также свойства мира (ибо все эти тексты о чём-то в мире, речь не идёт о фантастике и сказках). Нейронная сетка выучивает из всех этих текстов что-то общее про языки и мир. Это называется pretrain, предобучение. И занимает это предобучение довольно много времени и денег – одна предобученная языковая модель на середину 2020 года может обходиться в десятки миллионов долларов56. Бакалавриат для нейронных сетей весьма недёшев.

Предобучение даёт нейронной сети какие-то знания о языке и мире, но языковая модель сама по себе не может при этом решать никаких прикладных задач. Про задачи и конкретные предметные области эта сеть ничего не знает. Так что потом идёт finetune, подстройка: берётся эта безумно дорогая языковая модель и очень быстро и дёшево доучивается решать одну или даже десять разных прикладных задач. Фишка в том, что дорогое предобучение делается один раз, а потом подстройка делается легко и быстро каждый раз.

За последний год такой подход предобучения + настройки стал мейнстримом в AI57. Для очень больших и поэтому очень дорогих языковых моделей подстройка идёт ещё быстрей и дешевле – на подстройку сети нужно давать в десятки и сотни раз меньше данных, предобученная большая сеть оказывается не такой уж тупой58.

В бакалавриатах по всей планете занимаются предобучением нейронной сети человека. Это предобучение формирует у студентов самые общие фундаментальные знания о мире. Язык-другой ко времени прохождения бакалавриата все уже знают, текстов прочли много, именно языковой модели учить не нужно, но вот надёжной и компактной модели мира и себя, паттернов эффективного мышления у большинства людей нет – вот им и учат, предобучают «мокрую нейросетку» студентов. При этом ещё и хорошо структурируют материал, что в мире AI только-только собираются делать с использованием графов знаний/knowledge graphs или других символьных методов. С людьми тут проще, это же не изначально тупые компьютеры!

Получение прикладного (инженерного, менеджерского, предпринимательского, врачебного, педагогического и т.д.) мастерства на базе предобучения – это лёгкая и быстрая подстройка, она делается в магистратуре. И чем тщательней выполнено предобучение, тем проще идёт подстройка.

По факту речь идёт о чём-то типа операционной системы для аппаратуры мозга. Предобучение – это прошивка, оживляющая аппаратуру мозга какой-то версией модели мира, какими-то фундаментальными знаниями, пригождающимися во многих проектах, помогающими ориентироваться в командной работе. И после такой прошивки в мозг потом просто устанавливаются прикладные дисциплины, дающие прикладное мастерство. Как с телефонами: мозг желательно помощнее, прошивку поновее, и любые приложения на нём будут ставиться в полпинка, летать и даже работать одновременно, не мешая друг другу (а то и помогая).

Без не слишком дешёвого, не слишком быстрого, ни разу не прикладного (наборот: общего для всего прикладного!) качественного предобучения никакой лёгкой подстройки не будет.


Ключ к качественному современному образованию – качественный современный бакалавриат. Этот бакалавриат должен дать общие для всех видов прикладного мастерства свойства личности (например, собранность и честность), а также знания и умения. Дисциплины этого бакалавриата сильно отличаются от традиционных вузовских «высших математик» с «историей философии», хотя тут мы немного забегаем вперёд и дальше рассмотрим подробней:

• модель мышления о себе, мире и описаниях мира (методологические дисциплины – онтологика, системное, научное, вычислительное мышление),

• модель человеческой деятельности (деятельностный кругозор – системная инженерия, менеджмент, предпринимательство)

• модель себя, любимого: как обходиться с собственной психикой и телом (когнитивистские дисциплины – собранность психики и тела)


Предобучение людей, как и предобучение нейронных сетей – это долго, дорого и малопонятно в части изучаемых предметов. Бакалавриат занимает обычно четыре года интенсивного обучения, из них пару лет даже лишнего, ибо часть времени уходит не на предобучение, а на обучение уже каким-то прикладным видам мастерства, которые потом не пригодятся. Вы научитесь работать на аппаратуре, которой никогда не встретите потом в жизни, моделировать на языках, с которыми тоже в жизни потом не встретитесь – но вас в бакалавриате этому всё равно научат.

А подстройка после бакалавриата? Подстройку могут дать тысячи и тысячи прикладных учебных заведений с их магистратурами, это пара лет вечерних занятий. Это дёшево, это быстро, это понятно.

Основной аргумент Болонской системы, в рамках которой и происходит разделение бакалавриата и магистратуры – это возможность за четыре года стать зрелой личностью, чтобы потом осмысленно выбрать прикладную магистерскую программу.

Если у тебя ещё нет надёжной модели мира в голове, модели себя, модели сфер деятельности, то как ты будешь осмысленно и осознано выбирать прикладные области для своего развития, прикладные проекты, которыми будешь заниматься? Выбор будет не осознанный, а случайный. Болонская система это учитывает, в отличие от специалитета, где ты должен выбрать «профессию мечты» как можно раньше.

Если специализация происходит слишком рано, как в советских специалитетах, то вместо предобучения получается сразу подстройка сырых мозгов – и надёжной образовательной платформы для последующей переспециализации не будет. Три из пяти лет могут быть потрачены на изучение машиностроения в рамках специалитета (пять лет обучения прикладному мастерству, без «неприкладного» бакалавриата), но через три года окажется, что интереса к машиностроению у человека нет, и он хочет стать операционным менеджером в сфере информационных технологий. Три года были потрачены зря на подстройку к машиностроению, а предобучения так и не произошло. Поэтому потом вместо пары лет на переучивание в другой магистратуре у недоученного машиностроителя уйдет куда больше времени на освоение новой специализации: у него не было полноценного бакалавриата, не было полноценного предобучения. Подстройка его «мокрой нейронной сети» будет трудна, займёт много времени.

Если хочется меньше тратить времени жизни как цикла бесконечного совершенствования на постоянную наработку новых видов прикладного мастерства магистерского или даже докторского уровня, нужно потратить больше времени на образовательный фундамент, на ни разу не прикладное предобучение уровня бакалавриата. Зачем учиться тому, что потом не будет очевидным образом приложимо на практике? Затем, чтобы потом быстрее научиться приложимому на практике. И ещё раз научиться, и ещё раз научиться – всё время подучиваться, ибо набор мастерства – это непрерывное доучивание, набор опыта. Если у вас личность достаточного калибра, то набор самого разного мастерства будет быстрым.

Увы, не все учебные программы бакалавриатов выстроены так, чтобы дать человеку общее образование, позволяющее ему потом легко специализироваться в сотнях и тысячах возможных практиках. Эти учебные программы нужно специально проектировать как программы предобучения59.

57

Pretrain then Finetune: A New Paradigm for NLP – https://www.mihaileric.com/posts/nlp-trends-acl-2019/

59

Школа системного менеджмента https://system-school.ru/ специально нацеливает свои программы на предобучение. Прикладными дисциплинами всегда можно будет заняться в других учебных заведениях, а вот знания уровня бакалавриата, специально предназначенные для последующего быстрого набора прикладного мастерства – это только в ШСМ.

Образование для образованных. 2020

Подняться наверх