Неполиткорректный виртуал (pascendi) wrote,
Неполиткорректный виртуал
pascendi

Categories:

О противоестественном (искусственном) интеллекте и целеполагании

Солохин (palaman) дает следующее определение широко использованному в предыдущем посте термину "Сеть": Сеть (в моих терминах) - это просто сеть, компьютерная самообучающаяся нейронная сеть, управляющая обществом.

Интересу к искусственному интеллекту уже скоро столетие, если начинать отсчет с R.U.R Чапека. И примерно столько же -- его совершенно некорректному восприятию в умах не только обывателей, но и довольно продвинутых мыслителей. Начать с того, что компьютерным самообучающимся нейронным сетям до управления обществом еще ого-го сколько ползти: пока что они могут выполнять лишь довольно тривиальные операции. И кончая, пожалуй, самым важным вопросом: как будут определяться цели управления обществом и критерии их достижения?

Целеполагание -- на мой взгляд, самый критичный момент для интеллекта (и, как показывает мой многолетний опыт управленческого консультирования, далеко не только для искусственного интеллекта).

Позволю себе процитировать пару абзацев из статьи про обучение нейронных сетей:
Для того, чтобы нейронная сети была способна выполнить поставленную задачу, ее необходимо обучить. Различают алгоритмы обучения с учителем и без учителя.
Процесс обучения с учителем представляет собой предъявление сети выборки обучающих примеров. Каждый образец подается на входы сети, затем проходит обработку внутри структуры НС, вычисляется выходной сигнал сети, который сравнивается с соответствующим значением целевого вектора, представляющего собой требуемый выход сети. Затем по определенному правилу вычисляется ошибка, и происходит изменение весовых коэффициентов связей внутри сети в зависимости от выбранного алгоритма. Векторы обучающего множества предъявляются последовательно, вычисляются ошибки и веса подстраиваются для каждого вектора до тех пор, пока ошибка по всему обучающему массиву не достигнет приемлемо низкого уровня.

При обучении без учителя обучающее множество состоит лишь из входных векторов. Обучающий алгоритм подстраивает веса сети так, чтобы получались согласованные выходные векторы, т.е. чтобы предъявление достаточно близких входных векторов давало одинаковые выходы. Процесс обучения, следовательно, выделяет статистические свойства обучающего множества и группирует сходные векторы в классы. Предъявление на вход вектора из данного класса даст определенный выходной вектор, но до обучения невозможно предсказать, какой выход будет производиться данным классом входных векторов. Следовательно, выходы подобной сети должны трансформироваться в некоторую понятную форму, обусловленную процессом обучения. Это не является серьезной проблемой. Обычно не сложно идентифицировать связь между входом и выходом, установленную сетью.


Что здесь важно?
В обоих случаях цель обучения и критерий обученности задает человек. При обучении с учителем -- он отбирает обучающие примеры. При обучении без учителя -- он проверяет, правильно ли сеть распознала то, что ей предъявили (различила разные входные векторы и идентифицировала близкие).

То есть -- решения-то принимают люди. На основании заданных людьми целей и критериев их достижения.

А дальше интересно задаться вопросом: а как, собственно, люди задают цели? Если понять это, то, может быть, удастся научить нейронные сети самим выбирать цели и критерии их достижения? (Вообще-то без этого ни о каком "интеллекте" говорить не приходится.)

Зададимся вопросом: как обучается элементарным навыкам маленький ребенок? Есть те же два пути: с учителем (родителями) и без учителя. В первом случае ребенок тычется в разных направлениях, совершает разные действия и методом проб и ошибок отбирает -- какие? А те, которые: а) приносят приятные ощущения, и б) не приводят к болезненным ощущениям.

Самое странное, что при обучении с учителем происходит точно то же самое, только вместо внешней среды приятные или болезненные ощущения ребенок получает от учителя.

Дальше можно было бы поговорить о том, каким образом в нас заложено, что именно дает приятные и что болезненные ощущения, но тут мы рискуем свалиться в очень глубокие бездны -- а туда вглядываться не стоит, как предупреждал Ницше. На поверхности же лежит то, что приятные ощущения вызываются, в общем случае, тем, что ребенку (организму) полезно, а болезненные -- тем, что опасно или вредно (заранее предупреждаю, что вопросы, связанные с обманом этой системы через алкоголь и другие наркотики, не будем здесь рассматривать).

Думаю, что вполне можно опустить достаточно очевидные рассуждения о том, что на макроуровне -- где мы говорим о поведении не одного индивидуума, а их сообщества -- действуют примерно те же самые принципы, с точностью до того, что приятные и болезненные ощущения могут быть на этом уровне не только физическими (и чем более развит индивидуум, тем меньшую роль играют чисто физические стимулы). Опять же, опустим для простоты случаи обмана системы через манипулятивные техники.

На этом уровне, однако, воздействие на поведение индивидуума определяется полезностью или вредности его действий не для него самого, а для сообщества, в которое он входит. И тут все страшно усложняется, потому что как только индивидуум вошел в какое бы то ни было сообщество, сразу же оказывается, что он входит более чем в одно сообщество, и у этих сообществ (семья, детсадовская группа, группка детей, с которыми он предпочитает общаться на прогулке и т.п.) -- могут быть разные критерии полезности или вредности одних и тех же действий. И это сразу же колоссально усложняет обучение.

Но мы еще не затронули того, что у самого индивида есть его собственные критерии полезности или вредности -- сформированные предыдущим опытом (я ОЧЕНЬ сильно упрощаю, чтобы выделить главное).

Вот тут и возникает важнейший вопрос: что приоритетно -- критерии общества или критерии человека? А на него невозможно ответить, не поняв, каковы ЦЕЛИ обучения.

Предположим для простоты, что мы хотим добиться, чтобы индивидуум:
- в случае выбора между действием, полезным ему, но вредным обществу, и действием, полезным обществу, но нейтральным или даже умеренно вредным для него, выбирал действие, полезное обществу (точнее, не выбирал действие, вредное обществу);
- в случае выбора между действием, полезным ему, но нейтральным обществу, и действием, полезным обществу, но нейтральным или даже умеренно вредным ему, выбирал действие, полезное обществу;
- в случае выбора между действием, вредным ему, но полезным обществу, и действием, нейтральным или полезным ему, но вредным или даже нейтральным обществу, также выбирал действие, полезное обществу.

Вы знаете, как называется подобная совокупность правил?

Да мораль это. Этика. В данном конкретном случае -- коллективистская, социально ориентированная этика.

И если мы попытаемся сформулировать цели обучения иным способом -- то тоже получим мораль, этику. Только другую. Например, этику социального дарвинизма, этику преступного мира и т.п.

Так вот, проблема ИИ заключается не в решении технических задач, а в том, что на определенном уровне даже для довольно примитивных систем ИИ уже требуется целеполагание, основанное на этике.

Кстати, при создании беспилотных автомобилей в это уже упёрлись: возник вопрос, что делать в ситуации выбора между сохранением жизни пассажира и сохранением жизни пешехода -- чью жизнь сохранять?

Живой водитель, кстати, такого выбора не делает: ему тупо некогда, в подобной ситуации он реагирует на рефлексах.

Этика должна быть:
- либо задана извне создателями сети (что сразу ставит под вопрос ее адаптацию к меняющимся условиям без прямого вмешательства тех же создателей);
- либо генерироваться сетью по определенным (кем? как? когда?) правилам.

Чем я больше влезаю в эти вопросы, тем больше понимаю необходимость введения богословия в список научных дисциплин :-)

Перенесено из Dreamwidth.
Subscribe

  • Исторически-терминологическое

    Благодаря Шакко я узнал, что пропендулии -- это не то, что вы подумали, а подвески к диадеме. Перенесено из Dreamwidth.

  • Как испанцы пролюбили Ямайку

    Я тут на АТ в комментариях у хорошего человека обмолвился про занятную историю о том, как испанцы потеряли остров Ямайка. Меня попросили рассказать в…

  • Мелкие новости

    Кошка села на напольные весы и случайно взвесилась. 2,9 кг. Маловато для годовалой, вообще-то. Но она всегда мелкая была. Перенесено из Dreamwidth.

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 5 comments