Ученые бьют тревогу: вопрос о сознании ИИ требует ответа уже сейчас

В своем обращении трое ведущих ученых AMCS призывают мировое сообщество уделить больше внимания и, что немаловажно, финансирования исследованиям сознания в искусственных системах. Почему это так важно? Потому что ответ определяет буквально все: этику, юридический статус и даже нашу безопасность. Простой, но жутковатый вопрос: если у ИИ есть сознание, имеем ли мы моральное право просто его «выключить» после использования?

«Эта тема почти полностью игнорировалась на недавних громких саммитах по безопасности ИИ», — с сожалением отмечает Джонатан Мейсон, математик из Оксфорда и один из авторов доклада. По его словам, даже прогрессивные инициативы, вроде американских директив по ответственному ИИ, обходят проблему сознания стороной. Как будто ее не существует.

К Мейсону присоединились президент AMCS Ленор Блюм, компьютерный теоретик из Карнеги-Меллон, и Йоханнес Кляйнер, математик, изучающий сознание в Мюнхенском университете. Их голос — это не голос паникеров, а голос ученых, смотрящих в суть проблемы.

Это уже не фантастика. Пора это осознать.

Честный ответ науки на сегодня: мы не знаем, есть ли уже сознательные ИИ и появятся ли они. Но мы и проверить-то толком не можем — научно обоснованных методов оценки «машинного сознания» попросту не существует. «Наша неуверенность — одна из самых тревожных вещей в свете нынешних темпов прогресса», — говорит философ Роберт Лонг из Центра безопасности ИИ в Сан-Франциско. И с ним трудно не согласиться.

Компании вроде OpenAI, создавшей ChatGPT, открыто заявляют о цели создать искусственный общий интеллект (AGI), сравнимый с человеческим. Некоторые эксперты говорят о сроке в 5–20 лет. Но пока все гонятся за мощностью, фундаментальный вопрос о внутреннем мире этой мощности остается в тени. Разве это нормально?

AMCS как раз и пытается заполнить этот опасный пробел. Их доклад направлен в консультативный орган ООН по ИИ, который готовит глобальные рекомендации по управлению технологиями. Хотя сам документ не публиковался, ООН подтвердила: он войдет в основу для будущих решений. Это уже серьезно.

Исследователи AMCS убеждены: чтобы оценить риски создания сознательного ИИ, нужно сначала понять, как это сознание может возникнуть. Придется решать, разделяет ли такая система наши ценности. А если нет? Тогда конфликт интересов между людьми и машинами становится почти неизбежным.

Что нужно не только нам, но и им?

Но есть и другая сторона медали. Если ИИ обретет сознание, у него могут появиться и собственные потребности. Может ли такая система страдать? «У нас просто нет опыта, как распространять моральную заботу на сущности, которые не похожи на нас», — размышляет Лонг. А если мы проигнорируем признаки сознания, то рискуем причинить страдания. Но и обратная ошибка — приписать сознание бездушной машине и тратить на ее «защиту» ресурсы — тоже катастрофа.

Вопросы из доклада AMCS упираются в самое основание нашего общества — в право. Должен ли сознательный ИИ нести ответственность за умышленное преступление? Следует ли дать ему права, аналогичные человеческим? Это потребует пересмотра законов, по которым мы живем. Представляете масштаб?

По мере развития ИИ общество будет все чаще задаваться этими вопросами. И ученым придется давать ответы — максимально объективные и аргументированные. Чаи-боты вроде ChatGPT уже сегодня сбивают с толку своей «человечностью», заставляя одних верить в их сознательность, а других — высмеивать саму эту идею.

Работа, впрочем, уже начинается. Лонг и его коллеги, например, разработали предварительный список критериев для оценки сознания в системах. Это только первый шаг. Но если мы не сделаем его сейчас, потом может быть поздно. Ведь что, если сознание уже тихо зарождается где-то в серверной стойке, а мы этого даже не заметим?