Ошибки ИИ: почему закон слепо верит машинам, а не людям?

Представьте: конец 90-х, японский гигант Fujitsu получает заказ на создание бухгалтерской системы для всей почтовой сети Великобритании. Проект Horizon — грандиозный, самый масштабный гражданский ИТ-проект Европы своего времени. Он должен был прийти в каждое, даже самое крошечное, отделение, чтобы считать каждую пенни. Казалось, будущее наступило.

Но будущее дало сбой. Horizon ошибался — то здесь, то там в отчётах всплывали недостачи. И почтовое начальство сделало чудовищный выбор: они поверили цифрам на экране, а не словам живых людей. Не системе надо было доказывать свою непогрешимость, а работникам — свою невиновность.

Посыпались обвинения в краже и мошенничестве. С 2000 по 2014 годы под удар попали более 700 человек. В среднем каждый месяц двоих-троих сажали за решётку. Люди теряли дома, сбережения, доброе имя. Несколько человек, не выдержав позора и бессилия, свели счёты с жизнью. А ведь они были невиновны. Поразительно, но Fujitsu позже призналась: о «глюках» системы знали ещё на этапе её запуска в 1999 году. Просто промолчали.

Безупречный компьютер? Давайте без иллюзий

Но есть в этой истории юридическая деталь, о которой говорят меньше, а зря. В Англии и Уэльсе закон исходит из того, что компьютерные системы по умолчанию не ошибаются. И если вы хотите оспорить показания машины — доказывайте, что она сломана. Где взять доказательства? Код? Логи? Доступ к этому у простого почтового клерка, конечно же, не было. Получался идеальный капкан: система обвиняет, а закон лишает тебя инструментов для защиты.

Сейчас, когда в критически важные системы всё активнее внедряют ИИ, эта слепая вера в «безупречный компьютер» становится просто взрывоопасной. Мы всерьёз доверяем алгоритмам судьбу людей в судах, медицине, финансах. Неужели мы не видим здесь очевидной ловушки?

Пока этот архаичный принцип не будет отменён, любой из нас может оказаться на месте тех почтовых работников. Требовать раскрытия кода и логов в суде — не прихоть, а необходимость. Иначе обвиняемый борется с призраком, не видя противника.

Можно ли выйти из тупика?

Адвокаты, вроде Пола Маршалла из Лондона, настаивают: презумпцию надёжности компьютера нужно заменить на презумпцию прозрачности. Если система выносит «вердикт», она должна предъявить все свои «улики»: код, отчёты об аудите, логи изменений. Только так можно проверить, не было ли сбоя.

Любопытно, что группа пострадавших от Horizon всё-таки прорвалась к правде в 2019 году — им помогли независимые IT-специалисты, которые разобрали систему по косточкам. Но в других случаях Почта Великобритании предпочитала откупаться, заставляя людей подписывать соглашения о неразглашении. Так ошибки компьютера хоронились под грифом «секретно».

Способы объяснить решения системы, не раскрывая коммерческих тайн, уже существуют. Как отмечает исследовательница из Оксфорда Сандра Вахтер, есть методы, которые показывают «логику» алгоритма, не обнажая его исходный код. Вопрос не в возможности, а в желании. Готовы ли мы потребовать этой прозрачности?

Уроки из 80-х, которые мы забыли

В 1980-е, на заре эры ПК, закон был мудрее. Он не считал компьютер священной коровой. Наоборот, чтобы использовать компьютерные данные в суде, требовалось доказать, что система работала исправно. Мы тогда смотрели на технологии с разумным скепсисом.

Но чем умнее и незаметнее становились машины, тем больше мы им доверяли. Маятник качнулся от здоровой осторожности к наивной вере. И теперь сложные системы с элементами ИИ решают, дать ли вам кредит, есть ли у вас рак, виновны ли вы. Скорости растут, ставки повышаются.

Повторю ещё раз, потому что это важно: компьютерные доказательства не могут считаться неопровержимыми по умолчанию. Законы, основанные на этом заблуждении, нужно срочно менять. Трагедия Horizon — это не сбой прошлого. Это чёткое предупреждение о будущем, которое уже наступает. Не дадим же машине последнее слово в суде над человеком.