Цифровой редактор: как ИИ проверяет ссылки в Википедии и наводит порядок

Википедия держится на своих ссылках, как дом на фундаменте. Это цитадель фактов, и каждая сноска — ее камень. Но что, если камни треснуты? Ссылки ведут в никуда, опираются на сомнительные источники или просто содержат ошибки. Цитадель тогда начинает медленно осыпаться.

Новое исследование предлагает инструмент, который может стать личным архивариусом для энциклопедии. Он призван навести порядок в запутанных списках литературы, повысив качество и надежность статей. В конце концов, кому нужна информация, которую нельзя проверить?

Фабио Петрони из компании Samaya AI и его команда создали систему SIDE. Основанная на нейронной сети, она выполняет тонкую работу: анализирует, действительно ли прикрепленная ссылка подтверждает утверждение в статье, и, если что не так, ищет более достойную альтернативу.

«Привлекать искусственный интеллект для проверки цитат — звучит с иронией, учитывая репутацию ChatGPT, который известен своими галлюцинациями на эту тему. Но важно понимать: языковые модели — это не только чат-боты», — замечает Ной Джансиракуза, исследователь ИИ из Университета Бентли. И с ним сложно не согласиться.

Цифровой фильтр для фактов

Как же учится этот детектив? SIDE изучает уже существующие, качественные статьи Википедии, наблюдая за тем, как живые редакторы и модераторы правят и обновляют ссылки. Он впитывает их логику, чтобы потом применять ее сам.

Затем, вооружившись этой «обученностью», система проверяет страницы, выискивая утверждения, подкрепленные слабыми или неубедительными ссылками. А дальше — самое интересное — она отправляется в самостоятельное плавание по сети, чтобы отыскать авторитетные источники и предложить варианты для замены.

Чтобы испытать систему, команда Петрони дала SIDE задание: предложить ссылки для статей, которых модель раньше не видела. Результат впечатлил: почти в половине случаев ИИ предлагал ссылки, которые уже были в статье — значит, он учится правильно. В остальных — находил качественные альтернативы.

Когда результаты работы показали группе опытных википедистов, 21% предпочли ссылки, найденные искусственным интеллектом, против 10%, выбравших существующие. Правда, 39% воздержались от выбора — а это о чем-то говорит, не так ли?

Александра Урман, специалист по вычислительной коммуникации, считает, что такой инструмент может сэкономить редакторам массу времени. Но — и это большое «но» — только если его грамотно внедрить. «Система может быть полезна для пометки потенциально нерелевантных ссылок, — говорит она. — Но вопрос в том, что само сообщество Википедии сочтет наиболее уместным».

Урман обращает внимание на важный нюанс: тестировщики в два раза чаще отклоняли предложения ИИ, чем соглашались с ними. «Это значит, что в таких случаях они все равно пойдут и сами будут искать подходящую цитату в сети», — поясняет она. Но есть задача, где машина точно окажется незаменимой: охота на «битые» ссылки, которые ведут в цифровое небытие. С этой рутиной она справится на отлично.