Иллюстрация: Global Voices

[Все ссылки в тексте — на английском языке, если не указано иное.]

Эта история — часть Undertones («Подтекста»), информационного бюллетеня Global Voices Civic Media Observatory. Подписывайтесь на «Подтекст».

Добро пожаловать в «Подтекст», информационный бюллетень, где мы расшифровываем нарративы. В этом выпуске — благодаря исследователю Леону Ингельсе — мы рассказываем о том, что говорят люди об использовании искусственного интеллекта (ИИ) в Нидерландах.

Специалист по данным Ингельсе проанализировал дискуссии об алгоритмах в Нидерландах. В этой северной стране алгоритмы — крайне важный вопрос: в 2021 году целое правительство было вынуждено уйти в отставку в результате скандала с использованием ИИ среди бенефициаров по уходу за детьми. Тысячи семей, в основном из мигрантов, были ошибочно обвинены в обмане системы и мошенничестве с детскими пособиями. Нидерланды, страна, которая гордится эффективностью и использованием технологий в государственных службах, являются примером того, как неправильное использование ИИ может нанести ущерб жизни людей и подорвать доверие к властям.

Тем не менее алгоритмы продолжают использоваться во всех муниципалитетах Нидерландов для определения того, кто с большей или меньшей вероятностью мошенничает с социальными пособиями — вечная горячая тема в Европе. Однако почти все технологии искусственного интеллекта непрозрачны для журналистов и исследователей, поскольку власти ссылаются на проблемы с конфиденциальностью и интеллектуальной собственностью. Только Роттердам, второй по величине город Нидерландов, недавно согласился поделиться базой своего алгоритма с журналистами расследовательских СМИ Lighthouse Reports и Follow The Money. Власти также непреднамеренно поделились наборами обучающих данных, что дало бесценную информацию о том, как алгоритм работает изнутри.

Журналисты обнаружили, что алгоритм — оценочная карта с личными данными, такими как возраст, пол и семейное положение, а также поведенческие нюансы и языковые навыки. Изначально Роттердам разрабатывал свой алгоритм с помощью консалтинговой фирмы Accenture.

«Данные, используемые алгоритмом, варьируются от инвазивных (продолжительность чьих-либо последних романтических отношений) и субъективных (чья-либо способность убеждать других и влиять на них) до обыденных (сколько раз кто-либо отправил электронное письмо городу) и, казалось бы, не относящихся к делу (занимается ли кто-либо спортом)», — пишет Lighthouse.

Иными словами, если вы а) женщина, б) многоязычный человек, в) в возрасте двадцати или тридцати с небольшим лет и г) родитель, то алгоритм зарегистрирует вас как лицо, способное смошенничать, независимо от того, мошенничали ли вы фактически в прошлом. Если вы покажетесь социальному работнику зажатым, дело пойдёт ещё хуже. Вы не будете знать, находитесь ли вы в чёрном списке или почему вы там находитесь. А за этим последует малоприятное расследование со стороны местных властей, а также возможная потеря социальных пособий.

Скриншот с оценками риска, рассчитанными алгоритмом мошенничества в сфере социального обеспечения в Роттердаме, запрос реконструирован Lighthouse Reports

«Голландцы склонны считать, что в их среде отсутствует структурный расизм, тогда как этот алгоритм ясно показывает обратное: люди с ограниченным знанием голландского подвергаются дискриминации», — говорит Ингельсе. Также стали известны другие дискриминационные алгоритмы, используемые в Нидерландах, включающие профилирование национальности и этнической принадлежности в заявлениях на получение визы.

Алгоритмы ИИ предвзяты из-за обучения на искажённых или неполных реальных данных и влияния собственных предубеждений разработчиков. Предвзятость проникает в систему и иными путями.

Как люди воспринимают такие разоблачения?

В голландских скандалах с ИИ публичные дебаты, как правило, ведутся не через твиты или посты, а на платформах общественного мнения и в разделах комментариев, которые, как ни странно, демонстрируют интересный спектр мнений. Чаще всего инициируют дискуссии журналисты.

«Возможно, голландцы устали от toeslagenaffaire [скандала с пособиями по уходу за детьми] и больше сосредоточены на ChatGPT, — предполагает Ингельсе. — Кроме того, общественные деятели, которые были участниками скандалов, избегают прямых ответов на вопросы о своей причастности». Исследователь добавляет, что эти специфические алгоритмы настроены на представителей малозаметных меньшинств: «Обратите внимание, что алгоритмы мошенничества никогда не используются, например, в налогах на прибыль, которые были бы нацелены на богатых».

Мы связались с местными властями Роттердама, а также с недавно созданной группой семей, затронутых алгоритмом, чтобы узнать их позицию, но не получили ответов.

Первый нарратив: «Алгоритмы, помогающие бороться с преступностью, должны использоваться, даже если они предвзяты»

Этот нарратив можно выразить в двух словах: «Алгоритм делает свою работу»

Нарратив подразумевает, что даже при некотором несовершенстве алгоритм борется с мошенничеством. Этому дискурсу уже много лет. Например, в разгар скандала с пособиями по уходу за детьми в 2019 году крайне правый блогер Пим Беарт, известный под псевдонимом Hannibal, утверждал в редакционной статье, что политики «желают использовать алгоритмы только в случаях, когда те подтверждают их политические взгляды».

Совсем недавно одна из крупнейших консервативных голландских платформ общественного мнения, EW, заявила, что автоматические решения по заявлениям на получение визы должны стать нормой, несмотря на то, что они всегда нацелены на людей определённых национальностей, например, представителей Суринама, бывшей голландской колонии. В Facebook EW задаётся вопросом: «Может, правительство должно просто использовать цифровые программы, которые осмеливаются хладнокровно фильтровать [заявителей на визу]?». Другие, такие как известный медиа-блог GeenStijl [рус], также поддерживают один из популярных глобальных нарративов Нидерландов, — ратуют за эффективность.

«Голландцы считают, что эффективность превыше всего», — рассказывает Ингельсе. Нидерланды лидируют в использовании цифровых удостоверений личности, внедрении технологий в образование и здравоохранение, а также в продвижении цифровизации государственного управления. Всё, что делают в Нидерландах — включая то, как они работают с алгоритмической предвзятостью — может повлиять на то, как разрабатывают ИИ в других странах. Однако не все понимают основы алгоритмов.

«Помимо ожидаемых ксенофобских комментариев и расизма, этот нарратив, вероятно, будет существовать до тех пор, пока люди не поймут, как работают алгоритмы, и не познакомятся с разницей между объективными данными и интерпретацией этих данных», — говорит Ингельс. Корреляция не означает причинно-следственную связь.

Второй нарратив: «Власти Нидерландов вредят своим гражданам, используя дискриминационные алгоритмы»

Этот нарратив можно выразить в двух словах: «Прекратите использовать дискриминационный ИИ»

В твитах и комментариях люди говорят об истории дискриминационных алгоритмов в Нидерландах, повторно виктимизирующих уязвимые группы населения. Фокус внимания на плохом знании человеком голландского языка для многих является признаком нацеливания на иммигрантов.

Некоторые идут ещё дальше, заявляя, что «алгоритмы должны быть открытыми и прозрачными, чтобы гарантировать отсутствие предвзятости». Это не относится к подавляющему большинству алгоритмов. В то время как люди критиковали то, как управляет алгоритмами Роттердам, многие также хвалили город за то, что он хотя бы поделился алгоритмом с журналистами.

Большинство сообщений и комментариев исходят от правозащитников, а не от людей, на которых непосредственно влияют алгоритмы. Возможно, именно потому, что уязвимые группы населения менее заметны в интернете или менее активны (на голландском языке) в сети. Однако во время прямых интервью люди очень резко выступают против использования дискриминационного ИИ. Журналисты голландского медиа Vers Breton отправились на рынок Роттердама, который посещают люди с ограниченными финансовыми возможностями, и взяли интервью у покупателей: все респонденты критиковали использование алгоритмов.

Голландские законодатели также настаивают на более строгом регулировании ИИ. «Основная проблема с развитием ИИ заключается в том, что всё полностью определяется рынком: это многомиллиардная индустрия без правил», — пишет в длинной ветке Twitter Ким ван Спаррентак, член Европейского парламента от группы Greens/EFA.