19.11.2018
большие данные и государства

Вред Больших данных и как с этим бороться

Рейтинг:  5 / 5

Звезда активнаЗвезда активнаЗвезда активнаЗвезда активнаЗвезда активна
 

В Австралии это называют “роботизированным долгом”, или просто “робо-долгом”: автоматизированная система взыскания долгов вызывает страх, тревогу, злость и стыд среди людей, которые зависят от социальной помощи, пишет Scientific American.

В 2016-м социальные службы страны ввели новый способ расчета ежегодных доходов получателей социальной помощи и начали посылать автоматические сообщения людям, которых система идентифицировала, как тех кому переплатили социальную помощь, с требованием вернуть разницу. Суть нового метода расчета доходов в том, что доход домохозяйства в течение двух недель могли усреднить на весь год. Для людей, которые работают по контракту, на временной работе или заняты неполный рабочий день, это стало немалой проблемой. По некоторым свидетельствам, если сначала австралийцы получали 20 тысяч уведомлений о задолженности в течение года, то после нововведения система начала рассылать такое количество писем всего-на-всего за неделю.

Кроме того, если раньше алгоритм определял, что какому-то человеку государство, возможно, переплатило социальную помощь, то дальше уже служащий-человек проверял этот случай. После внедрения автоматизированной системы этот шаг забрали. Теперь получатели социальной помощи сами должны доказать, что у них нет долгов. А это часто непростая задача — приходится часами звонить в разные инстанции, отправлять запросы и искать копии чеков иногда аж семилетней давности. Хуже всего то, что большинство сообщений о переплате получили люди, которые и так жили в стесненных материальных условиях. Многие из них впали в отчаяние, ведь не имели времени и ресурсов, чтобы противостоять системе. Газеты сообщили даже об одном самоубийстве. В конце концов австралийские социальные службы признали, что алгоритм ошибался, как минимум, в четверти случаев — а сенат страны, проведя собственное расследование, пришел к выводу, что новый процесс начисления долга характеризует “фундаментальную проблему процедурной честности”.

Мы вошли в эпоху больших данных. Сегодня бизнес-корпорации и правительства во всем мире получают все больший доступ к разнообразной информации о гражданах, связывают между собой различные наборы данных и все чаще используют алгоритмы и искусственный интеллект, чтобы получить беспрецедентное понимание человеческого поведения и принимать быстрые эффективные решения. Мы еще до сих пор не знаем, к каким последствиям все это может привести. Про каждого из нас в руках корпораций и правительств есть невероятное количество информации. Вместе с огромной вычислительной мощностью это означает, что каждый становится бесконечно прозрачным перед властью и бизнесом, имея при этом очень ограниченные возможности контролировать свои данные или влиять на то, как их используют.

Исследователи из Лаборатории цифровой справедливости (Justice Data Lab) при Кардиффском университете в Уэльсе, Соединенное Королевство, постоянно записывают ущерб, который причинили людям “большие данные” и автоматизированные алгоритмы по всему миру (Data Harm Record). Цель — не только глубже понять вызовы цифровой эпохи, но и разработать эффективные правовые методы, как люди могут отстоять свои права, в частности маргинализированые и дискриминированные слои населения.

Скандал с “робо-долгом” является лишь одним из примеров дисбалансов, которые характеризуют цифровые системы принятия решений. Чтобы понять то, что произошло в Австралии, нужно дать ответы на несколько вопросов. Почему систему, которая часто ошибается, ввели без адекватного процесса защиты граждан? Почему никто не оценил последствий, прежде чем ввести ее в действие? Почему не учли потребностей уязвимых слоев общества, по которым она бьет больше всего? Почему правительство считало допустимым устранить человеческий надзор в таком важном деле, как взыскание долгов, от которого часто зависят человеческие судьбы? Проблемы с “робо-долгом” и многими другими цифровыми алгоритмами в значительной мере обусловлены социальными и политическими контекстами, в частности делением людей на “заслуженных” и “незаслуженных”, что влияет на то, как их оценивают и как с ними обращаются.

Некоторого процента ошибок в автоматизированных системах невозможно избежать: они всегда будут выдавать ложные положительные и ложные отрицательные результаты. Но даже случайные, казалось бы, ошибки могут иметь дискриминационный смысл. Например, системам распознавания лиц гораздо труднее даются не белые лица. Это обусловлено тем, что системы тренируют на базах данных с преимущественно белыми лицами. Кроме того, сотрудники технологических компаний, которые разрабатывают эти системы, также в основном белые. Как следствие, в этом случае алгоритм трудно назвать действительно беспристрастным, пишет Scientific American.

По данным исследовательской группы ProPublica, алгоритмы, которые предусматривают, кто из осужденных может снова сесть за решетку, вдвое чаще выбирают чернокожих правонарушителей, чем белых. Похожие системы используют повсюду в Соединенных Штатах, и они влияют на возможность получить реабилитацию вместо тюрьмы. Поскольку алгоритмы являются частной или государственной собственностью, трудно узнать, как точно они работают. Но, очевидно, что важную роль играют такие факторы, как наличие работы, уровень дохода или семейная история. Алгоритмы, в которых заложена информация из мира, где царит неравенство и дискриминация, похоже, лишь будут усиливать их.

Беспокоит то, что разработчики алгоритмов и владельцы ИТ-компаний почти не замечают ограничений и негативных сторон систем, которые они создают. Например, наборы данных, на которых тренируют искусственный интеллект, могут быть с ошибками или скомпилированными из других наборов, которые несовместимы между собой. Часто люди, которые внедряют автоматизированные системы, не знают про бюрократические и инфраструктурные проблемы, которые могут осложнить их функционирование, а также не вникают в то, как они могут повлиять на уязвимые и маргинализированные группы населения, и не консультируются с теми, кто имеет опыт и знания в этой сфере. Когда алгоритмы приходят на смену человеку, они устраняют корректировочную обратную связь, которая возникает во время взаимодействия между человеком и человеком.

Часто вред происходит от того, как именно используют большие объемы информации. Наш цифровой след — данные, которые мы оставляем после себя, когда общаемся, путешествуем или покупаем что-то в Интернете — позволяет сконструировать детальные профили, вникая в интимные подробности нашей жизни. По этим данным вполне можно классифицировать людей на основе религии, сексуальной ориентации, заболеваний, финансовой уязвимости и тому подобное. Исследовательница Пэм Диксом со Всемирного форума приватности обнаружила, что дата-брокеры (компании, которые собирают и продают потребительские данные) предлагают купить списки людей, страдающих от нарко -, алко - или игровой зависимости, деменции или были жертвами сексуального насилия. Расследование причин финансового кризиса 2008 года выявило, что банки проводят категоризацию клиентов, чтобы лучше на них влиять. В 2012 году Департамент юстиции США взыскал 175 млн долларов с компании Well Fargo по обвинениям, что она систематически навязывала афро-американским и испаноязычным клиентам более дорогие сделки.

В общем вред, который способны причинять большие массивы данных, очень разнообразен. Это и потеря приватности от утечки данных, и истощение на рабочем месте вследствие онлайн-мониторинга производительности, и финансовые потери от удорожания страховки или увеличение процента по кредитам, и даже потеря жилья или доступа к здравоохранению. В неравных обществах алгоритмы работают в сторону усиления неравенства и исторической дискриминации.

Что же происходит, когда люди пытаются бросать вызов угрозам со стороны больших данных? До сих пор мы рассматривали борьбу против этих систем в Австралии, Канаде, Нидерландах, Новой Зеландии, Соединенном Королевстве и Соединенных Штатах. Даже в этих демократических обществах самой опоры на законодательство бывает недостаточно. Граждане пытаются найти способы возместить вред, объединяясь в коллективной и многопрофильной борьбе, которая привлекает все механизмы демократии.

В случае “робо-долга” австралийцы начали кампанию “Не мой долг”, анонимно публикуя свои истории в Интернете. Наибольшее беспокойство вызывает то, что правительство перекладывает ответственность на граждан доказывать, что у них нет долга, хотя это неравная борьба, ведь у государства гораздо лучшие возможности накапливать данные и оперировать ими. По сообщениям социальных служб Австралии, они внесли некоторые изменения в системы в ответ на критику, но эксперты говорят, что этого недостаточно. Интересно, что в своем последнем бюджете правительство выделило средства на дальнейшее расширение программы.

В Нидерландах индивиды и общественные организации подали судебный иск против правительства из-за системы SyRI (Systeem Risico Indicatie), которая на основе данных предполагает, кто более склонен к обману. По словам истцов, система нарушает презумпцию невиновности — ведь из нее следует, что человек считается виновным, пока не доказано обратное. Последствия этого судебного дела, вероятнее всего, инспирируют граждан в других демократических странах, которые стремятся защитить свои права. В Соединенном Королевстве группа defenddigitalme обращает внимание на психологическое и социальное влияние веб-мониторинга на учащихся средних школ, которых могут ошибочно идентифицировать, что они склонны к суициду или являются членами преступных банд. В Новой Зеландии неправительственные организации успешно блокируют попытку Министерства социального развития обязать всех провайдеров социальных услуг предоставлять данные о своих клиентах, чтобы получить правительственное финансирование. Активисты утверждают, что это может заставить членов уязвимых групп, как беженцы или жертвы домашнего насилия, избегать социальной помощи из-за страха, что их могут разоблачить.

В городе Литтл Рок, штат Арканзас, алгоритм, который ввел Департамент социальных услуг, обвинили в несправедливом врезке времени, который социальные работники проводят дома у людей с глубокой инвалидностью. Ранее медсестры самостоятельно определяли объем часов для каждого инвалида. Теперь они лишь помогают им заполнить анкету, а компьютер сам решает, сколько им нужно часов попечительства. Чиновники говорят, что автоматизированная система обеспечивает честное и объективное распределение часов. Но многие люди с этим не согласны. Семеро инвалидов подали на Департамент в суд — для шестерых из них время домашнего ухода урезали более чем на 30%. В мае суд заставил социальные службы перестать использовать алгоритм — однако они и в дальнейшем его применяют, по их привлекли к дополнительной ответственности за неподчинение суду. В то время, как легальные баталии продолжаются, качество жизни тысяч людей балансирует.

Все эти случаи свидетельствуют о том, что кроме исков о возмещении вреда, для защиты гражданских прав нужна широкая публичная дискуссия про прозрачность, отчетность и механизмы надзора за цифровыми алгоритмами. Учитывая, что цифровые системы всегда будут склонны к ошибкам, обратная связь с людьми является ключом. Необходимо фундаментальное переосмысление проблем управления — в частности сотрудничество людей с властью и неповиновение в обществах, которые все больше зависят от анализа данных.

  1. Последние
  2. Популярные
Загрузка...

Новости технологий сегодня

Самые популярные метки