Власть ИИ над людьми хотят узаконить

Это может стать самым страшным наследием Трампа для мира

Image for post
Image for post
Алгоритм COMPAS, используемый судьями для оценки, должны ли обвиняемые быть задержаны или освобождены под залог до суда, привлек внимание к заявлениям о потенциальной расовой дискриминации. (Фото: Stephen Lam/Reuters)

Признаки тектонических изменений в обществе, в момент их первых проявлений, мало кому заметны. Однако уже через десяток лет, при развитии этих процессов, жизнь человечества кардинально изменится.

Главным таким процессом сегодня является повсеместная передача принятия решений от людей к алгоритмам, — о губительности чего вот уже несколько лет тщетно пытается предупреждать Харари.

Однако, реакция мира на это почти никакая. И все бы ничего. Процесс мог бы еще годы и годы идти медленно и неправильно, подобно попыткам законодательно разрешить проблемы внедрения самоуправляемых авто.

Но миру сильно не повезло. Президентом первой страны мира стал Трамп. Сочетание его ограниченности и недалекости с ковбойской готовностью сначала стрелять, а потом думать, способно теперь изменить будущее не только США, но и всего мира.

Дело в том, что Трамп решил законодательно освободить алгоритмы от ответственности за дискриминацию людей.

Пытаясь остановить США от этого страшного необратимого шага (не ошибки, а, скорее всего, преступления перед человечеством), 18 октября группа из десяти компьютерных ученых, социологов и юристов из «Лиги алгоритмической справедливости», представила официальный ответ на предложение Департамента жилищного строительства и городского развития США.

Последний, выполняя пожелания Трампа, планирует кардинально пересмотреть «Закон о справедливом жилье», освобождая алгоритмы от ответственности за дискриминацию из-за предвзятости.

Что хочет Трамп

Департамент жилищного строительства и городского развития США издает новые правила, которые делают практически невозможным судебное преследование банков, землевладельцев или домовладельцев, когда их алгоритмы непропорционально много отказывают в жилье, например, людям с небелым цветом кожи.

Пересмотр закона отменит 50ти летний прецедент, поддержанный Верховным судом в 2015 году, узаконивавший использование статистического анализа для выявления дискриминации.

В соответствии с предлагаемыми администрацией Трампа правилами, компания, обвиняемая в дискриминации, сможет «победить» это обвинение, если в ее решении будет задействован алгоритм. Например, гипотетический банк, который отклонял каждую заявку на кредит, поданную афроамериканцами, и одобрял каждую, поданную белыми, должен будет доказать лишь то, что зависимость оценки надежности заемщика от расы непосредственно не закладывалась при построении компьютерной модели кредитоспособности.

Правило вводит и другие лазейки для бизнеса, чтобы сбивать требования о дискриминации. Бизнес может «победить» претензию, заявив, что он проверил свой алгоритм у нейтральной третьей стороны. Если алгоритм, который привел к дискриминации, был разработан сторонней фирмой, такой как кредитное бюро или технологическая компания, банк, использующий его, не будет нести ответственность за результат.

Это может стать первым шагом вниз по скользкому склону, — считает Лиза Райс, президент Национального альянса справедливого жилья.

«Как только они сделают это в жилищном секторе, следом дискриминацию алгоритмов узаконят в сфере образования, а затем в сфере транспорта, здравоохранения и так далее, и так далее. И это уже будет не остановить».

Подробней см. здесь.

А тем временем, уже в декабре 2018 года президент Трамп подписал Закон о первом шаге, — новый закон об уголовном правосудии, который поощряет использование алгоритмов по всей стране.

В частности, система будет использовать алгоритмы для первоначального определения того, на кого может распространяться сокращение сроков наказания по завершению образовательных, профессиональных или реабилитационных программ. Отсюда выпадают заключенные, которые считаются более подверженными риску. Существует вероятность того, что алгоритмы будут увековечивать расовые и классовые различия, которые уже включены в систему уголовного правосудия. В результате афроамериканцы и бедные люди в целом с большей вероятностью будут отбывать более длительные сроки тюремного заключения.

И это не смотря на все новые и новые примеры, демонстрирующие, как алгоритмы копируют и потом усиливают предвзятости людей.

Пример предвзятости при найме

Image for post
Image for post
Amazon отказалась от алгоритма рекрутинга после обнаружения, что это привело к гендерному уклон при найме (Фото: Brian Snyder/Reuters)

Интернет-магазин Amazon, где 60% персонала составляют мужчины и где они занимают 74% управленческих должностей, недавно прекратил использование алгоритма найма после обнаружения гендерных предубеждений. Данные, которые инженеры использовали для обучения алгоритма, были получены из резюме, представленных в Amazon за 10-летний период, — в основном от белых мужчин. Алгоритм научили распознавать шаблоны слов в резюме, а не соответствующие наборы навыков. Эти данные сравнивались с преимущественно мужским инженерным отделом компании, чтобы определить соответствие заявителя. В результате программное обеспечение ИИ снижало рейтинг любых резюме, которые содержали слово «женщины» в тексте, и понижало резюме женщин, которые посещали женские колледжи. В итоге, сложилась явная гендерная предвзятость.

Другие примеры предвзятости алгоритмов, а также конкретные шаги, необходимые для снижения влияния предвзятости на решения, принимаемые алгоритмами, см. в свежем отчете Brookings на эту тему.

Кто этому противостоит

Конкретную критику сверхопасного идиотизма, проталкиваемого администрацией Трампа, читайте в документе «Лиги алгоритмической справедливости» — официальном ответе на предложение Департамента жилищного строительства и городского развития США.

По мнению экспертов, поправки к закону, относящиеся к алгоритмам, основаны на фундаментальной неспособности понять, к каким последствиям может привести перекладка решений на алгоритмы … и насколько тонким может быть процесс проверки предвзятости алгоритмов. Мы плохо понимаем логику работы современных алгоритмов машинного обучения, в работе которых часто проявляются очень сложные корреляции, о которых даже их разработчики могут не знать. Любая комбинация факторов, от данных о местоположении до истории покупок и музыкальных предпочтений, может коррелировать как прокси для расы или другой защищенной характеристики, с разрушительными последствиями для той или иной группы населения.

В своем письме эксперты выдвигают четыре аргумента против предлагаемого законодательства:

1. Чтобы гарантировать, что алгоритм не оказывает предвзятости, недостаточно показать, что отдельные входные факторы не являются «заменой или близким прокси» для защищенных характеристик.

2. Невозможно провести аудит предвзятости алгоритма без адекватного уровня прозрачности или доступа к алгоритму.

3. Предоставление ответчикам возможности отклонить ответственность за предвзятость сторонних алгоритмов в принципе аннулирует ответственность за последствия предвзятости.

4. В предлагаемом регламенте не учитывается совокупное влияние нескольких пользователей алгоритмов (банки, суды и т.д.), которое приводит к разным воздействиям на защищенные классы, где ни один отдельный пользователь не несет ответственности в соответствии с предлагаемым регламентом.

От себя добавлю.

Если весь этот идиотизм пройдет в США, то нет сомнений, у нас мгновенно сделаю то же самое.

Отмазка будет безотбойная.

________________________________

Если понравился пост:
- нажмите на “палец вверх”;
- подпишитесь на
обновления канала на платформе Medium;
- оставьте комментарий.
Еще больше материалов на моем Телеграм канале «Малоизвестное интересное».
Подпишитесь

Written by

Малоизвестное интересное на стыке науки, технологий, бизнеса и общества - содержательные рассказы, анализ и аннотации

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store