۵ неожиданных источников предвзятости в искусственный интеллект
Мы склонны думать о машинах, особенно о умных машинах, как о чем-то холодном, расчетливом и беспристрастном. Мы верим, что самоуправляемые автомобили не будут иметь предпочтений в решениях о жизни и смерти между водителем и случайным пешеходом. Мы уверены, что умные системы, проводящие оценку кредитоспособности, будут игнорировать все, кроме действительно важных показателей, таких как доход и кредитный рейтинг FICO. И мы понимаем, что системы обучения всегда будут сходиться к истине, потому что их направляют беспристрастные алгоритмы. Для некоторых из нас это ошибка: машины не должны быть сочувствующими за пределами своей жесткой точки зрения. Для других это функция: они должны быть свободны от человеческих предрассудков. Но посредине есть мнение, что они будут объективными. Конечно, ничто не может быть дальше от истины. Реальность такова, что очень мало интеллектуальных систем действительно беспристрастны, но есть множество источников предвзятости. К этим источникам относятся данные, которые мы используем для обучения систем, наше взаимодействие с ними в «дикой природе», возникающая предвзятость, предвзятость сходства и предвзятость конфликтующих целей. Большинство из этих источников остаются незамеченными. Но по мере того, как мы создаем и развертываем интеллектуальные системы, крайне важно понимать их, чтобы мы могли проектировать с учетом этого и, надеюсь, избежать потенциальных проблем.
Предвзятость, основанная на данных: Для любой системы, которая учится, выходные данные определяются данными, которые она получает. Это не новое знание, просто его часто забывают, когда мы смотрим на системы, управляемые буквально миллионами примеров. Считалось, что огромное количество примеров затмит любые человеческие предубеждения. Но если сам обучающий набор искажен, результат будет таким же. В последнее время этот тип предвзятости проявлялся в системах распознавания изображений с помощью глубокого обучения. Смущение Nikon с азиатскими лицами и проблемы HP с цветом кожи в их программном обеспечении для распознавания лиц, похоже, являются продуктом обучения на искаженных наборах примеров. Хотя оба эти случая решаемы и совершенно непреднамеренны, они демонстрируют проблемы, которые могут возникнуть, если мы не обращаем внимания на предвзятость в наших данных.
Помимо распознавания лиц, существуют и другие тревожные случаи с реальными последствиями. Системы обучения, используемые для построения наборов правил, применяемых для прогнозирования уровня рецидивов среди условно осужденных, моделей преступности или потенциальных сотрудников, являются областями с потенциально негативными последствиями. Когда они обучаются с использованием искаженных данных или даже данных, которые сбалансированы, но системы предвзяты в принятии решений, они также увековечивают предвзятость.
Предвзятость через взаимодействие: В то время как некоторые системы учатся, глядя на набор примеров оптом, другие типы систем учатся через взаимодействие. Предвзятость возникает на основе предвзятости пользователей, которые управляют взаимодействием. Ярким примером этой предвзятости является Tay от Microsoft, чат-бот, основанный на Twitter, предназначенный для обучения из своего взаимодействия с пользователями. К сожалению, Tay находился под влиянием сообщества пользователей, которое научило Tay быть расистом и женоненавистником. По сути, это сообщество неоднократно публиковало в Twitter оскорбительные высказывания в адрес Tay, и система использовала эти высказывания в качестве материала для будущих ответов. Tay прожил всего ۲۴ часа, был отключен Microsoft после того, как стал довольно агрессивным расистом.
Хотя расистские тирады Tay ограничивались Twitter, это свидетельствует о потенциальных последствиях в реальном мире. По мере того, как мы создаем интеллектуальные системы, которые принимают решения с человеческими партнерами и учатся у них, та же самая проблема плохого обучения может возникнуть в более проблематичных обстоятельствах. Что, если мы вместо этого объединим интеллектуальные системы с людьми, которые будут наставлять их с течением времени? Рассмотрим наше недоверие к машинам в принятии решений о том, кто получает кредит или даже кто получает условно-досрочное освобождение. То, чему нас научила Tay, это то, что такие системы будут усваивать предвзятость своего окружения и людей, в лучшем или худшем случае отражая мнения людей, которые их обучили.
Возникающая предвзятость: Иногда решения, принимаемые системами, нацеленными на персонализацию, в конечном итоге создают вокруг нас «пузыри» предвзятости. Мы можем посмотреть не дальше, чем на текущее состояние Facebook, чтобы увидеть эту предвзятость в действии. На верхнем уровне пользователи Facebook видят сообщения своих друзей и могут делиться информацией с ними. К сожалению, любой алгоритм, который использует анализ ленты данных для последующей презентации другого контента, будет предоставлять контент, соответствующий набору идей, который пользователь уже видел. Этот эффект усиливается по мере того, как пользователи открывают, лайкают и делятся контентом. В результате получается поток информации, искаженный в сторону существующего набора убеждений пользователя.
Хотя это, безусловно, персонализировано и часто успокаивает, это больше не то, что мы обычно считаем новостями. Это пузырь информации, который является алгоритмической версией «подтверждающего искажения». Пользователям не нужно защищаться от информации, которая противоречит их убеждениям, потому что система автоматически делает это за них.
Влияние этих информационных предвзятостей на мир новостей вызывает беспокойство. Но по мере того, как мы рассматриваем модели социальных сетей как способ поддержки принятия решений в организациях, системы, которые поддерживают появление пузырей информации, имеют потенциал исказить наше мышление. Работник знаний, получающий информацию только от людей, которые думают так же, как он, никогда не увидит контрастирующие точки зрения и будет склонен игнорировать и отрицать альтернативы.
Предвзятость сходства: Иногда предвзятость просто является продуктом систем, выполняющих свою работу. Например, Google News разработан для предоставления историй, соответствующих запросам пользователей, с набором связанных историй. Именно для этого он был разработан, и он делает это хорошо. Конечно, результатом является набор похожих историй, которые имеют тенденцию подтверждать и подкреплять друг друга. То есть они определяют пузырь информации, подобный пузырю персонализации, связанному с Facebook.
Безусловно, существуют проблемы, связанные с ролью новостей и их распространения, освещенные этой моделью — наиболее очевидной из которых является сбалансированный подход к информации. Отсутствие «редакционного контроля» распространяется на широкий спектр ситуаций.
