Чат на YouTube о шахматах был отмечен за разжигание ненависти

Чатнаyoutubeошахматахбылотмечензаразжиганиененависти

В июне прошлого года Антонио Радич, ведущий шахматного канала YouTube с более чем миллионом подписчиков, вел прямую трансляцию интервью с гроссмейстером Хикару Накамурой , когда трансляция внезапно оборвалась.

Вместо этого зрителям сказали, что во время оживленной дискуссии о шахматных дебютах, известных партиях и культовых игроках видео Радича было удалено за «вредное и опасное» содержание. Радич увидел сообщение о том, что видео, в котором не было ничего более скандального, чем обсуждение защиты короля Индии , нарушало принципы сообщества YouTube. Он оставался в автономном режиме в течение 24 часов.

Что именно произошло, до сих пор неясно. YouTube отказался от комментариев, сказав, что удаление видео Радича было ошибкой. Но новое исследование предполагает, что оно отражает недостатки программ искусственного интеллекта , предназначенных для автоматического обнаружения языка ненависти, оскорблений и дезинформации в Интернете.

Ашик ХудаБухш , научный сотрудник проекта, специализирующийся на искусственном интеллекте в Университете Карнеги-Меллона и серьезных шахматах. Сам игрок подумал, не сбил ли алгоритм YouTube с толку обсуждения, связанные с черными и белыми фигурами, атаками и защитами.

Итак, он и Рупак Саркар , инженер CMU, разработал эксперимент. Они обучили две версии языковой модели под названием BERT , в одной из которых использовались сообщения с расистского ультраправого сайта Stormfront и другие с использованием данных из Twitter. Затем они протестировали алгоритмы на тексте и комментариях из 8 шахматных видео и обнаружили, что они далеки от совершенства. Алгоритмы отметили около 1 процента стенограмм или комментариев как разжигание ненависти. Но более 80 процентов отмеченных были ложными срабатываниями – если читать в контексте, язык не был расистским. «Без участия человека, – говорят они в своей статье, – полагаться на прогнозы готовых классификаторов в шахматных дискуссиях может ввести в заблуждение»

Эксперимент выявил основную проблему для языковых программ ИИ. Выявление ненавистнических высказываний или оскорблений – это больше, чем просто выявление нецензурных слов и фраз . Одни и те же слова могут иметь совершенно разное значение в разных контекстах, поэтому алгоритм должен вывести значение из строки слов.

«По сути, язык по-прежнему очень тонкая вещь», говорит Том Митчелл , профессор CMU, ранее работавший с Худабухшем. «Такие обученные классификаторы не скоро будут 100 на процентную точность».

Еджин Чой , доцент Вашингтонского университета, специализирующийся на искусственном интеллекте. и язык, говорит, что она «совсем не» удивлена ​​удалением YouTube, учитывая сегодняшние пределы понимания языка. Чой говорит, что для дальнейшего прогресса в обнаружении языка ненависти потребуются большие инвестиции и новые подходы. Она говорит, что алгоритмы работают лучше, когда они анализируют больше, чем просто отдельный кусок текста, включая, например, историю комментариев пользователя или характер канала, на котором публикуются комментарии.

Но исследование Чоя также показывает, как выявление языка вражды может закрепить предубеждения. В 2019 исследовании , она и другие обнаружили, что аннотаторы-люди с большей вероятностью помечают сообщения Twitter пользователей, которые идентифицируют себя как афроамериканцы, как оскорбительные, и что алгоритмы, обученные определять злоупотребления с использованием этих аннотаций, будут повторять эти предубеждения.

Компании потратили многие миллионы на сбор и аннотирование данных обучения для беспилотных автомобилей, но Чой говорит, что такие же усилия не были приложены к языку аннотирования. До сих пор никто не собрал и не аннотировал набор высококачественных данных о ненавистнических высказываниях или оскорблениях, который включает множество «крайних случаев» с двусмысленными формулировками. «Если мы сделаем такой уровень инвестиций в сбор данных – или хотя бы небольшую его часть, – я уверена, что ИИ сможет добиться большего», – говорит она.

Митчелл, профессор CMU говорит, что YouTube и другие платформы, вероятно, имеют более сложные алгоритмы искусственного интеллекта, чем тот, который создал ХудаБухш; но даже они все еще ограничены.