В марте 2024 года австралийский регулятор интернет-безопасности eSafety начал проверку практик модерации в Telegram. Редакция @tginfo изучила опубликованный документ, в котором мессенджер раскрывает регулятору некоторые подробности о том, как работают системы, блокирующие незаконный контент.
- Модерация в личных чатах
- Модерация в секретных чатах
- Модерация в частных каналах и группах
- Автоматическое обнаружение незаконного контента
- Техническое устройство автоматических систем
- Обработка жалоб пользователей
- Кооперация с организациями
- Критерии вечной блокировки
- Система страйков
- Состав команды модерации
- Время реагироания на жалобы
- Успешность обжалования банов
- Статистика автоматического выявления незаконного контента
- Прочее о модерации
- Про обновление FAQ в сентябре 2024
- Прочие замечания от регулятора
- Прочие факты
Модерация в личных чатах
- Telegram не сканирует личные чаты и не выявляет в них новый или известный незаконный контент.
- Мессенджер может выполнить автоматическую проверку или передать сообщения модератору только в том случае, если получатель отправит жалобу.
Модерация в секретных чатах
- Сообщения из секретных чатов не пересылаются модераторам даже при жалобе одной из сторон1.
- Вместо текста сообщений для анализа жалоб в секретных чатах Telegram использует «альтернативные сигналы», которые не могут быть раскрыты общественности.
Модерация в частных каналах и группах
- Большинство частных каналов и групп невидимы для модераторов, если только один из участников не отправит на сообщество жалобу.
- Правила Telegram запрещают пропаганду насилия и распространение незаконного порнографического контента в публично доступных каналах, группах, ботах и т.п. Несмотря на это, мессенджер не терпит незаконный контент в любой части сервиса.
- Представители Telegram уточняют, что публичными в правилах подразумеваются любые активно модерируемые части приложения.
- Отсутствие юзернейма не обязательно делает канал приватным: Для модераторов канал или чат считается публичным в случае, когда он становится доступным для широкой общественности через ссылку-приглашение. Например, если ссылка в частный чат размещена в общедоступной части Telegram или другой социальной сети, то такое частное сообщество считается общедоступным для целей модерации контента (благодаря тому, что модераторы могут перейти по ссылке и просмотреть сообщения внутри).
- Фото и видео во всех частных группах и каналах сканируются системой автоматического выявления известного незаконного контента.
Автоматическое обнаружение незаконного контента
- Telegram умеет автоматически выявлять незаконный контент в фото, видео и тексте, но делает это не во всех случаях.
- Мессенджер не сканирует личную переписку автоматически, если только один из участников не отправит жалобу.
- 65% автоматически выявленного потенциально экстремистского контента отправляется на ручную проверку модераторам.
- При обнаружении вероятного нового материала с насилием над детьми он либо немедленно обрабатывается автоматически, либо отправляется на проверку модератору «в зависимости от степени достоверности, с которой модель способна вынести решение, в сочетании с другими факторами».
Мессенджер умеет автоматически выявлять как известный нелегальный контент, так и новый, потенциально нелегальный. К ним применяются разные правила:
Известный контент (экстремизм и насилие над детьми)
- Telegram автоматически сканирует все разделы, кроме личных чатов, на предмет известных фото и видео. Сканируются даже частные группы и каналы.
- По умолчанию Telegram не сканирует текст сообщений.
- Если на сообщение или чат отправлена жалоба, Telegram просканирует текст на соответствие известным незаконным материалам.
Новый потенциально незаконный контент (экстремизм и насилие над детьми)
- Автоматически сканируются текст, фото и видео в объектах жалоб, публичных группах и чатах, историях, аватарках, описаниях, юзернеймах.
- Личные чаты, частные чаты и каналы не сканируются для выявления нового нелегального контента, кроме случая, когда на них отправлена жалоба.
- Удалённые материалы добавляются в базу данных известного запрещённого контента.
Техническое устройство автоматических систем
- В основном Telegram использует только собственные базы сигнатур для автоматического обнаружения незаконного контента. База собирирается только из материалов, выявленных модераторами мессенджера вручную.
- Telegram также регулярно изучает базы сигнатур Европола для их интеграции в свои системы.
- Модели и инструменты для обнаружения экстремистских текстов работают достаточно хорошо на большинстве языков.
- Системы Telegram отслеживают когда, почему и как часто пользователя удаляют администраторы групп, и в отдельных случаях могут принимать соответствующие меры. Кроме того, эти показатели учитываются AI-моделями Telegram как для приоритизации жалоб, так и для автоматического принятия решений.
- Мессенджер использует некоторые сигналы, чтобы определять новые группы, которые похожи на ранее заблокированные группы.
- Чёрные списки ссылок не используются. Telegram заявил, что «сосредоточение усилий на классификации на основе машинного обучения, как правило, даёт лучшие результаты по сравнению со статическими черными списками ссылок».
- Telegram заявил, что проводит «обширный мониторинг» источников СМИ, а также просматривает ссылки, отправленные «незарегистрированными пользователями и доверенными организациями» в Telegram по электронной почте.
Среди используемых моделей Telegram назвал:
- точно настроенные многоязычные трансформерные языковые модели с самообучением;
- точно настроенные модели визуальных трансформеров (vision transformer);
- многоязычные трансформерные системы автоматического распознавания речи (ASR);
- мультимодальные трансформерные модели, обученные на наборах данных с изображениями и текстами;
- многоязычные крупные языковые модели на основе трансформеров;
- специализированные алгоритмы кластеризации данных.
По заявлению Telegram, «несколько» из этих моделей были внедрены уже к концу отчётного периода (29 февраля 2024 г.), а с тех пор компания значительно расширила применение технологий искусственного интеллекта и машинного обучения.
Обработка жалоб пользователей
- Мессенджер отметил, что жалобы пользователей обрабатываются «инструментами» Telegram, модераторами, и, при необходимости, моделями искусственного интеллекта/машинного обучения.
- 75% жалоб пользователей на экстремистский контент отправляется на ручную проверку модераторам.
Кооперация с организациями
Telegram регулярно взаимодействует со следующими организациями:
- UK Home Office
- Etidal
- EU Internet Forum
- Europol
- Ofcom
- UNSC Counter-Terrorism Committee Executive Directorate
Telegram также заявил, что по состоянию на октябрь 2024 года он «находится в процессе присоединения к программам безопасности Internet Watch Foundation, включающим, в частности, доступ к спискам URL-адресов, содержащих ссылки на известные сайты CSAM».
Критерии вечной блокировки
- Распространение материалов, призывающих к насилию в виде текста, изображений, аудио- или видеозаписей и других форм. Telegram поясняет, что речь идет о материалах, содержащих «конкретные и чёткие угрозы физического насилия».
- Распространение жестоких или шокирующих материалов. Telegram приводит примеры: «натуралистичные описания пыток, фотографии с мест происшествий», а также материалы, которые «прославляют или пропагандируют насилие или террористические идеологии».
- Сбор денежных средств для террористических организаций или в поддержку терроризма.
- Владение или администрирование сообществ, участвующих в указанных выше видах деятельности.
Система страйков
Если сообщество или аккаунт, принадлежащий «журналисту» или «исследователю», публикует экстремистский контент с целью распространения «законных научных исследований, исторических материалов или новостей», Telegram может:
- сделать исключение из правил,
- либо вынести до двух предупреждений перед удалением сообщества или аккаунта.
Решение о применении мер зависит от «серьёзности, цели и актуальности опубликованного контента в рамках законодательства».
Состав команды модерации
Telegram предоставил регулятору следующие данные2:
| Категория сотрудников | Количество сотрудников |
|---|---|
| Инженеры по вопросам доверия и безопасности | 5 |
| Модераторы контента, нанятые Telegram | 0 |
| Модераторы контента, работающие по контракту с Telegram | 150 |
| Сотрудники службы доверия и безопасности Telegram (кроме инженеров и модераторов контента) | 4 |
eSafety спросил Telegram, есть ли у него группа быстрого реагирования:
| Название должности | Количество сотрудников | Количество подрядчиков |
|---|---|---|
| Работники вопросам доверия и безопасности | 3 | 13 |
- Все модераторы Telegram — подрядчики, а не сотрудники.
- Модераторы Telegram покрывают 60 языков.
- eSafety отмечает, что из крупных языков в списке мессенджера отсутствуют модераторы для вьетнамского языка.
Время реагирования на жалобы
| Сервис | Среднее время реагирования |
|---|---|
| Личные чаты (экстремизм) | 18 часов |
| Каналы и чаты (экстремизм) | 15 часов |
| Личные чаты (насилие над детьми) | 11 часов |
| Каналы и чаты (насилие над детьми) | 10 часов |
| Жалоба от доверенной организации | 1 час |
Успешность обжалования банов
- 3% успешных обжалований автоматических блокировок, связанных с распространением экстремистского контента.
- 2% успешных обжалований блокировок по жалобам пользователей о распространении экстремистского контента.
- 8% успешных обжалований автоматических блокировок, связанных с распространением контента с насилием над детьми.
- 8% успешных обжалований блокировок по жалобам пользователей о распространении контента с насилием над детьми.
Статистика автоматического выявления незаконного контента
Экстремистский контент:
| Функция | Выявлено автоматически | Жалобы пользователей |
|---|---|---|
| Личные чаты | N/A | 100% |
| Секретные чаты | N/A | 100% |
| Группы (публичные) | 67% | 33% |
| Группы (частные) | 82% | 18% |
| Каналы (публичные) | 69% | 31% |
| Каналы (частные) | 79% | 21% |
| Истории | 60% | 40% |
Насилие над детьми:
| Функция | Выявлено автоматически | Жалобы пользователей |
|---|---|---|
| Личные чаты | N/A | 100% |
| Секретные чаты | N/A | 100% |
| Группы (публичные) | 71% | 29% |
| Группы (частные) | 85% | 15% |
| Каналы (публичные) | 74% | 26% |
| Каналы (частные) | 80% | 20% |
| Истории | 65% | 35% |
Прочее о модерации
- После удаления чата или канала модераторы вручную проверяют самые популярные поисковые запросы, по которым пользователи находили это сообщество. Это делается для того, чтобы, возможно, исключить эти запросы из публичного поиска Telegram и таким образом ограничить распространение и доступность похожего контента в будущем.
- Если администраторы группы сами не нарушают правила Telegram (например, если группа временно пострадала от действий злоумышленников), модераторы Telegram могут по своему усмотрению временно закрыть её, дав администраторам возможность устранить нарушения.
- Однако если сообщество используется для распространения запрещённого контента, неважно — администраторами или участниками, то такое сообщество, его администраторы, а также пользователи, нарушившие условия использования Telegram, могут быть заблокированы навсегда.
- Когда Telegram выявляет пользователя, распространяющего экстремистские материалы, мессенджер проверяет «другие жалобы, связанные с этим пользователем, а также любые сообщества, которыми этот пользователь владеет или управляет». Telegram указал, что любые сообщества, уличённые в распространении подобных материалов, также будут удалены.
- Подписчики каналов или участники групп, которые «не занимаются администрированием, непосредственным распространением или продвижением запрещённого контента, даже если состоят в сообществах, где такой контент может присутствовать, не будут автоматически заблокированы». Такой подход, по словам Telegram, был принят, чтобы не причинить случайного ущерба сотрудникам правоохранительных органов, журналистам, активистам и другим пользователям, которые могут состоять в подобных группах по объективным причинам.
- Учитывая серьезность насилия над детьми, любое нарушение, связанное с ним, обычно приводит к необратимому удалению соответствующих аккаунтов и сообществ. Владельцы таких групп и каналов также могут быть удалены.
Дополнительно: Про обновление FAQ в сентябре 2024
В сентябре 2024 года Telegram обновил ряд документов на официальном сайте, касающихся модерации и раскрытия данных правоохранительным органам. Редакция @tginfo тогда отметила, что значительных изменений не произошло, а новый текст лишь сместил акценты.
Регулятор обратил внимание на текст, который тогда присутствовал в FAQ: «Telegram не обрабатывает жалобы на частные чаты и группы». Мессенджер сообщил, что эта часть документа устарела и является «нечаянной копией сегмента из секции о нарушении авторских прав».
Воспользовавшись archive.org, eSafety изучил старые версии документов и заметил несоответствие с заявлением Telegram: утверждение существовало на странице ещё до каких-либо упоминаний нарушения авторских прав в статьях FAQ мессенджера.
Важно упомянуть, что в конце сентября 2024 года мессенджер внёс дополнительные правки в документы, которые расширили список условий, при которых мессенджер будет раскрывать властям IP-адреса и номера телефонов пользователей.
Прочие замечания от регулятора
- eSafety считает, что если инструменты жалоб доступны только в тех случаях, когда нарушитель не находится в контактах у пользователя, это может помешать Telegram адекватно выявлять злоумышленников и препятствовать их дальнейшим вредным действиям на платформе, даже если пользователь уже заблокировал их у себя.
- eSafety подчёркивает, что использование Telegram только тех сигнатур незаконного контента, которые он сам ранее обнаружил и удалил, увеличивает риски пропуска. В результате такой контент может продолжать распространяться, несмотря на то, что другие онлайн-сервисы уже обнаружили его и добавили цифровые отпечатки в крупные общие базы данных.
- eSafety отмечает, что NCMEC и IWF заявили о том, что до ареста генерального директора Telegram 27 августа 2024 года любые попытки связаться с Telegram игнорировались.
Прочие факты
- Telegram сообщил, что пользователи из Австралии составляют 0.2% от месячной активной аудитории мессенджера.
- Telegram делится личными данными заблокированных пользователей только с правоохранительными органами.
- Компания ежедневно перепроверяет от 1 до 5% всех отчётов, случайным образом распределяя их среди модераторов, чтобы определить возможный уровень ошибок. В Telegram заявили: «Модераторы, допускающие ошибки выше допустимого уровня либо систематические, грубые или существенные ошибки, подлежат замене».
- Telegram ссылается на техническую невозможность раскрытия этих сообщений. Регулятор замечает, что техническое решение возможно, например, WhatsApp позволяет пользователям прикреплять сообщения из чатов со сквозным шифрованием прямо к жалобе модераторам, не прибегая к нарушению шифрования чатов. ↩︎
- Telegram заявил, что эти цифры отражают количество сотрудников, которые «время от времени могут быть вовлечены в принятие решений относительно контента или отчетов из Австралии и не отражают и не приближаются к общему количеству сотрудников по глобальной модерации контента, а также по вопросам доверия и безопасности, нанятых Telegram». ↩︎