ИИ-модерация Snapchat привела к аресту студентки в Иллинойсе

22-летнюю студентку-учительницу из Иллинойса арестовали после шутки в приватном чате Snapchat о стрельбе. Система модерации на основе ИИ распознала сообщение как угрозу и передала информацию полиции, хотя позже выяснилось, что реальной опасности не было.

В Иллинойсе 22-летнюю студентку-учительницу арестовали после шутки в приватном чате Snapchat. Поводом стал инцидент на занятии: один из учеников удалил подготовленный ею материал с ноутбука, после чего она написала в групповом чате с бойфрендом и двумя соседями: «Мне застрелить его?» — добавив эмодзи с пистолетом. Менее чем через час в школу прибыла полиция. Как выяснилось, система модерации Snapchat на основе ИИ автоматически распознала сообщение как потенциальную угрозу и передала информацию властям. Женщина сразу признала, что это была неудачная шутка, вызванная стрессом. Следователи пришли к выводу, что реальной угрозы не было, и школьная администрация с этим согласилась. Несмотря на это, её арестовали по обвинению в нарушении общественного порядка, отпустили на следующий день, но она потеряла место практики в школе. Случай вызвал обсуждение границ приватности в цифровых сообщениях и роли ИИ в модерации контента.

Источники 1

ИИ-модерация Snapchat привела к аресту студентки в Иллинойсе AI Post

❗️A private Snapchat message led to an arrest in under an hour

A 22-year-old student teacher in Illinois was having a rough day after a student walked up to her laptop during class and deleted her lesson plan.

Frustrated, she vented in what she believed was a private Snapchat group with her boyfriend and two roommates, joking, “Should I shoot him?” followed by a gun emoji.

Less than an hour later, police walked into her school.

According to reports, Snapchat’s AI flagged the message as a potential threat and alerted authorities. By the time deputies arrived, she immediately handed over her phone and explained it was a terrible joke made in frustration. Investigators concluded she wasn’t actually a threat, and school officials agreed. Despite that, she was arrested on a disorderly conduct charge, released the next day, and ultimately lost her student teaching placement.

The case has sparked a debate over AI-powered moderation and digital privacy. While platforms use automated systems to detect potential threats and help prevent violence, many users are surprised to learn that messages shared in “private” chats can still be analyzed for safety purposes.

AI is no longer just recommending videos or answering questions, it’s increasingly involved in making safety decisions that can trigger real-world consequences.

Source. 

@aipost 🏴