ИИ-список наблюдения Flock сканирует городские камеры по описаниям, защита фиксирует, но не останавливает злоупотребления
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Анализ WIRED новейшего ПО Flock Safety выявил ИИ-список наблюдения, который непрерывно ищет по городским камерам людей, соответствующих письменному описанию сотрудника полиции. Согласно обзору кода, защитные механизмы могут препятствовать и фиксировать злоупотребления, но не останавливают их. За последний год Flock столкнулась с расторжением контрактов и вниманием Конгресса.
Ключевые факты
- ИИ-список наблюдения Flock позволяет сотруднику полиции оцепить район города и вести непрерывный автоматический поиск людей, соответствующих письменному описанию.
- Анализ кода WIRED показал, что защитные механизмы Flock могут препятствовать и фиксировать злоупотребления, но не останавливают их.
- Заместитель шерифа из Техаса искал по более чем 83 000 камер женщину, сделавшую аборт, что побудило двух членов Конгресса написать письмо генеральному директору Гаррету Лэнгли.
- Власти Иллинойса установили, что Flock предоставила федеральным иммиграционным агентам доступ к данным камер штата в нарушение закона штата.
- Система Flock оценивает письменные описания по нескольким категориям чувствительного контента, включая расу и религию, но «политическое, социальное и культурное самовыражение» — единственная категория, которая не останавливает поиск.
Возможности ИИ-списка наблюдения
Новейшие поисковые инструменты Flock Safety дают полиции несколько способов находить людей на камерах, а не только номерные знаки их автомобилей. Среди инструментов — ИИ-список наблюдения, который позволяет сотруднику полиции оцепить район города и заставить камеры внутри него вести непрерывный автоматический поиск людей, соответствующих письменному описанию. WIRED собрал и проанализировал программное обеспечение, которое Flock отправляет в браузер полицейского, и создал макет того, что видят сотрудники при взаимодействии с системой. Большая часть того, что управляет поиском, происходит на серверах Flock, вне поля зрения использующего инструмент подразделения.
Защитные механизмы и ограничения
В августе Flock ответила на критику пакетом изменений, который сокращает срок хранения данных по умолчанию, требует коды дел для каждого поиска и добавляет автоматический аудит для выявления сотрудников, злоупотребляющих инструментом. Анализ WIRED показал, что защитные механизмы Flock могут препятствовать некоторым злоупотреблениям и фиксировать их, но не останавливают их. Эксперты, изучающие автоматизированный скрининг и полицейские технологии, говорят, что Flock поручила своему ИИ работу, которую ни одна технология не выполняет надёжно. Система Flock решает, вне поля зрения использующего её подразделения, какие описания человека может искать сотрудник, и ни один скрининг такого масштаба не является точным, говорят эксперты. Компания предупреждает сотрудников, что результаты могут быть неточными или неполными и на них не следует полагаться как на единственный источник, но возлагает «риск любых неточностей» на сотрудника, выполняющего поиск.
Оценка чувствительного контента
Система Flock оценивает письменное описание сотрудника по нескольким категориям чувствительного контента, включая расу и религию. Категория «политическое, социальное и культурное самовыражение» — единственная, которая не останавливает поиск. Том Боуман, юрисконсульт проекта по безопасности и наблюдению Центра демократии и технологий, говорит, что единственная чувствительная категория, которую Flock защищает «лежачим полицейским» вместо полной остановки, — это та, которую суды защищают наиболее строго.
1 источник
Время · отставание