AI 무기 감지 시스템의 과자 봉지 오인과 무장 경찰 출동
볼티모어 카운티 공립학교에서 AI 감지 시스템이 과자 봉지를 총기로 오인해 무장 경찰이 출동했습니다.
2025년 10월 메릴랜드주 볼티모어 카운티의 켄우드 고등학교에서 Lawyers’ Committee for Civil Rights Under Law가 지원하는 사건이 발생했습니다. 학교에서 사용 중인 'Omnilert Gun Detect' AI 무기 감지 시스템이 학생의 과자 봉지를 총기로 오인하여 90% 확률로 경보를 울렸습니다.
이 오류로 인해 교문 인근에 있던 학생 네 명(Taki Allen, Yui-Osa Ogbeide, Devon Thompson Jr., Keith Winfield III)이 무장한 지역 경찰에게 둘러싸여 무릎을 꿇고 수갑을 찬 채 수색을 당했습니다.
경보 취소에도 출동을 막지 못한 프로토콜 부재와 법적 대응
학교와 경찰이 오류를 확인하고 경보를 취소했으나, 무장 경찰의 출동을 막을 프로토콜이 없어 피해가 발생했습니다.
시스템의 허위 경보 이후 학교 직원과 경찰이 이미지 검토를 통해 오류임을 확인하고 경보를 취소했음에도 불구하고, 취소된 경보가 무장 경찰의 출동으로 이어지는 것을 막을 충분한 프로토콜이 부재했습니다. 이에 변호사위원회는 윌키 파르 앤 갤러거 및 엔젤 로 법률그룹과 함께 옴니일트, 볼티모어 카운티 공립학교, 볼티모어 카운티 경찰국 등을 상대로 볼티모어 카운티 순회법원에 소송을 제기했습니다.
원고 측은 이번 소송을 통해 경찰과 학교가 AI 위협 탐지 플랫폼의 보고를 검증하고, AI 기술이 학교에 적합한지 평가하며, 허위 경보가 무장 경찰 출동으로 이어지지 않도록 절차를 개혁할 것을 요구하고 있습니다.
"Overreliance on artificial intelligence technology mixed with inept communication and coordination among key officials is a toxic mix. We need a reckoning on how AI is being used, especially concerning public safety and kids." — Damon Hewitt, Lawyers' Committee for Civil Rights Under Law
공공 안전 분야 AI 도입의 위험성과 규제 요구
전문가들은 공공 안전 분야에서 규제 없는 AI 도입이 유색인종 커뮤니티에 미치는 위험성을 경고하고 있습니다.
변호사위원회는 이번 사건이 공공 안전 영역에서 AI 기반 기술의 신뢰성과 정확성에 대한 더 넓은 우려를 제기한다고 밝혔습니다. 특히 이러한 부정확성과 피해는 흑인 커뮤니티를 비롯한 유색인종에게 불균형하게 영향을 미친다고 지적했습니다.
레아 프레이저 디지털 정의 이니셔티브 디렉터는 규제 없는 AI가 젊은 세대에게 미치는 영향의 심각성을 강조하며, 이번 소송이 다시는 이러한 일이 발생하지 않도록 하기 위한 목적이라고 설명했습니다.
"Unregulated AI has profound consequences, especially when involving young people. As this technology gains more widespread adoption, it cannot happen at the expense of clear regulations, guardrails, and expectations for the adults that interact with it." — Leah Frazier, Lawyers' Committee for Civil Rights Under Law
댓글
0개아직 공개된 댓글이 없습니다. 첫 의견을 남겨 주세요.