AI 보안을 위한 Google Forms 전담 AI 레드팀

Aug 02, 2023

Google은 머신러닝(ML) 시스템으로 인해 발생하는 고유한 보안 문제를 해결하기 위해 전문 AI 레드팀을 구성했습니다. AI 레드팀은 AI 기반 기술의 취약점을 조사하고 노출하는 데 중점을 둡니다. 기존 레드팀과 달리 AI 레드팀은 머신러닝 기술에 대한 깊은 이해가 필요하다. 이는 시스템을 해킹하고 모델을 오염시킬 수 있는 개인의 기술을 결합합니다. 이러한 기술을 함께 결합함으로써 팀은 AI 배포를 효과적으로 보호할 수 있습니다.

AI 레드팀은 해당 분야의 새로운 적대적 연구를 면밀히 추적하고 Google이 AI를 자사 제품에 통합하는 위치를 모니터링합니다. 그들은 특정 목표를 염두에 두고 적의 공격을 시뮬레이션하는 훈련의 우선순위를 정합니다. 이러한 연습의 결과는 문서화되어 관련 이해관계자와 공유되므로 발견된 모든 문제를 해결하고 해결할 수 있습니다. 팀은 모든 제품의 보안을 개선하기 위해 이러한 연습에서 얻은 교훈을 적용하기 위해 광범위한 접근 방식을 취합니다.

AI 배포를 목표로 삼기 위해 AI 레드팀은 시뮬레이션된 공격자, 공격자의 능력 및 목표를 설명하는 시나리오를 설정합니다. 그들은 위협 인텔리전스와 공간에 대한 이해를 바탕으로 현실적인 공격 시나리오를 만듭니다. 보안 레드팀과 마찬가지로 목표를 달성하려면 여러 단계가 필요한 경우가 많습니다.

AI 레드팀과 AI 전문가 간의 협업은 현실적인 적대 시뮬레이션을 만드는 데 중요합니다. AI 레드팀은 보안 레드팀과 협력하여 특정 훈련에 필요한 특정 내부 액세스 권한을 얻을 수 있습니다. 예를 들어, 보안 레드팀은 내부 시스템에 액세스하기 위해 직원을 손상시킬 수 있으며, AI 레드팀은 ML 모델을 표적으로 삼아 백도어를 삽입할 수 있습니다.

일부 공격에는 간단한 수정 사항이 없을 수 있으므로 레드팀 조사 결과를 해결하는 것이 어려울 수 있습니다. Google은 사용자의 보안과 개인정보 보호를 최우선으로 생각하며 안전하게 수행할 수 없는 경우 새로운 기능을 출시하지 않습니다. AI 레드팀은 내부 연구팀과 긴밀히 협력하여 확인된 문제를 해결하기 위한 새로운 접근 방식을 개발합니다. 액세스 제한 및 입력/출력 유효성 검사와 같은 일반적인 보안 완화도 위험을 줄이는 데 효과적입니다. AI 레드팀의 노력은 ML 안전에 대한 가시성과 투자를 촉진하는 데 도움이 됩니다.