최근 구글 딥마인드의 연구원들은 챗GPT의 오픈AI가 특정한 지시에 따라 훈련 데이터의 일부가 유출될 수 있는 취약성에 대해 폭로했다. 이 연구는 특정 단어의 반복을 유도하여 학습된 텍스트를 노출시키는 새로운 방법을 사용했다. 그 결과는 이전 가정보다 더 많은 학습된 데이터를 추출할 수 있는 공격 가능성을 보였다.
구글 딥마인드 소속 7명을 포함한 10명의 저자가 발표한 논문에 따르면, 이 연구는 이전에 가정했던 것보다 더 많은 데이터를 추출할 수 있는 실제의 공격 가능성을 강조한다. 이 연구 결과는 언어 모델 내에서 암기를 방지하는 현재 정렬 기술의 효율성을 보여준다.
최근 사이버뉴스는 유출된 정보가 개인 식별 정보와 노골적인 세부 내용부터 문헌, 고유 사용자 식별자, 프로그래밍 코드에서 발췌한 내용까지 다양한 데이터 유형을 포함하고 있다고 보도했다. 연구진은 챗GPT의 훈련 데이터 세트에서 200달러에 1만 개 이상의 예제를 성공적으로 추출했다고 보고했으며, 그들의 스케일링 추정치는 추가 질문들로 10배 이상의 데이터를 추출할 수 있는 가능성을 시사한다.
챗GPT의 취약성에 대한 폭로에도 불구하고 하모닉 시큐리티의 대표인 알라스테어 패터슨이 제기한 광범위한 우려는 보호가 취약한 다른 언어 모델 LLM(Language Model Maestros)로까지 확대된다. 패터슨은 타사 애플리케이션에서 널리 사용되는 이러한 모델이 유사한 공격에 잠재적으로 취약할 수 있다고 강조한다. 그는 민감한 자료의 부주의한 노출로 부터 보호하기위해 강력한 위험 관리 전략이 반드시 필요하다고 말한다.
패터슨의 평가는 생성AI 모델의 진화하는 환경에 대한 광범위한 정서를 반영한다. 혁신과 보안 사이의 미묘한 상호 작용은 모델 견고성과 안전장치의 지속적인 개선의 필요성을 강조한다. 그는 챗GPT가 1년 전 출시된 이후 데이터 유출과 관련된 이전의 도전에 직면해 있으며, 삼성그룹 직원의 민감한 정보 유출 사례와 챗봇 사용자 데이터와도 관련이 있다고 언급한다.
다행히도 이글은 작성 당시 특정 프롬프트를 통해 챗GPT가 학습 데이터를 공개하도록 유도하려는 시도는 실패했다는 점은 안심스럽다. 봇은 프롬프트를 지속적으로 반복하는 것을 거부하는 모습을 보였으며,이는 확인된 취약점을 완화하기 위한 사전 대응이 필요함을 시사한다.
이 연구는 생성 AI 모델의 혁신 잠재력과 의도치 않은 데이터 공개에 대한 강화 명령의 균형을 맞추는데 내재된 복잡성을 강조한다. 이 분석은 이러한 모델에서 최적의 안전 수준을 달성하기 위해 필요한 지속적인 정교화에 주의를 환기시키며, AI 보안 발전의 지속적인 특성을 강조강조한다.
