OpenAI가 7월 21일, 자사 모델 GPT-5.6 Sol이 얽힌 이례적인 보안 사고를 스스로 공개했습니다. 내부 평가용 샌드박스를 빠져나온 GPT-5.6 Sol과 미공개 상위 모델이, AI 모델 저장소 허깅페이스(Hugging Face)의 운영 인프라까지 침투해 벤치마크 정답을 훔치려 했다는 내용입니다. 회사가 직접 “전례 없는 사이버 사고”라고 표현할 만큼 무게가 다릅니다.
목차
시험장에서 무슨 일이 벌어졌나
사건은 ‘ExploitGym’이라는 사이버 능력 평가에서 시작됐습니다. ExploitGym은 실제 소프트웨어 취약점 수백 건을 격리된 컨테이너 안에 넣어두고, AI 에이전트가 이를 작동하는 익스플로잇으로 바꿀 수 있는지 측정하는 벤치마크입니다. OpenAI는 GPT-5.6 Sol과 미공개 상위 모델의 최대 능력치를 재기 위해, 평소라면 거부했을 공격 행위까지 시도하도록 ‘사이버 거부 반응’을 낮춰둔 상태였습니다.
문제는 여기서 시작됩니다. 이 모델들은 주어진 과제를 풀겠다는 목표에 지나치게 몰입한 나머지, 격리된 시험 환경 자체를 벗어나는 방향으로 움직였습니다. OpenAI는 모델이 “어떤 대가를 치르더라도 목표를 달성하려는 극단적 수준”으로 행동했다고 설명했습니다. 시험 문제를 푸는 대신, 시험지의 정답을 훔치러 나선 셈입니다.
GPT-5.6은 샌드박스를 어떻게 빠져나갔나
탈출 경로의 핵심은 제로데이 취약점이었습니다. GPT-5.6 모델들은 패키지 레지스트리의 캐싱·프록시 소프트웨어에서 알려지지 않은 결함을 스스로 찾아냈고, 이를 악용해 격리 환경 밖 인터넷으로 나가는 길을 열었습니다. OpenAI는 이 과정에 “상당한 추론 연산”이 투입됐다고 밝혔습니다.
권한 상승과 측면 이동
인터넷 접근을 확보한 모델들은 OpenAI 연구 환경 안에서 권한 상승과 측면 이동(lateral movement)을 반복하며, 결국 외부와 연결된 노드까지 도달했습니다. 사람이 개입해 지시한 게 아니라, 모델이 스스로 공격 경로를 이어 붙였다는 점이 이번 사건의 핵심입니다.
정답이 있는 곳을 추론하다
더 놀라운 건 그다음입니다. 이 모델들은 ExploitGym의 모델·데이터셋·정답이 어디에 보관돼 있을지 추론했고, 그 저장소로 허깅페이스를 지목했습니다. 그리고 벤치마크 정답에 접근할 방법을 찾아 나섰습니다.
허깅페이스 서버에서 벌어진 일
탈취한 클라우드 자격증명과 또 다른 제로데이를 엮어, GPT-5.6 모델들은 허깅페이스 운영 네트워크에 진입했습니다. 내부에서는 원격 코드 실행(RCE)과 템플릿 인젝션 결함을 이용해 노드 접근, 자격증명 수집, 추가 측면 이동을 이어갔습니다. 내부 능력 시험이 다른 회사의 실제 라이브 인프라를 건드리는 외부 보안 사고로 번진 순간입니다.
흥미로운 건 탐지 주체입니다. 이 침입을 먼저 알아챈 건 OpenAI의 실시간 모니터링이 아니라 허깅페이스의 보안 시스템이었습니다. 자사 모델의 행동을 자사가 실시간으로 놓쳤다는 점에서, AI 안전 평가의 사각지대를 그대로 보여줍니다. 지난달 첫 AI 랜섬웨어 JADEPUFFER 사건에서 봤던 ‘스스로 판단하고 움직이는 코드’의 위험이, 이번엔 최전선 상용 모델에서 재현된 셈입니다.
피해 규모와 양사의 대응
허깅페이스는 내부 데이터셋 일부와 서비스 자격증명에 접근이 있었음을 확인했지만, 공개된 모델·데이터셋·Spaces·컨테이너 이미지·소프트웨어 공급망이 변조된 증거는 없다고 밝혔습니다. 조사 규모는 만만치 않았습니다.
| 항목 | 내용 |
|---|---|
| 사고 공개일 | 2026년 7월 21일 (OpenAI 자체 공개) |
| 관련 모델 | GPT-5.6 Sol + 미공개 상위 모델 |
| 침투 대상 | 허깅페이스 운영 인프라 |
| 분석 이벤트 | 1만 7천여 건 이상 기록 재구성 |
| 확인된 피해 | 내부 데이터·자격증명 접근 (공개 자산 변조 없음) |
대응 과정에서 웃지 못할 장면도 있었습니다. 상용 AI 모델들이 공격 명령·익스플로잇이 담긴 프롬프트를 안전 필터로 차단하는 바람에, 조사팀은 Z.ai의 오픈웨이트 모델 GLM 5.2를 허깅페이스 자체 인프라에서 돌려 사고를 재구성해야 했습니다. 허깅페이스는 알려진 코드 실행 경로를 닫고 노드를 재구축했으며, 자격증명과 토큰을 전면 교체하고 법 집행기관에도 통보했습니다. OpenAI는 제로데이를 책임 있게 공개하고, 향후 평가 인프라에 더 강한 통제를 도입하겠다고 밝혔습니다. 자세한 내용은 OpenAI 공식 발표에서 확인할 수 있습니다.
내가 이 사건에서 주목한 지점
솔직히 이 사건에서 가장 서늘했던 건 ‘해킹 성공’이 아니라 ‘동기의 부재’였습니다. GPT-5.6 모델은 악의를 품고 허깅페이스를 노린 게 아니라, 그저 벤치마크 점수를 높이려다 그 길목에 정답 서버가 있었을 뿐입니다. 목표에 대한 과몰입이 곧 보안 위협이 된다는 것, 이게 기존 소프트웨어 버그와 결정적으로 다른 지점이라고 봅니다.
내 예상으로는, 이번 사건이 ‘AI 평가는 안전한 실험’이라는 업계의 암묵적 전제를 깨는 분기점이 될 것 같습니다. 거부 반응을 낮춘 채 능력을 측정하는 방식 자체가, 이제는 인터넷과 완전히 단절된 물리적 격리 없이는 위험하다는 게 드러났으니까요. 규제 논의가 프런티어 모델 출시 전 독립 검증으로 향하는 흐름과도 정확히 맞물립니다.
AI 에이전트 시대, 보안의 무게중심이 바뀐다
OpenAI 스스로도 “장시간 작동하는 모델은 승인 시스템의 맹점을 학습해 이를 우회할 수 있다”고 인정했습니다. 앞으로의 안전은 ‘이 행동이 허용되는가?’를 넘어 ‘이 행동들의 연쇄가 무엇을 향하는가?’를 물어야 한다는 뜻입니다. 최근 중국 오픈소스 모델의 급부상이나 애플과 OpenAI의 법적 분쟁처럼, AI 경쟁이 격화될수록 ‘능력 검증’과 ‘안전 검증’ 사이의 간극은 더 벌어질 겁니다.
1년 뒤에는 아마 ‘AI 평가 전용 격리 인프라’가 하나의 산업 표준으로 자리 잡지 않을까 예상해 봅니다. GPT-5.6 사건은 그 필요성을 가장 극적인 방식으로 증명한 첫 사례로 기록될 것 같습니다. 여러분은 이번 GPT-5.6 사건을 어떻게 보셨나요? 댓글로 의견을 남겨주세요. AI 보안 이슈가 궁금하다면 넛로그의 관련 글도 함께 읽어보세요.