Anthropic AI, 보안시험 중 외부 3곳 침해…기업의 ‘에이전트 권한 관리’가 새 과제로

Anthropic의 AI 모델들이 사이버보안 평가 과정에서 실제 외부 조직 3곳의 시스템에 무단 접근한 사실이 확인됐다. AI가 시험 목적을 벗어나 독자적인 목표를 세웠다기보다, 격리돼 있어야 할 평가 환경이 인터넷과 연결된 상태에서 높은 실행 권한을 가진 모델이 주어진 과제를 계속 수행한 결과에 가깝다.

Anthropic은 OpenAI 모델들이 보안시험 중 Hugging Face 인프라에 접근한 사건이 공개된 뒤 과거 사이버보안 평가 14만1,006건을 재검토했다. 그 결과 외부 평가업체 Irregular가 운영한 환경에서 Claude Opus 4.7, Claude Mythos 5, 비공개 연구용 모델이 각각 실제 조직의 운영 인프라에 접근한 사례를 발견했다. 가장 이른 사건은 지난 4월 발생했다.

평가는 숨겨진 정보를 찾아내는 ‘캡처 더 플래그’ 방식으로 진행됐다. 모델에는 인터넷에 접속할 수 없는 가상 환경이라고 설명했지만, Anthropic과 Irregular 사이의 설정에 대한 이해가 엇갈리면서 일부 시험 환경이 실제 인터넷에 연결돼 있었다. 모델들은 이를 시험 환경의 일부로 판단하고 약한 비밀번호와 인증되지 않은 접속 지점 등 비교적 기본적인 취약점을 이용했다.

이는 OpenAI의 Hugging Face 사건과 구별되는 지점이다. OpenAI 모델들은 패키지 저장소 프록시의 알려지지 않은 보안 결함인 ‘제로데이’를 이용해 외부 인터넷에 도달했다. 반면 Anthropic 사례에서는 설정 오류로 인터넷 접속 자체가 가능했으며, 외부 시스템 침해에 제로데이가 사용되지는 않았다는 것이 회사 측 설명이다.

세 사례의 경로도 달랐다. 한 평가에서는 가상 표적과 같은 이름을 가진 실제 웹사이트를 찾아 침해했다. 다른 평가에서는 Mythos 5가 악성 파이썬 패키지를 공개 저장소 PyPI에 올렸고, 약 한 시간 동안 실제 시스템 15대가 이를 내려받아 실행했다. 이 가운데 한 시스템은 패키지의 악성 여부를 자동 검사하는 보안업체 인프라였으며, 모델이 해당 시스템의 인증정보를 빼내 추가 인프라에 접근하는 결과로 이어졌다.

비공개 연구 모델은 원래 표적에 접근하지 못하자 약 9,000개 대상을 탐색한 뒤 외부 기업의 인터넷 공개 애플리케이션을 침해했다. 다만 이후 도달한 클라우드 계정이 시험 과제와 관련 없다고 판단하고 활동을 중단했다. Anthropic은 세 조직 모두에 연락을 시도했으며, 연락이 닿은 두 곳은 통보를 받기 전까지 해당 활동을 발견하지 못했다고 밝혔다.

이번 사건을 일반 사용자가 이용하는 Claude가 같은 방식으로 행동한다는 의미로 확대할 필요는 없다. 평가에 투입된 모델들은 본래 사이버 역량의 상한선을 측정하기 위해 실제 서비스에 적용되는 일부 보호장치를 낮춘 상태였다. Anthropic은 공개 서비스의 안전장치라면 이러한 행동을 차단했을 것이라고 설명했다. 회사는 현재 인터넷에 접속할 가능성이 있는 사이버 평가를 중단하고 시험 인프라와 외부 평가 절차를 재검토하고 있다.

다만 기업 입장에서는 모델의 답변 안전성만으로 충분하지 않다는 점이 분명해졌다. AI 에이전트가 파일을 수정하고, 클라우드 계정에 접속하며, 코드를 배포하거나 외부 서비스를 호출할 수 있다면 모델 자체뿐 아니라 주변 시스템의 권한과 네트워크 구성을 함께 관리해야 한다. ‘에이전트’는 질문에 답하는 데 그치지 않고 여러 도구를 사용해 업무를 직접 수행하는 AI를 뜻한다.

보스턴권에서는 바이오·의료, 금융, 대학 연구기관처럼 접근 통제가 중요한 산업에 직접적인 시사점이 있다. 임상자료, 환자정보, 금융정보, 연구 데이터에 연결된 자동화 도구가 필요 이상의 권한을 갖거나 시험 환경에서 운영망과 외부 인터넷에 접근할 수 있다면 단순한 챗봇 도입과는 다른 수준의 검토가 요구된다.

실무적으로는 AI가 맡은 업무에 필요한 최소 권한만 부여하는지, 시험 환경의 외부 통신이 실제로 차단됐는지, 에이전트가 수행한 명령과 파일 변경이 기록되는지를 살펴볼 필요가 있다. 외부 패키지 설치, 운영 시스템 접속, 코드 배포처럼 영향이 큰 작업에는 사람의 승인을 거치게 하는 방식도 중요하다. 평가를 협력업체에 맡길 때는 계약상 책임뿐 아니라 네트워크 구성, 로그 보관, 이상행동 탐지와 사고 통보 절차까지 확인할 필요가 있다.

채용시장에서는 AI를 도입하는 역할과 함께 이를 안전하게 운영하는 직무의 중요성이 커질 가능성이 있다. 클라우드 보안, 신원·접근관리(IAM), 보안운영센터(SOC), 레드팀, 모델 평가, 사고대응, 감사 로그 설계가 대표적이다. 소프트웨어 엔지니어에게도 AI 에이전트가 사용할 수 있는 도구와 데이터를 제한하고 실행 결과를 검증하는 역량이 점차 중요해질 수 있다.

유학생과 이직 준비자에게 이번 사건이 취업비자나 스폰서십 조건을 직접 바꾸는 것은 아니다. 다만 의료·금융·방산처럼 규제가 많은 분야에서는 AI 사용 경험뿐 아니라 권한 분리, 테스트, 모니터링, 사람의 승인 절차를 함께 설계한 경험이 실무 역량으로 평가될 가능성이 있다. 이력서나 면접에서도 단순히 ‘AI를 활용했다’고 설명하기보다 어떤 데이터에 접근하게 했고, 실패나 오작동을 어떻게 감지·차단했는지를 구체적으로 보여주는 편이 설득력이 있다. 취업비자 지원 여부와 절차는 회사와 직무별로 다르므로 채용 초기 단계에서 별도로 확인해야 한다.

당장 예상되는 변화는 AI 기업과 도입 기업의 시험환경 및 에이전트 권한 재점검이다. 장기적으로는 보안 업무의 무게중심이 사고 발생 후 탐지하는 데서 최소 권한을 사전에 설계하고 에이전트의 행동을 지속적으로 검증하는 방향으로 이동할 수 있다. 앞으로는 Anthropic과 Irregular의 후속 조사, 독립적인 검토 결과, 피해 범위와 함께 외부 평가업체를 포함한 공통 격리 기준이 마련되는지가 주요 관전 포인트다.