보스턴에 미국 오피스 둔 Mend.io, ‘시스템 프롬프트 하드닝’ 출시…AI 앱 보안도 점수화해 관리

보스턴에 미국 오피스를 둔 애플리케이션 보안 기업 Mend.io가 3월 10일 생성형 AI 애플리케이션의 시스템 프롬프트를 분석하고 점수화해 보정하는 새 기능 ‘System Prompt Hardening’을 공개했다. 회사는 그동안 상대적으로 관리 사각지대에 놓여 있던 시스템 프롬프트를 별도의 보안 관리 대상으로 다루겠다는 점을 이번 발표의 핵심으로 제시했다.

시스템 프롬프트는 사용자가 직접 보지 않는 숨은 지시문으로, 모델의 역할·행동 규칙·제약 조건을 정하는 층에 가깝다. Mend.io는 기업들이 그동안 모델 출력 품질 개선이나 레드팀 테스트에는 투자해 왔지만, 실제 서비스 동작을 좌우하는 이 지시문 자체를 정식 보안 자산처럼 관리하는 체계는 상대적으로 부족했다고 설명했다.

이번 기능의 핵심은 프롬프트 취약점을 단순한 문구 작성 문제가 아니라 운영 리스크로 다루는 방식이다. Mend.io는 자체 프레임워크인 AIWE(AI Weakness Enumeration)를 통해 프롬프트 취약성을 1점부터 100점까지 점수화하고, 프롬프트 인젝션이나 의도치 않은 데이터 노출로 이어질 수 있는 약점을 찾아 보정하겠다고 밝혔다. 회사 설명에 따르면 이 기능은 숨은 시스템 프롬프트를 식별하고, 취약 지점을 분류한 뒤, 우선순위를 매겨 수정 작업으로 연결하는 데 초점을 맞춘다.

업계 해설도 비슷한 방향이다. IDC의 Katie Norton 연구 매니저는 이번 발표에서 시스템 프롬프트를 임시 지시문이 아니라 관리 대상 산출물로 취급하는 접근이 AI 보안의 성숙과 맞닿아 있다고 평가했다. 보안팀 관점에서는 단순히 문제가 있는지 확인하는 수준을 넘어, 어떤 프롬프트를 먼저 손봐야 하는지 우선순위를 정할 수 있다는 의미로 읽힌다.

이 발표는 특히 AI 기능이 실제 업무 환경에 들어가는 기업들에 시사점을 준다. 예를 들어 내부 문서 검색, 고객 응대, 예약 지원, 계약서 요약 같은 기능에서는 모델 성능뿐 아니라 어떤 지시문이 어떤 데이터와 권한에 접근하는지까지 함께 관리해야 하기 때문이다. 시스템 프롬프트 설계가 느슨하면 오답 문제를 넘어 민감정보 노출, 권한 오남용, 내부 정책 이탈 같은 운영 이슈로 이어질 가능성이 있다.

다만 이번 발표를 곧바로 특정 지역의 채용시장 변화나 보스턴 기업 전반의 도입 추세로 단정해 읽을 단계는 아니다. 제시된 참고 자료들은 Mend.io의 제품 출시와 기능 설명, 그리고 AI 보안 관리 방식의 변화 가능성을 보여주지만, 보스턴 지역 기업들의 채용 평가 기준이나 도입 분위기까지 직접 입증하지는 않는다. 그보다는 AI 애플리케이션을 운영하는 기업들이 시스템 프롬프트를 더 구조적으로 관리하려는 흐름이 강화될 수 있다는 정도의 해석이 보다 신중한 표현에 가깝다.

실무적으로는 점검 항목이 아주 복잡한 편은 아니다. AI 기능을 운영하는 팀이라면 시스템 프롬프트를 소스코드처럼 버전 관리하고, 변경 시 권한 범위·민감정보 노출 가능성·외부 도구 호출 조건을 분리해 검토하는 방식이 현실적이다. 취업을 준비하는 엔지니어에게도 단순히 LLM 앱을 만들어봤다는 설명보다, 어떤 공격 시나리오를 가정했고 어떤 로그와 검증 절차를 설계했는지까지 함께 제시하는 편이 프로젝트 설명의 밀도를 높이는 데 도움이 될 수 있다.

이번 Mend.io 발표는 생성형 AI 서비스의 숨은 지시문을 더 이상 임시 설정값으로 두지 않고, 측정·우선순위화·보정이 가능한 보안 대상처럼 다루려는 시도를 보여준다. AI 애플리케이션이 실제 서비스와 내부 업무에 더 깊이 들어갈수록, 시스템 프롬프트 관리도 코드 보안과 비슷한 수준의 운영 체계 안으로 들어갈 가능성이 커지고 있다.