인히어런트 AI, 논문 재현 시험서 성능 개선…보스턴 R&D엔 ‘검증 역량’ 부각

영국 AI 스타트업 인히어런트(Inherent)가 기존 연구 결과를 재현하도록 훈련한 AI 에이전트 ‘패러데이(Faraday)’의 성과를 공개했다. 범용 대형 모델을 그대로 사용하는 대신, 연구 절차와 평가 기준에 맞춰 상대적으로 작은 모델을 추가 훈련하면 특정 과학 업무에서 성능을 높일 수 있다는 결과다. 다만 회사가 설계하고 평가한 시험이며 논문도 동료평가 전 사전논문이라는 점에서 독립적인 검증이 남아 있다.

인히어런트가 8월 13일 공개한 사전논문에 따르면 패러데이는 270억 개 매개변수를 가진 Qwen3.6-27B를 기반으로 한다. 매개변수는 모델이 학습한 조정값으로, 일반적으로 모델 규모를 가늠하는 지표다. 패러데이는 코드를 모두 직접 작성하기보다 GPT-5.5 Codex를 도구로 사용해 어떤 실험을 수행하고 결과를 어떻게 검토할지 관리하도록 설계됐다.

연구진은 1990년부터 2026년까지 발표된 머신러닝 및 AI 과학 논문 100편에서 결과 그림 310개를 골라 ‘Replica’라는 재현 과제 묶음을 만들었다. 이 가운데 242개는 훈련 과제, 68개는 학습에 사용하지 않은 시험 과제로 구성됐다. 각 에이전트에는 원래 결과 그림을 가린 논문과 60분의 작업 시간, 엔비디아 H200 GPU의 제한된 연산 자원이 주어졌다. 논문 설명을 토대로 원래 실험을 축소하거나 재구성해 결과를 다시 만드는 방식이다.

회사 측의 루브릭 기반 평가에서 패러데이는 훈련 분포와 유사한 머신러닝 과제의 73%, 학습에 포함되지 않은 AI 과학 과제의 60%에서 Claude Opus 4.8과 GPT-5.5보다 높은 성과를 냈다. 시험 과제의 평균 점수는 Claude보다 6%, GPT-5.5보다 8% 높았다고 연구진은 밝혔다. 모든 모델에는 같은 시간과 연산 자원이 제공됐으며, 과제별로 여덟 차례 실행한 결과의 평균을 비교했다. 평가는 결과 그림의 유사성뿐 아니라 실험의 깊이, 원래 주장과의 일치도, 구현 충실도, 편법 사용 여부 등을 반영했다.

이 결과를 ‘작은 모델이 대형 모델을 전반적으로 앞섰다’는 결론으로 확대하기는 어렵다. 패러데이도 코딩 단계에서 GPT-5.5를 이용했고, 과제와 자동 채점 기준은 인히어런트 연구진이 만들었다. 연구진이 인간 전문가 평가와 자동 채점 결과의 일치도를 확인했지만, 회사 밖 연구팀이 동일한 조건에서 성능을 재현했는지는 아직 확인되지 않았다. 정답이 있는 기존 결과를 제한된 환경에서 다시 만드는 시험이어서 새로운 가설을 만들고 실제 실험으로 검증하는 연구와도 차이가 있다.

인간의 검토가 여전히 중요한 이유는 별도의 PNAS 연구에서도 나타난다. 이 연구는 연구자 288명을 103개 팀으로 나눠 정량 사회과학 연구의 계산 결과를 재현하도록 했다. 인간만 참여한 팀의 재현율은 94%, AI의 도움을 받은 팀은 91%로 비슷했지만, AI가 최소한의 인간 감독 아래 작업을 주도한 팀은 37%에 그쳤다. 인간 팀은 중대한 코딩 오류도 더 많이 발견했다. 사용한 모델과 과제가 패러데이 연구와 달라 직접적인 성능 비교는 어렵지만, 자동화가 확대돼도 오류 판별과 최종 판단을 사람에게서 곧바로 분리하기는 어렵다는 참고 사례다.

보스턴권에서는 이번 결과가 대학 연구실과 바이오테크·로보틱스·소재 분야 스타트업의 업무 설계와 연결된다. 반복적인 코드 작성이나 기존 계산 실험의 1차 재현은 AI가 일부 맡을 수 있지만, 어떤 결과를 검증할지 정하고 데이터·실험 조건·통계 방법이 원 연구와 일치하는지 확인하는 업무의 비중은 오히려 커질 수 있다. 환자, 세포, 의료 데이터 또는 물리 장비를 다루는 연구는 규제와 안전, 데이터 추적 요건이 복잡해 컴퓨터 안에서 진행되는 재현 시험의 결과를 그대로 적용하기 어렵다.

취업 준비생과 현직 연구자에게도 특정 AI 제품의 사용 경험만 보여주는 것보다 재현 가능한 분석 환경과 검증 절차를 함께 설명하는 능력이 중요해지고 있다. 연구 엔지니어링, 모델 평가, MLOps, 데이터 품질 관리, 바이오인포매틱스 검증, AI 안전·감사처럼 AI가 만든 결과를 측정하고 통제하는 역할이 여기에 해당한다. 포트폴리오에서는 완성된 결과 화면뿐 아니라 원자료의 출처, 코드와 모델 버전, 실험 조건, 실패한 시도와 판정 기준을 기록해 두는 편이 실무 역량을 전달하는 데 유용하다.

인히어런트는 현재 약 12명인 인력을 연말까지 20~25명으로 늘릴 계획이라고 밝혔다. 그러나 런던 중심의 이번 채용 계획이 미국 내 일자리나 비자 스폰서십 확대로 이어진다는 의미는 아니다. OPT·STEM OPT 또는 취업비자를 고려하는 지원자는 유사한 AI 연구 직무를 살필 때 업무 내용과 함께 고용주 자격, 실제 근무지, 스폰서 정책을 별도로 확인할 필요가 있다. 비자 적용 여부는 개인과 고용주의 조건에 따라 달라질 수 있다.

이번 발표가 보여준 당장의 변화는 AI가 연구자를 대체했다는 것이 아니라, 범용 모델 위에 연구 절차와 평가 체계를 얹은 전문형 에이전트가 제한된 업무에서 더 나은 결과를 낼 수 있다는 점이다. 앞으로는 외부 연구진이 성과를 재현하는지, 바이오·재료·공학 연구에서도 시간과 비용을 줄이는지, 자동화 과정에서 오류 발견률이 함께 개선되는지를 지켜봐야 한다. 보스턴 연구 생태계에서도 AI 사용 속도 자체보다 검증 가능한 연구 흐름을 설계하고 설명하는 능력이 더 분명한 경쟁 기준이 될 수 있다.