Gimlet Labs, 3억달러 유치…AI 투자축, 모델 개발 넘어 추론 효율로

AI 인프라 스타트업 Gimlet Labs가 3억달러 규모의 시리즈 B 투자를 유치했다. 기업들의 AI 투자가 모델을 새로 학습시키는 단계뿐 아니라, 완성된 모델을 더 빠르고 경제적으로 운영하는 ‘추론’ 인프라로 확대되고 있음을 보여주는 사례다.

Gimlet Labs는 9월 4일 Andreessen Horowitz가 주도한 투자 라운드에서 3억달러를 조달했다고 발표했다. 이번 투자에서 평가받은 기업가치는 30억달러이며, 누적 외부 조달액은 3억9,200만달러로 늘었다.

투자에는 Arm과 Microsoft의 벤처투자 조직 M12를 비롯해 Sapphire Ventures, Menlo Ventures, Samsung Ventures 등이 참여했다. 지난 3월 23일 8,000만달러 규모의 시리즈 A를 발표한 지 5개월여 만에 대규모 후속 투자가 이뤄진 셈이다.

회사는 지난 3월 이후 수십억달러 규모의 계약 매출을 추가했으며, 직접 관리하는 컴퓨팅 용량을 수백 메가와트 수준으로 확대하고 있다고 밝혔다. 다만 계약 매출은 향후 제공할 서비스까지 포함할 수 있어 회계상 매출과 같지 않다. 고객별 계약 기간과 실제 매출 인식 시점, 운영 실적은 추가로 확인해야 한다.

Gimlet Labs가 겨냥하는 문제는 AI 서비스를 실제 사용자에게 제공할 때 발생하는 비용과 응답 지연이다. 추론은 학습을 마친 모델이 질문에 답하거나 문서와 이미지 등을 처리하는 단계다. 여러 모델을 순차적으로 호출하고 외부 도구까지 사용하는 AI 에이전트가 늘어나면 각 호출에서 발생하는 지연과 컴퓨팅 비용도 함께 누적된다.

회사는 이를 해결하기 위해 GPU와 CPU, 메모리 연산 장치, 데이터플로 가속기 등 서로 다른 반도체를 하나의 자원처럼 운영하는 ‘멀티실리콘 클라우드’를 개발하고 있다. 모델의 각 작업을 분리한 뒤 계산 능력이 중요한 부분과 메모리 대역폭이 중요한 부분을 적합한 장비에 배치하는 구조다.

예를 들어 입력 내용을 분석하는 ‘프리필’ 단계와 답변을 생성하는 ‘디코드’ 단계는 요구하는 하드웨어 특성이 다르다. Gimlet Labs의 소프트웨어는 모델을 여러 부분으로 나누고, 지연시간과 처리량, 비용 목표에 맞춰 작업을 서로 다른 가속기에 배치한다. 특정 장비의 사용률이 높아지면 남아 있는 하드웨어로 작업을 재분배하는 기능도 제공한다는 설명이다.

회사는 같은 전력 범위에서 처리 속도나 처리량을 5배에서 10배까지 개선할 수 있다고 주장한다. 투자사 Andreessen Horowitz도 일부 대형 모델 환경에서 최대 10배의 처리량·상호작용 성능 향상을 언급했다. 그러나 이는 회사와 투자자의 설명에 근거한 수치다. 실제 개선 폭은 모델 구조와 하드웨어 조합, 네트워크, 서비스 부하 등에 따라 달라질 수 있다.

이번 투자에서 주목할 부분은 AI 인프라 경쟁의 범위가 칩 확보와 데이터센터 건설을 넘어가고 있다는 점이다. 여러 종류의 반도체를 조율하는 컴파일러와 작업 스케줄링, 고속 네트워크, 냉각 및 전력 관리까지 하나의 시스템으로 묶는 역량이 투자 대상으로 부상하고 있다. Arm과 M12가 투자자로 참여한 것도 특정 GPU만으로 모든 작업을 처리하기보다 다양한 반도체를 소프트웨어로 연결하려는 흐름과 맞닿아 있다.

보스턴권 구직자에게 이번 소식은 당장의 지역 채용 확대보다 어떤 기술 수요가 커지는지를 보여주는 신호에 가깝다. Gimlet Labs는 시스템 연구·개발, 데이터센터, 컴파일러, 분산 시스템, 네트워크, 성능 엔지니어링 분야에서 인력을 확대한다고 밝혔다. 다만 회사는 샌프란시스코에 기반을 두고 있으며, 채용 페이지에서도 대면 근무를 중심으로 운영한다고 명시하고 있다.

따라서 보스턴 채용시장에 미칠 영향은 직접적인 고용 효과보다 유사한 인프라 수요가 지역 기업으로 확산될 가능성이라는 관점에서 봐야 한다. 보스턴은 대학 연구실과 클라우드 소프트웨어, 로보틱스, 반도체 설계, 바이오테크 기업이 연결된 지역이다. AI 모델을 제품과 연구 과정에 적용하는 기업이 늘면 데이터 엔지니어와 플랫폼 엔지니어뿐 아니라 보안, 신뢰성, 장애 대응, 성능 분석을 담당하는 역할의 중요성도 커질 수 있다. 클라우드 사용량과 비용을 기술·재무 관점에서 관리하는 FinOps 역시 관련 직무 가운데 하나다.

현직 개발자와 이직 준비자는 AI 기능의 정확도만 제시하기보다 호출당 비용, 응답 지연, 처리량, 장애율을 어떻게 측정하고 개선했는지 설명할 수 있는 경험이 유용하다. Kubernetes 기반 운영, 분산 시스템 관측, GPU 성능 분석, 모델 평가, 비용 최적화처럼 AI 서비스를 안정적으로 가동하는 역량도 함께 볼 필요가 있다.

취업 준비생의 프로젝트에서도 모델 시연 자체보다 여러 모델과 데이터 파이프라인을 연결하고 성능과 비용을 측정한 과정, 오류가 발생했을 때 이를 탐지하고 복구한 경험이 실무 역량을 보여주기 쉽다. AI가 기존 업무를 대체하는지에만 초점을 맞추기보다, AI와 함께 늘어나는 운영·검증·보안·비용관리 업무를 살펴볼 필요가 있다는 의미다.

유학생이나 취업비자가 필요한 지원자는 투자 규모만으로 채용 가능성이나 비자 스폰서십 여부를 판단하기 어렵다. 실제 근무지와 요구 경력, 고용 형태, 취업비자 지원 여부를 개별 공고와 채용 담당자를 통해 확인해야 한다. 비자 관련 판단은 개인의 신분과 일정에 따라 달라질 수 있으므로 학교 담당 부서나 자격을 갖춘 전문가의 안내도 함께 참고하는 편이 안전하다.

Gimlet Labs의 투자 유치는 AI 산업의 관심이 모델 성능 경쟁에서 실제 운영 효율로 넓어지고 있음을 보여준다. 앞으로 살펴볼 변수는 회사가 밝힌 계약 규모가 실제 매출로 얼마나 전환되는지, 여러 제조사의 반도체를 함께 사용하는 구조가 대규모 고객 환경에서도 비용 절감과 안정성을 입증하는지다. 보스턴권에서는 AI 모델을 직접 개발하는 직무와 함께 이를 안전하고 경제적으로 운영하는 역할이 실제 채용으로 얼마나 이어지는지가 중요한 관전 포인트다.