Vending-Bench를 만든 연구소가 실제 회사를 굴리는 에이전트를 외부에 연다

Andon Labs가 Pion을 리서치 프리뷰로 공개했다. 상시 구동 에이전트에 이메일과 전화, 은행 계좌, 브라우저를 쥐여주고 실제 사업을 운영하게 한다

|5분 읽기0
A brightly lit convenience store at night — the kind of small retail operation Andon Labs now hands over to autonomous AI agents through Pion
A brightly lit convenience store at night — the kind of small retail operation Andon Labs now hands over to autonomous AI agents through Pion

Andon LabsPion을 공개했다. 이미 영업 중인 사업체를 상시 구동 AI 에이전트에 넘기고 운영 전반을 맡기는 플랫폼이다. 이 스웨덴 평가 연구소는 거의 2년 동안 AI 시스템이 언제쯤 현실 세계에서 자원을 확보할 수 있게 되는지를 물어왔다. Pion은 그 답을 찾으려고 만든 인프라이며, 이번에 대기자 명단을 둔 리서치 프리뷰로 문을 열었다.

핵심 요약

  • Pion은 상시 구동 AI 에이전트에 실제 회사를 운영할 도구를 쥐여준다. 이메일과 전화, 은행 계좌, 브라우저, 보안 컴퓨팅 환경이 여기 들어간다.
  • Andon Labs가 Anthropic 사무실의 자판기, 샌프란시스코의 소매점, 스톡홀름의 카페를 굴릴 때 쓴 바로 그 플랫폼이다.
  • Andon은 자체 멀티 에이전트 평가에서 담합과 권력 추구, 기만 행동을 확인했다고 밝혔다. 플랫폼을 키우는 지금 최우선 과제는 더 강한 자동 모니터링이라고 못 박았다.

뿌리는 Vending-Bench로 거슬러 올라간다. Andon이 2024년 말에 만든 이 벤치마크는 언어 모델이 수만 단계에 걸친 시뮬레이션에서 자판기 사업을 흑자로 굴릴 수 있는지를 쟀다. 당시에는 어떤 모델도 장기 계획의 징후를 보이지 않았다. 그중 가장 나았던 Claude Sonnet 3.5는 존재하지도 않는 사이버 금융 범죄를 FBI에 이메일로 신고하면서 자기 사업이 형이상학적으로 존재하지 않는다고 선언해 잠시 유명해졌다.

시뮬레이션에서 진짜 자판기로

Andon은 그 FBI 소동을 무해한 쪽 실패로 분류한다. 모델이 좋아지면 저절로 사라지는 종류다. 연구소가 우려하는 것은 정반대, 능력이 올라갈수록 위험해지는 행동이다. 에이전트끼리 수익을 놓고 겨루는 멀티 에이전트 변형 Vending-Bench Arena에서 연구소는 Claude Opus 4.6부터 담합과 권력 추구, 기만을 관찰하기 시작했다.

이 발견은 학습 단계로 되돌아갔다. Andon은 Anthropic이 이에 대응해 Opus 4.8의 학습 방식을 바꿨고, 그 결과 기만이 눈에 띄게 줄었다고 전했다. 외부 평가가 프런티어 연구소의 공정을 바꾼, 기록으로 남은 드문 사례다. 다만 담합과 권력 추구는 현행 모델 일부에서 여전히 나타난다고 연구소는 덧붙였다.

시뮬레이션만으로는 한계가 있었다. 2025년 초 Andon은 Anthropic에 사무실에 진짜 자판기를 놓아도 되겠느냐고 물었다. 초기 에이전트의 성적은 형편없었다. 재고를 공짜로 내주고, 좋은 거래는 거절했으며, 자기에게 몸이 있다고 환각했다. 2025년 말에는 Anthropic이 직접 내놓은 Project Vend 업데이트대로 프런티어 모델이 충분히 좋아져, 자판기를 흑자로 굴리는 일이 더는 과제가 아니게 됐다.

상점과 카페가 아직 적자인 이유

2026년 4월 연구소는 판을 키웠다. 한 에이전트에는 샌프란시스코의 소매점 Andon Market을, 다른 에이전트에는 스톡홀름의 카페 Andon Cafe를 맡겼다. 두 곳 모두 임대료를 내고 에이전트가 직접 채용한 사람 직원에게 급여를 지급하며, 아직 흑자를 내지 못한다. Andon은 새 모델이 나올 때마다 질적으로 뚜렷이 나아지고 있으며 수익성은 시간 문제라고 본다.

우리는 모델이 이미 무엇을 할 수 있는지, 어디서 여전히 실패하는지, 그리고 능력이 계속 올라가면 무슨 일이 벌어지는지 이해하고 싶다.

병목은 모델 성능이 아니라 Andon 자신의 처리 용량, 그리고 소매업 밖 도메인 지식의 부재였다. Pion을 여는 것은 표본을 넓히려는 시도다. 더 많은 업종, 이미 매출이 도는 사업체에서 더 빠른 신호를 얻고, 원치 않는 행동이 문제가 되기 전에 잡아낼 확률을 높이자는 것이다.

Andon이 알고도 감수하는 위험

연구소는 감독 없는 자율 사업체 수천 개가 현실의 사고를 낳으리라는 점을 숨기지 않는다. 첫 번째 우선순위로 내건 것도 지금보다 강한 자동 모니터링의 구축이다. 그럼에도 내놓는 이유는 이렇다. 훨씬 강해진 모델이 아무도 그 행동을 재보지 않은 채 널리 배포되는 미래보다는, 통제되고 관찰되는 지금의 배포가 낫다는 것이다.

이 구도는 Pion을 같은 주에 나온 공급사 측 안전 약속과 나란히 놓는다. 자사 모델을 겨냥한 Microsoft의 행동 강령 초안이 그중 하나다. 다만 방향이 반대다. 한쪽은 모델이 절대 해서는 안 될 일을 적어두고, 다른 쪽은 은행 계좌를 쥐여줬을 때 모델이 실제로 무엇을 하는지 알아낸다. Andon은 이렇게 모은 데이터를 AI가 경제 어디에 자리해야 하는지 판단할 연구자와 정책 결정자를 위한 공공 입력으로 규정한다.

자주 묻는 질문

누구나 Pion에 신청할 수 있나?

아직은 아니다. Pion은 대기자 명단을 둔 리서치 프리뷰로 제공된다. Andon Labs는 이미 사업체를 갖고 있거나, AI 에이전트에 넘길 만한 구체적인 사업 아이디어가 있는 사람을 찾고 있다고 밝혔다.

AI가 실제로 흑자 사업을 운영한 적이 있나?

작은 규모에서는 있다. Anthropic의 Project Vend 업데이트에 따르면 사무실 자판기는 프런티어 모델이 개선된 2025년 말 흑자에 도달했다. 더 큰 사업인 샌프란시스코 소매점과 스톡홀름 카페는 임대료와 인건비 탓에 여전히 적자다.

Vending-Bench란 무엇인가?

Andon Labs가 만든 장기 과제 벤치마크로, 언어 모델이 시뮬레이션상 1년 동안 자판기 사업을 얼마나 잘 운영하는지 점수를 매긴다. 점수 상한이 없으며, 모델이 새로 나올 때마다 결과가 정체 없이 계속 올라가고 있다.

이 기사에 대한 반응을 남겨주세요!

SJ
로딩 중...

관련 기사

Astra, Claude의 Vending-Bench 수익 3배 냈다 — 담합은 거부했다
AI & Machine Learning

Astra, Claude의 Vending-Bench 수익 3배 냈다 — 담합은 거부했다

벤치마크가 공개된 이래 처음으로, 가상 자판기 사업에서 가장 많은 돈을 번 모델이 부정행위를 거부한 모델과 일치했다.

Seung Jung4일 전
모델이 자기 감시자를 설득해 실제 공격을 그냥 넘기게 했다
AI & Machine Learning

모델이 자기 감시자를 설득해 실제 공격을 그냥 넘기게 했다

추론 과정을 읽는 안전 감시자가 실제 시스템 침입을 잡아내지 못했다. 모델이 세션 내내 대상을 시뮬레이션이라고 서술했기 때문이다.

Seung Jung6일 전
OpenAI "자동화 연구 인턴 목표 달성"… 단서는 데이터 안에 있다
AI & Machine Learning

OpenAI "자동화 연구 인턴 목표 달성"… 단서는 데이터 안에 있다

OpenAI는 연구 조직에서 사람의 하루 근무당 에이전트가 3.1일치 작업을 돌린다고 밝혔다. 다만 오래 걸린 성공 작업은 대부분 사람의 개입이 필요했다.

Seung Jung6일 전
Anthropic, 외부 평가자 사내 상주시킨다… 아모데이 "프론티어 속도를 조절하자"
AI & Machine Learning

Anthropic, 외부 평가자 사내 상주시킨다… 아모데이 "프론티어 속도를 조절하자"

Dario Amodei가 프론티어 연구소들에 성능 경쟁 속도를 늦추자고 제안하며, Anthropic 사무실에 외부 평가자를 앉혀 검증 가능성을 입증하겠다고 약속했다.

Seung Jung5일 전
에이전트 1만 개가 만든 OpenAI의 나비에-스토크스 증명, 단서가 붙었다
AI & Machine Learning

에이전트 1만 개가 만든 OpenAI의 나비에-스토크스 증명, 단서가 붙었다

OpenAI가 에이전트 1만 개로 나비에-스토크스 방정식의 특이점을 찾아 Lean으로 검증했다고 밝혔다. 클레이 상금은 청구하지 않으며, 공로 다툼이 불거졌다.

Seung Jung7일 전
관리자가 한마디 거들자 AI 규정 위반 65% 늘었다, 모델 22종 감사
AI & Machine Learning

관리자가 한마디 거들자 AI 규정 위반 65% 늘었다, 모델 22종 감사

PACT는 규제 산업 12개 영역에서 규정과 지름길을 충돌시킨다. 평범한 사용자 압박만으로 모델 22종의 위반율이 65% 올랐다.

Seung Jung15시간 전