AWS 인피니티, 대기 AI 에이전트 7만5천 개를 8GB에

아마존웹서비스(AWS)가 10월 23일(현지시간) 도구 응답을 기다리는 AI 에이전트를 멈춰 두는 오픈소스 연구용 런타임 인피니티(Infinity)를 공개했다. AWS는 오픈소스 블로그에서 대기 중인 에이전트 하나가 약 100KB의 메모리를 쓰며, 이 비율이면 라즈베리파이 5의 8GB 메모리에 약 7만5천 개가 들어간다고 밝혔다.

인피니티는 AWS와 미국 UC버클리가 함께 진행하는 하이드로(Hydro) 프로젝트에서 나온 Rust 기반 프로그램으로, 아파치 2.0 라이선스로 배포된다. AWS는 이를 의견 수렴을 위한 "초기 연구 릴리스"라고 불렀다.

핵심 정리

• 인피니티는 에이전트가 도구를 호출할 때마다 대화를 저장하고 실행을 멈췄다가, 결과가 오면 저장된 상태에서 다시 이어 간다.
• AWS 벤치마크에서 에이전트 8만 개가 각각 20턴, 모두 320만 건의 응답 생성을 CPU 스레드 하나에서 처리했다. 실제 LLM이 아닌 모의 모델을 썼고, 메모리는 대기 에이전트당 약 100KB씩 늘었다.
• 런타임과 함께 개방형 도구 규격 '리액티브 에이전트 프로토콜(RAP)'과 코딩 에이전트 '인피니티 코드'가 나왔다. 기존 MCP 서버는 호환 계층을 거쳐 그대로 쓸 수 있다.

AI 에이전트 런타임 인피니티, 어떻게 동작하나

AWS 하이드로 팀 연구 책임자 샤다지 라다드(Shadaj Laddad)는 인피니티가 프로그래밍 언어가 비동기 함수를 멈추고 재개할 때 쓰는 '스택리스 코루틴' 기법을 빌렸다고 설명했다. 에이전트가 도구를 부르면 런타임이 호출을 보내고, 대화를 저장한 뒤 에이전트를 멈춘다.

작업 단위인 '슬라이스'는 모델 응답을 한 번 만들고 도구 호출을 최대 하나 보낸다. 대기 중인 에이전트는 작업·스택·연결을 붙잡지 않아 메모리 대부분이 대화 기록에 쓰인다.

벤치마크: 스레드 하나로 에이전트 8만 개

시험은 한 시스템에 에이전트를 여러 차례 나눠 띄우는 방식이었다. AMD EPYC 9R14 프로세서의 스레드 하나와 메모리 저장소로 에이전트 8만 개, 응답 생성 320만 건을 돌렸다.

라즈베리파이 수치는 이 1개당 약 100KB 비율로 계산한 추정치이며, 실제 보드에서 잰 값이 아니다. AWS는 처리량이나 지연 시간 수치를 내지 않았고, 실제 업무 부하로 한 외부 검증도 아직 없다.

서버리스 모드와 '주입된 이벤트'

인피니티에는 호출 사이에 메모리에 아무것도 남기지 않는 서버리스용 스텝 모드도 있다. AWS는 SQS FIFO 큐와 AWS 람다 등을 묶은 참고 구성을 함께 내놨다.

다른 에이전트의 메시지 같은 외부 이벤트는 모델이 직접 하지 않은 도구 호출 'receive_event__injected'의 형태로 전달된다. 런타임은 이 이름을 도구로 제공하지 않으며, 모델이 호출하려 하면 거부한다.

배경: 대기하는 에이전트가 비용 문제로

에이전트는 모델·도구·사람의 응답을 기다리는 데 많은 시간을 쓰지만, 기존 런타임은 그동안에도 프로세스를 살려 둔다. 구글은 하루 앞선 10월 22일 대기 에이전트를 하드웨어 격리 마이크로VM 안에서 체크포인트하는 '에이전트 컴퓨트 엔진'을 발표했다. 인피니티는 이를 소프트웨어로 푼다.

전망: 남은 연구 과제 네 가지

AWS는 과제 네 가지를 꼽았다. 모델이 주로 동기식 도구 호출 기록으로 학습돼 뒤섞여 들어오는 이벤트를 어떻게 다룰지 불분명하다. 스케줄링은 아직 메시지 도착 순서를 따르고, 큰 에이전트 트리의 압축과 인터넷에 노출된 에이전트의 이벤트 출처 확인도 풀어야 한다. GitHub 저장소에는 확인 시점에 정식 릴리스가 없었다.

자주 묻는 질문

인피니티는 AWS의 정식 제품인가?

아니다. AWS는 UC버클리와 함께하는 하이드로 산하 연구 프로젝트라고 설명한다. 아파치 2.0 라이선스로 무료지만 서비스 수준 보장은 없다.

실제로 라즈베리파이에서 에이전트 7만5천 개를 돌렸나?

블로그 글에 따르면 그렇지 않다. 벤치마크는 AMD EPYC 서버의 스레드 하나와 모의 모델로 진행됐다. 7만5천 개는 8GB를 대기 에이전트당 약 100KB로 나눈 값이다.

참고 자료

• Introducing Infinity: a runtime for extreme agent concurrency — AWS 오픈소스 블로그(2026년 10월 23일)
• hydro-project/infinity — GitHub
• Infinity — 하이드로 프로젝트 문서