Allen Institute for AI가 AstaBrief-8B를 오픈소스로 공개했다. 연구 질문과 검색된 문헌 발췌문을 입력받아 인용까지 붙은 리포트를 한 번에 써내는 모델이다. 이 모델은 이미 연구용 에이전트 플랫폼 Asta의 신규 Fast 모드를 구동하고 있다. Ai2는 더 무거운 작업용으로 Claude 기반 Thinking 모드를 함께 유지한다.
핵심 요약
- AstaBrief-8B는 Apache 2.0 라이선스로 공개되며 Qwen3-8B를 기반으로 한다. 지도 파인튜닝과 선호 학습에 쓴 데이터셋도 가중치와 함께 공개했다.
- Asta 파이프라인 전체를 측정하면 Fast 모드는 리포트 1건당 평균 51.1초가 걸린다. Claude 기반 Thinking 모드의 178.5초보다 약 3.5배 빠르다.
- SQABench-CS2 테스트 분할에서 Asta ScholarQA와 맞붙은 리포트 비교 판정 가운데 72%를 이겼지만, DeepScholarBench에서는 53.50점으로 ScholarQA의 60.25점에 미치지 못했다.
단일 패스 파이프라인이 리포트 시간을 줄인 방식
Ai2의 기존 리포트 생성기 ScholarQA는 단계를 나눠 작동한다. 문헌을 검색하고, 검색된 조각을 요약·군집화한 뒤, 자료를 섹션으로 구성하고, 섹션 단위로 리포트를 쓴다. AstaBrief는 요약과 군집화 단계를 아예 건너뛰고 질문과 원본 발췌문만으로 문서 전체를 한 번에 써낸다.
Ai2는 이 단축의 대가를 품질로 치를 것이라 예상했지만 그렇지 않았다고 밝혔다. 가장 두드러진 성과는 속도다. 처음부터 끝까지 측정했을 때 Fast 모드는 평균 51.1초에 리포트를 돌려준다. Thinking 모드는 178.5초가 걸린다.
Ai2가 강화학습을 쓰지 않은 이유
이번 레시피는 강화학습을 의도적으로 배제했다. 연구소는 앞서 DR Tulu로 강화학습이 오픈웨이트 모델의 장문 리포트 생성을 개선할 수 있음을 보였다. 그러나 이번에는 지도 파인튜닝 후 직접 선호 최적화(DPO)를 적용하는 쪽을 택했다. 강화학습 실행은 불안정하고 비용이 크며 디버깅이 더 어렵다는 이유다.
그 결과 프로젝트의 무게가 데이터 큐레이션으로 옮겨갔다. 실제 Asta 질문을 길이·언어·과학적 관련성·개인정보 포함 여부로 걸러 연구 질문 9만 건을 남겼다. 리포트 정답은 ScholarQA 파이프라인에 Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, GPT-4.1을 섞어 생성했고, 여기서 쓸 만한 파인튜닝 예제 4만 7천 건을 얻었다. 선호 학습 단계에서는 GPT-4.1과 DeepSeek-R1이 경쟁 리포트를 판정했고, 두 판정자의 의견이 일치한 쌍만 남겨 약 6천 건을 확보했다. Ai2는 두 판정자와 사람의 선호가 95% 일치했다고 보고했다.
합성 학습 리포트에 적용해본 네 가지 통계 필터 가운데 성과가 가장 뚜렷했던 것은 인용 밀도, 즉 최소 한 개 이상의 인용을 달고 있는 문장의 비율이었다. 더 공격적인 필터링이나 필터 조합은 의미 있는 개선을 더하지 못했다.
이기는 영역과 그렇지 못한 영역
SQABench-CS2 테스트셋에서 모델 카드는 AstaBrief-8B의 평균을 87점으로 적는다. 파인튜닝만 거친 체크포인트는 83.7점, 기반 모델 Qwen3-8B는 77.3점이다. 가장 크게 움직인 지표는 인용 재현율로, 기반 모델의 64.6에서 78.2로 올랐다.
더 강한 시스템과 비교하면 양상이 엇갈린다. AstaBrief는 Asta ScholarQA와의 판정 비교에서 dev 분할 55%, 테스트 분할 72%를 이겼다. DR-Tulu-8B의 36%·54%를 앞서는 수치다. 반면 DeepScholarBench에서는 53.50점으로 DR-Tulu-8B의 56.26점, ScholarQA의 60.25점에 모두 뒤졌다. 별도로 진행한 14개 질문 사람 평가에서는 연구자 3명이 전반적 선호도에서 DR Tulu를 1위로 꼽았고, 이 중 2명은 인용 정확도에서 AstaBrief를 1위로 꼽았다.
Ai2는 흔치 않은 단서를 붙였다. 학습과 평가가 대부분 2025년에 끝났고, 현행 프런티어 모델과의 비교는 다시 돌리지 않았다는 설명이다. 따라서 이 수치는 이 기반 모델의 현재 위치가 아니라 학습 방식과 시스템 설계에 관한 근거로 읽는 것이 맞다고 Ai2는 밝혔다.
오픈웨이트가 연구 기관에 바꾸는 것
이 용도에서는 라이선스가 중요하다. 연구 질문 자체가 미공개 연구나 민감한 작업을 드러내는 경우가 많다. 오픈웨이트라면 기관이 질문을 외부 상용 API로 보내는 대신 자체 하드웨어에서 리포트 생성을 돌릴 수 있다. Ai2는 사용자가 보유한 PDF로 리포트를 만드는 예시 워크플로도 함께 제공한다.
Asta 내부의 초기 사용은 규모는 작지만 이탈이 적다. Fast 모드를 써본 사용자 374명 가운데 29.1%가 이틀 이상 사용했고, 평균 3.67개의 리포트 스레드를 생성했다. 23%는 Thinking 모드로 되돌아가지 않았고, 다른 18%는 두 모드를 번갈아 쓰며 전체 스레드의 약 40%를 Fast 모드로 처리했다. 긍정 피드백 비율은 84.2%로, Thinking 모드의 85.2%에 근접했다.
전망
Ai2는 다음 과제로 더 세분화된 선호 학습, 검색 증강 생성과 강화학습의 결합 강화, 멀티턴·멀티툴 지원, 질문 분해를 꼽았다. 평가 방식도 바꾸려 한다. 주장에 인용이 붙었는지 확인하는 수준을 넘어, 모델이 출처의 증거 범위를 보존하는지, 표본에 한정된 발견을 슬그머니 광범위한 일반화로 바꿔놓지는 않는지를 묻는 평가가 필요하다는 것이다. 이번 작업은 Intern-S2-Preview와 같은 연구 전용 모델 흐름에 놓인다. Ai2는 이번에 얻은 데이터와 출처 귀속 교훈을 향후 Olmo 버전에 반영한다고 밝혔다.
FAQ 자주 묻는 질문
AstaBrief-8B는 오픈소스인가
가중치는 Apache 2.0으로 공개되며 Qwen3-8B를 기반으로 한다. Ai2는 학습에 쓴 파인튜닝·선호 데이터셋도 함께 공개했다. 다만 모델 용도는 책임 있는 사용 지침에 따라 연구와 교육 목적으로 한정한다고 밝혔다.
Claude 기반 파이프라인을 앞서는가
전면적으로는 아니다. SQABench-CS2 분할에서는 Asta ScholarQA와의 직접 비교 판정 대부분을 이겼지만, DeepScholarBench 점수는 더 낮았고 Ai2의 소규모 사람 평가에서는 전반적 선호도에서 밀렸다. Ai2의 주장은 품질을 비슷하게 유지하면서 속도를 여러 배 끌어올렸다는 쪽이다.
무엇으로 학습했는가
Qwen3-8B에서 출발해, ScholarQA 파이프라인으로 상용 모델이 생성한 리포트 4만 7천 건에 지도 파인튜닝을 적용했다. 이어 판정을 거친 리포트 쌍 약 6천 건으로 직접 선호 최적화를 돌렸다. 선호 학습 단계는 Ai2의 open-instruct 프레임워크에서 H100 GPU 8장으로 실행했다.
