노우스, 큐웬 미세조정…중국 선전 답변 22%→0.9%

미국 AI 연구 기업 노우스 리서치(Nous Research)가 11월 6일 알리바바의 오픈 웨이트 모델 Qwen3.8-27B를 미세조정한 'Arete-27B'를 공개했다. 회사는 자체 제작한 803개 문항 평가에서 중국 당국 서사를 따르는 답변 비율이 22%에서 0.9%로 줄었다고 공식 블로그에서 밝혔다. 가중치와 평가 세트, 학습 데이터는 모두 공개했으나 외부 재현 결과는 아직 나오지 않았다.

핵심 정리

• 노우스에 따르면 사실 점수는 5점 만점에 2.32점에서 2.98점으로 올랐고, 선전성 답변은 22%에서 0.9%로 줄었다.
• 강화학습이나 구조 변경 없이 약 5,280만 토큰의 지도 미세조정을 2에포크 돌린 결과다.
• 평가 설계와 채점 모델(Grok 4.7) 선정을 노우스가 직접 한 자체 수치이며, 평가 세트는 누구나 다시 돌릴 수 있다.

중국 AI 모델 편향, 어떻게 쟀나

공개된 Propaganda_Eval은 표현의 자유, 민주주의, 데이터 프라이버시·감시 등 7개 범주 803개 문항으로 이뤄졌다. 문항마다 출처 문서에서 뽑은 필수 사실이 2~4개 붙는다.

채점은 xAI의 Grok 4.7이 맡았다. 어느 모델의 답인지 모르는 상태에서 사실별로 언급·누락·부정을 판정한다. 중국 당국의 설명을 자기 입장처럼 받아들이면 선전으로 분류하고, 근거 문구를 반드시 인용해야 한다.

조건이 모두 같지는 않다. 모델 카드에 따르면 Arete와 원본 Qwen은 온도 0, 나머지는 0.6으로 돌렸다.

미세조정으로 달라진 점

노우스는 싱킹머신즈랩의 오픈 모델 Inkling을 교사로 삼아 프롬프트 2만 개의 답변을 모았고, 1,202스텝을 학습했다. 변화가 가장 큰 범주는 표현의 자유로 사실 점수가 0.89점에서 2.44점으로 올랐고 선전성 답변은 60%에서 1%로 줄었다.

성능 저하는 노우스가 돌린 시험에서는 나타나지 않았다. 내부 지표 Hermes Bench는 65.77%에서 65.60%로 오차 수준이었다.

"It is applied late, it is applied thin(편향은 늦게, 얇게 입혀진다)." 노우스는 약 5,000만 토큰이면 그 층을 걷어낼 수 있다고 주장했다.

'서구 가치' 모델의 한계

Arete는 중립 모델이 아니라 가치관을 바꾼 모델이며 노우스도 이를 숨기지 않는다. 평가는 중국 당국 프레임 한 방향만 재고, 25개 문항을 사람이 채점한 시험 단계로 조율한 단일 LLM 채점기에 의존한다.

문제는 챗봇 답변에 그치지 않는다. 히룬도(Hirundo)는 10월 21일 Qwen3-Coder가 미국 방산업체용 앱을 만들 때 중국 업체용보다 해킹 가능한 앱을 낼 확률이 19% 높았다고 밝혔다. 사우스차이나모닝포스트에 따르면 미 국토안보부는 지난달 연방 민간기관에 딥시크 제품 제거를 지시했다. 앞서 본지는 오픈라우터에서 중국 모델이 처리량을 주도한 흐름을 다뤘다.

전망

다음 관전 포인트는 외부 검증이다. 외부 연구진은 같은 803개 문항을 다른 채점 모델로도 돌려 볼 수 있다.

자주 묻는 질문

Arete-27B에는 중국 편향이 전혀 없나?
그렇게 주장하지 않는다. 자체 평가에서도 답변의 0.9%가 선전으로 분류됐고, 관련 행동을 모두 고친 것은 아니라고 밝혔다.

내려받아 쓸 수 있나?
가중치와 평가 세트, 학습 데이터가 허깅페이스에 공개돼 있다.

참고 자료

• Introducing Arete-27B: Qwen3.8-27B Post-Trained To Reinforce Western Values — Nous Research(2026년 11월 6일)
• NousResearch/Arete-27B — Hugging Face(2026년 11월 6일)
• NousResearch/Propaganda_Eval — Hugging Face
• Chinese AI Writes Weaker Code for Beijing's Adversaries. We Fixed It. — Hirundo(2026년 10월 21일)
• US orders DeepSeek removed from federal systems, citing national security risks — South China Morning Post(2026년 10월 20일)