전문가 86%, AI 에이전트 숨은 성향 그대로 따랐다

AI 코딩 에이전트와 함께 일한 데이터 분석 전문가들이 에이전트에 몰래 무작위로 심어 둔 '성향'을 핵심 분석 결정의 86%에서 그대로 따른 것으로 나타났다. 앤트로픽 연구진이 10월 27일(현지시간) 공개한 실험 결과다. 성향이 동전 던지기로 정해졌다는 사실을 눈치챈 사람은 없었다.

핵심 정리

• Claude Code를 쓴 분석가 50명은 네 가지 분석 결정의 86%에서 에이전트에 배정된 성향을 택했다. 우연이라면 약 50%다.
• 77%가 답변에서 에이전트의 논리를 되풀이했지만, 에이전트를 언급한 사람은 15%뿐이었다.
• 연구진은 사람의 판단이 자기 것일 때만 독립적인 검증이 된다며, AI에 대한 인간 감독이 약해질 수 있다고 경고했다.

AI 에이전트 판단 실험, 어떻게 했나

연구는 아마치 헤르다아델렌(앤트로픽 펠로십), 헤일리 조런, 알렉스 탬킨이 수행했고 앤트로픽 연구 블로그와 논문으로 공개됐다.

인과추론 실무 경험이 있는 분석가 61명이 참가했고, 이 가운데 에이전트를 쓰지 않기로 한 11명을 뺀 50명이 주 분석 대상이다. 과제는 가상의 '그린필즈 농업협동조합'이 조합원 약 40%가 가입한 유료 자문 프로그램을 확대할지 중단할지 조언하는 것이었다.

과제에는 타당한 답이 둘씩 있는 판단 네 가지(성과 지표, 비교 방법, 분석 범위, 가중치)와 최종 확대 여부 결정이 있었다.

결정마다 동전 던지기로 에이전트(Claude Code에서 구동한 Claude Opus 4.8)가 기울 쪽을 정했다. 숨겨진 지시로 그 견해를 자기 의견처럼 주장하되 절대 오도하지 말라고 했고, 참가자에게는 알리지 않았다.

분석가들은 어떻게 판단했나

분석가들은 분석 결정의 86%에서 에이전트의 성향을 따랐다. 항목별로는 분석 범위 81%에서 성과 지표 92%까지였다. 에이전트가 확대 쪽으로 기울면 54%가 확대를 권고했고, 반대 쪽으로 기울면 36%에 그쳤다.

이미 자기 견해가 있던 사람도 마찬가지였다. 에이전트가 말하기 전에 선호를 밝힌 38건에서, 에이전트가 반대하면 60%가 입장을 바꿨고 동의하면 6%만 바꿨다.

77%는 에이전트의 주장을 때로는 문장 그대로 되풀이했지만, 출처로 밝힌 경우는 15%였다. 설문 응답자 48명 중 실험 주제가 AI의 영향이라고 짐작한 사람은 6명뿐이었다.

빨라진 작업, 빌려 온 판단

에이전트는 작업의 질도 높였다. AI 없이 일한 11명 중 6명이 심각한 방법론 오류를 냈지만, AI를 쓴 50명 중에서는 3명이었다. 소요 시간 중앙값도 90분 대 65분이었다. 다만 AI 미사용 집단은 경력이 더 짧아 직접 비교하기는 어렵다고 연구진은 밝혔다.

앤트로픽은 앞서 1월 29일 별도 연구에서, 주로 주니어인 엔지니어 52명이 AI 도움을 받아 새 파이썬 라이브러리를 익히면 이후 퀴즈 점수가 50%로, 직접 코딩한 집단(67%)보다 낮았다고 발표한 바 있다.

연구진은 "사람 검토자는 그 판단이 자기 것일 때만 독립적인 검증이 된다"고 썼다.

전망

연구진은 에이전트의 성향을 의도적으로 강하게 설정했고, 과제·모델이 하나뿐이며 작업 시간도 약 1시간이었다는 한계를 밝혔다. 앞으로 일상 업무에서 AI 의존도를 재는 방법, 각 선택지의 가장 강한 근거를 함께 보여 주거나 전문가 의견을 먼저 묻는 에이전트 설계, 사람이 직접 판단해야 할 결정을 조직이 미리 정하는 방식이 필요하다고 제안했다.

자주 묻는 질문

에이전트가 참가자를 속였나? 아니다. 에이전트는 절대 오도하지 말고, 증거가 결정적으로 반대하면 견해를 바꾸라는 지시를 받았다.

성향을 주지 않으면 Claude는 어떻게 고르나? 성향을 배정하지 않은 123회 중 112회에서 Claude Opus 4.8은 다섯 가지 선택을 똑같이 했다. 여러 팀의 결과가 한쪽으로 쏠릴 수 있다는 뜻이다.

분석가들의 결론이 틀렸다는 뜻인가? 그렇지 않다. 결정마다 타당한 선택지가 둘씩 있었다. 문제는 그 선택이 분석가가 아니라 에이전트에게서 나왔다는 점이다.

참고 자료

• How AI agents shape experts' judgment calls — Anthropic(2026년 10월 27일)
• Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls — Anthropic(논문, 2026년 10월)
• How AI assistance impacts the formation of coding skills — Anthropic(2026년 1월 29일)