AI 보안 패치 130건 재검증…21건이 기존 기능 깨뜨렸다

미국 보안 기업 Trail of Bits가 10월 21일(현지시간) 공식 블로그에서 자사 엔지니어가 AI 에이전트와 함께 만든 오픈소스 보안 패치를 다시 검사한 결과를 공개했다. 메인테이너가 병합한 130건 넘는 PR에서 기존 기능을 망가뜨린 회귀 21건을 찾아냈고, 이를 잡아내는 데 쓴 에이전트 플러그인 regression-hunt와 patching-bugs를 GitHub에 함께 내놨다.

핵심 정리

• Trail of Bits는 병합된 130건 넘는 보안 패치 PR에서 회귀 21건(기능 16·성능 1·빌드/테스트 4)을 확인했다.
• 회귀 탐지 플러그인 regression-hunt는 기본 Codex 리뷰 프롬프트보다 오탐을 25% 적게 냈다(95% 신뢰구간 14~38%).
• 두 플러그인은 trailofbits/skills 저장소에 공개됐고, 모든 주장에 실행 가능한 PoC를 요구한다.

AI 보안 패치에서 회귀는 얼마나 나왔나

Trail of Bits 블로그 글에 따르면 회귀는 130건 넘는 병합 PR 가운데 21건이다. 유형별로는 기능 회귀 16건, 성능 회귀 1건, 빌드·테스트 회귀 4건이었다. 회사는 21건 중 보안 보호 장치를 무너뜨린 사례는 없었다고 밝혔다. 검토 대상은 Trail of Bits 엔지니어가 작성해 각 프로젝트 메인테이너가 업스트림에 병합한 패치 전체다.

Trail of Bits가 정의한 회귀는 실제 사용자나 공격자가 닿을 수 있는 경로에서, 이전까지 올바르게 동작하고 지원되던 기능을 새로 깨뜨린 결함이다. 한 번의 실행에서 에이전트가 올린 후보는 58건이었고, 이 중 21건이 확정돼 정밀도는 약 36%였다.

regression-hunt는 어떻게 회귀를 찾나

regression-hunt는 코드 변경(diff)을 실제 인터페이스까지 따라가 후보를 뽑고, 패치 전후 상태를 각각 띄워 개념증명(PoC)을 실행하는 방식으로 회귀를 확인한다. 이어 맥락을 새로 받은 별도 에이전트가 같은 PoC를 다시 돌려 재현성을 검증하고, 마지막 판정 단계가 회귀 정의에 맞는지 가린다.

trailofbits/skills 저장소에 함께 공개된 patching-bugs는 버그 재현부터 수정, 테스트까지 맡는다. 원래 코드는 실패하고 패치한 코드는 통과하며 패치를 되돌리면 다시 실패해야 한다는 '3단 증명'을 요구한다. 모든 패치에는 regression-hunt 실행이 의무로 붙는다. 회사는 PoC를 만들지 못한 단계의 결과는 '판단 불가'로 처리한다는 원칙을 세웠다.

성능 비교에서 regression-hunt는 "PR의 회귀를 검토하라"는 지시만 받은 기본 Codex 에이전트보다 오탐을 25% 적게 냈다. 95% 신뢰구간은 14~38%다. 다만 증거 기준이 엄격한 탓에 이미 알려진 회귀 일부가 '경계 사례'로 분류되는 한계도 있었다고 Trail of Bits는 설명했다.

Patch the Planet과 오픈소스 메인테이너에게 달라지는 점

이번 검증은 OpenAI가 6월 22일 발표한 오픈소스 보안 지원 프로그램 Patch the Planet의 일부다. OpenAI 발표문에 따르면 Trail of Bits는 초기 단계에 보안 연구 조직을 투입해 cURL, pyca/cryptography, Sigstore, Go 등 19개 프로젝트를 맡았다. AI가 찾은 보고서를 메인테이너에게 그대로 넘기지 않고 사람이 먼저 검증한다는 점이 이 프로그램의 핵심이다.

Trail of Bits는 메인테이너에게 저장소 루트에 THREAT_MODEL.md와 PATCHING_GUIDELINES.md(또는 AGENTS.md)를 두라고 권했다. 보호 자산과 신뢰 경계, 지원 설정, 무엇을 취약점이나 회귀로 볼지, 패치 크기와 테스트 기준을 문서로 정해 두면 AI 에이전트가 그 기준을 따르게 된다는 취지다. 블로그에 따르면 Scapy, GPAC, liboqs, validator.js가 이 안내에 따라 위협 모델을 공개했다.

전망: AI 패치 검증이 표준 절차가 될까

AI가 찾아낸 취약점과 패치가 빠르게 늘면서, 고친 코드가 다른 곳을 망가뜨리지 않았는지 확인하는 일이 새 과제로 떠올랐다. 최근 사이트가 다룬 AI가 찾은 PHP 원격 실행 취약점 긴급 패치 사례처럼 AI 기반 보안 작업의 속도는 이미 사람의 검토 속도를 앞지르고 있다. Trail of Bits는 버그와 변종을 회귀 없이 고쳤는지 측정하는 평가, 에이전트가 각 단계 규칙을 지키는지 분석하는 작업, 메인테이너가 규칙을 조정할 수 있는 설정 기능을 다음 과제로 꼽았다.

자주 묻는 질문

regression-hunt는 어디서 받을 수 있나?

Trail of Bits의 GitHub 저장소 trailofbits/skills의 plugins 폴더에 patching-bugs와 함께 공개돼 있다. 에이전트가 스킬을 단계별로 호출하는 구조이며, 보조 스크립트는 Python 3.13 이상과 uv로 실행한다.

AI가 만든 보안 패치는 믿을 만한가?

Trail of Bits 검토에서 병합된 130건 넘는 패치 중 21건이 기존 기능을 깨뜨렸지만, 보안 보호 장치를 무너뜨린 사례는 없었다. 회사는 패치마다 PoC 기반 회귀 검사와 사람의 검토를 거치는 절차를 권한다.

Patch the Planet은 어떤 프로그램인가?

OpenAI가 6월 22일 발표한 오픈소스 보안 지원 프로그램으로, AI 보안 연구에 전문가 검토를 결합해 취약점을 찾고 고친다. Trail of Bits, HackerOne, Calif가 참여하며 메인테이너가 패치 적용과 공개 방식을 최종 결정한다.