딥마인드 AI 에이전트, 구형 RSA-1024 약점 2건 찾았다

구글 딥마인드는 6일(현지시간) 사람이 감독하는 AI 에이전트로 구형 1024비트 RSA 암호에서 새로운 약점 2건을 찾아냈다고 밝혔다. 서명 위조와 키 일괄 인수분해에 드는 연산량을 줄이는 방법이다. 푸시미트 콜리 딥마인드 부사장이 X(옛 트위터) 게시물로 발표했으며, 2048비트 이상 키를 쓰는 현행 암호는 안전하다고 강조했다.

핵심 정리

• 공격자가 서명 블록의 절반가량 이상을 통제하면 패딩은 RSA-1024 서명 위조를 전혀 막지 못한다.
• 32바이트 지문처럼 통제 범위가 작아도 새 위조 알고리즘이 기존 최선책보다 약 1,600배 낫다. 이는 이론 추정치이고, 실측 결과는 CPU 시간 3.5배 절감이다.
• 여러 키를 한꺼번에 푸는 새 배치 인수분해 알고리즘은 키 1개를 추가할 때 드는 평균 비용을 약 30배 낮췄다.

RSA 전자서명 '패딩'의 한계

상당수 서명 표준은 서명 전에 메시지에 '패딩'이라는 정해진 데이터를 붙여 고정 크기 블록을 만든다. 콜리는 패딩이 위조를 막는다는 점은 알려졌지만, 공격자가 서명 장치에 원하는 입력을 넣을 때 얼마나 보호하는지는 몰랐다고 설명했다.

에이전트가 찾은 답은 공격자가 서명 블록을 얼마나 통제하느냐였다. 절반가량 이상을 통제하면 "패딩은 아무런 보호도 더하지 못한다"는 것이다. 실제 시스템과 분리된 샌드박스에서 에이전트의 구현은 앞선 학술 연구에서 이미 풀린 1024비트 벤치마크 키로 위조를 재현했다. CPU 시간은 3.5배 적게 들었고, 키 자체를 깨는 데 필요한 연산의 1,000분의 1도 쓰지 않았다.

공격자가 통제하는 부분이 32바이트 지문처럼 작으면 위조가 더 어렵다. 그래도 딥마인드는 에이전트가 1024비트 키 기준 기존 최선책보다 약 1,600배 나은 알고리즘을 찾았다고 밝혔다. 다만 이는 실측이 아닌 이론 추정치다.

RSA 키 일괄 인수분해 비용 30배 절감

RSA 키는 1024비트나 2048비트처럼 길이가 표준화돼 있어, 공격자는 한 번의 대규모 사전 연산을 여러 키에 나눠 쓸 수 있다. 딥마인드는 에이전트가 기존 배치 방식보다 점근적 복잡도가 나은 알고리즘을 찾아 1024비트 키 1개를 추가로 인수분해하는 평균 비용을 약 30배 줄였다고 밝혔다.

연구는 딥마인드의 DJ 드비조탐과 아브라딥 타쿠르타가 이끌었고, UC샌디에이고·인리아(Inria)의 네이디아 헤닝거, 인리아의 에마뉘엘 토메가 참여했다. 딥마인드는 기술 논문 2편을 공개했지만 코드 공개는 언급하지 않았고, 제3자 재현 결과도 아직 없다.

맥락: 이미 퇴역한 RSA-1024, 다시 흔들리다

RSA-1024는 오래전 퇴역한 규격이라 안전한 시험장으로 쓰인다. 헤닝거와 토메는 앞서 9월 UC샌디에이고 연구진과 함께 국제암호학회(IACR) 프리프린트 저장소에 올린 논문에서 하드웨어 보안 모듈을 서명 오라클로 삼아 1024비트 RSA 서명을 위조했다. 이 공격에는 5개월간 1,380 CPU 코어·년과 약 43억 회(2의 32제곱) 질의가 들었고, 연구진은 이런 조건에서 RSA의 실제 보안 강도가 인수분해 기준 추정보다 15~30비트 낮다고 결론 냈다.

콜리는 "역사적으로 이런 분야의 큰 진전은 수년에서 수십 년이 걸렸다"며 AI가 이제 그 가정을 훨씬 빠르게 검증한다고 했다. 그는 "암호학적 난이도를 고정된 가정으로 취급할 수 없다"고 덧붙였다.

전망

실제 위험은 아직 1024비트 키를 쓰는 오래된 기기와 펌웨어에 있다. 딥마인드는 그런 시스템이 얼마나 남았는지는 제시하지 않았다. 이번 결과는 미국 국립표준기술연구소(NIST)가 10월 27일 확정한 양자내성암호 전환 로드맵 'IR 8547'에도 힘을 싣는다. 외부 암호학자들이 1,600배·30배 추정치를 확인할지가 다음 관전 포인트다.

자주 묻는 질문

2048비트 RSA 키도 위험한가?

딥마인드는 아니라고 밝혔다. 이번 결과는 퇴역한 1024비트 RSA에만 해당하며, 2048비트 이상 키를 쓰는 현행 프로토콜은 안전하다.

보안 담당자는 무엇을 해야 하나?

서명 장치와 오래된 펌웨어를 중심으로 남아 있는 1024비트 RSA 키를 찾아 교체하고, 양자내성암호 전환 계획을 계속 진행하는 것이 좋다.

참고 자료

• Advancing the frontier of cryptanalysis — Pushmeet Kohli, Google DeepMind, X(2026년 11월 6일)
• Forging 1024-bit RSA signatures in nearly SNFS time — IACR Cryptology ePrint Archive(2026년 9월)
• NIST IR 8547, Transition to Post-Quantum Cryptography Standards — NIST(2026년 10월 27일)
• Google DeepMind finds 1,600x faster way to expose encryption flaws — Interesting Engineering(2026년 11월 6일)