웹에서 자동화 트래픽이 인간 트래픽을 넘어선 시점은 2026년 5월이었다. Cloudflare가 창사 16주년 기념 주간을 열며 9월 27일 공개한 2026년 창업자 연례 서신에 담긴 내용이다. 회사가 이전에 내놨던 전망은 2027년 하반기였다. 에이전트와 AI 크롤러가 그 시점을 1년 넘게 앞당겼고, Cloudflare는 5년 안에 자동화 트래픽이 인간 트래픽의 약 1,000배에 이를 것으로 본다. 현재 추세가 이어진다면 이마저 보수적인 수치라는 설명이다.
핵심 요약
- Cloudflare는 자동화 트래픽과 인간 트래픽의 교차 시점을 2026년 5월로 제시했다. 자사 전망치인 2027년 하반기보다 이르고, 5년 뒤에는 1,000배 격차를 예상한다.
- 규칙을 지키는 봇이 가져가는 콘텐츠의 절반 이상은 직전 방문 때와 달라지지 않은 내용이다. 크롤링 부하의 상당 부분이 순수한 낭비라는 뜻이다.
- 회사는 에이전트 트래픽을 공유지의 비극으로 규정한다. 식당 한 곳을 추천하려고 메뉴 1,000개를 읽으면 나머지 999곳은 서빙 비용만 떠안고 아무것도 얻지 못한다.
교차 시점이 앞당겨진 이유
사람들이 웹을 덜 쓰게 됐다는 이야기가 아니다. Cloudflare는 인간 트래픽이 줄어서 생긴 교차가 아니라고 못 박았다. 곡선이 움직인 쪽은 에이전트 트래픽이며, 회사 모델이 잡아낸 속도보다 훨씬 빠르게 팽창하고 있다. 항공권이나 더 싼 요금제를 찾으라는 지시를 받은 AI 에이전트는 사람이 오후 내내 볼 분량을 1분 만에 읽는다. 요청마다 매번 그렇게 한다.
CDN이 전제해온 부하 곡선과는 성격이 다르다. 사람의 세션은 주의력이 한계를 정한다. 에이전트의 세션은 과제만이 한계를 정하고, 그 과제는 설계상 남김없이 훑는 쪽이 많다.
식당 999곳 문제
Cloudflare가 내세우는 핵심 논지는 기술보다 경제 쪽이다. 에이전트가 점심 한 곳을 추천하려고 주변 메뉴 1,000개를 조사했다면, 식당 하나만 손님을 얻고 나머지 999곳은 애초에 구매할 생각이 없던 방문자를 응대한 비용을 부담한 셈이다.
그 수고로 이득을 보는 쪽과 값을 치르는 쪽이 다르다. 순환 구조 어디에도 절제를 유도할 장치가 없다. 공유지의 비극이 성립하는 전형적인 조건이다. 서신은 2차적 위험도 짚는다. 에이전트는 정보를 가장 많이 확보한 대상을 선호하고, 그런 대상은 대개 가장 오래 버틴 쪽이다. 결국 에이전트를 거치는 상거래가 신규 진입 장벽을 조용히 높이고 시장을 집중 쪽으로 밀어붙일 수 있다.
낭비되는 요청은 그나마 손볼 수 있는 쪽
서신의 숫자 하나는 유별나게 고치기 쉬운 문제를 가리킨다. Cloudflare 데이터에 따르면 정상적인 봇이 가져가는 콘텐츠의 절반 이상은 직전 방문 이후 바뀌지 않았다. 크롤러가 검색엔진 시절 방식을 그대로 크롤링하기 때문이다. 바뀌었든 아니든 전부, 반복해서 긁는다.
회사는 크롤러가 웹을 더 넓게 보면서도 새로 생긴 것만 가져가도록 만드는 작업을 진행해왔다고 밝혔다. 커버리지를 깎지 않고 부하를 줄이는 방식이다. 별도로 콘텐츠나 애플리케이션을 공개하는 누구든 에이전트가 그 결과물을 쓸 때 대가를 받을 경로도 준비한다. 이달 초 Apple과 Google, Microsoft가 서명한 크롤러 신고 체계를 잇는 흐름이다. 기념 주간 동안 추가 파트너십도 예고했다.
웹은 다시 커지고 있다
널리 퍼진 비관론과 어긋나는 조용한 발견도 있다. 일부 지표로 보면 웹은 2012년부터 2025년까지 정체하거나 줄었고, 2025년 중반부터는 새 사이트가 폭발적으로 늘었다. Cloudflare는 AI가 찍어낸 저품질 콘텐츠도 일부 있지만 대부분은 아니라고 본다. 더 큰 동력은 코딩 경력이 없어도 아이디어를 가진 사람들이 바이브 코딩 도구로 실제 제품을 내놓는 흐름이다. 회사는 자사 개발자 플랫폼 이용자를 700만 명 이상으로 집계한다.
앞으로 볼 것
이 서신은 측정 보고이면서 입장문이고, 그 입장에는 이해관계가 걸려 있다. Cloudflare는 자사 네트워크에서 이 트래픽을 측정하고, 그것을 과금할 제품을 판다. 수치는 모두 자체 집계이며 외부 감사를 받지 않았다. 그래도 1,000배 전망은 구체적인 시험대를 세운다. 자동화 트래픽이 그 근처까지 불어나는데 요청당 보상이 계속 이론에 머문다면, 크롤링당하는 비용은 작은 사이트라면 누구나 계산해야 할 항목이 된다.
FAQ — 자주 묻는 질문
자동화 트래픽이 인간 트래픽을 넘었다는 건 웹이 이제 봇 위주라는 뜻인가
Cloudflare가 자사 네트워크를 측정한 기준으로는 인간 요청보다 자동화 요청이 더 많이 지나가고 있고, 그 역전은 2026년 5월에 일어났다. 요청 건수에 관한 이야기지 사람들이 웹을 떠났다는 뜻은 아니다. Cloudflare는 이 역전을 인간 트래픽 감소가 아니라 에이전트 트래픽의 폭증으로 설명한다.
크롤링 비용 불균형을 어떻게 풀겠다는 것인가
두 가지다. 봇이 직전 방문 이후 바뀐 콘텐츠만 받아가는 조건부 크롤링, 그리고 에이전트가 사이트의 게시물을 쓸 때 소유자가 대가를 받는 구조다. 둘 다 에이전트를 응대하는 비용을 없애주지는 않는다. 낭비를 줄이고 보상 경로를 여는 수준이다.
이 수치를 Cloudflare 밖에서 검증했나
아니다. 교차 시점, 5년 뒤 1,000배 전망, 바뀌지 않은 봇 요청 비율은 모두 창업자 서신에 제시된 Cloudflare 자체 네트워크 텔레메트리에서 나왔다. 업체가 스스로 밝힌 수치로 읽어야 한다.
