🇺🇸 English 🇰🇷 한국어 🇯🇵 日本語
홈 › 개발자 도구
개발자 도구

허깅페이스, 추론 라우팅 오픈라우터에 넘겼다

허깅페이스가 11월 16일 인퍼런스 프로바이더스의 요청 라우터를 자체 시스템에서 오픈라우터로 바꿨다. 호출마다 실시간 가격·속도·안정성으로 제공사를 고르고 실패하면 재시도한다. 요금은 그대로지만 언어 모델용 개인 API 키는 쓸 수 없다.

허깅페이스(Hugging Face)가 11월 16일(현지시간) 추론 서비스 '인퍼런스 프로바이더스(Inference Providers)'의 요청 라우터를 자체 시스템에서 오픈라우터(OpenRouter)로 바꿨다. 이제 허깅페이스에서 언어 모델을 호출하면 모든 요청이 오픈라우터를 거쳐 처리된다. 기존 코드와 허깅페이스 토큰은 그대로 쓸 수 있지만, 언어 모델 제공사에 자기 API 키를 연결해 쓰던 방식은 더 이상 지원되지 않는다.

데이터센터 랙의 네트워크 장비에 기술자가 광케이블을 꽂고 있다
미국 테네시주 라파예트의 한 데이터센터에서 기술자가 광 점퍼 케이블을 설치하고 있다(2018년, 자료사진). 사진: USDAgov / 위키미디어 공용(퍼블릭 도메인)

핵심 정리

  • 허깅페이스 인퍼런스 프로바이더스의 채팅 모델 요청은 오픈라우터가 실시간 가격·속도·안정성을 따져 제공사를 고르고, 실패하면 다른 제공사로 다시 보낸다.
  • 요금은 그대로이고 허깅페이스가 붙이는 수수료도 없지만, 언어 모델용 개인 API 키는 쓸 수 없게 됐다.
  • 오픈라우터는 출시 시점 기준 38개 개발사의 모델 160개를 이 방식으로 쓸 수 있다고 밝혔다.

허깅페이스 오픈라우터 라우팅, 어떻게 달라졌나

허깅페이스는 공식 블로그에서 언어 모델 요청이 오픈라우터를 거치며, 오픈라우터가 호출마다 실시간 가격·속도·안정성을 기준으로 최적의 제공사를 고르고 첫 제공사가 실패하면 다른 곳에서 재시도한다고 설명했다. 이전에는 제공사 한 곳을 골라 그곳에서 오류가 나면 오류를 그대로 돌려줬다.

개발자가 직접 기준을 정할 수도 있다. 모델 ID 뒤에 ':fastest'를 붙이면 처리량이 가장 높은 곳, ':cheapest'를 붙이면 가장 싼 곳, 제공사 이름을 붙이면 그 제공사로만 보낸다. 대화는 프롬프트 캐시를 가진 제공사에 계속 머문다. 오픈AI의 Chat Completions·Responses API와 앤트로픽의 Messages API 형식을 모두 지원한다.

이미지·영상·음성 생성은 기존처럼 허깅페이스가 직접 처리한다.

요금과 API 키는 어떻게 되나

이용자는 제공사 가격을 허깅페이스 청구서로 내며, 추가 수수료는 없다. PRO 이용자는 매달 2달러, 팀·엔터프라이즈 조직은 좌석당 2달러의 크레딧을 받는다.

언어 모델 호출이 허깅페이스 계정으로 청구되기 때문에 제공사별 개인 API 키는 쓸 수 없다. 대신 설정에서 원하지 않는 제공사를 끌 수 있다.

오픈라우터 라우팅 성능 수치

오픈라우터는 월 800조 개 이상의 토큰을 1,000만 명 이상의 이용자에게 제공하며, 80곳 이상의 제공사가 600개 이상의 모델을 서비스한다고 밝혔다. 10월 28일에는 가격 위주였던 라우팅을 실효 가격·처리량·지연·오류율·출력 품질을 함께 따지는 방식으로 바꿨다고 발표했다.

오픈라우터가 2,400만 건 이상의 요청으로 일주일간 비교 실험한 결과, 용량 오류를 겪은 요청 비율은 46% 줄고 첫 토큰까지 걸리는 시간(중앙값)은 16.9% 짧아졌으며 처리량(중앙값)은 16.3% 늘었다. 요청당 비용은 6.0% 올랐다. 이는 오픈라우터 자체 측정치로, 외부 검증은 거치지 않았다.

배경: 오픈웨이트 모델이 트래픽 대부분 차지

오픈라우터가 10월 31일 공개한 자료에 따르면 상위 50개 모델 토큰 가운데 오픈웨이트 모델 비중은 2025년 10월 6일 주 26.8%에서 2026년 9월 28일 주 71.7%로 올랐다. 정점은 7월의 77.5%였다. 같은 기간 마지막 4주의 토큰 가중 평균 입력 가격은 오픈웨이트 모델이 100만 토큰당 0.28달러, 폐쇄형 모델이 1.27달러였다.

전망

허깅페이스는 이번 전환을 협력의 '첫 단계'라고 밝혔다. 다음 단계로 오픈라우터 계정을 허깅페이스에 연결하는 기능과 더 많은 작업 유형의 오픈라우터 경유를 예고했지만, 시점은 공개하지 않았다.

자주 묻는 질문

코드를 바꿔야 하나?
아니다. 기존 코드와 토큰은 그대로 동작한다. 언어 모델에 개인 제공사 키를 쓰던 개발자만 설정을 바꿔야 한다.

비용이 오르나?
정가는 그대로다. 다만 오픈라우터 실험에서는 요청당 비용이 6.0% 올랐다. 가장 싼 곳을 원하면 ':cheapest'를 붙이면 된다.

참고 자료

#허깅페이스 #오픈라우터 #인퍼런스 프로바이더스 #오픈웨이트 모델 #LLM 라우팅 #AI 추론
정
정승
AI Newsway · 개발자

AI Newsway의 편집 책임자이자 개발자입니다. 인공지능·개발 도구·클라우드·생산성 기술 기사를 씁니다.

기자의 다른 기사 ›
저작권자 © AI Newsway 무단전재 및 재배포, AI학습 및 활용 금지
공유
f X K

댓글 0

현재 댓글 작성이 비활성화되어 있습니다.

첫 댓글을 남겨보세요.