오픈소스 LLM

오픈소스 LLM은 학습된 가중치가 공개돼 누구나 내려받아 실행하고 뜯어보고 고칠 수 있는 대규모 언어 모델이다. 호스팅된 API만 호출하는 방식과 달리 가중치를 손에 쥘 수 있어 자체 서버나 노트북에서 돌릴 수 있다. 그래서 민감한 데이터를 외부로 내보내지 않아도 되고, 토큰당 과금에서 벗어나며, 파인튜닝이나 어댑터로 용도에 맞게 바꿀 수 있다. Meta의 Llama 계열, Mistral, 알리바바의 Qwen, Google의 Gemma, DeepSeek의 공개 모델이 생태계의 축을 이루고 Hugging Face가 배포 허브 역할을 한다. Ollama와 llama.cpp, vLLM 같은 런타임이 로컬 실행과 자체 서빙을 쉽게 만들었고, 양자화 버전은 일반 소비자용 하드웨어에서도 돌아갈 만큼 크기를 줄인다. 다만 이름은 부정확한 편이다. 대부분 가중치만 공개하고 학습 데이터와 전체 학습 코드는 공개하지 않으며, 상업적 사용이나 규모를 제한하는 라이선스도 있다. 그래서 오픈 웨이트라는 표현이 더 정확하고, 제품에 넣기 전 라이선스를 반드시 확인해야 한다.

An open source LLM is a large language model whose trained weights are published, letting anyone download, run, inspect, and modify it rather than only calling a hosted API. Access to the weights means the model can run on a private server or a laptop, which keeps sensitive data in house, removes per-token pricing, and allows customization through fine-tuning or adapters. Meta's Llama family, Mistral's models, Alibaba's Qwen, Google's Gemma, and DeepSeek's releases anchor the ecosystem, and Hugging Face serves as the main distribution hub. Runtimes such as Ollama, llama.cpp, and vLLM make local and self-hosted serving straightforward, and quantized versions shrink models enough to run on consumer hardware. The label is often imprecise. Most of these releases publish weights but not the training data or full training code, and several carry licenses that restrict commercial use or scale, so open weight is the more accurate term for many of them and the license deserves a careful read before shipping. Self-hosting also shifts work rather than removing it, since capacity planning, GPU cost, safety filtering, and version upgrades become the operator's responsibility instead of the provider's.