LLM

LLM은 방대한 텍스트로 학습해 다음 토큰을 예측하도록 훈련된 신경망이다. 목표는 단순하지만 그 결과로 생성, 번역, 요약, 질의응답, 코드 작성까지 해낸다. 현재 모델은 거의 모두 트랜스포머 구조를 쓰며, 어텐션 메커니즘 덕분에 입력에서 멀리 떨어진 부분끼리의 관계도 함께 따진다. 학습은 단계로 나뉜다. 광범위한 텍스트로 사전학습을 한 뒤 지시 튜닝과 RLHF 같은 정렬 과정을 거쳐야 비로소 쓸 만한 비서가 된다. 성능은 대체로 모델 크기와 데이터 양, 학습 연산량에 따라 오르며 최근에는 추론 시점에 쓰는 연산량도 변수로 들어왔다. OpenAI의 GPT, Anthropic의 Claude, Google의 Gemini, 그리고 Llama와 Qwen, Mistral 같은 공개 가중치 계열이 대표적이며 API나 챗 인터페이스, 자체 서빙으로 쓴다. 한계는 분명하다. LLM은 검증된 사실을 꺼내오는 게 아니라 그럴듯한 텍스트를 예측하므로 자신 있게 틀린 말을 한다. 이를 환각이라 부르며 RAG와 도구 사용, 출처 명시가 표준 대응책이다.

A large language model (LLM) is a neural network trained on very large text corpora to predict the next token in a sequence, a simple objective that turns out to support generation, translation, summarization, question answering, and code writing. Nearly all current models use the transformer architecture, whose attention mechanism lets the model weigh relationships between distant parts of the input. Training happens in stages: pretraining on broad text, then instruction tuning and alignment steps such as RLHF that turn a raw predictor into a usable assistant. Capability generally rises with model size, data volume, and training compute, and more recently with computation spent at inference time on reasoning. OpenAI's GPT models, Anthropic's Claude, Google's Gemini, and open weight families such as Llama, Qwen, and Mistral are the widely used examples, reached through APIs, chat interfaces, or self-hosting. The persistent limitation is that an LLM predicts plausible text rather than retrieving verified facts, so it can produce confident and wrong statements, a failure mode called hallucination. Retrieval-augmented generation, tool use, and citation requirements are the standard mitigations, and a model's knowledge is fixed at its training cutoff unless fresh context is supplied.