25

LLM 핵심 개념: 토큰, 파라미터, 컨텍스트 윈도우

Day 1: LLM 개요 & 제조 AI 비전

학습 목표

LLM(Large Language Model)이 무엇인지 정확히 정의할 수 있다 토큰, 파라미터, 컨텍스트 윈도우의 의미를 설명할 수 있다 주요 LLM 모델의 차이점을 비교할 수 있다

LLM이란 무엇인가

한 마디로: 엄청나게 많은 글을 읽고 학습한 AI.


비유로 이해하기

에디터 로딩 중...

사람이 수십 년 걸려 언어를 배우는 것을, LLM은 수조 개의 문서를 학습해서 달성한다.


핵심 개념 1: 토큰 (Token)

LLM은 글자 단위가 아니라 토큰 단위로 처리한다.

에디터 로딩 중...

왜 중요한가?

  • 비용이 토큰 수로 계산된다
  • 한글은 영어보다 토큰을 2~3배 더 쓴다
  • 토큰 = 돈
언어"안녕하세요, 설비 점검 보고서를 작성해주세요"토큰 수
한글 원문위 문장~25 토큰
영어 번역"Hello, please write an equipment inspection report"~10 토큰

한글은 영어보다 2.5배 비싸다. 이걸 모르면 비용 폭탄 맞는다.


핵심 개념 2: 파라미터 (Parameters)

모델이 학습한 "지식"이 저장된 숫자들.

에디터 로딩 중...

핵심 개념 3: 컨텍스트 윈도우 (Context Window)

LLM이 한 번에 읽고 처리할 수 있는 텍스트의 양.

에디터 로딩 중...

제조에서 왜 중요한가?

  • CNC 매뉴얼: 보통 500~2,000페이지
  • 설비 이력 데이터: 수천 건
  • 컨텍스트 윈도우가 크면 더 많은 정보를 한 번에 처리

주요 LLM 모델 비교 (2025년 기준)

모델회사컨텍스트가격 (1M 토큰)제조 추천 용도
GPT-4oOpenAI128K입력 $2.5 / 출력 $10복잡한 분석, 보고서
GPT-4o-miniOpenAI128K입력 $0.15 / 출력 $0.6일상 Q&A, 챗봇
Claude 3.5 SonnetAnthropic200K입력 $3 / 출력 $15긴 매뉴얼 분석
Claude 3 HaikuAnthropic200K입력 $0.25 / 출력 $1.25빠른 응답, 분류
Gemini 1.5 ProGoogle1M입력 $1.25 / 출력 $5초대형 문서 처리
Llama 3.1 70BMeta128K무료 (자체 서버)보안 중요 환경

제조 현장 추천:

  • 일반 Q&A: GPT-4o-mini (싸고 빠르다)
  • 심층 분석: GPT-4o 또는 Claude 3.5 Sonnet
  • 보안 필수: Llama 3.1 (자체 서버 운영)

LLM의 동작 원리 (간단히)

에디터 로딩 중...

핵심: LLM은 "이해"하는 게 아니라 **"다음에 올 확률이 높은 단어를 예측"**한다. 하지만 그 예측이 너무 정교해서 마치 이해하는 것처럼 보인다.

핵심 포인트
  • 토큰: LLM의 처리 단위. 한글은 영어보다 2~3배 많은 토큰 사용
  • 파라미터: 모델의 지식 용량. 클수록 똑똑하지만 비용 증가
  • 컨텍스트 윈도우: 한 번에 처리 가능한 텍스트 양
  • LLM은 다음 토큰 예측 원리로 작동