45분
실습: 임베딩 모델 비교 실험
Day 2: 청킹 & 임베딩
실습: 임베딩 모델 비교 실험
RAG 기초 > Day 2: 청킹 & 임베딩
학습 목표
OpenAI 임베딩 모델을 사용하여 텍스트를 벡터로 변환할 수 있다 코사인 유사도를 계산하여 문서 관련성을 판단할 수 있다 제조 용어 임베딩 품질을 테스트할 수 있다
임베딩 모델 비교 실험
제조 도메인 텍스트로 임베딩 모델의 성능을 직접 테스트한다.
환경 설정
pip install openai numpy
pip install sentence-transformers # 로컬 모델용실습 목표
- OpenAI 임베딩으로 제조 용어 벡터화
- 코사인 유사도로 관련성 측정
- 제조 도메인 쿼리 vs 문서 매칭 실험
- (선택) BGE-M3 로컬 모델 비교
에디터 로딩 중...
힌트 보기
- • USE_OPENAI = True로 바꾸려면 OPENAI_API_KEY 환경변수가 필요하다.
- • 코사인 유사도가 0.7 미만이면 "관련 없음"으로 판단하는 임계값을 설정해볼 것.
- • BGE-M3는 sentence-transformers 라이브러리로 로컬에서 사용 가능: SentenceTransformer("BAAI/bge-m3")
정답 보기
에디터 로딩 중...
AI로 학습하기 — 꿀팁
✅임베딩 코사인 유사도 계산 검증AI 학습 팁
AI에게 임베딩 모델 비교 실험 코드의 코사인 유사도 계산 및 정규화 로직을 리뷰받아, 차원 불일치·벡터 정규화 누락·배치 처리 오류를 사전에 잡으세요.
이 임베딩 모델 비교 실험 코드를 리뷰해줘. OpenAI 임베딩 벡터의 L2 정규화 누락 여부, 코사인 유사도 공식 구현 오류, 여러 임베딩 모델 출력 차원이 다를 때 비교 시 생기는 문제를 점검하고 개선안을 제시해줘.
이 팁이 도움이 됐나요?
실습 — 직접 해보기
🧪Embedding Explorer
768차원 임베딩으로 텍스트 유사도를 시각적으로 탐색해보세요