영상 핵심 정리 — 벡터 임베딩과 벡터 스토어 이해하기

임베딩이란?

텍스트를 고차원 숫자 배열로 변환하는 과정이다. 핵심은 의미가 비슷하면 벡터가 가깝다는 성질이다.

'베어링 교체 주기'  → [0.23, -0.41, 0.87, ...]  # 768개 숫자
'롤러 교환 간격'   → [0.25, -0.39, 0.85, ...]  # ← 거의 같은 방향!

from numpy import dot
from numpy.linalg import norm
similarity = dot(v1, v2) / (norm(v1) * norm(v2))

5가지 청킹 전략 비교

전략	기준	장점	제조 적합도
고정 크기	토큰 수(예: 512)	구현 단순	★★☆ (표 분리 위험)
문장 단위	마침표/개행	문장 온전 유지	★★★
재귀적	단락→문장→단어 순	크기 제어 + 구조 존중	★★★★
시맨틱	임베딩 거리 급변	주제 단위 자동 분할	★★★★★
구조 기반	Markdown/HTML 헤더	계층 보존	★★★★ (SOP에 최적)

시맨틱 청킹 원리

문장 1~3 임베딩 → 평균 벡터 A
문장 2~4 임베딩 → 평균 벡터 B
코사인 거리(A,B) > 임계값 θ → 여기서 청크 분리!

한국어 제조 권장 설정

• 임베딩 모델: BGE-M3 (1024차원, 8192 토큰)
• 청크 크기: 512 토큰, 오버랩 50 토큰
• 전략: 재귀적 + 구조 기반 혼합

함정 주의: 청크 오버랩을 너무 크게(>30%) 잡으면 중복으로 검색 순위가 왜곡된다. 10~15%가 적절.

다음 task와의 연결

'청킹 전략 5가지 + 임베딩 모델 비교'에서 각 전략의 코드와 벤치마크 수치를 심층 비교한다.

제조 설비 매뉴얼의 벡터 임베딩을 위한 청킹 전략 5가지(고정 크기·문장 단위·재귀적·시맨틱·문서 구조 기반)를 비교해줘. '베어링 교체'와 '롤러 베어링 교환'이 높은 코사인 유사도를 갖는 이유, 시맨틱 청킹에서 인접 문장 임베딩 간 거리가 갑자기 커지는 지점을 주제 전환으로 감지하는 원리, 그리고 제조 매뉴얼에 가장 적합한 전략 추천도 포함해줘.