표준 문서를 청크로 나눠 읽기

모듈 3에서 조사한 표준 문서들(IMO Compendium, DCSA JIT 이벤트 정의, TIC 4.0 용어집)은 하나같이 깁니다. 이런 문서를 나중에 검색하거나 LLM에 물으려면 먼저 쪼개야 합니다. 어떻게 쪼개느냐가 나중에 무엇을 찾을 수 있는지를 정합니다.

이 실습은 코스 3(데이터)과 코스 4(GraphRAG)의 예고편입니다. 여기서 내린 결정이 그때 되돌아옵니다.

시뮬레이터에서 할 수 있는 것

전략 5종: 고정 크기 · 문장 단위 · 재귀적 분할 · 단락 단위 · 의미 기반
파라미터: 청크 크기 100~~2000자, 오버랩(겹침) 0~~500자
입력: 준비된 샘플 문서를 고르거나, 직접 파일 업로드(.txt / .md / .pdf / .docx)

실습 순서

1. 전략별 성격 파악 (샘플 문서로)

샘플 문서 하나를 골라 다섯 전략을 차례로 적용하고, 각 전략의 장단점 표를 화면에서 읽습니다. 그런 다음 직접 확인하세요 — 고정 크기 전략에서 문장이 중간에 잘린 청크를 찾아 열어 봅니다. 설명으로 읽는 것과 잘린 조각을 눈으로 보는 것은 다릅니다.

2. 표준 문서로 바꿔 보기

모듈 3에서 조사한 표준 문서의 발췌본을 마크다운(.md)으로 만들어 올립니다. 표준 문서에는 다른 글에 없는 두 가지가 있습니다.

정의 목록 — "ETA: Estimated Time of Arrival at Berth" 같은 용어·정의 쌍
표 — 이벤트 코드표, 식별자 형식표

이 둘이 청킹에서 어떻게 되는지 보세요. ⚠️ 정의와 그 설명이 서로 다른 청크로 갈라지면, 나중에 "ETA가 뭐냐"고 물었을 때 용어만 있고 뜻이 없는 조각이 검색됩니다. 표가 행 중간에서 잘리는 것도 같은 문제입니다.

3. 크기와 겹침의 맞교환

청크 크기를 200 → 500 → 1000 → 2000으로 올리며 관찰합니다.

작게 나누면	크게 나누면
검색이 정밀해지지만 문맥이 부족하다	문맥은 풍부하지만 관련 없는 내용이 섞인다
청크 수가 늘어 저장·검색 비용이 는다	답할 때 넣을 토큰이 늘어난다

오버랩을 0에서 올려 보면 경계에서 잘린 문맥이 복구되는 대신 중복이 늘어납니다. 공짜인 설정은 없습니다.

정리해서 남길 것

우리 표준 문서에 쓸 전략과 그 근거 한 줄
청크 크기·오버랩 초기값과 그렇게 정한 이유
이 설정으로도 여전히 깨지는 것 — 예를 들어 큰 표는 어떤 전략으로도 온전히 담기지 않습니다. 표는 따로 뽑아 구조화하는 편이 나은데, 그것이 코스 3에서 다룰 일입니다.

💡 여기서 "정답 설정"을 찾으려 하지 마세요. 문서 종류마다 답이 다르고, 코스 4에서 검색 품질을 측정하기 전까지는 어느 쪽이 나은지 확정할 수 없습니다. 지금은 무엇이 맞교환되는지 감을 잡는 것이 목적입니다.