고급bge-m3CLIPResNet18
멀티모달 검색 (Fusion)
텍스트(bge-m3)·이미지(CLIP/ResNet18)·센서궤적(TrajectoryEncoder)을 FusionEncoder로 융합 검색. MRR·top1 평가, PEFT/qLoRA 효과 체험.
3종 모달리티 인코더
텍스트(bge-m3)·이미지(CLIP/ResNet18)·센서궤적(TrajectoryEncoder)을 개별적으로 켜고 끄며 각 모달의 기여도를 확인합니다.
FusionEncoder 융합
켜진 모달리티들을 하나의 벡터로 융합하는 과정을 파이프라인 다이어그램으로 시각화합니다.
MRR·top1 평가
모달리티 조합별로 검색 품질 지표(Mean Reciprocal Rank·top-1 정확도)를 실시간 계산해 비교합니다.
PEFT/qLoRA 적응 토글
도메인 파인튜닝을 켜면 점수 margin이 샤프닝되는 효과를 랭킹 변화로 체험합니다.
멀티모달 검색 시뮬레이터 로딩 중...
멀티모달 융합 검색이란?
텍스트·이미지·센서 궤적처럼 서로 다른 형태의 데이터를 각각 전용 인코더로 벡터화한 뒤 하나로 융합해 검색하는 기법입니다. 단일 모달리티만으로는 헷갈리는 사례도 여러 모달을 결합하면 정답을 더 정확히 찾아낼 수 있습니다.
- • bge-m3(텍스트)·CLIP/ResNet18(이미지)·TrajectoryEncoder(센서궤적)가 각 모달을 벡터화
- • FusionEncoder가 여러 벡터를 결합 — 한 모달이 흔들려도 다른 모달이 보완해 top1·MRR을 높임
- • PEFT/qLoRA로 인코더·Fusion을 제조 도메인(설비 고장·정비 사례)에 저비용으로 적응 가능