멀티모달 검색 시뮬레이터 로딩 중...
이 도구가 못 하는 것
- 어떤 인코더도 돌지 않습니다. bge-m3·CLIP·ResNet18 은 이름이고 점수는 미리 정해 둔 값입니다.
- 융합은 학습된 것이 아니라 켜 둔 모달의 산술 평균입니다.
- qLoRA 토글은 순위를 바꾸지 못합니다. 점수에 단조 증가 함수를 걸 뿐이라 MRR·top1 이 원리적으로 그대로입니다. 움직이는 것은 1위·2위의 점수 격차(margin)뿐이고, 그 값은 랭킹 아래에 적어 둡니다.
- 후보 5건·질의 3건의 소규모 예시입니다. 정답 순위가 하나만 바뀌어도 MRR 이 0.167 단위로 튀므로 이 화면의 지표를 성능 수치로 읽으면 안 됩니다.
- 모달리티를 하나도 켜지 않으면 검색 자체가 일어나지 않습니다. 그때는 지표를 계산하지 않고 「—」로 둡니다.
- 실제 멀티모달 검색의 성능을 재는 자리가 아닙니다. 모달을 늘리면 무엇이 달라지는지 감을 잡는 자리입니다.
이 시뮬레이터가 무엇을 하는가기능 · 개념 · 연계 주차
텍스트·이미지·센서궤적을 켜고 끄며 모달을 늘리면 검색 순위가 어떻게 달라지는지 봅니다. MRR·top1 로 재고, 인코더 이름은 자리 표시이며 점수는 미리 적어 둔 값입니다.
01
모달리티 세 갈래 켜고 끄기
텍스트·이미지·센서궤적을 하나씩 켜고 끄며 어느 모달이 순위를 끌어올리는지 봅니다. 인코더 이름(bge-m3·CLIP/ResNet18·TrajectoryEncoder)은 자리 표시이고 점수는 미리 적어 둔 값입니다.
02
융합 과정 따라가기
켜 둔 모달을 하나로 합치는 자리를 파이프라인 그림으로 따라갑니다. 여기서 합치는 방법은 학습된 융합이 아니라 산술 평균입니다.
03
MRR·top1 평가
모달리티 조합별로 검색 품질 지표(Mean Reciprocal Rank·top-1 정확도)를 실시간 계산해 비교합니다.
04
PEFT/qLoRA 토글
도메인 적응을 켜면 점수 간격이 벌어지는 모양을 봅니다. 점수에 단조 증가 함수를 걸 뿐이라 순위 자체는 바뀌지 않습니다.
멀티모달 융합 검색이란?
텍스트·이미지·센서 궤적처럼 서로 다른 형태의 데이터를 각각 전용 인코더로 벡터화한 뒤 하나로 융합해 검색하는 기법입니다. 단일 모달리티만으로는 헷갈리는 사례도 여러 모달을 결합하면 정답을 더 정확히 찾아낼 수 있습니다.
- 실제 시스템이라면 bge-m3(텍스트)·CLIP/ResNet18(이미지)·TrajectoryEncoder(센서궤적)가 각 모달을 벡터로 바꿉니다. 이 화면은 그 이름만 씁니다
- 여러 모달을 합치면 한 모달이 흔들려도 다른 모달이 보완해 top1·MRR 이 올라갑니다. 이 화면의 합치기는 산술 평균입니다
- PEFT/qLoRA 는 인코더와 융합기를 제조 도메인(설비 고장·정비 사례)에 적은 비용으로 적응시키는 방법입니다. 그 효과를 이 화면에서 재지는 못합니다
써 보신 분만 아는 것이 있습니다
쓰다가 막힌 곳이나 현장과 다른 점을 알려주시면 다음 버전에 반영합니다. 보내주신 분께는 9월 추첨으로 스타벅스 쿠폰을 드립니다.