실험의 기본 구조
01
Query Set 고정→02
반복 실행→03
조건 분해→04
Ground Truth 검증→05
Re-test
Query Set 고정→02
반복 실행→03
조건 분해→04
Ground Truth 검증→05
Re-test
무엇을 기록하는가
| 지표 | 확인 질문 | 기록 예시 |
|---|---|---|
| Visibility | AI 답변에 등장했는가? | 고정 Query 중 등장 횟수 / 전체 실행 횟수 |
| Recommendation | 추천 후보에 포함됐는가? | 추천 리스트 포함 횟수 |
| Citation | 사이트가 근거로 연결됐는가? | 출처·링크 인용 여부 |
| Absorption | 핵심 조건을 정확히 읽었는가? | 날짜·가격·일정·예약 상태 조건별 일치 여부 |
| Business Impact | 실제 행동으로 이어졌는가? | AI referral, 방문, 문의, 전환 |
왜 질문을 분해할까요
복합 질문 하나만 보면 '왜'를 알기 어렵기 때문입니다.
예를 들어 날짜 + 가격 조건에서는 상품이 발견되지만 방문 장소나 자유시간 조건을 추가했을 때 누락된다면, 문제 지점을 더 좁힐 수 있습니다. 그래서 동일한 핵심 질문을 반복하면서 조건을 단계적으로 추가하거나 분해합니다.
검증 원칙
- 같은 Query Set과 평가 기준을 사용합니다.
- 실제 판매 페이지나 원문을 Ground Truth로 확인합니다.
- 재측정이 끝나지 않은 값은 임의의 숫자로 채우지 않습니다.
- 플랫폼, 날짜, 실행 횟수를 함께 기록합니다.
- LLM 응답 변동성과 검색 반영 시점의 차이는 한계로 명시합니다.