LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

베스트 리뷰만 요약하는 방식은 대상 상품이 제한되고 최신 리뷰를 반영하기 어렵다는 한계가 있어, 더 넓은 리뷰에서 요약에 유용한 내용을 선별하는 실험을 진행했습니다. 상품 관련성, 부정 내용 여부, 속성 정보의 구체성을 기준으로 LLM이 리뷰를 판정하도록 프롬프트를 작성하고, 결과와 함께 판단 근거도 응답하게 했습니다. 이어 검수 기준을 단계별로 나누는 CoT를 적용해 판정 과정을 확인하고, 근거를 모니터링해 오류를 찾아 프롬프트를 개선할 수 있도록 했습니다. 비정형 텍스트 검수에 LLM을 활용할 때는 프롬프트의 단계적 설계와 판단 근거의 가시성이 정확성과 신뢰성을 높이는 데 중요하다는 점을 확인했습니다.

• 리뷰 선별 기준을 최신성, 상품 관련성, 부정 내용 여부, 상품 속성 정보의 구체성으로 나누면 모호한 검수 작업을 명확한 판단 과제로 바꿀 수 있습니다.
• LLM의 판정 결과에 근거를 함께 요청하면 운영자가 오류 사례를 확인하고 프롬프트나 판정 방식을 개선할 수 있습니다.
• 복잡한 판단은 검증 단계를 순서대로 프롬프트에 명시하는 CoT 방식으로 세분화할 수 있습니다.
• 베스트 리뷰만 요약하면 대상 상품이 제한되고 최신 리뷰를 반영하기 어려우므로, 요약 대상 리뷰의 범위를 넓히는 방안을 고려해야 합니다.