문서

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

박재현 컬리 · 컬리 기술 블로그

AI 핵심 요약

베스트 리뷰만 요약하는 방식은 대상 상품이 제한되고 최신 리뷰를 반영하기 어렵다는 한계가 있어, 더 넓은 리뷰에서 요약에 유용한 내용을 선별하는 실험을 진행했습니다. 상품 관련성, 부정 내용 여부, 속성 정보의 구체성을 기준으로 LLM이 리뷰를 판정하도록 프롬프트를 작성하고, 결과와 함께 판단 근거도 응답하게 했습니다. 이어 검수 기준을 단계별로 나누는 CoT를 적용해 판정 과정을 확인하고, 근거를 모니터링해 오류를 찾아 프롬프트를 개선할 수 있도록 했습니다. 비정형 텍스트 검수에 LLM을 활용할 때는 프롬프트의 단계적 설계와 판단 근거의 가시성이 정확성과 신뢰성을 높이는 데 중요하다는 점을 확인했습니다.

리뷰 선별 기준을 최신성, 상품 관련성, 부정 내용 여부, 상품 속성 정보의 구체성으로 나누면 모호한 검수 작업을 명확한 판단 과제로 바꿀 수 있습니다.
LLM의 판정 결과에 근거를 함께 요청하면 운영자가 오류 사례를 확인하고 프롬프트나 판정 방식을 개선할 수 있습니다.
복잡한 판단은 검증 단계를 순서대로 프롬프트에 명시하는 CoT 방식으로 세분화할 수 있습니다.
베스트 리뷰만 요약하면 대상 상품이 제한되고 최신 리뷰를 반영하기 어려우므로, 요약 대상 리뷰의 범위를 넓히는 방안을 고려해야 합니다.

소개

Prompt Engineering을 활용한 비정형 데이터 검수 실험

비슷한 학습 자료

책 에디 유 예스24

LLM 마스터: 모델×시스템 엔지니어링

책 에디 유 예스24

API 활용에서 LLM 엔지니어링으로, 그 도약에 필요한 모든 것 모델의 원리부터 서비스 확장까지, LLM 개발의 전 과정을 잇는 실전 로드맵 LLM을 ‘쓸 줄 아는’ 사람은 많아졌습니다. API를 호출하고 프롬프트를 다듬는 일도 이제는 그리 어렵지 않습니다. 하지만 한 겹 더 깊이 들어가면 이야기가 달라집니다. 모델은 왜 이렇게 동작하는지, 내 데이터로 어떻게 학습시키는지, 실제 서비스의 트래픽을 어떻게 감당하게 할지. LLM을 제대로 다루려면 단순한 활용을 넘어서는 지식과 경험이 필요합니다. 이 책은 바로 그 경계를 넘으려는 개발자를 위한 LLM 엔지니어링 안내서입니다. 현업 개발자이자 데이터 과학자인 네 명의 저자가 흩어져 있는 기술과 개념을 하나의 학습 로드맵으로 엮었습니다. 트랜스포머의 작동 원리에서 출발해 파인튜닝과 서빙 최적화, Reasoning LLM, 고급 RAG와 도구 호출 에이전트까지, 모델과 시스템이 어떻게 연결되어 실제 LLM 서비스가 되는지 전체 흐름을 따라...

AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리 로드맵 5개에 담김

책 존 베리먼 예스24

LLM을 위한 프롬프트 엔지니어링

책 존 베리먼 예스24

LLM을 지배하는 건 코드가 아니라 프롬프트다 결과물 중심의 접근과 달리 프롬프트 엔지니어링 자체를 깊이 있게 탐구한 실전 가이드다. LLM의 구조와 작동 원리, 효과적인 프롬프트 설계 기법, 대화형 워크플로 구성, 성과 평가까지 실무에 필요한 내용을 체계적으로 다룬다. 특히 ‘모델이 학습한 패턴을 모사하는 프롬프트를 설계해야 원하는 출력을 얻을 수 있다’는 원칙을 중심으로, 명확한 언어 사용과 검증된 패턴의 활용, 정보 최소화 등 실질적인 전략을 제시한다. 프롬프트를 ‘쓰는 법’이 아니라 ‘왜 그렇게 써야 하는지’를 설명하며, 시행착오를 줄이는 이론적 기반을 제공한다. 단순한 활용법을 넘어 LLM을 도구로 활용하는 사고방식 자체를 훈련할 수 있게 돕는다.

인공지능 기타 로드맵 3개에 담김