BigQuery와 Gemini로 리뷰 분석 업무 자동화하기

컬리는 리뷰 요약과 키워드 추출, 카테고리 분류, 감성 분석, 제품별 홍보 문구 작성 업무를 자동화하기 위해 BigQuery에서 Vertex AI의 Gemini Pro를 호출하는 방법을 적용했다. Vertex AI 연결과 원격 모델을 설정한 뒤 `ML.GENERATE_TEXT`에 리뷰 데이터를 프롬프트로 전달해 별도의 모델 구축 없이 분석 결과를 생성했다. 출력의 형식 오류와 할루시네이션을 줄이기 위해 JSON 응답을 요청하고 결과를 검증하는 방식을 제안했으며, 대량 데이터는 여러 리뷰를 묶는 배치 처리로 다뤘다. 프롬프트 설계와 결과 검증이 실무 활용의 핵심이며, 생성 결과의 종료 상태와 안전 속성도 BigQuery에서 확인할 수 있음을 공유했다.

• BigQuery에서 Gemini를 호출하려면 Vertex AI 연결을 만들고 데이터셋에 원격 모델을 추가한 뒤 `ML.GENERATE_TEXT`를 사용한다.
• 출력 형식이 흔들릴 수 있으므로 프롬프트에 JSON 스키마와 ‘JSON 외에는 출력하지 말 것’을 명시하고, 정규표현식·JSON 함수로 결과를 검증한다.
• 대량 리뷰는 여러 건을 JSON으로 묶어 배치 처리할 수 있지만, 배치 생성과 결과 분해를 위한 전처리·후처리도 필요하다.
• `flatten_json_output`을 끄면 생성 결과와 함께 종료 상태, 안전 속성, 토큰 수 등을 확인할 수 있다.