LLM이지만 PDF는 읽고 싶어: 복잡한 PDF를 LLM이 이해하는 방법
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
PDF의 표와 차트, 복잡한 레이아웃을 LLM이 정확히 활용하기 어렵다는 문제를 해결하기 위해 네이버는 NVIDIA의 nv-ingest를 바탕으로 LLM 친화적 파서 PaLADIN을 만들었다. 페이지 요소 탐지에는 DocLayout-YOLO를, 표 구조 추출에는 NeMo Retriever Table Structure를, 차트 설명에는 Gemma 3 VLM을 사용하고 한국어 OCR은 사내 OCR API로 교체했다. 페이지와 독립 작업을 병렬화하고 ONNX·TensorRT 및 Triton으로 모델 서빙을 최적화했으며, 표·차트 질의 평가에서 여러 파서와 비교해 경쟁력 있는 품질과 처리 속도를 확인했다. 다만 차트 수치 환각과 표의 셀 좌표·값 매핑 오류는 남아 있어, 문서 유형에 맞춘 평가와 후속 검증이 필요하다는 점을 보여줬다.
- PDF 페이지를 이미지로 분석해 요소별 바운딩 박스와 레이블을 얻으면, 텍스트·표·차트를 서로 다른 추출기로 처리할 수 있다.
- 표는 구조 인식 모델의 셀 좌표와 OCR 결과를 결합하므로, 빈 셀이나 병합 셀에서 값이 잘못 매핑되는지 확인해야 한다.
- 독립적인 페이지와 작업은 병렬화하고, ONNX·TensorRT와 Triton을 활용해 모델 서빙 경로의 불필요한 래퍼를 줄일 수 있다.
- 파서 평가는 배경지식만으로 풀 수 없는 표·차트 질문으로 구성하고, 품질과 페이지 처리 시간을 함께 비교하는 것이 유용하다.
- 차트의 수치 판독은 VLM에서도 환각이 발생할 수 있으므로, 결과를 그대로 신뢰하지 말고 검증 절차를 마련해야 한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] LLM-friendly PDF parser PaLADIN을 소개합니다. [발표 대상] - AI/LLM을 적극적으로 활용하고 싶으신 분 - 문서 처리에 관심이 있으신 분 - 웹검색에 관심이 있으신 분 [목차] 1. PDF가 왜 중요한가요? - LLM-friendly PDF Parser 2. 기술 탐색 및 PoC (with NVIDIA) - 관련 기술 탐색 - PoC with NVIDIA 3. PaLADIN: 표와 차트, 숫자를 정확히 이해하고 표현하는 LLM-friendly PDF Parser - 아키텍쳐 설계 - nv-ingest - 아키텍쳐 설계 - PaLADIN - Model 소개 - Element-Detector: Doclayout-Yolo - Model 소개 - Table-Extractor: nemoretriever-table-st...
비슷한 학습 자료
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트...
딥러닝 · 머신러닝 로드맵 2개에 담김
컨퍼런스 엔지니어링데이 2025
경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM Devops Agent
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 네이버 통합 검색에서 더 나은 장애 대응 프로세스를 위해 LLM Agent를 활용하는 방식에 대해 소개합니다. Agent 를 어떤 방식으로 구성하고 구축했는지, 어떻게 평가하고 활용하고 있는지를 자세히 소개합니다. [발표 대상] 네이버 검색에서 장애 감지와 분석에 대해 궁금하신 분 LLM을 활용한 Agent 구성을 고민하시는 분 [목차] 1. 기존 장애 대응 프로세스 - 네이버 검색 흐름 - 기존 장애대응 프로세스 - 기존 방식의 문제점 2. Devops Agent v1 - 설계 - v1 구조 - v1 소개 - 현재 SW stack 3. Devops Agent v2 - v1의 한계 - v2 구조 4. 시스템 동작과 특징 - Trigger Queue - 이상 탐지 방법 ...
데브옵스 · 인프라 AI에이전트 개발