AS IS -> TO BE

목차0. 들어가며1. Advanced RAG로 - 10가지 개선 기법2. 개선 ① - LLM 기반 지능형 청킹3. 개선 ② - Reranking4. 개선 ③ - Query Rewriting5. 최종 파이프라인 - 모두 합치기6. 마무리 0. 들어가며지난 글에서 RAG 평가 시스템을 만들고, 기본 RAG의 한계를 점수로 정량화했다.요약하면 이렇다.- 검색 메트릭(MRR / nDCG / Keyword Coverage)에서 전반적으로 점수가 낮고, 특히 spanning·holistic 카테고리가 약했다.- 답변 메트릭에서 풀네임 누락 같은 completeness 문제가 잡혔다.- 청크 크기·임베딩 모델만 바꾸는 단순 튜닝으로는 이 한계를 못 깬다는 결론이었다.이번 글에서는 이 한계를 깨기 위한 본질적 개선, ..

목차0. 들어가며1. 평가가 전부다 (Evaluations are Everything)2. 골든 테스트셋 만들기3. 검색 평가 메트릭 (Retrieval Evaluation)4. 답변 평가 메트릭 (LLM-as-a-Judge)5. 평가 결과로 본 한계6. 1편 마치며0. 들어가며지난 글에서 가상의 보험회사의 사내문서를 기반으로 답변을 할 수 있는 Rag챗봇을단순 키워드 매칭 방식부터 LangChain 기반 RAG까지 만들어봤다.그 과정에서 마지막에 한계를 볼 수 있었다. (복합질문에 답변이 어려운 것, 각 청크에 해당 인물의 풀네임이 적혀있진 않아서 답변에서도 풀네임을 갖고 오지 못한 것 등) 이번 글은 이런 RAG의 한계를 극복하기 위한 방법을 고민해나가는 글이고 1가지 질문에서 출발한다."근데 RAG..

목차1. RAG는 왜 필요한가2. 단순 RAG ( 벡터 DB 없이 문자열 매칭을 통한 구현)3. 벡터 임베딩(Vector Embedding) 이해하기4. 문서를 벡터 DB에 넣기5. LangChain으로 기본 RAG 파이프라인 완성6. RAG의 한계 — 개발한 챗봇을 돌려보니 드러난 문제들7. 마무리 “LLM이 우리 회사 내부 문서를 기반으로 답변하게 만들 수 있을까?”이번 글에서는 이 질문을 출발점으로 삼아, 키워드 매칭 기반 검색에서 시작해 벡터 임베딩 검색과 LangChain 파이프라인까지 RAG의 기본 흐름을 직접 구현해봤다.직접 만들어보고 돌려보면서, RAG 작동방식에 대한 이해와, 또 실제 적용 시 어디서 한계가 드러나는지도 함께 살펴봤다. 1. RAG는 왜 필요한가1) LLM 프롬프트를 향상..