AS IS -> TO BE

목차1. RAG는 왜 필요한가2. 단순 RAG ( 벡터 DB 없이 문자열 매칭을 통한 구현)3. 벡터 임베딩(Vector Embedding) 이해하기4. 문서를 벡터 DB에 넣기5. LangChain으로 기본 RAG 파이프라인 완성6. RAG의 한계 — 개발한 챗봇을 돌려보니 드러난 문제들7. 마무리 “LLM이 우리 회사 내부 문서를 기반으로 답변하게 만들 수 있을까?”이번 글에서는 이 질문을 출발점으로 삼아, 키워드 매칭 기반 검색에서 시작해 벡터 임베딩 검색과 LangChain 파이프라인까지 RAG의 기본 흐름을 직접 구현해봤다.직접 만들어보고 돌려보면서, RAG 작동방식에 대한 이해와, 또 실제 적용 시 어디서 한계가 드러나는지도 함께 살펴봤다. 1. RAG는 왜 필요한가1) LLM 프롬프트를 향상..

목차 1. 주요 벤치마크와 벤치마크의 한계점 2. 주요 리더보드 사이트3. 프론티어 모델별 코드 생성능력 (Python to C++ 포팅 성능 비교)4. 오픈소스 모델 포함 생성능력 비교 ( Python to C++ 포팅 성능 비교, w/ Gradio UI)5. 생성형 AI 솔루션 성능 평가를 어떻게 할 것인가? 이번 글은 모델 평가(Evaluation) 관련 챕터를 공부했던 글로 1) 주요 벤치마크들과 리더보드 사이트에 대해 공부해 본 내용 2) 실제로 다양한 closed 모델, open source 모델들의 성능을 코드 생성능력 task를 직접 시켜보며 비교해 본 내용 을 작성해보고자 한다. 1. 주요 벤치마크와 벤치마크의 한계점 1) 주요 벤치마크1)- 1. 6개 벤치마크 등장 배경 MMLU,..

목차 1. print(model) 한 줄로 Transformer 구조 이해해 보기 (feat. Llama-3.2-1B)- 0) 전체 흐름 요약- 1) Embedding Layer- 2) Decoder Layers (총 16개)- 3) Final RMSNorm- 4) LM Head (출력층)- 5) 전체 흐름 재정리- 6) 느낀점 1. print(model) 한 줄로 Transformer 구조 이해해 보기 (feat. Llama-3.2-1B)Llama-3.2-1B 모델을 print(model) 했을 때 나오는 내부 레이어 구조를 출력해본 뒤,출력 결과물을 통해 Transformer 구조 속 요소를 하나하나 가볍게 뜯어볼 수 있었다. 이렇게 하나하나 뜯어본 요소들에 대해 적어본다. 0) 전체 흐름 요약 모..

목차 1. LLM 파라미터는 왜 “숫자”일까?2. 양자화(Quantization)3. 양자화 유형4. 코드로 보는 양자화5. 배운 점/느낀 점 Day 14 - 양자화 (Quantization) 1. LLM 파라미터는 왜 “숫자”일까?1) 핵심 요약LLM의 모든 파라미터(weight)는 실수(float) 값보통:학습: float32 / bfloat16추론: float16 / int8 / int4이유:정밀도 vs 메모리/속도 트레이드오프 2) LLM 파라미터는 왜 실수(float)인가?예: (Llama 3 70B → 파라미터 700억 개)LLM 내부에는 여러 개의 파라미터(가중치)가 있다.모든 파라미터는 실수로 저장된다:예시:W = 0.12837b = -0.05392... ✔ 신경망은 모든 계산이 “행렬..

목차1. Day 12 - Hugging Face Pipeline 이용해 보기 2. Day 13 - 모델별 Tokenizer, special token, chat_template 작동방식 비교 (feat. Llama, Deepseek, Phi, Qwen-Coder) 1. Day 12 - Hugging Face Pipeline 이용해 보기 3주 차 중 2일째의 경우는 허깅페이스의 Pipeline을 이용해 허깅페이스에 있는 모델들을 쉽게 써보는 작업을 진행했다. 1) Pipeline? Hugging Face의 pipeline() 함수는 코드 한 줄로 모델 사용이 가능하게 해 준다. 내부적으로 원래는 사용자가 지정해야하는 아래 복잡한 task들을 알아서 처리해 줘 바로 모델을 사용(inference) ..

목차1. Day11 - Hugging Face/Google Colab 세팅. Stable Diffusion (text-to-image), SpeechT5(TTS) 모델 이용 3주 차 (day 11~15)는 허깅페이스를 활용한 오픈소스 모델들을 이용해 보는 시간이었다. 1. Day11 - Hugging Face/Google Colab 세팅. Stable Diffusion (text-to-image), SpeechT5(TTS) 모델 이용 실제 오픈소스 모델을 직접 허깅페이스를 통해 다운 받고, google colab의 T4 (공짜 gpu)로 돌려보기 위한 사전 세팅 작업을 한 뒤, 여러 모델을 직접 돌려볼 수 있는 시간이었다. 특히, AI 관련 사업 실무를 하면서 "허깅페이스에 있는 오픈소스 모델들은 다..

목차1. Day 8 - 지시기반 프롬프트 테스트_고객 CS 챗봇 2. Day 9 - Tool Calling 적용_항공예약 챗봇3. Day 10 - 멀티모달(이미지, 음성) 적용_항공예약 챗봇 1. Day 8 -지시기반 프롬프트 테스트_고객 CS 챗봇 Gradio 챗봇을 만들면서 시스템 프롬프트에 여러 지시기반 프롬프트를 넣어 잘 작동하는지를 테스트해보는 시간이었다. 1) Gradio 세팅- Gradio 챗봇에서 1) 시스템 프롬프트 2) 과거 대화 맥락 (history) 3) 유저 프롬프트 를 모두 활용하기 위한 초기 세팅 2) Gradio의 "messages" 이용해서 OpenAI 규격으로 유저의 채팅 메시지 넘기기 - 유저로 부터 메시지가 들어왔을 때 해당 메시지들을 OpenAI에서 요구하는 규격 ..

목차1. Day 6 - 다양한 프런티어 모델 API 활용해 보기 (GPT, Claude, Gemini, Deepseek) 2. Day 7 - Gradio 사용해보기, Gradio 활용 회사 브로셔 제작 챗봇 만들기 1. Day 6 - 다양한 프론티어 모델 API 활용해 보기 (GPT, Claude, Gemini, Deepseek) Day 6 (2주차 첫 번째)에서 가장 먼저 해본 것은 GPT 외에도 다양한 프런티어 모델 API를 이용해 본 것이었다. 모델 API를 이용하기 위한 사전세팅 부터, 모델 API 호출 시 각 모델의 표준규격은 어떤지 볼 수 있었다. 추가로 각 모델별 표준 규격과 상관없이 OpenAI 공통 규격(client)을 활용하는 법과,모델 응답을 통으로 출력하는 것이 아닌 스트리밍, ..

목차1. Day 3~4 - Parameter, Token, Tokenizer, Context Window, Transformer 1. Day 3~4 - Parameter, Token, Tokenizer, Context Window, TransformerDay 3~4는 LLM 관련 개념적인 부분들을 좀 더 다루는 내용 위주였고, 해당 내용들에 대해 gpt에 질문들에 해가며 좀 더 깊이 공부했다. 실무를 하면서 대략적으로는 알고 있고 많이 들어왔던 개념들이지만, 이전까진 얄팍하게 알고 있었다면 이것들을 좀 더 깊게 파고들어서 공부해 보는 경험이었다. 1) Parameter(weight)a. parameter의 역할- 실제로 이 parameter들이 모델이 입력을 받았을 때 출력을 생성하는 것을 통제한다는..

목차1. 공부배경2. DAY 1 - Ollama 활용 Local LLM 서빙, GPT API 활용 웹사이트 요약3. DAY 2 - Ollama Local LLM 활용한 웹사이트 요약 기능 구현 1. 공부 배경회사에 들어와 생성형 AI 플랫폼(LLMOps, Agent 등)을 담당하는 PO 부서에 배치되었다.이전에 IT 회사에서 일한 경험이 있었지만, AI 관련 지식은 아예 새로운 세계였다. 업무 과정에서 마주치는 기술 용어나 개념들은 매번 검색해 가며 이해했고, 그 외에도 꾸준히 AI 트렌드와 지식을 따라가려 노력했다. (매일 AI 관련 기사 읽기, 기사 속 주요 기술 추가 서치, 유튜브 영상 시청 등) 하지만 이런 부분에 어느정도 한계를 느꼈다.단순 지식 이해 수준으로는 머릿속에서 맴도는 부분이 있달까?..