AS IS -> TO BE

목차0. 들어가며1. 7개 에이전트(agent)의 협업 - Week 8에서 만들려는 에이전트 시스템2. 파인튜닝 모델을 클라우드 GPU에서 실행 - Modal 이용3. 잠깐 떴다 사라지는 앱에서 배포된 서비스로 - 파인튜닝 모델 서비스화4. 첫 번째 에이전트 - SpecialistAgent, 그리고 전처리가 필요한 이유5. 학습이 아니라 추론(inference)에서 승부 - 상품 80만 개를 벡터 DB로6. 두 번째 에이전트 - GPT-5.1에게 RAG를 통해 비슷한 상품 5개를 쥐여주기7. 세 번째 에이전트와 앙상블 에이전트 - 셋을 섞으면 정말 더 좋아질까마무리 - 성적표가 또 뒤집혔다0. 들어가며지난 글(글 16)에서 나온 가격 예측 모델 성능 비교는 꽤 놀라웠다.3B(30억) 파라미터짜리 오픈소스..

목차1. RAG는 왜 필요한가2. 단순 RAG ( 벡터 DB 없이 문자열 매칭을 통한 구현)3. 벡터 임베딩(Vector Embedding) 이해하기4. 문서를 벡터 DB에 넣기5. LangChain으로 기본 RAG 파이프라인 완성6. RAG의 한계 — 개발한 챗봇을 돌려보니 드러난 문제들7. 마무리 “LLM이 우리 회사 내부 문서를 기반으로 답변하게 만들 수 있을까?”이번 글에서는 이 질문을 출발점으로 삼아, 키워드 매칭 기반 검색에서 시작해 벡터 임베딩 검색과 LangChain 파이프라인까지 RAG의 기본 흐름을 직접 구현해봤다.직접 만들어보고 돌려보면서, RAG 작동방식에 대한 이해와, 또 실제 적용 시 어디서 한계가 드러나는지도 함께 살펴봤다. 1. RAG는 왜 필요한가1) LLM 프롬프트를 향상..

목차 1. 주요 벤치마크와 벤치마크의 한계점 2. 주요 리더보드 사이트3. 프론티어 모델별 코드 생성능력 (Python to C++ 포팅 성능 비교)4. 오픈소스 모델 포함 생성능력 비교 ( Python to C++ 포팅 성능 비교, w/ Gradio UI)5. 생성형 AI 솔루션 성능 평가를 어떻게 할 것인가? 이번 글은 모델 평가(Evaluation) 관련 챕터를 공부했던 글로 1) 주요 벤치마크들과 리더보드 사이트에 대해 공부해 본 내용 2) 실제로 다양한 closed 모델, open source 모델들의 성능을 코드 생성능력 task를 직접 시켜보며 비교해 본 내용 을 작성해보고자 한다. 1. 주요 벤치마크와 벤치마크의 한계점 1) 주요 벤치마크1)- 1. 6개 벤치마크 등장 배경 MMLU,..

목차 1. print(model) 한 줄로 Transformer 구조 이해해 보기 (feat. Llama-3.2-1B)- 0) 전체 흐름 요약- 1) Embedding Layer- 2) Decoder Layers (총 16개)- 3) Final RMSNorm- 4) LM Head (출력층)- 5) 전체 흐름 재정리- 6) 느낀점 1. print(model) 한 줄로 Transformer 구조 이해해 보기 (feat. Llama-3.2-1B)Llama-3.2-1B 모델을 print(model) 했을 때 나오는 내부 레이어 구조를 출력해본 뒤,출력 결과물을 통해 Transformer 구조 속 요소를 하나하나 가볍게 뜯어볼 수 있었다. 이렇게 하나하나 뜯어본 요소들에 대해 적어본다. 0) 전체 흐름 요약 모..

목차 1. LLM 파라미터는 왜 “숫자”일까?2. 양자화(Quantization)3. 양자화 유형4. 코드로 보는 양자화5. 배운 점/느낀 점 Day 14 - 양자화 (Quantization) 1. LLM 파라미터는 왜 “숫자”일까?1) 핵심 요약LLM의 모든 파라미터(weight)는 실수(float) 값보통:학습: float32 / bfloat16추론: float16 / int8 / int4이유:정밀도 vs 메모리/속도 트레이드오프 2) LLM 파라미터는 왜 실수(float)인가?예: (Llama 3 70B → 파라미터 700억 개)LLM 내부에는 여러 개의 파라미터(가중치)가 있다.모든 파라미터는 실수로 저장된다:예시:W = 0.12837b = -0.05392... ✔ 신경망은 모든 계산이 “행렬..

목차1. Day 12 - Hugging Face Pipeline 이용해 보기 2. Day 13 - 모델별 Tokenizer, special token, chat_template 작동방식 비교 (feat. Llama, Deepseek, Phi, Qwen-Coder) 1. Day 12 - Hugging Face Pipeline 이용해 보기 3주 차 중 2일째의 경우는 허깅페이스의 Pipeline을 이용해 허깅페이스에 있는 모델들을 쉽게 써보는 작업을 진행했다. 1) Pipeline? Hugging Face의 pipeline() 함수는 코드 한 줄로 모델 사용이 가능하게 해 준다. 내부적으로 원래는 사용자가 지정해야하는 아래 복잡한 task들을 알아서 처리해 줘 바로 모델을 사용(inference) ..

목차1. Day11 - Hugging Face/Google Colab 세팅. Stable Diffusion (text-to-image), SpeechT5(TTS) 모델 이용 3주 차 (day 11~15)는 허깅페이스를 활용한 오픈소스 모델들을 이용해 보는 시간이었다. 1. Day11 - Hugging Face/Google Colab 세팅. Stable Diffusion (text-to-image), SpeechT5(TTS) 모델 이용 실제 오픈소스 모델을 직접 허깅페이스를 통해 다운 받고, google colab의 T4 (공짜 gpu)로 돌려보기 위한 사전 세팅 작업을 한 뒤, 여러 모델을 직접 돌려볼 수 있는 시간이었다. 특히, AI 관련 사업 실무를 하면서 "허깅페이스에 있는 오픈소스 모델들은 다..

목차1. Day 8 - 지시기반 프롬프트 테스트_고객 CS 챗봇 2. Day 9 - Tool Calling 적용_항공예약 챗봇3. Day 10 - 멀티모달(이미지, 음성) 적용_항공예약 챗봇 1. Day 8 -지시기반 프롬프트 테스트_고객 CS 챗봇 Gradio 챗봇을 만들면서 시스템 프롬프트에 여러 지시기반 프롬프트를 넣어 잘 작동하는지를 테스트해보는 시간이었다. 1) Gradio 세팅- Gradio 챗봇에서 1) 시스템 프롬프트 2) 과거 대화 맥락 (history) 3) 유저 프롬프트 를 모두 활용하기 위한 초기 세팅 2) Gradio의 "messages" 이용해서 OpenAI 규격으로 유저의 채팅 메시지 넘기기 - 유저로 부터 메시지가 들어왔을 때 해당 메시지들을 OpenAI에서 요구하는 규격 ..

목차1. Day 6 - 다양한 프런티어 모델 API 활용해 보기 (GPT, Claude, Gemini, Deepseek) 2. Day 7 - Gradio 사용해보기, Gradio 활용 회사 브로셔 제작 챗봇 만들기 1. Day 6 - 다양한 프론티어 모델 API 활용해 보기 (GPT, Claude, Gemini, Deepseek) Day 6 (2주차 첫 번째)에서 가장 먼저 해본 것은 GPT 외에도 다양한 프런티어 모델 API를 이용해 본 것이었다. 모델 API를 이용하기 위한 사전세팅 부터, 모델 API 호출 시 각 모델의 표준규격은 어떤지 볼 수 있었다. 추가로 각 모델별 표준 규격과 상관없이 OpenAI 공통 규격(client)을 활용하는 법과,모델 응답을 통으로 출력하는 것이 아닌 스트리밍, ..

목차1. Day 3~4 - Parameter, Token, Tokenizer, Context Window, Transformer 1. Day 3~4 - Parameter, Token, Tokenizer, Context Window, TransformerDay 3~4는 LLM 관련 개념적인 부분들을 좀 더 다루는 내용 위주였고, 해당 내용들에 대해 gpt에 질문들에 해가며 좀 더 깊이 공부했다. 실무를 하면서 대략적으로는 알고 있고 많이 들어왔던 개념들이지만, 이전까진 얄팍하게 알고 있었다면 이것들을 좀 더 깊게 파고들어서 공부해 보는 경험이었다. 1) Parameter(weight)a. parameter의 역할- 실제로 이 parameter들이 모델이 입력을 받았을 때 출력을 생성하는 것을 통제한다는..