AS IS -> TO BE

  • 홈
  • 태그
  • 방명록

tokenizer 1

6. 모델별 Tokenizer, special token, chat_template 작동방식 비교 (feat. Llama, Deepseek, Phi, Qwen-Coder)

목차1. Day 12 - Hugging Face Pipeline 이용해 보기 2. Day 13 - 모델별 Tokenizer, special token, chat_template 작동방식 비교 (feat. Llama, Deepseek, Phi, Qwen-Coder) 1. Day 12 - Hugging Face Pipeline 이용해 보기 3주 차 중 2일째의 경우는 허깅페이스의 Pipeline을 이용해 허깅페이스에 있는 모델들을 쉽게 써보는 작업을 진행했다. 1) Pipeline? Hugging Face의 pipeline() 함수는 코드 한 줄로 모델 사용이 가능하게 해 준다. 내부적으로 원래는 사용자가 지정해야하는 아래 복잡한 task들을 알아서 처리해 줘 바로 모델을 사용(inference) ..

AI 공부 2026.03.15
이전
1
다음
더보기
프로필사진

AS IS -> TO BE

서비스 사용자와 함께 하는 팀원들에게 모두 선한 영향력을 주는 기획자를 꿈꿉니다.

  • 분류 전체보기 (75) N
    • 대학생! 핀테크 스타트업 PO가 되다 (22)
    • IT, 스타트업 쟁이의 대기업 취준일기 (13)
    • 바이브코딩 (2)
    • AI 공부 (13) N
    • SOPT(IT 연합동아리)- Side projec.. (11)
    • 개발공부 (10)
    • 디자인공부 (2)
    • 기타 일기 (2)

Tag

Agent, 핀테크, 소상공인, AI 공부, PO, 공채, 커리어, 실상, 대기업, 옴스잡스, ai, PM, 면접왕이형, llm, 취준, 대학생, 서비스기획, 스타트업, GPT, 진로,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30

방문자수Total

  • Today :
  • Yesterday :
LinkedIn Profile Surfit Portfolio

Copyright © AXZ Corp. All rights reserved.

  • 서핏 포트폴리오
  • 링크드인 프로필

티스토리툴바