개발새발

LLM과 RAG 개념 및 실습 준비🔹 LLM(대규모 언어 모델)이란?사전에 학습된 대형 AI 모델.기업이나 연구소에서 미리 학습한 모델을 제공하여 활용 가능.기존의 AI 모델보다 강력한 문맥 이해 능력을 제공하며, 다양한 응용이 가능.주요 활용 방식:기본 모델 그대로 사용 (가장 빠르고 간단한 방법)파인 튜닝(Fine-tuning) → 기존 모델에 새로운 데이터를 학습시켜 맞춤형 모델로 개선.RAG(Retrieval-Augmented Generation) → 기존 모델에 문서 데이터를 연동하여 특정 문서 기반 응답 생성.🔹 RAG (검색 증강 생성, Retrieval-Augmented Generation)란?기존 LLM의 한계를 보완하는 기술.모델 자체를 학습하지 않고, 외부 문서 데이터를 검색하여 ..

[수업 정리: 모델 평가 및 업로드 과정]1. 데이터 출처 및 개요본 실습에서는 Hugging Face의 사전 학습된 모델과 IMDB 감성 분석 데이터셋을 활용하여 파인튜닝을 진행합니다.데이터 출처:IMDB 데이터셋: 영화 리뷰에 대한 감성 분석 데이터셋 (긍정/부정 라벨 포함)Hugging Face Hub에서 제공하는 사전 학습된 모델을 활용하여 파인튜닝 진행실습 개요:사전 학습된 모델을 불러와 추가 학습(Fine-tuning)학습된 모델을 평가하고 최적의 하이퍼파라미터 탐색학습된 모델을 Hugging Face Hub에 업로드하여 공유 및 배포업로드된 모델을 활용하여 감성 분석 수행2. 사전 준비 및 모델 불러오기2.1. 필요한 라이브러리 임포트from transformers import Trainer..

1. 2개로 분류하는 모델 사용하기자연어 처리를 수행할 때, 긍정/부정을 분류하는 모델을 사용할 수 있습니다. 여기서는 Hugging Face의 AutoModel 계열 클래스를 활용하여 보다 고도화된 모델 사용법을 익힙니다. pipeline 기능은 간단하게 사전 학습된 모델을 로드하여 예측을 수행하는 데 적합합니다. 하지만, 특정 도메인(예: 도마뱀 종류를 분류하는 앱)에 특화된 모델을 사용하려면 Fine-tuning(모델 재학습) 또는 데이터 프리프로세싱(입력 데이터 조정)이 필요할 수 있습니다.   이러한 경우,  AutoModelForSequenceClassification 같은 Auto 계열 클래스를 활용하면 모델을 세밀하게 조정할 수 있습니다. from transformers import Aut..