개발새발

[수업 정리: 모델 평가 및 업로드 과정]1. 데이터 출처 및 개요본 실습에서는 Hugging Face의 사전 학습된 모델과 IMDB 감성 분석 데이터셋을 활용하여 파인튜닝을 진행합니다.데이터 출처:IMDB 데이터셋: 영화 리뷰에 대한 감성 분석 데이터셋 (긍정/부정 라벨 포함)Hugging Face Hub에서 제공하는 사전 학습된 모델을 활용하여 파인튜닝 진행실습 개요:사전 학습된 모델을 불러와 추가 학습(Fine-tuning)학습된 모델을 평가하고 최적의 하이퍼파라미터 탐색학습된 모델을 Hugging Face Hub에 업로드하여 공유 및 배포업로드된 모델을 활용하여 감성 분석 수행2. 사전 준비 및 모델 불러오기2.1. 필요한 라이브러리 임포트from transformers import Trainer..

1. 2개로 분류하는 모델 사용하기자연어 처리를 수행할 때, 긍정/부정을 분류하는 모델을 사용할 수 있습니다. 여기서는 Hugging Face의 AutoModel 계열 클래스를 활용하여 보다 고도화된 모델 사용법을 익힙니다. pipeline 기능은 간단하게 사전 학습된 모델을 로드하여 예측을 수행하는 데 적합합니다. 하지만, 특정 도메인(예: 도마뱀 종류를 분류하는 앱)에 특화된 모델을 사용하려면 Fine-tuning(모델 재학습) 또는 데이터 프리프로세싱(입력 데이터 조정)이 필요할 수 있습니다.   이러한 경우,  AutoModelForSequenceClassification 같은 Auto 계열 클래스를 활용하면 모델을 세밀하게 조정할 수 있습니다. from transformers import Aut..