개발새발

[수업 정리: 모델 평가 및 업로드 과정]1. 데이터 출처 및 개요본 실습에서는 Hugging Face의 사전 학습된 모델과 IMDB 감성 분석 데이터셋을 활용하여 파인튜닝을 진행합니다.데이터 출처:IMDB 데이터셋: 영화 리뷰에 대한 감성 분석 데이터셋 (긍정/부정 라벨 포함)Hugging Face Hub에서 제공하는 사전 학습된 모델을 활용하여 파인튜닝 진행실습 개요:사전 학습된 모델을 불러와 추가 학습(Fine-tuning)학습된 모델을 평가하고 최적의 하이퍼파라미터 탐색학습된 모델을 Hugging Face Hub에 업로드하여 공유 및 배포업로드된 모델을 활용하여 감성 분석 수행2. 사전 준비 및 모델 불러오기2.1. 필요한 라이브러리 임포트from transformers import Trainer..

1. Transformer Models (트랜스포머 모델 이해하기)1.1 자연어 처리(NLP)와 벡터(vector)의 의미자연어 처리(NLP)컴퓨터가 사람의 언어(한국어, 영어 등)를 이해하고 생성하도록 하는 기술을 말합니다.예: 챗봇, 문서 분류, 감정 분석, 기계 번역 등벡터(vector)**란?수학적으로는 크기와 방향을 갖는 양을 뜻하지만, 딥러닝과 NLP에서는 주로 숫자들의 리스트(고차원 좌표)로 표현되는 데이터를 의미합니다.예) 0.25,−0.67,1.02,…0.25, -0.67, 1.02, …0.25,−0.67,1.02,…처럼 여러 개의 숫자가 1차원 배열 형태로 나열된 것왜 쓰는가?텍스트(문자)는 컴퓨터가 직접 다루기 어렵습니다.단어, 문장 등의 의미를 수치(숫자)로 나타내면, 컴퓨터가 기계..