개발새발

1. 2개로 분류하는 모델 사용하기자연어 처리를 수행할 때, 긍정/부정을 분류하는 모델을 사용할 수 있습니다. 여기서는 Hugging Face의 AutoModel 계열 클래스를 활용하여 보다 고도화된 모델 사용법을 익힙니다. pipeline 기능은 간단하게 사전 학습된 모델을 로드하여 예측을 수행하는 데 적합합니다. 하지만, 특정 도메인(예: 도마뱀 종류를 분류하는 앱)에 특화된 모델을 사용하려면 Fine-tuning(모델 재학습) 또는 데이터 프리프로세싱(입력 데이터 조정)이 필요할 수 있습니다.   이러한 경우,  AutoModelForSequenceClassification 같은 Auto 계열 클래스를 활용하면 모델을 세밀하게 조정할 수 있습니다. from transformers import Aut..

1. Transformer Models (트랜스포머 모델 이해하기)1.1 자연어 처리(NLP)와 벡터(vector)의 의미자연어 처리(NLP)컴퓨터가 사람의 언어(한국어, 영어 등)를 이해하고 생성하도록 하는 기술을 말합니다.예: 챗봇, 문서 분류, 감정 분석, 기계 번역 등벡터(vector)**란?수학적으로는 크기와 방향을 갖는 양을 뜻하지만, 딥러닝과 NLP에서는 주로 숫자들의 리스트(고차원 좌표)로 표현되는 데이터를 의미합니다.예) 0.25,−0.67,1.02,…0.25, -0.67, 1.02, …0.25,−0.67,1.02,…처럼 여러 개의 숫자가 1차원 배열 형태로 나열된 것왜 쓰는가?텍스트(문자)는 컴퓨터가 직접 다루기 어렵습니다.단어, 문장 등의 의미를 수치(숫자)로 나타내면, 컴퓨터가 기계..