개발새발

AI 챗봇은 이제 더 이상 전문가만 만들 수 있는 기술이 아닙니다. 이 글에서는 Python과 Streamlit을 활용하여 AI 챗봇을 쉽게 구현하는 방법을 소개합니다. 특히, Hugging Face의 LLM (Gemma 2 모델)을 사용하여 대화형 챗봇을 만들고, Streamlit을 통해 간단한 웹 UI까지 구축할 것입니다.이제부터 코딩 왕초보도 따라 할 수 있는 AI 챗봇 개발을 시작해 봅시다! 🚀1. GitHub 저장소 만들기 🛠️프로젝트를 체계적으로 관리하기 위해 GitHub 저장소를 먼저 생성합니다.📌 GitHub 저장소 생성 방법1️⃣ GitHub 계정이 없다면 가입 → GitHub 가입하기 2️⃣ 새로운 저장소(Repository) 생성 → hehe-gpt와 같은 적절한 이름 사용 3️..

LLM과 RAG 개념 및 실습 준비🔹 LLM(대규모 언어 모델)이란?사전에 학습된 대형 AI 모델.기업이나 연구소에서 미리 학습한 모델을 제공하여 활용 가능.기존의 AI 모델보다 강력한 문맥 이해 능력을 제공하며, 다양한 응용이 가능.주요 활용 방식:기본 모델 그대로 사용 (가장 빠르고 간단한 방법)파인 튜닝(Fine-tuning) → 기존 모델에 새로운 데이터를 학습시켜 맞춤형 모델로 개선.RAG(Retrieval-Augmented Generation) → 기존 모델에 문서 데이터를 연동하여 특정 문서 기반 응답 생성.🔹 RAG (검색 증강 생성, Retrieval-Augmented Generation)란?기존 LLM의 한계를 보완하는 기술.모델 자체를 학습하지 않고, 외부 문서 데이터를 검색하여 ..

[수업 정리: 모델 평가 및 업로드 과정]1. 데이터 출처 및 개요본 실습에서는 Hugging Face의 사전 학습된 모델과 IMDB 감성 분석 데이터셋을 활용하여 파인튜닝을 진행합니다.데이터 출처:IMDB 데이터셋: 영화 리뷰에 대한 감성 분석 데이터셋 (긍정/부정 라벨 포함)Hugging Face Hub에서 제공하는 사전 학습된 모델을 활용하여 파인튜닝 진행실습 개요:사전 학습된 모델을 불러와 추가 학습(Fine-tuning)학습된 모델을 평가하고 최적의 하이퍼파라미터 탐색학습된 모델을 Hugging Face Hub에 업로드하여 공유 및 배포업로드된 모델을 활용하여 감성 분석 수행2. 사전 준비 및 모델 불러오기2.1. 필요한 라이브러리 임포트from transformers import Trainer..

1. 2개로 분류하는 모델 사용하기자연어 처리를 수행할 때, 긍정/부정을 분류하는 모델을 사용할 수 있습니다. 여기서는 Hugging Face의 AutoModel 계열 클래스를 활용하여 보다 고도화된 모델 사용법을 익힙니다. pipeline 기능은 간단하게 사전 학습된 모델을 로드하여 예측을 수행하는 데 적합합니다. 하지만, 특정 도메인(예: 도마뱀 종류를 분류하는 앱)에 특화된 모델을 사용하려면 Fine-tuning(모델 재학습) 또는 데이터 프리프로세싱(입력 데이터 조정)이 필요할 수 있습니다.   이러한 경우,  AutoModelForSequenceClassification 같은 Auto 계열 클래스를 활용하면 모델을 세밀하게 조정할 수 있습니다. from transformers import Aut..

1. 오브젝트 디텍션(Object Detection)이란?오브젝트 디텍션은 이미지(또는 영상) 안에서 특정 물체가 어디에 있는지(바운딩 박스)와 무엇인지(클래스)를 찾아내는 기술입니다. 예를 들어, 사진 속 사람, 개, 자동차 등을 인식하고 위치를 표시해주는 기능이 대표적입니다.최근에는 Faster R-CNN, YOLO, SSD 등 유명 모델에서 나아가, DETR, DINO 등 Transformer 기반 모델이 속속 등장하여 높은 정확도와 다양한 응용 가능성을 보여주고 있습니다.2. 허깅 페이스(Hugging Face)에서의 오브젝트 디텍션허깅 페이스는 원래 NLP(자연어 처리) 분야로 유명했지만, 지금은 컴퓨터 비전 모델도 활발하게 지원하고 있습니다.DETR 시리즈YOLOS, DINOOWL-ViT (오..

1. pipeline에서 사용 가능한 주요 태스크(Task) 목록Hugging Face의 pipeline에서 지원하는 주요 태스크들은 미리 정의된 문자열 값으로 사용됩니다.즉, "sentiment-analysis", "text-generation", "translation", "question-answering" 등은 고정된 태스크 명입니다.📌 주요 지원 태스크 (정해진 값)  태스크 이름 설명 대표적인 모델 "sentiment-analysis"감정 분석 (긍정/부정)distilbert-base-uncased-finetuned-sst-2-english"text-generation"텍스트 생성 (GPT)gpt2, distilgpt2"zero-shot-classification"사전 학습 없이 텍스트 분류..

1. Transformer Models (트랜스포머 모델 이해하기)1.1 자연어 처리(NLP)와 벡터(vector)의 의미자연어 처리(NLP)컴퓨터가 사람의 언어(한국어, 영어 등)를 이해하고 생성하도록 하는 기술을 말합니다.예: 챗봇, 문서 분류, 감정 분석, 기계 번역 등벡터(vector)**란?수학적으로는 크기와 방향을 갖는 양을 뜻하지만, 딥러닝과 NLP에서는 주로 숫자들의 리스트(고차원 좌표)로 표현되는 데이터를 의미합니다.예) 0.25,−0.67,1.02,…0.25, -0.67, 1.02, …0.25,−0.67,1.02,…처럼 여러 개의 숫자가 1차원 배열 형태로 나열된 것왜 쓰는가?텍스트(문자)는 컴퓨터가 직접 다루기 어렵습니다.단어, 문장 등의 의미를 수치(숫자)로 나타내면, 컴퓨터가 기계..

K-Means Clustering은 비지도 학습(Unsupervised Learning)의 대표적인 기법으로, 데이터를 군집화하여 비슷한 특성을 가진 데이터를 묶는 데 사용됩니다. 이 알고리즘은 특히 고객 데이터를 분석하거나 특정 패턴을 찾을 때 유용하며, 실습 과정을 통해 데이터 군집화를 직접 수행해볼 수 있습니다.K-Means Clustering의 원리초기 중심점 설정: K값(클러스터 개수)을 설정하고, 초기 중심점을 랜덤으로 선택합니다.클러스터 할당: 각 데이터 포인트에 대해 가장 가까운 중심점에 해당하는 클러스터로 할당합니다. 거리는 일반적으로 유클리드 거리(Euclidean Distance)로 계산됩니다.중심점 업데이트: 각 클러스터에 속한 데이터의 평균을 계산하여 새로운 중심점을 설정합니다.반..

2025.02.01 - [🐍 Python] - K-Means Clustering 실습 및 이론 정리 K-Means Clustering 실습 및 이론 정리K-Means Clustering은 비지도 학습(Unsupervised Learning)의 대표적인 기법으로, 데이터를 군집화하여 비슷한 특성을 가진 데이터를 묶는 데 사용됩니다. 이 알고리즘은 특히 고객 데이터를 분석하거나 특boohoday.com안녕하세요, 여러분. 오늘은 인공지능에서 중요한 개념 중 하나인 Unsupervised Learning(비지도 학습)에 대해 알아보겠습니다.1. 비지도 학습이란?먼저, 우리가 흔히 접하는 인공지능 모델은 크게 두 가지로 나뉩니다. 하나는 정답이 있는 데이터를 가지고 학습하는 Supervised Learning..

데이터를 분류하는 첫 번째 선데이터를 효과적으로 분류하기 위해 우리는 특정 기준을 설정하고 이를 바탕으로 데이터를 나눠야 합니다. 디시전 트리는 이러한 분류 과정을 시각적으로 표현하는 가장 직관적인 방법 중 하나입니다.우리는 데이터를 분류할 때, 가장 먼저 첫 번째 분할 기준을 결정해야 합니다. 예를 들어, 아래와 같은 데이터가 있다고 가정해 봅시다.특정 데이터의 값을 기준으로 그룹을 나눈다.첫 번째 기준을 설정하여 데이터를 상위 그룹과 하위 그룹으로 분할한다.이제 이 과정을 단계별로 살펴보겠습니다.첫 번째 선: 데이터의 첫 번째 분할먼저, 데이터를 분석하여 어떤 기준으로 분할할 것인지 결정해야 합니다. 일반적으로 Y축 값(예: 특정 값이 60보다 큰가 작은가?)**을 기준으로 데이터를 나누어볼 수 있습..