코딩
[Chatbot] 챗봇 공부하면서 알게 된 용어 및 라이브러리 정리1
obin01
2024. 12. 22. 20:04
✅ Epoch
이 전체 데이터 셋에 대해 한번의 학습 과정이 완료되면 한 번의 epoch가 진행하는것을 말함
- epochs = 40이라면 전체 데이터를 40번 사용해서 학습을 거치는 것
- epoch 값이 너무 작다면 underfitting이 너무 크다면 overfitting이 발생할 확률이 높다
📌 언더피팅(underfitting), 오버피팅(overfitting)
언더피팅 - 모델이 너무 간단하기 때문에 학습 오류가 줄어들지 않는 현상
오버피팅 - 학습 데이터에 너무 과하게 적합하여, 새로운 데이터에 대해 정확한 예측을 하지 못하는 현상
✅ Gensim
텍스트 데이터에서 의미와 주제를 학습 하는데 특화된 라이브러리
- 단어 임베딩할때 Word2Vec, FastText와 같은 모델을 사용하여 단어를 임베딩 벡터로 변환할때 사용
📌 Word2Vec, FastText 학습 모델
Word2Vec - 단어를 벡터로 바꿔서 컴퓨터가 단어의 의미와 관계를 이해할 수 있게 만들어주는 알고리즘
FastText - Word2Vec 의 상위버전으로 단어를 더 쪼개서 희귀 단어와 새로운 단어를 더 잘 처리 하는 알고리즘
✅ Intent
사용자가 말하는 의도 분석
- 주로 딥 러닝 기반 모델 CNN, LSTM 모델이나 Transformer 기반 모델 BERT, GPT등으로 분석하여 의도를 분류
📌 CNN, LSTM 학습 모델
CNN - 주로 이미지나 영상 데이터를 처리할 때 사용
LSTM - 과거 데이터를 고려하여 다음 출력값을 예측할때 사용
✅ Entity
사용자의 말에서 중요하게 알아들어야 하는 정보들의 묶음 단위
- 주로 CRF + LSTM 형식이나 Transformer 기반 모델을 사용
📌 Transformer
단어나 문장과 같은 입력 데이터에서 중요한 정보를 추출하고 출력 데이터를 생성하는 딥러닝 모델
✅ LLMs
대형 언어 모델로 방대한 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성할수 있는 인공지능 모델
- 수백억 개의 매개변수를 사용하여 언어의 패턴과 맥락을 파악
- 질문에 답하거나 텍스트를 생성하는 등 다양한 언어 작업을 수행