KT 에이블스쿨 AIVLE school 4기 AI트랙 8-9주차 후기

8-9주차 일정

9/25 미니프로젝트 3차

9/26 - 10/6 언어지능 딥러닝

9/26 - 10/6 언어지능 딥러닝

미프는 저번 글에 다 적었으니까 생략하고 언어지능 딥러닝에 대해 이야기를 꺼내보자면...

개인적으로 언어지능 딥러닝은 내 기대치를 충족시키지는 못했다.(블로그 주인장 개인의 의견입니다!!!!!)

'언어지능 딥러닝'을 하면 바로 '자연어 처리'가 생각나는데 자연어 처리에 대한 내용은 많이 배우지 못한 것 같아서...

배운 거라도 잘 정리해야지!!

TF-IDF

$ TF(t, d) $: 문서 d에서 단어 t의 등장 횟수
$ IDF(t, D) $: $ DF $의 역수(Inverse)
- $ DF(t,D) $: 전체 문서 D에서 단어 t가 등장한 문서의 수

$$ TF-IDF = TF(t,d) * IDF(t, D) $$

자카드 유사도(Jaccard Similarity)

두 문장을 각각 단어의 집합으로 만든 뒤 두 집합을 통해 유사도 측정
0과 1 사이의 값을 가짐

import numpy as np
from sklearn.metrics import accuracy_score

# 각 자리의 값이 같은지 확인
print(accuracy_score(np.array([1,3,2]), np.array([1,4,5])))     # 0.3333333333333333
print(accuracy_score(np.array([1,3,2]), np.array([4,1,5])))     # 0.0
print(accuracy_score(np.array([1,1,0,0]), np.array([1,1,0,2]))) # 0.75
print(accuracy_score(np.array([1,0,1,0]), np.array([1,1,0,2]))) # 0.25

코사인 유사도(Cosine Similartiy)

두 개의 벡터값에서 코사인 각도를 구하는 방법
-1에서 1 사이의 값을 가짐

from sklearn.feature_extraction.text import TfidfVectorizer
sentence = ('오늘도 폭염이 이어졌는데요, 내일은 반가운 비 소식이 있습니다.',
            '오늘도 폭염이 이어졌는데요, 내일은 반가운 비 소식이 있습니다.',
            '폭염을 피해 놀러왔다가 갑작스런 비로 망연자실하고 있습니다.')
vector = TfidfVectorizer(max_features=100) # 최대 100개 feature 추출
tfidf_vector = vector.fit_transform(sentence) # sentence를 벡터로 변환

# 코사인 유사도
from sklearn.metrics.pairwise import cosine_similarity
print('[0] and [1]:', cosine_similarity(tfidf_vector[0], tfidf_vector[1]))
print('[0] and [2]:', cosine_similarity(tfidf_vector[0], tfidf_vector[2]))

희소 표현(Sparse Representation)

벡터 또는 행렬의 값이 대부분이 0으로 표현되는 방법
원-핫 인코딩(one-hot encoding)
- 단어의 개수가 늘어나면 벡터의 차원이 한없이 커짐
- 단어 간 유사성을 표현할 수 없음
- 모든 벡터의 거리가 1로 같음
- 벡터 간의 각도가 90도이기 때문에 코사인 유사도=0

밀집 표현(Dense Representation)

사용자가 설정한 값으로 모든 단어의 벡터 표현의 차원을 맞춤

워드 임베딩(Word Embedding)

단어를 밀집 벡터의 형태로 표현하는 방법
워드 임베딩 과정을 통해 나온 벡터를 임베딩 벡터(embediing vector)라 함

추천 시스템

협업 필터링(Collaborative Filtering)
- 고객의 행동 이력을 기반으로 고객의 소비 패턴을 마이닝, 고객-고객, 아이템-아이템, 고객-아이템 간 유사도를 측정, 유사도에 기반하여 아이템을 추천하는 방식
- 사용자의 구매/방문/클릭 이력에 의존한 추천으로 Cosine Similarity 사용
- 피 구매 기록을 바탕으로 모든 아이템 쌍 사이의 유사도를 구하고, 사용자가 구매한 아이템들을 바탕으로 다른 아이템들을 추천
모델 기반 협업 필터링(Model-based Collaborative Filtering)
- 기존 아이템 간 유사성을 단순하게 비교하는 것에서 벗어나 데이터 안에 내재한 패턴을 이용하는 기법
- 데이터에 내재되어 있는 패턴/속성을 알아내는 것이 핵심 기술
콘텐츠 기반 필터링(Content-based Filtering)
- 아이템의 속성에 기반하여 유사 속성 아이템을 추천하는 방식
- 협업 필터링이 사용자의 행동 이력을 이용하는 반면, 콘텐츠 기반 필터링은 아이템 자체를 분석하여 추천을 구현
- 아이템의 내용을 분석해야 하므로 아이템 분석 및 유사도 측정이 핵심

GAN(Generative Adversarial Network; 적대적 생성 신경망)

서로 다른 두 개의 네트워크를 적대적으로(adversarial) 학습시키며 실제 데이터와 비슷한 데이터를 생성(generative)해내는 모델

Generator(G, 생성모델, 위조지폐범)
- 목적: 진짜 지폐와 비슷한 가짜 지폐를 만들어 경찰을 속이려 하는 위조지폐범
- 결과: 가짜 지폐 생성
- 실제 지폐를 본 적 없음
- 지도 학습에 속함
Discriminator(D, 판별모델, 경찰)
- 목적: 위조지폐범이 만들어낸 가짜 지폐를 탐지하려는 경찰
- 결과: 이진분류(가짜로 확신하는 경우 0, 실제로 확신하는 경우 1)
- 진짜 지폐를 알고 있음
- 비지도 학습에 속함

GAN 손실 함수

경찰 관점(Discriminator)
- $ D $가 $ max $가 되려면 $ D(x)= 1 $, $ D(G(z))=0 $이 되어야 함
- 진짜 데이터를 진짜로, 가짜 데이터를 가짜로 판별
- 진짜 데이터 $ x $를 $ D $에 입력하면 $ D(x) $가 커지면서 $ logD(x) $가 큰 값이 나오도록
- 가짜 데이터 $ G(z) $를 $ D $에 입력하면 $ D(G(z)) $가 작아지면서 $ log(1-D(G(z))) $가 큰 값이 나오도록

위조지폐범 관점(Generator)
- $ G $가 $ min $이 되려면 $ D(G(z))=1 $이 되어야 함
- 진짜로 판별할 만한 가짜 데이터를 만들어야 함
- 가짜 데이터 $ G(z) $를 $ D $에 입력하면 $ D(G(z)) $가 커지면서 진짜 데이터처럼 확률이 높게 나오도록 학습
- $ D(G(z)) $가 커져 $ log(1-D(G(z))) $ 값은 작아지도록 함