[텍스트마이닝] LDA와 Topic Modeling 개념 및 활용

Topic Modeling

문서를 이루고 있는 키워드들을 바탕으로 문서에서 주제(Topic)를 도출하기 위해 사용되는 통계적 분석방법이다.

비정형 텍스트 분석에 많이 사용되고 있으며 다양한 종류의 데이터에도 적용 가능하다.

 

주제별 키워드 분포를 바탕으로 주어진 문서에서 발견된 키워드 분포를 분석함으로써 해당 문서에 사용된 주제들을 추정하고 문서들을 주제별로 분류한다. 또한, 문서들이 어떤 주제들을 함께 다루고 있을지 예측이 가능하고 시간에 따라 주제들의 동향 파악과 신규 문서가 어느 주제에 대한 것인지 등을 추정할 수 있다.

 

 

 

잠재 디리클레 할당 (Latent Dirichlet Allocation : LDA)

> 개념

디리클레 분포를 이용하여 주어진 문서에 숨겨져 있는 주제들을 추론하는 확률모델 알고리즘이다.

디리클레 분포(Dirichlet distribution)는 연속 확률분포의 하나로, 𝒌차원의 실수 벡터 중 벡터의 요소가 양수이며 모든 요소를 더한 값이 1인 경우 (이를 𝒌-1차원 단체라고 한다)에 대해 확률값이 정의되는 분포이다.
-> 따라서 LDA의 할당의 총합은 1이 된다.

 

각 주제에서 도출할 수 있는 단어들의 확률 분포를 알고 있을 때, 무작위 과정에 의해 문서가 생성될 수 있다고 가정하는 모형이다. 하나의 문서는 여러 주제로 구성되고, 문서의 주제 분포에 따라 단어의 분포가 결정된다는 가정 하에 단위 문서가 생성된다.

 

문서 전체의 주제, 각 문서별 주제 비율, 그리고 각 주제에 포함될 단어들의 분포를 파악한다.

 

 

 

LDA는 단어 쓰임이 확률적으로 연관이 높은 것들끼리 묶어준다.

토픽의 제목을 정해주지 않기 때문에, 사용자의 네이밍 과정이 필요하다.

위의 예시에서는 Arts, Budgets, Children, Education이 이에 해당한다.

 

 

> 원리

전체 문서 집합을 k개의 주제로 표현이 가능하다고 할 때, 각각의 주제에 대한 단어 분포(𝜷𝒌)를 디리클레 분포 𝜷로 정의한다. 이후 각 단위 문서에서 나타나는 개별 주제의 비율 분포(𝜽d)를 디리클레 분포 α로 정의한 후 각각의 단어에 대해 주제 비율로부터 주제를 배정하고, 개별 주제의 단어 분포에서 단어를 배정한다.

α, β 주제의 수(k)는 사전 결정이 되어야 하며, α, β값이 1에 수렴할수록 문서 집합에 많은 주제가 포함되고, 주제에 많은 단어가 포함된다.

 

 

 

각 노드 : 확률 변수

 

D :모든 문서에 대해 반복

K : 모든 토픽에 대해 반복

N : 모든 D에 대해 적용되면서 동시에 각 문서의 모든 단어들에 대해 반복된다

 

α : 디리클레 하이퍼 퍼라미터

n : 토픽 파라미터

 

z(d,n) : d번째 문서의 n번째 단어가 추출된 토픽

w(d,n) : d번째 문서의 n번째 단어

 

간격이 촘촘할 수록 정교한 결과를 얻을 수 있으며, 간격이 클 수록 확률적으로 큰 값을 가진다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---

참고자료

동아대 INSPIRE - python 텍스트마이닝 14강 Sentiment Analysis 실습

https://blog.naver.com/tmfl1447/222762259015