InYoung.log

한글 Word Clustering 1. 패키지 및 데이터 파일 불러오기 - 패키지 불러오기 import pickle from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans from scipy.cluster.hierarchy import dendrogram, ward from sklearn.metrics.pairwise import cosine_similarity from matplotlib import font_manager import matplotlib.pyplot as plt - 데이터 파일 불러오기 with open('ko_stopped_join.bin','rb') as fp : ko..

Word2Vec 이론 one-hot encoding은 단어를 벡터로 나타낼 때 총 단어 수만큼의 길이의 벡터에서 다른 모든 값은 0으로 하고 단어 번호에 해당하는 원소만 1로 표시한다. '토끼', '도서관', '물' 3 단어만 있고 순서대로 1~3번이라면 토끼는(1,0,0), 도서관은(0,1,0), 물은(0,0,1)로 나태난다. 단어의 의미를 고려하지 않으며 벡터의 길이가 총 단어 수가 되므로 희박한 형태가 된다. 이를 해결하기 위해 단어의 의미를 고려하여 조밀한 차원에 단어를 벡터로 표현하는 것을 단어 임베딩이라고 한다. 단어 임베딩은 단어의 의미를 효과적으로 표현하기 때문에 one-hot encoding보다 학습 성능을 높일 수 있다. 단어 임베딩의 종류에는 LSA, Word2Vec, GloVe, F..

Topic Modeling 문서를 이루고 있는 키워드들을 바탕으로 문서에서 주제(Topic)를 도출하기 위해 사용되는 통계적 분석방법이다. 비정형 텍스트 분석에 많이 사용되고 있으며 다양한 종류의 데이터에도 적용 가능하다. 주제별 키워드 분포를 바탕으로 주어진 문서에서 발견된 키워드 분포를 분석함으로써 해당 문서에 사용된 주제들을 추정하고 문서들을 주제별로 분류한다. 또한, 문서들이 어떤 주제들을 함께 다루고 있을지 예측이 가능하고 시간에 따라 주제들의 동향 파악과 신규 문서가 어느 주제에 대한 것인지 등을 추정할 수 있다. 잠재 디리클레 할당 (Latent Dirichlet Allocation : LDA) > 개념 디리클레 분포를 이용하여 주어진 문서에 숨겨져 있는 주제들을 추론하는 확률모델 알고리즘이..

감정분석 (Sentiment Analysis) 1. 패키지 및 데이터 파일 불러오기 - 패키지 불러오기 import pandas as pd from nltk.tokenize import word_tokenize from nltk.corpus import stopwords from nltk.stem import PorterStemmer import re - 파일 불러오기 file = pd.read_csv('wos_ai_.csv', encoding='utf-8') file 2. 초록/연도 구분 및 데이터셋 준비 - 초록 / 연도 구분 data = file.ABSTRACT year = file.YEAR - 빈 데이터셋 준비 doc_set = [] words = [] wordsForSentiment = [] 3..

조 바이든 대통령 취임식 연설문 워드클라우드 Python을 이용하여 조 바이든 대통령 취임식 연설문을 텍스트 분석해 보았습니다. 아래 파일은 제가 실습에 사용한 영어 원문 텍스트 자료입니다. csv 파일의 경우 엑셀을 이용해 마침표 기준으로 텍스트를 나누었고, 그 외 전처리는 모두 파이썬을 활용했습니다. 1. 데이터 준비 - 패키지 불러오기 import pandas as pd import numpy as np import sklearn # 특징 추출 import re # 정규식 from nltk.tokenize import word_tokenize # 단어 토큰화 from nltk.corpus import stopwords # 불용어 from nltk.stem import PorterStemmer # 어..

pandas 함수 - 자료구조 및 데이터 분석/처리를 위한 파이썬 패키지 - 기본적으로 정의되는 자료 구조인 series와 data frame 사용 import pandas as pd from pandas import Series, DataFrame Sereis - index와 value의 형태를 갖고 있는 pandas 자료 구조 - series는 index와 value로 구성된다는 점에서 value만 갖는 리스트와 구분됨 - index는 기본값으로 0,1,2,3... 으로 자동 생성 a=Series([1,3,5,7]) a.values # 값 a.indext # 인덱스 # indext 변경 a2 = pd.Series([1,3,5,7], index=['a','b','c','d']) DataFrame - 엑..

파이썬 자료 유형 유형 예시 숫자형 정수 Integer 123, -48, 0 실수 Float 3.14, -5.98, 8.0 문자형 String 'Hello', "world" 리스트 List [1,2,3,4,5], [a,b,c,d,e] 튜플 Tuple (1,2,3,4,5), (a,b,c,d,e,) 집합 Set set("hello"), set([1,2,3]) 사전 Dictionary {'hello' : 'world', 'python' : 'programming'} 논리/불린 Boolean True or False 숫자형 number - 숫자 형태로 구성된 자료형 - 정수형, 실수형, 8진수, 16진수 등이 있음 문자형 string - 문자, 단어 등으로 구성된 자료형 - 단일 인용 표시 '' 및 이중 인용 ..

제가 참고하는 책은 입니다. - 사실 저도 배워가는 과정이라 앞으로 올리는 글에서 틀린 것이 있다면 언제든 피드백 주세요. 프로그래밍 언어란 컴퓨터에서 작동하는 소프트웨어를 만드는 도구 즉, 컴퓨터가 이해할 수 있는 기계어랍니다. 프로그래밍 언어에는 c/c++, Java, HTML, PHP 등 여러 종류가 있는데 그중 초보자도 배우기 쉬운 파이썬에 대해 알아보아요! - 파이썬은 특징을 간략히 설명하자면 1. 결과를 바로 확인할 수 있어 사용하기 쉬운 편 2. 오픈 소스라 무료로 사용할 수 있고 다양한 외부 라이브러리들을 무료로 제공 3. 사물인터넷과 연동이 잘 되며, 웹 프레임워크를 사용해 빠른 웹 환경을 구축할 수 있음 - 이렇게 장점이 많은 파이썬, 함께 다운로드를 해볼까요?! https://www...