InYoung.log

데이터 소비자는 데이터에 액세스해야 하는 조직 내 사람 또는 애플리케이션으로 정의할 수 있습니다. 데이터 엔지니어가 수행하는 모든 작업은 데이터 소비자가 데이터 세트를 유용하고 쉽게 액세스할 수 있도록 하는 것입니다. 즉, 적절한 도구를 통해 적절한 데이터 소비자에게 적절한 데이터를 적시에 제공하여 기업이 정보에 근거한 의사결정을 내릴 수 있도록 하는 것입니다. 이 장에서는 다음 주제를 다룹니다. 데이터 민주화의 영향 이해 데이터 시각화로 비즈니스 사용자의 요구 충족 구조화된 보고로 데이터 분석가의 요구 사항 충족 데이터 과학자 및 ML 모델의 요구 사항 충족 1. 데이터 민주화의 영향 이해 데이터 민주화는 증가하는 사용자를 위한 데이터의 접근성을 시기적절하고 비용 효율이 높은 방법으로 강화함으로써 대부..

현대 캐피탈 데이터 수집 기간 : 2010년 12월 17일 ~ 2023년 1월 4일 수집 도구 : google-play-scraper 분석 도구 : 텍스톰 데이터 개수 : 3324개 데이터 속성 : reviewId, userName, userImage, content, score, thumbsUpCount, reviewCreatedVerision, at, replyContent, repliedAt 데이터 속성 설명 reviewId : 개인별 식별 리뷰 아이디 userName : 닉네임 userImage : 프로필 사진 url content : 리뷰 내용 score : 별점 (1~5) thumbsUpCount : 사용자 n명이 이 리뷰가 유용하다고 평가함 reviewCreatedVersion : 작성된 리..

한글 Word Clustering 1. 패키지 및 데이터 파일 불러오기 - 패키지 불러오기 import pickle from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans from scipy.cluster.hierarchy import dendrogram, ward from sklearn.metrics.pairwise import cosine_similarity from matplotlib import font_manager import matplotlib.pyplot as plt - 데이터 파일 불러오기 with open('ko_stopped_join.bin','rb') as fp : ko..

데이터 파이프라인은 여러 소스에서 데이터를 수집하고 데이터를 최적화 및 변환하며 데이터 소비자가 사용할 수 있도록 하는 프로세스입니다. 데이터 엔지니어링 역할의 중요한 기능은 이러한 파이프라인을 설계하거나 설계하는 능력입니다. 이 장에서는 다음 주제를 다룹니다. 데이터 파이프라인 설계 작업 접근 데이터 소비자 식별 및 요구 사항 이해 데이터 소스 식별 및 데이터 수집 데이터 변환 및 최적화 식별 데이터 마트에 데이터 로드 화이트보드 세션 마무리 1. 데이터 파이프라인 아키텍처 접근 새로운 데이터 엔지니어링 프로젝트를 시작할 때 흔히 볼 수 있는 실수는 모든 작업을 한 번에 수행하여 모든 사용 사례를 포함하는 솔루션을 만드는 것입니다. 보다 나은 접근법은 구체적인 사용 사례를 식별하고, 그 하나의 결과에 ..

Word2Vec 이론 one-hot encoding은 단어를 벡터로 나타낼 때 총 단어 수만큼의 길이의 벡터에서 다른 모든 값은 0으로 하고 단어 번호에 해당하는 원소만 1로 표시한다. '토끼', '도서관', '물' 3 단어만 있고 순서대로 1~3번이라면 토끼는(1,0,0), 도서관은(0,1,0), 물은(0,0,1)로 나태난다. 단어의 의미를 고려하지 않으며 벡터의 길이가 총 단어 수가 되므로 희박한 형태가 된다. 이를 해결하기 위해 단어의 의미를 고려하여 조밀한 차원에 단어를 벡터로 표현하는 것을 단어 임베딩이라고 한다. 단어 임베딩은 단어의 의미를 효과적으로 표현하기 때문에 one-hot encoding보다 학습 성능을 높일 수 있다. 단어 임베딩의 종류에는 LSA, Word2Vec, GloVe, F..

Topic Modeling 문서를 이루고 있는 키워드들을 바탕으로 문서에서 주제(Topic)를 도출하기 위해 사용되는 통계적 분석방법이다. 비정형 텍스트 분석에 많이 사용되고 있으며 다양한 종류의 데이터에도 적용 가능하다. 주제별 키워드 분포를 바탕으로 주어진 문서에서 발견된 키워드 분포를 분석함으로써 해당 문서에 사용된 주제들을 추정하고 문서들을 주제별로 분류한다. 또한, 문서들이 어떤 주제들을 함께 다루고 있을지 예측이 가능하고 시간에 따라 주제들의 동향 파악과 신규 문서가 어느 주제에 대한 것인지 등을 추정할 수 있다. 잠재 디리클레 할당 (Latent Dirichlet Allocation : LDA) > 개념 디리클레 분포를 이용하여 주어진 문서에 숨겨져 있는 주제들을 추론하는 확률모델 알고리즘이..

감정분석 (Sentiment Analysis) 1. 패키지 및 데이터 파일 불러오기 - 패키지 불러오기 import pandas as pd from nltk.tokenize import word_tokenize from nltk.corpus import stopwords from nltk.stem import PorterStemmer import re - 파일 불러오기 file = pd.read_csv('wos_ai_.csv', encoding='utf-8') file 2. 초록/연도 구분 및 데이터셋 준비 - 초록 / 연도 구분 data = file.ABSTRACT year = file.YEAR - 빈 데이터셋 준비 doc_set = [] words = [] wordsForSentiment = [] 3..

하나캐피탈 구글 플레이스토어 리뷰는 모달 윈도우를 통해 제공된다 브라우저 위에 레이어가 깔려 있고 스크롤 할 때마다 새로운 리뷰를 보여주는 무한 스크롤 형태이다 따라서 URL이 변화없이 그대로 페이징되며, 다음 페이지로 넘어갈 수 있는 버튼도 없다 -> 이 부분이 데이터 크롤링 복잡도를 수직 상승시켰다 Uipath로 리뷰 데이터 크롤링 RPA 도구 중 하나인 Uipath를 이용하여 구글 플레이스토어 리뷰 데이터를 크롤링했다 ● Uipath 크롤링 프로세스 Flow chart ➡️ 테이블 추출 ➡️ 엑셀 저장 1️⃣ Main Sequence에 Flow chart 추가(Flow chart를 바탕으로 작업) 2️⃣ 테이블 추출 2-1. 추가된 Flow chart에 Sequence 추가 후 시작노드로 지정 2-..