InYoung.log

도전하는 사람들 한 학기 동안 수행할 특정 과제를 설정하고, 문제해결 과정을 통한 과제 수행으로 학점을 인정받는 자기주도형 학습 설계 프로그램인 도전학기제에 그룹으로 참여하게 되었습니다. 저희 그룹은 경영정보학과 3명과 스마트헬스케어 융합전공 1명으로 구성되어 있습니다. 그룹명은 도전하는 사람들이며, 편의상 도사들이라 지칭하겠습니다. 과제 AWS 클라우드에서 머신러닝을 활용한 새로운 서비스 구현하기 – 서비스 개발, 모델 구축 및 배포까지 현대 기술의 발전으로 4차 산업혁명 시대가 도래했고, AI와 클라우드 서비스가 각광받고 있습니다. 기업들 역시 빅데이터를 활용하기 위해 머신러닝을 주목하기 시작했습니다. 또한 클라우드 환경은 유지, 보수, 비용 측면에서 이점을 가지고 있습니다. 따라서 많은 기업들이 기..

Analytics on AWS 이 워크샵은 AWS Analytics 포트폴리오의 일부인 다양한 분석 서비스에 익숙해 질 수 있도록 설계 되었습니다. AWS에서 분석 플랫폼을 구축하는 다양한 모듈 중 일부를 살펴 봅니다. AWS Glue, Amazon Athena, Amazon EMR, Amazon QuickSight, AWS Lambda 및 Amazon Redshift와 같은 여러 분석 서비스를 사용하여 데이터를 수집, 저장, 변환, 소비하는 방법을 배웁니다. 서버리스 데이터 레이크 아키텍처 설계 Amazon S3를 스토리지를 사용하여 데이터를 Data Lake로 수집하는 데이터 처리 파이프라인 구축 실시간 스트리밍 데이터에 Amazon Kinesis 사용 실시간 데이터 분석을 위해 Amazon Kine..

현대 캐피탈 데이터 수집 기간 : 2010년 12월 17일 ~ 2023년 1월 4일 수집 도구 : google-play-scraper 분석 도구 : 텍스톰 데이터 개수 : 3324개 데이터 속성 : reviewId, userName, userImage, content, score, thumbsUpCount, reviewCreatedVerision, at, replyContent, repliedAt 데이터 속성 설명 reviewId : 개인별 식별 리뷰 아이디 userName : 닉네임 userImage : 프로필 사진 url content : 리뷰 내용 score : 별점 (1~5) thumbsUpCount : 사용자 n명이 이 리뷰가 유용하다고 평가함 reviewCreatedVersion : 작성된 리..

하나캐피탈 구글 플레이스토어 리뷰는 모달 윈도우를 통해 제공된다 브라우저 위에 레이어가 깔려 있고 스크롤 할 때마다 새로운 리뷰를 보여주는 무한 스크롤 형태이다 따라서 URL이 변화없이 그대로 페이징되며, 다음 페이지로 넘어갈 수 있는 버튼도 없다 -> 이 부분이 데이터 크롤링 복잡도를 수직 상승시켰다 Uipath로 리뷰 데이터 크롤링 RPA 도구 중 하나인 Uipath를 이용하여 구글 플레이스토어 리뷰 데이터를 크롤링했다 ● Uipath 크롤링 프로세스 Flow chart ➡️ 테이블 추출 ➡️ 엑셀 저장 1️⃣ Main Sequence에 Flow chart 추가(Flow chart를 바탕으로 작업) 2️⃣ 테이블 추출 2-1. 추가된 Flow chart에 Sequence 추가 후 시작노드로 지정 2-..