[도사들] Analytics on AWS

Analytics on AWS

이 워크샵은 AWS Analytics 포트폴리오의 일부인 다양한 분석 서비스에 익숙해 질 수 있도록 설계 되었습니다.

AWS에서 분석 플랫폼을 구축하는 다양한 모듈 중 일부를 살펴 봅니다.

AWS Glue, Amazon Athena, Amazon EMR, Amazon QuickSight, AWS Lambda 및 Amazon Redshift와 같은

여러 분석 서비스를 사용하여 데이터를 수집, 저장, 변환, 소비하는 방법을 배웁니다.

 

• 서버리스 데이터 레이크 아키텍처 설계
• Amazon S3를 스토리지를 사용하여 데이터를 Data Lake로 수집하는 데이터 처리 파이프라인 구축
• 실시간 스트리밍 데이터에 Amazon Kinesis 사용
• 실시간 데이터 분석을 위해 Amazon Kinesis Data Analytics 사용
• AWS Glue를 사용하여 데이터세트 자동 분류
• 데이터 변환
  • AWS Glue 대화형 세션을 사용해 AWS Glue Studio의 Jupyter 노트북에서 대화형 ETL 스크립트 실행
  • Glue Studio를 사용하여 AWS Glue에서 ETL 작업을 실행하고 모니터링
  • Glue DataBrew를 사용하여 데이터 준비
  • EMR을 사용하여 Spark 변환 작업 실행
• Glue에서 Amazon Redshift로 데이터 적재
• Amazon Redshift 모범 설계 사례 소개
• Amazon Athena를 사용하여 데이터를 쿼리하고 Amazon QuickSight를 사용하여 시각화

 

 

 

 

 

---

Ingest & Real Time Analysis (수집 & 실시간 분석)

수집 및 저장

Kinesis 데이터 생성기 유틸리티를 사용하여 거의 실시간으로 Dummy 데이터를 생성하고,

이를 Kinesis Firehose delivery stream을 사용하여 Amazon S3로 데이터를 전송할 것입니다.

또한 일부 참조 데이터를 Amazon S3 버킷에 직접 복사 할 것입니다.

 

---

Store + Catalog + Transform (저장 + 카탈로그 + 변환)

카탈로그 데이터

AWS Glue Data Catalog에 데이터세트를 등록합니다.

Glue Crawlers의 도움으로 메타 데이터 캡처를 자동화 할 것입니다.

카탈로그 엔터티가 생성되면 Amazon Athena에서 데이터의 raw 포맷의 데이터에 대해 쿼리를 시작할 수 있습니다.

 

 데이터를 카탈로그화 했으므로 AWS Glue ETL을 사용하여 데이터를 변환하는 다음 단계를 진행하겠습니다!

 

AWS Glue로 데이터 변환(대화형 세션)

AWS Glue 대화형 세션(Interactive sessions)을 사용하여 데이터를 처리하고

그 결과를 다시 S3에 변환된 레이어로 저장하겠습니다.

데이터 변환을 진행하기 위해 AWS Glue 인터랙티브 세션으로 구동되는 Glue Studio와 Jupyter 노트북을 사용할 것입니다.

 

이제 데이터를 변환했기에 Amazon Athena를 사용하여 데이터를 쿼리할 수 있습니다.

또한 AWS Glue 또는 Amazon EMR을 사용하여 데이터를 추가로 변환/집계할 수도 있습니다.

EMR의 다음 모듈은 선택 사항입니다. 원한다면 이 모듈을 건너뛰고 Analyze with Athena을 진행할 수 있습니다.

 

 

AWS Glue Studio로 데이터 변환(그래픽 인터페이스)

AWS Glue에서 ETL (추출, 변환 및 로드) 작업을 쉽게 생성, 실행 및 모니터링 할 수 있는

그래픽 인터페이스인 AWS Glue Data Studio를 사용합니다.

Glue Studio란 무엇인가?

AWS Glue Studio는 AWS Glue에서 추출, 변환 및 로드(ETL) 작업을 쉽게 생성, 실행 및 모니터링 할 수 있는 새로운 그래픽 인터페이스 입니다. 데이터 변환 워크플로우를 시각적으로 구성하고 AWS Glue의 Apache Spark 기반 서버리스 ETL 엔진에서 원활하게 실행할 수 있습니다.

 

AWS Glue DataBrew로 데이터 변환

데이터 분석가와 데이터 과학자가 데이터를 정리하고 정규화하여

분석 및 기계 학습을 준비 할 수 있게 해주는 시각적 데이터 준비 도구인 AWS Glue DataBrew를 실습합니다.

AWS Glue DataBrew란?

AWS Glue DataBrew는 데이터 분석가와 데이터 과학자가 데이터를 정리하고 정규화하여 분석 및 기계 학습을 준비 할 수 있도록 해주는 새로운 시각적 데이터 준비 도구입니다. 250개 이상의 사전 구축 된 변환(transformation) 중 원하는 기능을 선택하여 코드를 작성할 필요없이 데이터 준비 작업을 자동화 할 수 있습니다. 이상 항목 필터링, 데이터를 표준 형식으로 변환, 잘못된 값 수정 및 기타 작업을 자동화 할 수 있습니다. 데이터가 준비되면 즉시 분석 및 기계 학습 프로젝트에 사용할 수 있습니다. 사용한만큼만 지불하면 되여 사전 약정은 없습니다.

 

 

 

EMR로 데이터 변환

선택적인 모듈입니다.

이 모듈에서는 Amazon EMR을 사용하여 pyspark 작업을 제출하여

raw 데이터를 읽고 일부 변환 + 집계를 수행하고 결과를 다시 S3에 저장합니다.

 

이제 다음 모듈에서 Amazon Athena를 사용하여 EMR 작업의 결과를 쿼리 할 수 있습니다.

 

---

Analyze (분석)

Athena로 분석

지금까지 Amazon S3에 몇 가지 데이터세트를 저장하고 이를 AWS Glue 데이터 카탈로그에 카탈로그화 했습니다. Amazon Athena를 사용하면 표준 SQL 쿼리를 사용하여 데이터를 탐색 할 수 있습니다.

 

유사한 Athena 쿼리를 실행하고 데이터를 추가로 탐색 할 수 있습니다.

 

다음 모듈에서는 Athena를 다시 사용하여 Amazon Quicksight에서 대시보드/시각화를 구축합니다.

 

 

 

Kinesis Data Analytics로 분석

이전 섹션에서는 Amazon Athena를 사용하여 데이터를 분석하는 방법을 살펴 보았습니다.

이 섹션에서는 Amazon Kinesis Data Analytics 를 사용하여 스트리밍 데이터를 실시간으로 분석하는 방법을 살펴봅니다.

레거시 SQL 애플리케이션을 사용하거나 권장되는 최신의 Studio 노트북을 사용하는 두 가지 방법으로 수행할 수 있습니다.

이 워크샵에서는 Studio 노트북을 사용하고 SQL 기반 Kinesis Analytics 애플리케이션을 생성합니다.

 

 

이 모듈에서는 Kinesis Data Generator에서 스트리밍 데이터를 수집하기 위해 Kinesis Data Stream을 생성하고,

Kinesis Data Stream에 대한 스키마와 정보를 저장하는 Glue 테이블,

스트리밍 데이터를 읽고 분석하는 Kinesis Analytics Studio 노트북 애플리케이션을 생성했습니다.

 

다음으로 Amazon Quicksight를 사용하여 시각화/대시보드를 구축하는 방법을 살펴 보겠습니다.

 

 

Quicksight에서 시각화

 Amazon Quicksight를 사용하여 S3에 수집, 저장된 데이터에 대해 몇 가지 시각화를 구축할 것입니다.

 

지금까지 우리는 Kinesis firehose를 사용하여 데이터를 수집 S3에 저장하고,

AWS Glue 데이터 카탈로그에 테이블을 카탈로그화 하고,

Glue ETL/EMR을 사용하여 데이터를 변환 Athena와 Quicksight를 사용하여 데이터를 쿼리 및 시각화 할 수 있었습니다.

 

이것은 서버리스 분석 배포 모델에서 소스와 비즈니스 대시보드 사이의 end to end 아키텍처를 제공합니다.

 

다음 두 모듈에서는 Lambda와 Redshift를 소개하고

분석에 필요한 데이터를 제공하기 위한 추가 요구 사항을 충족시키기 위해 아키텍처의 추가 개선 사항을 다룹니다.

 

 

Lambda와 함께 제공

 

매우 구체적인 사용 사례 예제로 Lambda 함수를 생성 할 것입니다.

우리가 작성할 람다 함수는 Athena가 S3의 processsed data에서

Hits 별 Top 5 Popular Songs를 쿼리하고 가져 오는 코드를 호스팅합니다.

 

이제 람다 함수를 처음부터 만들고 테스트 했습니다.

 

다음 모듈에서는 마지막 주제인 Amazon Redshift에서 데이터 웨어하우스 구축에 대해 다룹니다.

 

 

Redshift의 창고

Amazon Redshift 클러스터를 설정하고 AWS Glue를 사용하여 데이터를 Amazon Redshift로 로드합니다.

Redshift에서 데이터를 생성, 테이블에 로드하고 쿼리를 실행하는 것에 대해

몇 가지 설계 고려 사항과 모범 사례에 대해 배울 것입니다.

 

 

---

Clean up

 

 

 

---

Workshop Studio

AWS에서 제공하고 있는 워크샵 내용을 요약했습니다.