[AWS Data Engineering] 10장. 데이터 파이프라인 오케스트레이션

책 전반에 걸쳐 데이터 엔지니어가 데이터를 수집 및 변환하고 소비자가 데이터를 이용할 수 있도록 하는 데 사용할 수 있는 다양한 서비스에 대해 논의해 왔습니다. 또한 새로운 데이터 세트가 데이터 레이크에 추가될 때 데이터 카탈로그를 업데이트하는 것의 중요성과 특정 사용 사례를 위해 데이터 하위 집합을 데이터 마트에 로드하는 방법에 대해서도 논의했습니다.

 

실제 운영 환경에서는 작업을 수동으로 실행할 필요가 없기 때문에 다양한 데이터 엔지니어링 작업을 자동화할 수 있는 방법이 필요합니다. 여기서 데이터 파이프라인 오케스트레이션 도구가 필요합니다.

 

 

이 장에서는 다양한 오케스트레이션 엔진으로 데이터 파이프라인을 관리하는 방법을 살펴보겠습니다.

• 파이프라인 오케스트레이션의 핵심 개념 이해
• AWS에서 파이프라인 오케스트레이션 옵션 검토

 

---

1. 파이프라인 오케스트레이션의 핵심 개념 이해

 

데이터 파이프라인이란 무엇이며 어떻게 오케스트레이션 하나요?

데이터 파이프라인은 특정 순서로 실행해야 하는 데이터 처리 작업의 모음입니다. 

일부 작업은 순차적으로 실행해야 하는 반면 다른 작업은 병렬로 실행할 수 있습니다. 

이러한 작업의 순서를 워크플로우로 참조할 수도 있습니다.

 

데이터 파이프라인 오케스트레이션은 데이터 파이프라인 워크플로우에 포함된 작업의 실행을 자동화하고,  서로 다른 작업 간의 종속성을 관리하고, 파이프라인이 의도한 대로 실행되도록 보장합니다. 데이터 세트에 대해 특정 작업을 수행하기 위한 가장 작은 엔터티로 생각할 수 있습니다. 모든 단계를 단일 데이터 파이프라인에 배치할 수 있지만 파이프라인을 단계의 가장 작은 논리 그룹으로 분할하는 것이 좋습니다.

 

 

유방향 아크릴 그래프란 무엇인가요?

데이터 파이프라인에서는 일반적으로 DAG 라고 하는 방향성 비순환 그래프 라는 용어를 들을 수 있습니다 .

DAG는 노드 간의 연결을 나타내며 노드 간의 흐름은 항상 한 방향으로만 발생하고 이전 노드로 돌아가지 않습니다(비순환은 주기가 아님). 데이터 파이프라인을 DAG로 정의해야 한다는 규칙은 없지만 특정 오케스트레이션 도구에서는 이를 요구합니다.

 

유도 비순환 그래프의 간단한 예

이 DAG가 데이터 파이프라인을 나타내는 경우 다음이 수행됩니다.

• 이벤트 A가 완료되면 이벤트 B와 이벤트 C가 트리거됩니다.
• 이벤트 B가 완료되면 이벤트 F를 트리거합니다.
• 이벤트 B와 C가 완료되면 이벤트 D를 트리거합니다.
• 이벤트 D가 완료되면 이벤트 E를 트리거합니다.

앞에서 예를 들어, 이벤트 F는 DAG 정의의 비순환 부분을 중단하므로 이벤트 A, B 또는 C로 루프백할 수 없습니다

 

 

데이터 파이프라인을 실행하는 방법은 무엇인가요?

파이프라인에는 일정 기반 파이프라인과 이벤트 기반 파이프라인의 두 가지 주요 트리거 유형이 있습니다.

 

전통적으로 파이프라인은모두 일정에 따라 트리거됩니다. 하루에 한 번 또는 1시간마다 또는 15분에 한 번씩 실시할 수 있습니다. 이는 특히 배치 지향 파이프라인의 경우 여전히 일반적인 접근법입니다. 이 예제 파이프라인에서 두 번째 파이프라인은 하루 한 번 실행되어 하루 종일 수신되는 파트너 파일에 가입하고 풍부한 정보를 제공하는 예약된 파이프라인의 예가 될 수 있습니다.

 

그러나 오늘날에는 많은 파이프라인이 이벤트 중심으로 생성됩니다. 즉, 일부 특정 이벤트가 완료되면 파이프라인이 트리거됩니다. 이벤트 기반 워크플로는 사용 가능한 데이터와 해당 데이터를 처리하는 파이프라인 사이의 대기 시간을 줄이는 데 유용합니다. 예를 들어 오전 4시에서 6시 사이에 필요한 데이터 파일을 수신할 것으로 예상되는 경우 파이프라인이 오전 6시에 실행되도록 예약할 수 있습니다.

 

앞서 설명한 파이프라인 예에서 첫 번째 파이프라인은 파트너가 새 파일을 업로드했을 때 실행되는 이벤트 기반 파이프라인입니다.AWS 내에서는 특정 Amazon S3 버킷에 기록되는 파일을 기반으로 이벤트(파이프라인이 될 수 있음)를 트리거하는 것과 같은 이벤트 기반 작업 생성을 강력하게 지원합니다.

 

매니페스트 파일을 파이프라인 트리거로 사용

매니페스트는 종종 배나 다른 운송수단으로 운반되는 화물 목록을 언급하기 위해 사용됩니다. 매니페스트 문서는 국경 통과 또는 항구에서 에이전트가 검토하여 전송되는 문서를 확인할 수 있습니다. 데이터 파이프라인의 세계에서 일반적인 개념은 파일 배치의 일부를 구성하는 다른 파일에 대한 정보를 포함하는 매니페스트 파일을 만드는 것입니다. 

 

ex) 파트너로부터 파일을 수신하는 데이터 파이프라인

① 파트너가 매시간 수백 개의 작은 CSV 일괄 전송 

② 일괄적으로 모든 CSV 파일을 처리하여 단일 Parquet 파일로 변환

③ 각 파일의 마지막에 매니페스트 파일 보내도록 지시

    (매니페스트 파일에는 전송된 파일의 이름, 크기, 유효성 검사 등의 데이터 나열) 

④ 매니페스트로 시작하는 파일이 버킷에 기록될 때만 트리거되도록 S3 이벤트 알림 구성

⑤ 파일이 확인되면 ETL(추출,변환,로드) 작업을 실행하여 모든 파일을 읽고 Parquet 형식으로 파일 사용 가능

 

 

파이프라인에서 발생한 단계의 장애에 어떻게 대처하고 있나요?

오케스트레이션의 일환으로 프로세스를 자동화하려면 실패가 올바르게 처리되도록 해야 합니다. 

그 일환으로 파이프라인의 각 단계와 관련된 로그 파일에 쉽게 액세스할 수 있는 것도 중요합니다. 

 

데이터 파이프라인 실패의 일반적인 이유

• 데이터 품질 문제 : 파이프라인의 단계 중 하나에서 처리할 CSV 파일을 수신할 것으로 예상하지만 대신 처리 방법을 모르는 JSON 형식의 파일을 수신하면 하드 장애(즉, 데이터 품질 문제가 해결될 때까지 작업을 복구할 수 없는 오류).
• 코드 오류:작업을 업데이트할 때 코드에 구문 또는 논리 오류가 발생할 수 있습니다. 실제 가동 환경에 도입하기 전에 코드를 테스트하는 것은 매우 중요하지만 테스트에서 특정 오류가 검출되지 않을 수 있습니다. 이 경우에도 고정 코드를 다시 배포해야 하는 어려운 오류가 발생합니다.
• 엔드포인트 오류: 파이프라인의 단계 중 하나가 특정 엔드포인트(S3의 파일 읽기 또는 데이터 웨어하우스에 데이터 쓰기 등)에서 데이터를 읽거나 써야 할 수 있습니다. 이러한 에러는, 일시적인 네트워크 에러등의 일시적인 문제가 원인인 경우가 있습니다. 이는 소프트 에러(재시도함으로써 극복할 수 있는 에러)로 간주될 수 있습니다. 경우에 따라서는 작업이 엔드포인트에 액세스할 수 있는 올바른 권한으로 구성되지 않는 등 오류가 하드 장애일 수 있습니다.
• 의존관계 오류: 데이터 파이프라인은 일반적으로 복잡한 의존관계를 가진 여러 단계로 구성됩니다. 여기에는 파이프라인 내의 의존관계뿐만 아니라 다른 파이프라인 간의 의존관계도 포함됩니다. 작업이 이전 단계에 종속되어 있는 경우 종속된 작업을 업스트림 작업이라고 합니다. 작업이 실패하면 작업에 종속된 모든 작업이 다운스트림 작업으로 간주됩니다. 의존관계 오류는 하드 장애(하드 장애가 있는 업스트림 작업이나 파이프라인 등) 또는 소프트 장애(업스트림 작업이 예상보다 완료되는 데 시간이 오래 걸리지만 단계를 다시 시도하면 나중에 완료될 수 있습니다)일 수 있습니다.

 

하드 오류는 일반적으로 누군가가 오류를 해결하기 위해 특정 조치를 취할 때까지 처리를 중단하고 다운스트림 작업에 오류를 일으킬 수 있습니다. 그러나 소프트 오류(예: 간헐적인 네트워킹 문제)는 다음에 설명하는 것처럼 좋은 재시도 전략을 사용하면 도움이 될 수 있습니다.

 

데이터 파이프라인 실패의 일반적인 이유

파이프라인을 설계할 때는 실패한 단계에 대한 재시도 전략의 구현을 고려해야 합니다.

 

재시도 백오프 레이트(지수 백오프라고도 불립니다)에 의해 재시도 간격은 재시도마다 증가합니다. 예를 들어 AWS Step Function을 사용하면 재시도 간의 지연에 해당 값을 곱하는 BackOffRate 값을 지정할 수 있습니다. 재시도 간격을 10초, 백오프 레이트를 1.5로 지정하면 스텝 기능은 15초(10초x1.5), 22.5초(15초x1.5)의 재시도를 기다립니다.

 

 

데이터 파이프라인과 오케스트레이션의 핵심 개념 중 일부를 검토했으므로,

이제 AWS에서 파이프라인을 만들고 조정하는 데 사용할 수 있는 툴을 살펴볼 수 있습니다.

 

 

---

2. AWS에서 파이프라인 오케스트레이션 옵션 검토

AWS는 솔루션을 설계하기 위한 다양한 구성 요소를 제공합니다. 파이프라인 조정과 관련하여 AWS는 AWS Data Pipeline 및 AWS Step Function을 사용하는 네이티브 서버리스 조정 엔진, Apache Airflow를 위한 Amazon Managed Workflow(MWAA)를 사용하는 관리 오픈 소스 프로젝트, AWS Glue Workflow를 사용하는 서비스별 조정 엔진을 제공합니다.

 

사용 사례에 따라 이러한 각 솔루션을 사용하는 데 장단점이 있습니다. 또한 의사결정을 내릴 때는 관리 작업의 수준, 대상 ETL 엔진과의 용이한 통합, 로깅, 오류 처리 메커니즘, 비용 및 플랫폼의 독립성 등 여러 가지 요소를 고려해야 합니다.

 

데이터 소스 간 ETL 관리를 위한 AWS Data Pipeline

AWS Data Pipeline을 사용하면 특정 AWS 데이터 소스(심지어 온프레미스 데이터 소스 포함) 간에 데이터를 추출, 변환 및 로드할 수 있습니다. 이 서비스를 사용하려면 데이터 소스를 정의하고, 변환 활동을 예약하고, 쓸 데이터 대상을 선택합니다. 그러면 Data Pipeline이 파이프라인 일정을 관리하고 필요한 AWS 리소스(예: EMR 클러스터)를 자동으로 프로비저닝하고 구성 가능한 재시도 논리 및 알림으로 파이프라인을 모니터링할 수 있습니다.

 

Data Pipeline에서는 다음 AWS 데이터 서비스를 소스 및 대상으로 지원합니다. 

이 외에도 Data Pipeline은 온프레미스 데이터베이스와 같은 다른 JDBC 데이터 저장소를 읽고 쓸 수도 있습니다.

• 아마존 다이너모DB
• Amazon 관계형 데이터베이스 시스템
• 아마존 레드시프트
• 아마존 S3

 

다음 컴퓨팅 서비스를 사용하여 데이터를 변환하는 작업을 실행할 수 있습니다.

• 아마존 EC2
• 아마존 EMR
• 온프레미스 컴퓨팅 리소스(Java 기반 Data Pipeline 태스크 러너 소프트웨어 설치)

일반적으로 데이터 파이프라인 구축 및 오케스트레이션에 최신 AWS 서비스를 사용하는 것이 좋습니다.

 

AWS Glue 워크플로우를 통해 리소스 Glue 소스 오케스트레이션

AWS Glue 구성 요소만 사용하는 데이터 파이프라인을 생성하는 사용 사례의 경우 Glue 워크플로우를 사용하는 것이 적합할 수 있습니다. Glue 워크플로우를 사용하여 상당히 복잡한 데이터 파이프라인을 생성할 수 있지만 많은 사용 사례에서는 Hive 작업을 실행하거나 SQS 대기열에 파일을 쓰기 위해 EMR과 같은 다른 AWS 서비스를 사용해야 합니다. Glue 워크플로우는 Glue 이외의 서비스와의 통합을 직접 지원하지 않지만, Boto3 라이브러리를 사용하여 다른 AWS 서비스와 상호 작용하는 Glue Python Shell 작업을 실행할 수 있습니다. 그러나 이는 이러한 서비스와 직접 상호작용하는 것만큼 기능이 풍부하거나 모니터링하기에 명확하지 않습니다.

 

모니터링 및 오류 처리

Glue 워크플로우에는 작업 진행률을 모니터링하는 데 사용할 수 있는 그래픽 UI가 포함되어 있습니다. UI를 사용하면 파이프라인에서 실패한 단계가 있는지 확인할 수 있으며 오류를 일으킨 문제를 해결한 후 특정 단계에서 워크플로우를 재개할 수도 있습니다. Glue 워크플로는 워크플로 정의의 일부로 재시도 메커니즘을 포함하지 않지만 개별 Glue 작업의 속성에서 재시도 횟수를 지정할 수 있습니다.

 

Glue 작업 흐름 트리거

Glue를 만들 때워크플로에서 워크플로를 실행할 메커니즘을 선택할 수 있습니다. 

 

Glue 작업 흐름 실행을 시작할 수 있는 세 가지 방법이 있습니다.

1. on-demand 로 설정하면 워크플로는 콘솔에서 수동으로 시작하거나 Glue API 또는 CLI를 사용하여 시작할 때만 실행
2. scheduled 으로 설정하면 작업 실행 빈도(예: 매시간, 매일, 매월 또는 특정 요일(예: 월요일~금요일))를 지정
3. 문자열을 사용하여 실행할 빈도를 설정하는 cron 식을 사용하여 사용자 지정 일정을 설정 (cron 표현식을 */30 8-16 * * 2-6 으로 설정하면 월요일부터 금요일까지 오전 8시부터 오후 4시 59분까지 30분마다 워크플로가 실행)

 

Glue Workflows는 또한 이벤트 기반 접근 방식을 지원합니다. Workflow는 EventBridge 이벤트에 대한 응답으로 트리거됩니다. 이 접근 방식을 사용하면 특정 S3 버킷 및 접두사에 대한 S3 PutObject 이벤트와 같은 이벤트를 Glue 워크플로로 보내도록 Amazon EventBridge 규칙을 구성할 수 있습니다.

 

워크플로를 구성할 때 특정 수의 이벤트가 수신된 후에만 워크플로가 실행되도록 지정하고 선택적으로 해당 이벤트를 기다리는 최대 시간을 지정하는 트리거 기준을 지정할 수도 있습니다.

 

오픈 소스 오케스트레이션 솔루션으로서의 Apache Airflow

Apache Airflow 는원래 Airbnb에서 개발된 오픈 소스 오케스트레이션 소프트웨어로 워크플로 작성, 모니터링 및 예약 기능을 제공합니다. Airflow에서 사용할 수 있는 일부 기능에는 상태 저장 일정, 풍부한 사용자 인터페이스, 로깅, 모니터링 및 경고를 위한 핵심 기능, 파이프라인 작성에 대한 코드 기반 접근 방식이 포함됩니다. Apache Airflow는 파이프라인을 제작하기 위해 코드 기반(Python) 방식을 사용합니다.

 

AWS 내에서는 MWAA(Amazon Managed Workflow for Apache Airflow)라는 관리 버전을 서비스로 사용할 수 있습니다. 이 서비스는 AWS에 의해 기반 인프라가 관리되기 때문에 에어플로우를 시작하는 프로세스와 에어플로우 인프라의 지속적인 유지보수를 단순화합니다.

 

> Airflow 파이프라인을 만드는 데 사용되는 몇 가지 핵심 개념

• 방향성 비순환 그래프(DAG): 데이터 파이프라인 DAG로 생성, 파이프라인 내의 작업과 작업 간의 종속성 제공
• Airflow 후크:  리모트소스 및 타깃 시스템 또는 Zendesk 등의 시스템에 접속하는 방법을 정의
• Airflow 커넥션: 리모트시스템 접속에 사용하는 URL/호스트명, 사용자명 및 패스워드를 정의
• Airflow 테스크 :  DAG가 수행하는 작업의 기본 단위를 정의
• Airflow 오퍼레이터: 특정 작업을 수행하기 위한 사전 구축된 인터페이스를 제공하는 사전 정의된 작업 템플릿을 제공
• Airflow 센서: 특정 액션이 실행될 때까지 대기하도록 설계된 특별한 유형의 에어플로우 오퍼레이터를 제공

 

> MWAA 사용의 장점

1. Airflow의 주요 차별화 요소 중 하나는 오픈 소스 커뮤니티의 적극적인 개발 지원이며 1,500명 이상의 기여자가 있습니다. 이러한 활발한 커뮤니티를 통해 AWS, Google 및 Microsoft Azure 클라우드 서비스를 비롯한 다양한 서비스와의 광범위한 통합을 지원합니다.
2. Airflow는 작업 재시도, 장애 경고 및 크고 복잡한 워크플로우를 처리하기 위한 확장 기능을 내장한 성숙한 서비스이기도 합니다. 파이프라인을 감시하고 관리하기 위한 UI가 잘 개발되어 있습니다.에어플로우는 Airbnb와 같은 많은 대기업에서 널리 사용되고 증명되고 있습니다.
3. AWS에서 사용할 수 있는 에어플로우 관리 버전은 에어플로우 환경을 도입하는 데 소요되는 시간과 노력을 대폭 간소화합니다. AWS는 또한 에어플로우 워커를 확장하기 위한 빌트인 기능을 제공하여 수요에 따라 워커를 자동으로 추가 또는 삭제합니다.

 

> MWAA 사용의 단점

1.  Airflow를 사용하려면 Python 기술이 필요합니다. 따라서 Airflow를 사용하기 위한 학습 곡선은 파이프라인 생성을 위한 그래픽 사용자 인터페이스를 제공하는 오케스트레이션 도구를 사용할 때보다 더 높을 수 있습니다.
2. Airflow에는 서비스 제공에 사용되는 일정량의 고정 인프라가 있으며 여기에는 관련 환경에 대한 지속적인 비용이 발생합니다.

 

서버리스 오케스트레이션 솔루션을 위한 AWS Step Function

AWS Step Function은 데이터 파이프라인과 서버리스 애플리케이션을 개발하기 위해 저코드 방식을 사용하는 종합 서버리스 오케스트레이션 서비스입니다. Step Function은 드래그 앤 드롭 접근으로 파이프라인을 작성할 수 있는 강력한 시각적 설계 도구를 제공합니다. 또는 필요에 따라 JSON을 사용하여 직접 Amazon States Language(ASL)를 사용하여 파이프라인을 정의할 수도 있습니다.

 

AWS는 다양한 AWS 서비스와 Step Function 간의 최적화된 사용하기 쉬운 통합을 구축했습니다.

• 커스텀 재시도 정책에 의한 스테이트의 장해 처리 방법을 간단하게 지정
• 특정의 에러를 검출하기 위한 캐치 블록을 지정
• 에러에 근거해 커스텀 액션을 실행

AWS가 최적화된 통합을 구축하지 않은 서비스의 경우 Step Function에 내장된 AWS SDK 통합을 사용하여 서비스를 실행할 수 있습니다. 또한 Step Function은 오류 처리를 강력하게 지원하며 Step Function 상태 머신의 실행 상태를 감시하기 위한 시각적 인터페이스를 갖추고 있습니다.

 

샘플 Step Function 상태 머신

Step Function을 사용하여 데이터 파이프라인을 구성하는 다양한 작업을 정의하는 상태 머신을 생성합니다. 각작업은 상태 시스템 내에서 상태로 간주되며 파이프라인의 분기를 실행하는 선택 상태 또는 특정 기간 동안 파이프라인을 일시 중지하는 대기 상태 와 같이 파이프라인의 흐름을 제어하는 ​​상태를 가질 수도 있습니다 .

 

샘플 스텝 기능 상태 머신

이 상태 머신에서정의에서 다음과 같은 상태를 볼 수 있습니다.

1. 먼저 수신된 매니페스트 파일을 검증하는 Lambda 함수를 실행하는 태스크 상태로 시작합니다(예를 들어 매니페스트에 나열된 모든 파일이 존재하는지 확인).
2. 다음으로 CSV 형식에서 받은 파일을 Parquet 형식으로 변환하는 글루 작업을 실행하기 위한 또 다른 태스크 상태가 있습니다.
3. 다음 단계는 다른 작업 상태입니다.이번에는 글루 크롤러를 실행하여 생성한 새 Parquet 데이터 세트로 데이터 카탈로그를 업데이트합니다.
4. 그런 다음 병렬 상태로 들어갑니다. 병렬 상태는 상태 기계에 병렬 실행 분기를 만드는 데 사용됩니다.이 경우 Lambda 함수(Parquet 파일의 데이터를 요약하고 결과를 DynamoDB 테이블에 저장)를 실행한 다음 글루 작업을 실행하여 새로운 Parquet 데이터 세트를 추가 데이터로 풍부하게 만듭니다.
5. 그런 다음 Choice 상태로 들어갑니다.선택 상태는 다음에 수행할 작업을 결정하기 위해 평가되는 규칙을 지정합니다.이 경우 Lambda 및 Glue 작업이 성공하면 상태 시스템이 Success 상태로 종료됩니다.둘 중 하나가 실패하면 Lambda 함수를 실행하여 실패 알림을 전송하고 상태 머신을 Fail 상태로 종료합니다.

 

 

AWS Step Function 사용의 장단점

AWS Step Function은 강력한 비주얼 디자인 툴로 사용하기 쉬운 파이프라인을 정의하고 조정하기 위한 네이티브 AWS 솔루션을 제공합니다. 스텝 기능은 서버리스 서비스로 제공됩니다. 즉, 서비스 이용 시에만 요금을 지불하고 관리할 인프라스트럭처나 인프라스트럭처의 의사결정을 할 필요가 없습니다.

 

Apache Airflow 등의 툴은 기본적으로 장애 발생 시부터 파이프라인을 재개할 수 없습니다. 또한 Step Function은 AWS 서비스와 매우 잘 통합되어 사내 워크로드도 조정할 수 있지만, AWS가 아닌 타사 서비스와 강력하게 통합된 오케스트레이션 툴을 찾고 있다면 Apache Airflow가 가장 강력한 솔루션을 제공합니다.

 

 

사용할 데이터 파이프라인 조정 도구 결정

여러 가지 주요 속성을 기반으로 Step Function과 Amazon MWAA를 비교

 

AWS Step Function과 Amazon MWAA의 비교

 

 

 

 

 

 

 

 

---

「Data Engineering with AWS」 도서를 번역 및 요약하여 작성했습니다

Data Engineering with AWS: Learn how to design and build cloud-based data transformation pipelines using AWS: 9781800560413: Com