InYoung.log

책 전반에 걸쳐 데이터 엔지니어가 데이터를 수집 및 변환하고 소비자가 데이터를 이용할 수 있도록 하는 데 사용할 수 있는 다양한 서비스에 대해 논의해 왔습니다. 또한 새로운 데이터 세트가 데이터 레이크에 추가될 때 데이터 카탈로그를 업데이트하는 것의 중요성과 특정 사용 사례를 위해 데이터 하위 집합을 데이터 마트에 로드하는 방법에 대해서도 논의했습니다. 실제 운영 환경에서는 작업을 수동으로 실행할 필요가 없기 때문에 다양한 데이터 엔지니어링 작업을 자동화할 수 있는 방법이 필요합니다. 여기서 데이터 파이프라인 오케스트레이션 도구가 필요합니다. 이 장에서는 다양한 오케스트레이션 엔진으로 데이터 파이프라인을 관리하는 방법을 살펴보겠습니다. 파이프라인 오케스트레이션의 핵심 개념 이해 AWS에서 파이프라인 오케..

데이터 소비자는 데이터에 액세스해야 하는 조직 내 사람 또는 애플리케이션으로 정의할 수 있습니다. 데이터 엔지니어가 수행하는 모든 작업은 데이터 소비자가 데이터 세트를 유용하고 쉽게 액세스할 수 있도록 하는 것입니다. 즉, 적절한 도구를 통해 적절한 데이터 소비자에게 적절한 데이터를 적시에 제공하여 기업이 정보에 근거한 의사결정을 내릴 수 있도록 하는 것입니다. 이 장에서는 다음 주제를 다룹니다. 데이터 민주화의 영향 이해 데이터 시각화로 비즈니스 사용자의 요구 충족 구조화된 보고로 데이터 분석가의 요구 사항 충족 데이터 과학자 및 ML 모델의 요구 사항 충족 1. 데이터 민주화의 영향 이해 데이터 민주화는 증가하는 사용자를 위한 데이터의 접근성을 시기적절하고 비용 효율이 높은 방법으로 강화함으로써 대부..

데이터 파이프라인은 여러 소스에서 데이터를 수집하고 데이터를 최적화 및 변환하며 데이터 소비자가 사용할 수 있도록 하는 프로세스입니다. 데이터 엔지니어링 역할의 중요한 기능은 이러한 파이프라인을 설계하거나 설계하는 능력입니다. 이 장에서는 다음 주제를 다룹니다. 데이터 파이프라인 설계 작업 접근 데이터 소비자 식별 및 요구 사항 이해 데이터 소스 식별 및 데이터 수집 데이터 변환 및 최적화 식별 데이터 마트에 데이터 로드 화이트보드 세션 마무리 1. 데이터 파이프라인 아키텍처 접근 새로운 데이터 엔지니어링 프로젝트를 시작할 때 흔히 볼 수 있는 실수는 모든 작업을 한 번에 수행하여 모든 사용 사례를 포함하는 솔루션을 만드는 것입니다. 보다 나은 접근법은 구체적인 사용 사례를 식별하고, 그 하나의 결과에 ..