영상자료 - 효율적인 ETL 파이프라인 테스트 at Yelp

 

강연자는 Yelp(비즈니스에 대한 크라우드 소싱 리뷰를 게시하는 미국 업체)의 소프트웨어 개발자로 ETL 파이프라인 테스팅 업무에 관여하고 있다. 

강연자가 관리하는 데이터 파이프라인에서 실제 발생한 버그(의도한 레프트안티조인 대신 이너조인이 사용됨)를 예로 제시하고, 레가시 자동 테스트스위트(test suite)를 운영 중인 환경에서 버그 발견과 수정에 드는 개발자의 시간 및 노력을 줄이기 위해 'Saff squeeze'를 적용한 경험을 이야기 한다. 

예로 제시되는 코드는 Python과 pySpark로 구현되어 있으며, 'Saff squeeze' 기법을 통해 자동 테스트 코드를 리팩토링하는 과정을 한 단계씩 설명한다.  

 

영상제목: Learn to Efficiently Test ETL Pipelines
강연자: Jacqueline Bilston
업로드일자: 2022년 7월 20일
출처: 유튜브 채널 Databricks, https://www.youtube.com/watch?v=uzVewG8M6r0