[Medium] Python ETL vs. ETL Tools

○ ETL솔루션을 다룬다면 기존의 ETL툴을 사용할지 아니면 python ETL 라이브러리를 사용할지 결정할수 있음

○ 데이터웨어 하우징 전략을 설계 할 때 ETL 전략은 lock-in 효과때문에 신중하게 선택해야함.

○ 상용 ETL솔루션은 DW에 매우 쉽게 구현할 수 있도록 기능을 구현했음.

    하지만 최근 Python또한 ETL 파이프 라인을 생성하기 위한 좋은 옵션으로 부상했음.

 

○ ETL 도구 
- 대부분은 친숙한 그래픽 사용자 인터페이스를 제공

- 다양한 데이터베이스 및 데이터 형식을 지원

- 제한된 BI기능도 간혹 포함

- 주요제품

  . Informatica PowerCenter

  . Alooma : 구글 인수 후 구글 이외의 dw솔루션에 대한 지원 중단.

  . Xplenty

  . AWS Glue : 서버리스 ETL 솔루션. AWS 에코 시스템에 이미 구축되어 있다면 AWS Glue를 선택하는 것이 좋음

 

○ 파이썬 ETL
- 파이썬은 천체 물리학에서 검색 엔진 최적화에 이르기까지 점점 더 많은 분야에서 보편적으로 사용

- ETL을 위한 Python 오픈 소스 라이브러리 :
       점점 다양한 종류가 갖추어지고, 강력한 엔드-투-엔드 데이터 파이프 라인을 개발할 수있는 다양한 기능을 제공

- 약간의 개발 시간이 필요.

- 주요 라이브러리

  . Pandas

  . Luigi

  . Petl
  . Bonobo
  . Bubbles

 

○ ETL 전략 선택 시 고려사항

  - 비용

  - 단숨함과 유연성

  - 확장성

  - 사용자 편의성 : GUI지원여부

  - 고객지원 : 오픈 소스의 경우 훌륭한 문서와 지원을 제공 할 수있는 많은 온라인 커뮤니티가 있음

 

○ 결론
뚜렷한 결론은 없음.

ETL전략 선택시 고려사항들을 살펴보고 자신의 상황과 맞는 전략을 채택하는 것이 적합.

python ETL이 오픈소스라고 기피할 대상은 아니라는 말.

 

 

원문 :

https://towardsdatascience.com/python-etl-vs-etl-tools-9709171c9e58

Python ETL vs. ETL Tools