본문 바로가기

전체 글8

[Spark] Colab에서 Spark 사용하기 (pyspark) #2020.07.06 spark3.0 preview2 기준으로 작성되어 수정 (spark3.0-preview2->spark3.0) spark3.0 / hadoop3.2 기준으로 작성되었습니다. 1) Colab 접속 https://colab.research.google.com/ Google Colaboratory colab.research.google.com 2) 새노트생성 3) openjdk8 설치 !apt-get install openjdk-8-jdk-headless 4) spark3.0 ( hadoop3.2 ) tar 다운로드 !wget -q https://www-us.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz 5) 압축풀기 !t.. 2020. 7. 3.

[Medium] Python ETL vs. ETL Tools ○ ETL솔루션을 다룬다면 기존의 ETL툴을 사용할지 아니면 python ETL 라이브러리를 사용할지 결정할수 있음 ○ 데이터웨어 하우징 전략을 설계 할 때 ETL 전략은 lock-in 효과때문에 신중하게 선택해야함. ○ 상용 ETL솔루션은 DW에 매우 쉽게 구현할 수 있도록 기능을 구현했음. 하지만 최근 Python또한 ETL 파이프 라인을 생성하기 위한 좋은 옵션으로 부상했음. ○ ETL 도구 - 대부분은 친숙한 그래픽 사용자 인터페이스를 제공 - 다양한 데이터베이스 및 데이터 형식을 지원 - 제한된 BI기능도 간혹 포함 - 주요제품 . Informatica PowerCenter . Alooma : 구글 인수 후 구글 이외의 dw솔루션에 대한 지원 중단. . Xplenty . AWS Glue : 서버.. 2020. 6. 26.

[Jenkins] #2. 젠킨스의 장점 및 기능 ○ Jenkins의 기능 - web ui 지원 - reporting 기능 - 자동빌드 - 자동화테스트 - 커버리지 감시 - 코드품질 감시 - 다양한 인증기반과 결합한 인증 및 권한 관리 기능 - Groovy Script를 이용한 고수준의 job Scheduling 기능 - cli(command line interface)제공 - 자동화된 배포라인 - 윈도우 커맨드 스케쥴링 실행 가능 ○ Jenkins의 장점(필요성) 기능 = 장점이 되겠지만 좀더 직설적으로 이야기하면, 프로젝트의 빌드가 정상적으로 되고 있는지 체크할 때 필요함. java 프로젝트에서 잘못된 프로그램변경이 있었고, 프로젝트 전체를 빌드할 때 뻑(error)이 나버림. 뻑(error)이 안난다고 정상적으로 프로그램을 개발했느냐를 온전히 판단.. 2019. 6. 26.

[Jenkins] #1. 개요 ○ jenkins란? jenkins(젠킨스)는 소프트웨어를 작성, 테스트 및 배포하거나 배포하는 것과 관련된 모든 종류의 작업을 자동화하는 데 사용할 수 있는 독립적인 오픈 소스 자동화 서버. 일명 CI(continuous integration)툴 이라고도 함. ○ CI는? 개발자를 위한 자동화 프로세스인 지속적인 통합(Continuous Integration)을 의미. 다수의 개발자가 다수의 프로그램을 개발하면 그것을 정기적으로 통합하는 것을 말함. 즉, CI를 성공적으로 구현할 경우 애플리케이션에 대한 새로운 코드 변경 사항이 정기적으로 빌드 및 테스트되어 공유 리포지토리에 병합되므로 여러명의 개발자가 동시에 애플리케이션 개발과 관련된 코드 작업을 할 경우 서로 충돌할 수 있는 문제를 해결할 수 있음.. 2019. 6. 25.

이전 1 2 다음

공지사항

최근글

인기글

최근댓글

태그

pyspark spark3.0 spark CSV

전체 방문자

Today :

Yesterday :

티스토리툴바