본문 바로가기

전체 글8

ADP 18회 실기 후기 ADP 후기도 부족, 자료도 부족.... 'R을 위한 시험이다'라는 후기를 보고도 무시하고 python으로 계속하다가 실기하루전날에야 R로 전환하기로 했다. (그쪽이 좀더 합격확률이 있어보였다...) 문제나 봅시다..라는 생각으로 봤는데 역시 똥망도 이런 똥망이 없었다. 9월 11일 데이터에듀에서 나온 ADP실기 대비교재에는 나오지도 않는 ARIMA, SOM이 문제의 메인이었다. 어느 후기에선가 그랬다. 'ADP 실기는 안나온것을 내려고 굳이 노력하는 것 같다'라고.... 당했다. 어쨌든 소득은 어떤식으로 준비하면 된다.라는 느낌? 사실 R문법 기초도 없는 상태에서 시험을 봤기때문에 R문법 기초는 한번 훑고 넘어가야 하고 오픈 북 시험이기때문에 각 기법에 맞도록 EDA, 모델, 해설 한부씩 소스 준비를 .. 2020. 9. 21.

[Spark] pyspark 3.0 dataframe new function 테스트#3(transform, overlay) 2020/07/03 - [Data Science/Spark] - [Spark] Colab에서 Spark 사용하기 (pyspark) ○ transform transform(func) func : 함수 dataframe을 파라미터로 받아 dataframe을 반환하는 함수를 간단하게 사용할 수 있도록 되었다. 특히, 2개이상의 함수를 한번에 사용할 수 있게 되어 유용할것으로 보인다. #테스트 데이터프레임 준비 test_df = spark.createDataFrame([(1, 1.0), (2, 2.0)], ["int", "float"]) test_df.show() test_df.printSchema() def cast_all_to_int(input_df): return input_df.select([func.c.. 2020. 7. 6.

[Spark] pyspark 3.0 dataframe new function 테스트#2(csv관련) 2020/07/03 - [Data Science/Spark] - [Spark] spark 3.0 dataframe 새로운 기능 정리 #1 직전 포스트에서 준비한 데이터로 신규기능, 개선기능을 테스트 ○ 테스트데이터 확인 ○ csv관련 ( from_csv, to_csv, schema_of_csv ) from_json의 csv(comma seperated value)대응기능, 컴마(',')로 구분된 데이터를 다룰때 사용 - to_csv(col, options={}) col : list형식으로 된 컬럼 [a,b,c,d,1,2,3] options : spark.read.csv에서 사용하는 option들을 사용할 수 있다. 자세한 옵션들은 아래 url참고 https://spark.apache.org/docs/la.. 2020. 7. 6.

[Spark] pyspark 3.0 dataframe new function 테스트#1(테스트데이터준비) 2020년 3월에 릴리즈된 spark의 새로운 기능을 실행해보았다. ○ 테스트데이터 준비 1) 테스트 데이터 선택 테스트에 활용할 데이터는 과학기술정보통신부 중앙전파관리소의 중앙전파관리소_국내외 신규위성 발사 현황을 활용했다. https://www.data.go.kr/data/15002904/fileData.do 다운받은 csv파일의 한글로 된 컬럼명들을 영문으로 간략하게 바꾸었다. 그후 colab의 sample_data 폴더 밑에 new_launch.csv로 저장. 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr 파.. 2020. 7. 3.

이전 1 2 다음

공지사항

최근글

인기글

최근댓글

태그

spark3.0 CSV pyspark spark

전체 방문자

Today :

Yesterday :

티스토리툴바