[Spark] pyspark 3.0 dataframe new function 테스트#2(csv관련)
2020/07/03 - [Data Science/Spark] - [Spark] spark 3.0 dataframe 새로운 기능 정리 #1 직전 포스트에서 준비한 데이터로 신규기능, 개선기능을 테스트 ○ 테스트데이터 확인 ○ csv관련 ( from_csv, to_csv, schema_of_csv ) from_json의 csv(comma seperated value)대응기능, 컴마(',')로 구분된 데이터를 다룰때 사용 - to_csv(col, options={}) col : list형식으로 된 컬럼 [a,b,c,d,1,2,3] options : spark.read.csv에서 사용하는 option들을 사용할 수 있다. 자세한 옵션들은 아래 url참고 https://spark.apache.org/docs/la..
2020. 7. 6.