[Spark] pyspark 3.0 dataframe new function ํ
์คํธ#2(csv๊ด๋ จ)
2020/07/03 - [Data Science/Spark] - [Spark] spark 3.0 dataframe ์๋ก์ด ๊ธฐ๋ฅ ์ ๋ฆฌ #1 ์ง์ ํฌ์คํธ์์ ์ค๋นํ ๋ฐ์ดํฐ๋ก ์ ๊ท๊ธฐ๋ฅ, ๊ฐ์ ๊ธฐ๋ฅ์ ํ
์คํธ โ ํ
์คํธ๋ฐ์ดํฐ ํ์ธ โ csv๊ด๋ จ ( from_csv, to_csv, schema_of_csv ) from_json์ csv(comma seperated value)๋์๊ธฐ๋ฅ, ์ปด๋ง(',')๋ก ๊ตฌ๋ถ๋ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃฐ๋ ์ฌ์ฉ - to_csv(col, options={}) col : listํ์์ผ๋ก ๋ ์ปฌ๋ผ [a,b,c,d,1,2,3] options : spark.read.csv์์ ์ฌ์ฉํ๋ option๋ค์ ์ฌ์ฉํ ์ ์๋ค. ์์ธํ ์ต์
๋ค์ ์๋ url์ฐธ๊ณ https://spark.apache.org/docs/la..
2020. 7. 6.