我遇到的問題是，在使用 Pyspark 讀取 CSV 文件時無法跳過我自己的標頭read.csv。CSV 文件看起來像這樣：°°°°°°°°°°°°°°°°°°°°°°°°° My Header °° Important Data °° Data °°°°°°°°°°°°°°°°°°°°°°°°°MYROW;SECONDROW;THIRDROW290;6848;6648496849684;68463;6384884646;6484;98718我不知道如何跳過所有第一行或“n”行。我嘗試過類似的東西： df_read = spark.read.csv('MyCSV-File.csv', sep=';') \ .rdd.zipWithIndex() \ .filter(lambda x: x[1] > 6) \ .map(lambda x: x[0]) \ .toDF('MYROW','SECONDROW','THIRDROW')是否有可能免排隊，特別是它的速度有多快？數據可能是一些GB。謝謝
1 回答
江戶川亂折騰
TA貢獻1851條經驗 獲得超5個贊
您可以在第一行添加過濾器：
.filter(lambda line: not line.startswith("°"))另一種選擇是將這些行標記為注釋：
.option("comment", "°")添加回答
舉報
0/150
提交
取消