我的 Spark 數據框由 3 列組成，每一列都是列表。每行列表的長度可能會有所不同。例如我的數據框看起來像我希望能夠獲得這些列表的最后一個元素。預期產出有一篇文章使用 df = df.withColumn("First_item_Col1",df['Col1'][0]) 獲取列表的第一個元素但是當我使用 -1 來獲取上一行中的最后一項時，它給了我空值
2 回答
慕仙森
TA貢獻1827條經驗 獲得超8個贊
您可以將 lambda 函數應用于 Col1 和 Col2 并獲取最后一項，如下所示：
df['Last_Col1']=df['Col1'].apply(lambda x: x[-1])
df['Last_Col2']=df['Col2'].apply(lambda x: x[-1])
輸出：
>>> print(df)
Col1 Col2 Last_Col1 Last_Col2
0 [X, X] [A, B] X B
1 [Y] [B] Y B
2 [X, Y, Z] [A, C] Z C
3 [X, Y, Y, Z] [A, B, B, C] Z C
陪伴而非守候
TA貢獻1757條經驗 獲得超8個贊
您可以使用 Spark 高階函數 - element_at 來從列表列中獲取最后一個元素，如下所示
創建數據框
df = spark.createDataFrame([(1,['x','x']),(2,['y']),(3,['x','y','z']),(4,['x','y','y','z'])],[ "col1","col2"])
df.show(truncate=False)
+----+------------+
|col1|col2 |
+----+------------+
|1 |[x, x] |
|2 |[y] |
|3 |[x, y, z] |
|4 |[x, y, y, z]|
+----+------------+
解決方案
df = df.withColumn("list_col", F.element_at(F.col('col2'), -1).alias('1st_from_end'))
df.show(truncate=False)
+----+------------+--------+
|col1|col2 |list_col|
+----+------------+--------+
|1 |[x, x] |x |
|2 |[y] |y |
|3 |[x, y, z] |z |
|4 |[x, y, y, z]|z |
+----+------------+--------+
添加回答
舉報
0/150
提交
取消