有什么區別：F.when(F.col('Name').isNull())和：F.when(F.col('Name') == None)它們的作用似乎不同。在檢查列中的空值時，第一個似乎效果更好。有時第二種方法不適用于檢查空名稱。例如，如果我想檢查 null 值并將 null 的名稱替換為“Missing name”或其他內容，則第二種方法有時不會執行任何操作。我不確定為什么它有時有效而其他時間無效。但是第一種方法總是有效的。
3 回答
慕村225694
TA貢獻1880條經驗 獲得超4個贊
F.when(F.col('Name') == None)None 是 python 中的對象，NoneType. 它與空字符串或 0 不同。對于這種情況，您可能希望使用
F.when(F.col('Name') is None)使用==你正在檢查F.col('Name')value 是否等于 None 對象，它會把東西扔掉。
千巷貓影
TA貢獻1829條經驗 獲得超7個贊
吃雞游戲
TA貢獻1829條經驗 獲得超7個贊
在數據世界中，兩個Null值（或兩個值None）并不相同。
因此，如果您對兩個值執行==or!=操作None，它總是會產生False. 這是構建功能的isNull()關鍵原因。isNotNull()
請看下面的例子以便更好地理解 -
創建一個dataframe具有少量有效記錄和一個記錄的None
from pyspark.sql.types import *
from pyspark.sql import Row
from pyspark.sql.functions import col
lst = [(1,'sometext'),(2,''),(3, None),(4, 'someothertext')]
myrdd = sc.parallelize(lst).map(lambda x: Row(id=x[0], txt=x[1]))
mydf= sqlContext.createDataFrame(myrdd)
isNull()返回True第 3 行，因此下面的語句返回一行 -
mydf.filter(col("txt").isNull()).show(truncate=False)
+---+----+
|id |txt |
+---+----+
|3 |null|
+---+----+
==運算符返回False第 3 行，因此沒有記錄被過濾掉。
mydf.filter(col("txt") == None).show(truncate=False)
+---+---+
|id |txt|
+---+---+
+---+---+
添加回答
舉報
0/150
提交
取消