這可能是最容易通過示例解釋的。假設我有一個用戶登錄網站的DataFrame，例如：scala> df.show(5)+----------------+----------+|       user_name|login_date|+----------------+----------+|SirChillingtonIV|2012-01-04||Booooooo99900098|2012-01-04||Booooooo99900098|2012-01-06||  OprahWinfreyJr|2012-01-10||SirChillingtonIV|2012-01-11|+----------------+----------+only showing top 5 rows我想在此列添加一個列，指示他們何時成為網站上的活躍用戶。但有一點需要注意：有一段時間用戶被認為是活動的，在此期間之后，如果他們再次登錄，他們的became_active日期會重置。假設這段時間是5天。然后從上表派生的所需表將是這樣的：+----------------+----------+-------------+|       user_name|login_date|became_active|+----------------+----------+-------------+|SirChillingtonIV|2012-01-04|   2012-01-04||Booooooo99900098|2012-01-04|   2012-01-04||Booooooo99900098|2012-01-06|   2012-01-04||  OprahWinfreyJr|2012-01-10|   2012-01-10||SirChillingtonIV|2012-01-11|   2012-01-11|+----------------+----------+-------------+因此，特別是，SirChillingtonIV的became_active日期被重置，因為他們的第二次登錄是在活動期過期之后，但是Booooooo99900098的became_active日期沒有在他/她登錄的第二次重置，因為它落在活動期間。我最初的想法是使用窗口函數lag，然后使用lagged值填充became_active列; 例如，大致類似于：import org.apache.spark.sql.expressions.Windowimport org.apache.spark.sql.functions._val window = Window.partitionBy("user_name").orderBy("login_date")val df2 = df.withColumn("tmp", lag("login_date", 1).over(window))然后，規則填寫became_active日期會是這樣，如果tmp是null（即，如果它是第一次登錄），或者如果login_date - tmp >= 5再became_active = login_date; 否則，轉到下一個最近的值tmp并應用相同的規則。這表明了一種遞歸方法，我無法想象實現的方法。我的問題：這是一種可行的方法，如果是這樣的話，我怎么能“回頭”看看早期的價值觀，tmp直到我找到一個停止的地方？據我所知，我無法迭代Spark SQL的值Column。還有另一種方法來實現這個結果嗎？