我在表格中有地址列,如下所示 >>> spark.sql("select add1 from test").show(10,False)+---------------------------+|add1 |+---------------------------+|PO BOX 1111DUBAI UAE ||P.O. BOX 2222DUBAI - U.A.E|+---------------------------+我必須匹配一組單詞并將它們從列中刪除只是為了比較目的我能夠用空格替換單個單詞,如下所示(在本例中為“UAE”)spark.sql("select regexp_replace(add1,'UAE','') from test").show(10,False)+---------------------------+|regexp_replace(add1, UAE, )|+---------------------------+|PO BOX 1111DUBAI ||P.O. BOX 2222DUBAI - U.A.E|+---------------------------+但我想刪除所有特殊字符和一組停用詞,例如 {'UAE','UAE', 'UA E', 'PO', 'P O'}期望的輸出:spark.sql("select regexp_replace(add1,'UAE','') from test").show(10,False)+---------------------------+|regexp_replace(add1, UAE, )|+---------------------------+|1111DUBAI ||2222DUBAI |+---------------------------+有人可以幫我實現這個目標嗎,謝謝!
與一組停用詞匹配并替換為 Pyspark 中的空白
慕的地8271018
2023-06-27 10:37:21