亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

如何使用嵌套列表創建 Spark 表

如何使用嵌套列表創建 Spark 表

慕婉清6462132 2023-01-04 15:28:26
我如何使用這個答案(List to DataFrame in pyspark a new answer to create a table using spark for nested list?lst = [{'sfObject': 'event',  'objID': 'Id',  'interimRun': 'True',  'numAttributes_Total': 140,  'numAttributes_Compounded': 0,  'numAttributes_nonCompounded': 140,  'chunks': 1,  'compoundStatus': 'False',  'allAttributes': ['Id',   'RecordTypeId',   'WhoId',   'Advisor_Team__c’,…],  'compoundAttributes': [],  'nonCompoundAttributes': ['Id',   'RecordTypeId',   'WhoId',   'WhatId’…]}, {'sfObject': 'fund__c',  'objID': 'Id',  'interimRun': 'False',  'numAttributes_Total': 40,  'numAttributes_Compounded': 0,  'numAttributes_nonCompounded': 40,  'chunks': 1,  'compoundStatus': 'False',  'allAttributes': ['Id',   'IsDeleted',   'Name’…],  'compoundAttributes': [],  'nonCompoundAttributes': ['Id',   'IsDeleted',   'Name',   'RecordTypeId’…]}] 我想創建將這個列表存儲到一個表中,所以需要它的結構是這樣的:下面的鏈接是我需要使用上面的 lst 創建的表的圖像:在此處輸入圖像描述此嵌套列表最多包含 30 個不同的項目,因此答案需要為每個項目動態創建最多 30 行。謝謝!
查看完整描述

1 回答

?
慕神8447489

TA貢獻1780條經驗 獲得超1個贊

獲得字典列表后,運行以下命令。它將推斷模式。


df = sc.parallelize(lst).toDF()

如果你想把它當作一個表來運行 SQL 查詢,運行:


df.createOrReplaceTempView("df_table")

new_df = spark.sql("SELECT * FROM df_table")


查看完整回答
反對 回復 2023-01-04
  • 1 回答
  • 0 關注
  • 102 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號