在 HDFS 位置輸入 JSON需要解析 JSON 并聚合結果我正在使用使用 JSON 路徑庫的 PIG UDFhadoop2.7環境jar上：json-smart1.2,json-path1.2 hardbinded每當我執行 PIG Mapreduce 時，它都會拋出異常java.lang.NoSuchFieldError: defaultReaderat com.jayway.jsonpath.spi.json.JsonSmartJsonProvider.<init>(JsonSmartJsonProvider.java:39)at com.jayway.jsonpath.internal.DefaultsImpl.jsonProvider(DefaultsImpl.java:21)at com.jayway.jsonpath.Configuration.defaultConfiguration(Configuration.java:174)at com.jayway.jsonpath.internal.JsonContext.<init>(JsonContext.java:52)at com.jayway.jsonpath.JsonPath.parse(JsonPath.java:596)為了解決問題，請嘗試以下選項選項 1：嘗試設置注冊 json-smart2.3.jar 和 json-path2.3.0.jar 但沒有令人滿意的結果（因為它引用的 Jar 是 json-path1.2.jar）選項 2：將我的模塊依賴項降級為 json-path1.2.jar 無結果選項 3：使用自定義類加載器嘗試加載 JSON-path2.3.0 jar 的 jar 它加載的類進入了 Org.slf4j 綁定問題識別出多個綁定路徑，但 sun.misc 類加載器出現問題有人可以建議我解決這個問題嗎，可以找到一個 stackoverflow 鏈接，它講述了 weblogic 而不是可以應用于 Hadoop2.7 的通用解決方案（JSON Parser -java.lang.NoSuchFieldError: defaultReader）
2 回答
眼眸繁星
TA貢獻1873條經驗 獲得超9個贊
提供自定義實現來加載/解析JSON，這樣我們就可以避免使用Hadoop/lib的Json-smart-2.x/1.x
public static void changeJsonPathConfig() {
if (!configChanged) {
Configuration.setDefaults(new Configuration.Defaults() {
private final JsonProvider jsonProvider = new GsonJsonProvider(
new GsonBuilder().serializeNulls().create());
private final MappingProvider mappingProvider = new GsonMappingProvider();
@Override
public JsonProvider jsonProvider() {
return jsonProvider;
}
@Override
public MappingProvider mappingProvider() {
return mappingProvider;
}
@Override
public Set<Option> options() {
return EnumSet.noneOf(Option.class);
}
});
configChanged = true;
}
}
慕工程0101907
TA貢獻1887條經驗 獲得超5個贊
由于 hadoop 環境（Pig、hdfs、Hive 等）正在使用 json-path-2.3.0，其更好的用戶 Mapper 邏輯應該使用另一個版本“jsonpath-1.0.jar”將解決問題
添加回答
舉報
0/150
提交
取消