我正在嘗試使用多維數組（[verybigrow][2]）創建矩陣算術運算方法。我是新手，我只是找不到我做錯了什么。如果有人幫助我告訴我它是什么，我真的很感激。 try { Stream<String> Matrix = Files.lines(Paths.get(file)).parallel(); String[][] DataSet = Matrix.map(mapping -> mapping.split(",")).toArray(String[][]::new); Double[][] distanceTable = new Double[DataSet.length - 1][]; /* START WANT TO REPLACE THIS MATRIX CALCULATION WITH PARALLEL STREAM RATHER THAN USE TRADITIONAL ARRAY ARITHMETICS START */ for (int i = 0; i < distanceTable.length - 1; ++i) { distanceTable[i] = new Double[i + 1]; for (int j = 0; j <= i; ++j) { double distance = 0.0; for (int k = 0; k < DataSet[i + 1].length; ++k) { double difference = Double.parseDouble(DataSet[j][k]) - Double.parseDouble(DataSet[i + 1][k]); distance += difference * difference; } distanceTable[i][j] = distance; } } /* END WANT TO REPLACE THIS MATRIX CALCULATION WITH PARALLEL STREAM RATHER THAN USE TRADITIONAL ARRAY ARITHMETICS START */ } catch ( Exception except ){ System.out.println ( except ); }我寧愿不使用庫或類似的東西，我這樣做主要是為了了解它是如何工作的。預先非常感謝您。如果你詢問數據看起來像：4,535,6310,599,7713,49數據處理的輸出應如下所示：[101] <- ((4-5)^2) + ((53-63)^2)[72, 41] <- ( ((4-10)^2) + ((53-59)^2) ), ( ((5,10)^2) + ((63-59)^2))[601.0, 212.0, 325.0][97.0, 260.0, 109.0, 800.0][337.0, 100.0, 109.0, 80.0, 400.0]
2 回答
慕標5832272
TA貢獻1966條經驗 獲得超4個贊
我嘗試matrixDistance用 來改變distanceTable。嘗試將此代碼移至不同的方法中，以便可以并行運行它
for(int i = 0; i < matrixDistance.length - 1; ++i) {
distanceTable[i] = new double[i + 1];
for(int j = 0; j <= i; ++j) {
double distance = 0.0;
for(int k = 0; k < DataSet[i+1].length; ++k) {
double difference = Double.parseDouble(DataSet[j][k]) - Double.parseDouble(DataSet[i+1][k]);
distance += difference * difference;
}
distanceTable[i][j] = distance;
}
}
我根據你的問題創建了這個例子。
public void parallel(String file)
....
// parsing from csv into matrix 2d Double[][]
....
IntStream
.range(1, data.length - 1)
.parallel()
.forEach(i -> {
add(euclidian.euclidian(Arrays.copyOf(data, i+1)), i);
});
}
這是你的算法的迷你版本。
public Double[] euclidian(Double[][] data) {
Double[] result = new Double[data.length - 1];
for (int i = 0; i < result.length; i++) {
result[i] =
Math.pow(data[i][0] - data[data.length - 1][0], 2) +
Math.pow(data[i][1] - data[data.length - 1][1], 2);
}
return result;
}
并且由于并行執行，您需要添加鎖定方法以將數據插入distanceTable。
private final Object lock = new Object();
Double[][] distanceTable;
void add(Double[] data, int index){
synchronized (lock) {
distanceTable[index - 1] = data;
}
}
我已經在我的筆記本電腦上測試了它，對于 csv 文件中的 74 行，比較如下（ORI 使用您的代碼，PAR 使用我的方法）：
java -jar target/stream-example-1.0-SNAPSHOT.jar test.csv
#####################
ORI read: 59 ms
ORI map: 71 ms
ORI time: 80 ms
#####################
PAR read: 0 ms
PAR map: 6 ms
PAR time: 11 ms
希望能幫助到你。
RISEBY
TA貢獻1856條經驗 獲得超5個贊
例如，使用Double.parseDouble@Fahim Bagar 提供的代碼示例可以輕松消除浪費String[][] DataSetDouble[][] DataSet
//String[][] DataSet = Matrix.map(mapping -> mapping.split(",")).toArray(String[][]::new);
Double[][] DataSet = Matrix.map(row -> Arrays.stream(row.split(",")).map(Double::parseDouble).toArray(Double[]::new)).toArray(Double[][]::new);
然后在循環之外獲取局部變量的DataSet[i + 1]各種數組引用：DataSet[j]
for (int i = 0; i < distanceTable.length - 1; ++i) {
Double[] arriplus1 = new Double[i + 1];
Double[] iarr = DataSet[i + 1];
for (int j = 0; j <= i; ++j) {
double distance = 0.0;
Double[] jarr = DataSet[j];
for (int k = 0, sz = iarr.length; k < sz; ++k) {
double difference = jarr[k] - iarr[k];
distance += difference * difference;
}
arriplus1[j] = distance;
}
distanceTable[i] = arriplus1;
}
您可以對@Fahim Bagareuclidian方法做同樣的事情
public Double[] euclidian(Double[][] data) {
Double[] result = new Double[data.length - 1];
Double[] dL1 = data[data.length - 1];
for (int i = 0; i < result.length; i++) {
Double[] di = data[i];
result[i] = Math.pow(di[0] - dL1[0], 2) + Math.pow(di[1] - dL1[1], 2);
}
return result;
}
之后，擺脫Double并使用double將進一步加快/減少內存分配。
在 CSV 第 1048 行中，我在每次運行第 10 次時看到這些計時：
#####################
ORI read: 0 ms
ORI map: 4 ms
ORI time: 14 ms
#####################
PAR read: 0 ms
PAR map: 1 ms
PAR time: 10 ms
添加回答
舉報
0/150
提交
取消