我試圖讓我的 spark 應用程序登錄它自己的日志文件,我不希望我所有的東西都與 Spark 的東西混在一起,它不可讀。由于 Spark 庫的兼容性,我放棄使用 Logback,所以我選擇了 log4j。我在我的 java 應用程序的 src/main/resources 中創建了我的自定義 log4j.properties,但是當我啟動我的 jar 的 spark-submit 時,我的所有日志都被寫入了 Spark 的工作日志文件中。它接縫了我的 jar 中的自定義 log4j.properties 被忽略了。這是命令:./spark-submit --jars /home/user/LIBRERIE/ORACLE/ojdbc8.jar,\/home/user/.m3/repository/org/mongodb/spark/mongo-spark-connector_2.11/2.3.0/mongo-spark-connector_2.11-2.3.0.jar,\/home/user/.m3/repository/org/mongodb/mongo-java-driver/3.8.1/mongo-java-driver-3.8.1.jar,\/home/user/.m3/repository/ch/qos/logback/logback-classic/1.2.3/logback-classic-1.2.3.jar \--class my.pkg.common.SparkHandlerStandalone \--master spark://162.16.215.59:7077 \--deploy-mode cluster \/home/user/NetBeansProjects/SparkScala/target/SparkScala-1.0-SNAPSHOT.jar我的 log4j.properties:log4j.rootLogger=DEBUG, filelog4j.appender.file=org.apache.log4j.RollingFileAppenderlog4j.appender.file.File=/home/user/TEMP/Spark/sparkapp.loglog4j.appender.file.MaxFileSize=5MBlog4j.appender.file.MaxBackupIndex=10log4j.appender.file.layout=org.apache.log4j.PatternLayoutlog4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p %c{1}:%L - %m%n有誰知道我如何將兩個日志分開?
添加回答
舉報
0/150
提交
取消