1

据我所知，我正在编写一个使用 Hadoop 的 Java 应用程序，该应用程序使用 Log4j。在我的应用程序中，Log4J 工作正常。我正在使用 JDBCAppender 写入 Oracle 数据库。发生的事情是，当我运行应用程序时，在 log4j 调用期间在 Hadoop jar 中它崩溃并给出一个缺少逗号的错误。这很奇怪，因为它在我的程序部分工作，但在 Hadoop 的东西中崩溃。我在 log4j 中打开了调试，一切看起来都很正常。

我的问题如下。1) 是否有可能以某种方式在 JDBCAppender 中打开额外的日志记录以查看有什么问题的 SQL 语句？2）我到底应该如何处理这个！:)

这是异常和 log4j.properties 文件。

log4j:ERROR Failed to excute sql
java.sql.SQLSyntaxErrorException: ORA-00917: missing comma

at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:447)
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:396)
at oracle.jdbc.driver.T4C8Oall.processError(T4C8Oall.java:879)
at oracle.jdbc.driver.T4CTTIfun.receive(T4CTTIfun.java:505)
at oracle.jdbc.driver.T4CTTIfun.doRPC(T4CTTIfun.java:223)
at oracle.jdbc.driver.T4C8Oall.doOALL(T4C8Oall.java:531)
at oracle.jdbc.driver.T4CStatement.doOall8(T4CStatement.java:193)
at oracle.jdbc.driver.T4CStatement.executeForRows(T4CStatement.java:1033)
at oracle.jdbc.driver.OracleStatement.doExecuteWithTimeout(OracleStatement.java:1328)
at oracle.jdbc.driver.OracleStatement.executeUpdateInternal(OracleStatement.java:1837)
at oracle.jdbc.driver.OracleStatement.executeUpdate(OracleStatement.java:1802)
at         oracle.jdbc.driver.OracleStatementWrapper.executeUpdate(OracleStatementWrapper.java:294)
at org.apache.log4j.jdbc.JDBCAppender.execute(JDBCAppender.java:218)
at org.apache.log4j.jdbc.JDBCAppender.flushBuffer(JDBCAppender.java:289)
at org.apache.log4j.jdbc.JDBCAppender.append(JDBCAppender.java:186)
at org.apache.log4j.AppenderSkeleton.doAppend(AppenderSkeleton.java:251)
at     org.apache.log4j.helpers.AppenderAttachableImpl.appendLoopOnAppenders(AppenderAttachableImpl.java:66)
at org.apache.log4j.Category.callAppenders(Category.java:206)
at org.apache.log4j.Category.forcedLog(Category.java:391)
at org.apache.log4j.Category.log(Category.java:856)
at org.apache.commons.logging.impl.Log4JLogger.info(Log4JLogger.java:199)
at     org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:173)
at org.apache.hadoop.mapred.Task.commit(Task.java:1012)
at org.apache.hadoop.mapred.Task.done(Task.java:882)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:374)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
I/O error: Read timed out

和属性文件...

log4j.rootLogger=INFO, DB

log4j.appender.DB = org.apache.log4j.jdbc.JDBCAppender

log4j.appender.DB.URL = jdbc:oracle:thin:@//192.168.0.18:1521/dev01.home.net
log4j.appender.DB.driver = oracle.jdbc.OracleDriver
log4j.appender.DB.user = syslog
log4j.appender.DB.password = syslog
log4j.appender.DB.sql = INSERT INTO SERVICELOG values (log4net_seq.nextVal, sysdate, '%p', null, '%m','')
log4j.appender.DB.layout = org.apache.log4j.PatternLayout

编辑 0

实际上，我想我可能正在做某事。它试图打印的字符串中有一个单引号。这是甲骨文的禁忌。现在我只需要弄清楚如何删除它:)。

/编辑 0

4

2 回答 2

2

我得到了它。Hadoop 的日志中有单引号，这会破坏对 Oracle 的写入。我实现了一个 hack 并修改了 log4j 以去除单引号。更改位于forcedLog 函数中的Category.java 中。我检查传入的对象是否是一个instanceof String。然后我拿那个字符串做一个 replaceAll("'","") 。我本可以做一个 replaceAll("'","''") 来使单引号对 Oracle 来说是可口的，但这对我来说并不重要。

于 2013-03-06T22:07:38.047 回答
0

1：你可以很容易地定义你的happender的日志级别：log4j.appender.DB=DEBUG
你甚至可以像这样为一个特定的包设置日志级别com.foobar = DEBUG。

2 您可能在 log4j 上有版本冲突。最简单的方法可能是使用与 Hadoop 使用的版本完全相同的版本。另一个可能是为您的应用切换到另一个记录器实现，例如 logback。

最后一个是排除hadoop的log4j传递依赖，如果两个项目都使用maven但不能保证结果。

于 2013-03-06T21:08:38.220 回答