0

每当我使用 Spring Data Hadoop 命名空间指定资源时，应用程序IOException在加载指定的文件时会抛出一个。该文件肯定存在并且格式有效。

Spring Data Hadoop XML 配置：

启动时的堆栈跟踪：

Caused by: java.lang.RuntimeException: java.io.IOException: Stream closed
    at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1231)
    at org.apache.hadoop.conf.Configuration.loadResources(Configuration.java:1103)
    at org.apache.hadoop.conf.Configuration.getProps(Configuration.java:1037)
    at org.apache.hadoop.conf.Configuration.get(Configuration.java:415)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:860)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1380)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1404)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:254)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:123)
    at com.mendeley.swets.config.HdfsConfig.fileSystem(HdfsConfig.java:28)
    at com.mendeley.swets.config.HdfsConfig$$EnhancerByCGLIB$$38b1feb7.CGLIB$fileSystem$0(<generated>)
    at com.mendeley.swets.config.HdfsConfig$$EnhancerByCGLIB$$38b1feb7$$FastClassByCGLIB$$3c3c119d.invoke(<generated>)
    at net.sf.cglib.proxy.MethodProxy.invokeSuper(MethodProxy.java:228)
    at org.springframework.context.annotation.ConfigurationClassEnhancer$BeanMethodInterceptor.intercept(ConfigurationClassEnhancer.java:280)
    at com.mendeley.swets.config.HdfsConfig$$EnhancerByCGLIB$$38b1feb7.fileSystem(<generated>)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiate(SimpleInstantiationStrategy.java:149)
    ... 41 more
Caused by: java.io.IOException: Stream closed
    at java.io.BufferedInputStream.getBufIfOpen(BufferedInputStream.java:145)
    at java.io.BufferedInputStream.fill(BufferedInputStream.java:189)
    at java.io.BufferedInputStream.read(BufferedInputStream.java:237)
    at com.sun.org.apache.xerces.internal.impl.XMLEntityManager$RewindableInputStream.read(XMLEntityManager.java:2932)
    at com.sun.org.apache.xerces.internal.impl.XMLEntityManager.setupCurrentEntity(XMLEntityManager.java:704)
    at com.sun.org.apache.xerces.internal.impl.XMLVersionDetector.determineDocVersion(XMLVersionDetector.java:186)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:772)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(XML11Configuration.java:737)
    at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(XMLParser.java:119)
    at com.sun.org.apache.xerces.internal.parsers.DOMParser.parse(DOMParser.java:235)
    at com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderImpl.parse(DocumentBuilderImpl.java:284)
    at javax.xml.parsers.DocumentBuilder.parse(DocumentBuilder.java:124)
    at org.apache.hadoop.conf.Configuration.loadResource(Configuration.java:1162)
    ... 61 more
4

2 回答 2

1

克里斯实际上是对的。我遇到了类似的问题（IOException：流已关闭），该问题是由从陈旧的流中读取引起的。我猜，Deejay，您正在使用这些方面的东西从您的类路径中读取自定义资源：

<hdp:configuration resources="classpath:/custom-site.xml"/>

，然后获得一个 FileSystem 作为FileSystem.get(conf)。

在使用调试器一段时间后，看起来问题是由 SpringConfigurationFactoryBean和 Apache HadoopConfiguration对象的组合引起的。如果您在 github 上查看 Spring Hadoop 的源代码（是的，那里有），Spring Hadoop 看起来就像是 Spring Settings 和 Apache Hadoop API 的组合。

在 Spring 中打开一个输入流来解析自定义资源，并在读取后关闭它。方法 ,get随后FileSystem重新加载已关闭的相同流，并再次读取并抛出IOException: stream closed错误。

一种解决方法，类似于 github 上的示例，是使用 Spring 属性和 SpEl（Spring 表达式语言）来替换必要字段所需的配置。另一种选择可能是编写您自己的ConfigurationFactoryBean，将使用现有实例作为父实例创建一个新Configuration实例，并将资源添加为 URL。

希望这会有所帮助。

于 2012-03-28T16:14:24.650 回答
1

这已在主干中修复，并将在下一个里程碑中可用。有关更多信息，请参阅春季论坛帖子 [1]。

[1] http://forum.springsource.org/showthread.php?123777-IOException-when-using-lt-hadoop-configuration-resources-quot

于 2012-04-08T11:28:08.033 回答