问题标签 [sdmx]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
3031 浏览

r - 将 sdmx-xml 文件读入 R 中的数据框

我想知道是否有人设法将 SDMX-XML 文件读入数据帧。我想阅读的文件是https://www.ecb.europa.eu/stats/sdmx/icpf/1/data/pension_funds.xml (1mb)。我将文件作为“pensions_funds.xml”保存到 pwd 并尝试使用 XML 包读取它:

上面的几行基本上遵循这里的示例http://www.omegahat.org/RSXML/gettingStarted.html 但我想我首先需要以某种方式忽略标题(我已粘贴在文件的前几页下面我'正在尝试阅读)。所以我认为上述方法可能有效,但出于我的目的,它从错误的节点开始。我想获取由 time_period 和 ref_area 索引的 obs_values。

首先要找到正确的节点并从那里开始,但是我怀疑我可能是在做傻事,因为我对数据格式的了解有限,而且我不确定 XML 包是否可用于 SDMX-XML 文件。更聪明的人似乎已经尝试过这样做 http://opensdmxdevelopers.wikispaces.com/RSDMX 我在这里的主页上找不到这个包供下载 https://r-forge.r-project.org/projects/rsdmx / (我看不到任何链接/下载部分,但也许我是盲人)而且似乎还处于早期阶段。rsdmx 的存在表明使用 xml 包来读取 sdmx 可能并不容易,所以我准备在这个阶段放弃,除非有人在这方面取得了成功。其实我主要对阅读这个文件感兴趣 http://www.ecb.europa.eu/stats/sdmx/bsi/1/data/outstanding_amounts.xml 但这是一个 10mb 的文件,所以我开始变小了。

edit3 使用 Mischa 的评论库(“XML”)中的更改尝试 sgibb 对大文件的回答

edit2: sgibb 的答案看起来很理想,并且在较小的文件上完美运行。我试图运行它

(10mb 文件,原始链接已更正),唯一的修改是添加了两行:

(这些是在这个更大的数据集中识别一行所需的额外 id 变量)。它运行了几分钟,然后出现此错误:

错误:1:属性 TIME_PE 的规范要求值
2:属性构造错误
3:找不到开始标签 Obs 行 20743的结尾
4:标签系列行 20689
中的数据过早结束 5:标签数据集第 91 行中的数据过早结束6:标签 CompactData 第 2 行中的数据提前结束

另外:有 50 个或更多警告(使用 warnings() 查看前 50 个)

数据的基本格式似乎非常相似,所以我认为这可能有效。10mb文件的基本格式如下:

编辑1:

所需的数据格式:

这是数据的第一位。

0 投票
0 回答
827 浏览

xml - 将 XML 文档转换为 MATLAB

我想将 XML 文档转换为有用的 matlab 对象,该对象可以遍历节点以获取信息。XML 文档看起来有点复杂,如下所示:

当我使用 xmlread('filename.xml') 并编写 xml.getElementsByTagName('Header') 我得到:

我将不胜感激任何帮助。

提前致谢!

0 投票
2 回答
1224 浏览

xml - 统计数据和元数据交换 (SDMX)

我把自己困在SDMX中,因为我没有找到足够的资源来研究(编程代码)关于 SDMX。

喜欢:-

是的,它的个人网站上有一些指南,但这些还不足以开始骑 sdmx。因此,这是我对所有朋友的个人要求,如果您有任何经验,请分享。

任何帮助将不胜感激

0 投票
2 回答
288 浏览

r - 在 R 中读取 SDMX - 解析错误?

我一直在尝试通过他们最近启动的 SDMX 服务在 R 中使用 INEGI(墨西哥统计局)数据开发一个闪亮的应用程序。我甚至联系了开发人员自己,他们给了我以下不可行的代码:

这给我带来了以下错误:

...等等,你明白了。

我尝试使用另一个网址(也许这太宽泛了,引入了每个 GDP 测量值),但我得到了相同的结果:

如果我直接用浏览器下载文件,我似乎得到了有用的结构。

有任何想法吗?这看起来像是直接来自源的错误定义还是包“rsdmx”的问题,如果是这样,有没有人找到正确解析类似结构的方法?

0 投票
1 回答
359 浏览

r - 欧盟统计局批量 SDMX 数据下载到 R?

我在尝试从 Eurostat 下载批量数据时遇到了一些麻烦,希望您能帮助我。我基于这篇文章的代码。

我收到此警告,并且数据框为空:

0 投票
1 回答
212 浏览

r - 将 SDMX 数据导入 R 时出错

当我尝试导入 OECD 数据时会出现问题。例如,如果我尝试以下代码:

我收到以下错误

然而,这似乎只发生在经合组织的数据中。如果我将data.url上面替换为

然后代码运行顺利。如果我下载 XML 文件并使用readSDMX('file.xml', isURL=FALSE).

我想知道这是否与解析 OECD XML 时出现的“”字符有关,以及是否有解决此问题的方法。

0 投票
1 回答
775 浏览

python - 欧盟统计局 SDMX 数据流描述 python

使用 python 我想从 Eurostat 收集所有可能的数据流的列表。我有以下代码;

这给了我所有可能的 resource_id 的列表,但我也想要描述符。这可能吗?

谢谢

0 投票
1 回答
588 浏览

r - 在 R 中读取 XML 时编码丢失

我正在使用XMLR 包检索在线 XML 数据。我的问题是 UTF-8 编码在调用过程中丢失xmlToList:例如,'é' 被 'é' 替换。这发生在 XML 解析期间。

这是一个代码片段,其中一个编码丢失的示例和另一个保留编码的示例(取决于数据源):

为什么关于编码的行为不同?我试图设置.encoding = "UTF-8",getURL和 toenc2utf8(res)但这并没有改变。

欢迎任何帮助!

谢谢,

热雷米

0 投票
3 回答
114 浏览

r - 读取奇怪的格式化程序 CSV 文件

我正在考虑从statistics.gov.scot网站下载一些数据。例如,我想获取一些关于住院率的数据。获取我感兴趣的数据表的查询格式为:

并通过此链接访问,对于那些想尝试的人。查询会生成一个*.CSV包含相关信息的文件,但是,文件的格式会带来一些挑战。

文件示例

文件内容如下所示:

导入 Excel 时:

Excel 导入

但是,当通过导入到Rread.csv时,它看起来像这样:

问题

read.csv导入仅返回两列。我猜这个问题与一些初始列是空的有关。我想以类似于在 Excel 中实现的插图导入的方式读取此文件。关键是,我打算使用A列和B列中第7行的值,当然还有下面的数据表。在生成方面,我很乐意包含有空单元格但尺寸与 Excel 中相同的值。我试过:data.frameNA

但我不断遇到同样的问题。

期望的结果

期望的结果应该是这样的(手工生成的提取物):

截屏

为了进一步说明,我想保持维度并用NAs 填充缺失值:

Excel 与 NA

0 投票
1 回答
255 浏览

python - 带有 SDMX 的 Python BS4

我想检索 SDMX 文件中给出的数据(如https://www.bundesbank.de/cae/servlet/StatisticDownload?tsId=BBK01.ST0304&its_fileFormat=sdmx&mode=its)。我尝试使用 BeautifulSoup,但似乎看不到标签。在下面的代码中

这给了我一个空对象。

BS4 是错误的工具,还是(更有可能)我做错了什么?提前致谢