问题标签 [sdmx]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - 将 sdmx-xml 文件读入 R 中的数据框
我想知道是否有人设法将 SDMX-XML 文件读入数据帧。我想阅读的文件是https://www.ecb.europa.eu/stats/sdmx/icpf/1/data/pension_funds.xml (1mb)。我将文件作为“pensions_funds.xml”保存到 pwd 并尝试使用 XML 包读取它:
上面的几行基本上遵循这里的示例http://www.omegahat.org/RSXML/gettingStarted.html 但我想我首先需要以某种方式忽略标题(我已粘贴在文件的前几页下面我'正在尝试阅读)。所以我认为上述方法可能有效,但出于我的目的,它从错误的节点开始。我想获取由 time_period 和 ref_area 索引的 obs_values。
首先要找到正确的节点并从那里开始,但是我怀疑我可能是在做傻事,因为我对数据格式的了解有限,而且我不确定 XML 包是否可用于 SDMX-XML 文件。更聪明的人似乎已经尝试过这样做 http://opensdmxdevelopers.wikispaces.com/RSDMX 我在这里的主页上找不到这个包供下载 https://r-forge.r-project.org/projects/rsdmx / (我看不到任何链接/下载部分,但也许我是盲人)而且似乎还处于早期阶段。rsdmx 的存在表明使用 xml 包来读取 sdmx 可能并不容易,所以我准备在这个阶段放弃,除非有人在这方面取得了成功。其实我主要对阅读这个文件感兴趣 http://www.ecb.europa.eu/stats/sdmx/bsi/1/data/outstanding_amounts.xml 但这是一个 10mb 的文件,所以我开始变小了。
edit3 使用 Mischa 的评论库(“XML”)中的更改尝试 sgibb 对大文件的回答
edit2: sgibb 的答案看起来很理想,并且在较小的文件上完美运行。我试图运行它
(10mb 文件,原始链接已更正),唯一的修改是添加了两行:
(这些是在这个更大的数据集中识别一行所需的额外 id 变量)。它运行了几分钟,然后出现此错误:
错误:1:属性 TIME_PE 的规范要求值
2:属性构造错误
3:找不到开始标签 Obs 行 20743的结尾
4:标签系列行 20689
中的数据过早结束 5:标签数据集第 91 行中的数据过早结束6:标签 CompactData 第 2 行中的数据提前结束
另外:有 50 个或更多警告(使用 warnings() 查看前 50 个)
数据的基本格式似乎非常相似,所以我认为这可能有效。10mb文件的基本格式如下:
编辑1:
所需的数据格式:
这是数据的第一位。
xml - 将 XML 文档转换为 MATLAB
我想将 XML 文档转换为有用的 matlab 对象,该对象可以遍历节点以获取信息。XML 文档看起来有点复杂,如下所示:
当我使用 xmlread('filename.xml') 并编写 xml.getElementsByTagName('Header') 我得到:
我将不胜感激任何帮助。
提前致谢!
xml - 统计数据和元数据交换 (SDMX)
我把自己困在SDMX中,因为我没有找到足够的资源来研究(编程代码)关于 SDMX。
喜欢:-
是的,它的个人网站上有一些指南,但这些还不足以开始骑 sdmx。因此,这是我对所有朋友的个人要求,如果您有任何经验,请分享。
任何帮助将不胜感激
r - 在 R 中读取 SDMX - 解析错误?
我一直在尝试通过他们最近启动的 SDMX 服务在 R 中使用 INEGI(墨西哥统计局)数据开发一个闪亮的应用程序。我甚至联系了开发人员自己,他们给了我以下不可行的代码:
这给我带来了以下错误:
...等等,你明白了。
我尝试使用另一个网址(也许这太宽泛了,引入了每个 GDP 测量值),但我得到了相同的结果:
如果我直接用浏览器下载文件,我似乎得到了有用的结构。
有任何想法吗?这看起来像是直接来自源的错误定义还是包“rsdmx”的问题,如果是这样,有没有人找到正确解析类似结构的方法?
r - 欧盟统计局批量 SDMX 数据下载到 R?
我在尝试从 Eurostat 下载批量数据时遇到了一些麻烦,希望您能帮助我。我基于这篇文章的代码。
我收到此警告,并且数据框为空:
r - 将 SDMX 数据导入 R 时出错
当我尝试导入 OECD 数据时会出现问题。例如,如果我尝试以下代码:
我收到以下错误
然而,这似乎只发生在经合组织的数据中。如果我将data.url
上面替换为
然后代码运行顺利。如果我下载 XML 文件并使用readSDMX('file.xml', isURL=FALSE)
.
我想知道这是否与解析 OECD XML 时出现的“”字符有关,以及是否有解决此问题的方法。
python - 欧盟统计局 SDMX 数据流描述 python
使用 python 我想从 Eurostat 收集所有可能的数据流的列表。我有以下代码;
这给了我所有可能的 resource_id 的列表,但我也想要描述符。这可能吗?
谢谢
r - 在 R 中读取 XML 时编码丢失
我正在使用XML
R 包检索在线 XML 数据。我的问题是 UTF-8 编码在调用过程中丢失xmlToList
:例如,'é' 被 'é' 替换。这发生在 XML 解析期间。
这是一个代码片段,其中一个编码丢失的示例和另一个保留编码的示例(取决于数据源):
为什么关于编码的行为不同?我试图设置.encoding = "UTF-8"
,getURL
和 toenc2utf8(res)
但这并没有改变。
欢迎任何帮助!
谢谢,
热雷米
r - 读取奇怪的格式化程序 CSV 文件
我正在考虑从statistics.gov.scot网站下载一些数据。例如,我想获取一些关于住院率的数据。获取我感兴趣的数据表的查询格式为:
并通过此链接访问,对于那些想尝试的人。查询会生成一个*.CSV
包含相关信息的文件,但是,文件的格式会带来一些挑战。
文件示例
文件内容如下所示:
导入 Excel 时:
但是,当通过导入到Rread.csv
时,它看起来像这样:
问题
read.csv
导入仅返回两列。我猜这个问题与一些初始列是空的有关。我想以类似于在 Excel 中实现的插图导入的方式读取此文件。关键是,我打算使用A列和B列中第7行的值,当然还有下面的数据表。在生成方面,我很乐意包含有空单元格但尺寸与 Excel 中相同的值。我试过:data.frame
NA
但我不断遇到同样的问题。
期望的结果
期望的结果应该是这样的(手工生成的提取物):
截屏
为了进一步说明,我想保持维度并用NA
s 填充缺失值:
python - 带有 SDMX 的 Python BS4
我想检索 SDMX 文件中给出的数据(如https://www.bundesbank.de/cae/servlet/StatisticDownload?tsId=BBK01.ST0304&its_fileFormat=sdmx&mode=its)。我尝试使用 BeautifulSoup,但似乎看不到标签。在下面的代码中
这给了我一个空对象。
BS4 是错误的工具,还是(更有可能)我做错了什么?提前致谢