问题标签 [sdmx]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
245 浏览

python - 从 SDMX 响应创建正确的数据框,Python 3.6

我想从http://stat.data.abs.gov.au/Index.aspx?DataSetCode=ATSI_BIRTHS_SUMM中可用的数据准备数据集

数据接口:

http://stat.data.abs.gov.au/restsdmx/sdmx.ashx/GetData/ATSI_BIRTHS_SUMM/1+4+5+7+8+9+10+13+14+15+18+19+20。 IM+IB.0+1+2+3+4+5+6+7.A/全部

上面给出了错误:ValueError:类型名称和字段名称不能是关键字:'None'

支持链接:

请建议更好的方法来检索数据。

0 投票
2 回答
394 浏览

python - Most efficient way of converting RESTful output to dataframe

I have output from a REST call that I've converted to JSON.

It's a highly nested collection of dicts and lists, but I'm eventually able to convert it to dataframe as follows:

#xA;

This works absent some manipulation to make it easier to work with, and as there are multiple time series, I can do a version of the same for each, but it goes without saying it's kind of clunky.

Is there a better/cleaner way to do this.

0 投票
1 回答
49 浏览

r - 如何修复R中的“colsums(is.na(codes))中的错误”

我正在尝试通过 r 将爱沙尼亚国家数据库中的数据导入 powerbi,但有时数据会给我一个错误,我不知道如何解决。

我尝试使用来自同一数据库的不同数据,其中一些工作正常,但其他人则抛出错误。

我有这个代码:

它适用于某些数据,例如使用这些链接

数据http://andmebaas.stat.ee/restsdmx/sdmx.ashx/GetData/RV021/1+2+3.1+2+3+4+5+6+7+8+9+10+11+12+13 +14+15+16+17+18+19+31+32+33+34+20+21/all?startTime=1919&endTime=2019

dsd http://andmebaas.stat.ee/restsdmx/sdmx.ashx/GetDataStructure/RV021

该代码应该将数据导入 powerbi 并使用数据和标识符创建表,但是使用代码中当前的链接会引发以下错误

Error in colSums(is.na(codes)) : 'x' must be an array of at least two dimensions In addition: Warning message: In is.na(codes) : is.na() applied to non-(list or vector) of type 'NULL'

0 投票
1 回答
321 浏览

r - 如何从 url 读取 IMF xls- 或 sdmx-data?

我想从IMF将 .xls 文件从 URL 直接读取到 R 中,但到目前为止所有尝试都失败了。奇怪的是,我可以手动下载文件download.file(),也可以在 Microsoft Outlook 或文本编辑器中毫无问题地打开它。但是,即使那样我也无法将数据读入 R。

我总是尝试同时使用httpshttp

1. 经典方法——失败。

2. 几个包——失败。

3. Tempfile 方法——失败。

4. SDMX

我也试过SDMX IMF的offer,也没有成功。可能这将是一种更复杂的方法,但我从未使用过 SDMX。

现在...有人知道发生了什么,以及如何将数据加载到 R 中吗?

0 投票
1 回答
534 浏览

r - 通过 SDMX(XML) 从 OECD 获取数据到 R

我想从经合组织网站中提取数据,特别是数据集“REGION_ECONOM”,其维度为“GDP”(各个地区的 GDP)和“POP_AVG”(各个地区的平均人口)。

这是我第一次这样做:我在 OECD 网站上选择了所有必需的维度并复制了 SDMX (XML) 链接。

我尝试将它们加载到 R 中并使用以下代码将它们转换为数据框:(在链接中,我将所有区域的列表替换为“ALL”,否则链接将长达六页)

不幸的是,这会返回“400 Bad request”错误。

仅选择几个区域时,不会出现错误:

我还尝试使用“OECD”包来获取数据。在那里我遇到了同样的问题。(“400 错误请求”)

但是,当我将包用于其他数据集时,它确实有效:

有谁知道我的错误可能在哪里?

0 投票
1 回答
638 浏览

json - 如何使用 pandasmdx 从澳大利亚统计局获取数据

有没有人使用 pandasmsdx 库获得 ABS 数据?

这是从正在运行的欧洲中央银行 (ECB) 获取数据的代码。

但是,当我更改Request('ECB') 为时Request('ABS'),第二行中的错误弹出窗口说,

“{ValueError}这个机构只支持数据请求,不支持数据流。”

有没有办法从 ABS 获取数据?

pandasdmx 的文档:https ://pandasdmx.readthedocs.io/en/stable/usage.html#basic-usage

0 投票
2 回答
345 浏览

python - python解析来自eurostat sdmx的xml文件

我尝试解析来自他们的sdmx webservice的 eurostat 数据。

原始文件示例: http: //ec.europa.eu/eurostat/SDMX/diss-web/rest/data/nrg_bal_c/A.PPRD+IMP.TOTAL.KTOE.FR/ ?startPeriod=2016

我使用 python + requests + lxml + pandas 库(只有这个,我公司不允许第三方库,如 pandasdmx)。我可能会使用 xmlschema。

结果如下所示:

我尝试将结果对象放在格式良好的熊猫数据框中,但我坚持这一点。

请问有什么线索吗?

奖励问题:如果我能获得与我的 xml 文件相关的 xsd 文件,我认为 xmlschema 库可以帮助我解析 xml。我是否误解了这个库的功能?

0 投票
2 回答
173 浏览

python - 澳大利亚统计局 SDMX 超时问题

我正在尝试使用 pandasdmx 下载澳大利亚统计局的数据。我可以使用 SDMX 下载 ERP_COB 没问题,但对于 SA2 的 ERP,年龄和性别我收到超时错误。我将时间段限制为仅 2018 年,但仍然超时。奇怪的是它有时有效,但大多数情况下无效。我想尝试限制年龄或性别等参数,但不知道如何做到这一点。任何帮助将非常感激。

提前致谢。

0 投票
1 回答
520 浏览

python - SDMX-Json 解析 - 没有 Time_Period 问题 - OECD 数据集 python 提取

我正在使用 python 库pandaSDMX从 OECD 数据库中提取整个数据集,并将它们转换为 CSV 格式(任何可读格式都可以,因为我想将最终输出放入 SQL 数据库中)。

要访问 SDMX-Json 格式的 OECD 数据集(还有一种 SDMXML 格式),您可以在浏览器上粘贴如下链接:

http://stats.oecd.org/sdmx-json/data/PART2/all/all

注意:“PART2”是数据集的名称

问题是,有些经合组织数据集的 SDMX-Json没有名为Time_Period的维度,而我发现的所有 sdmx-json 解析 python 库仅解析具有此维度的 SDMX-Json

我还尝试找到一些可以解析 SDMXML (SDMX-ML) 文件的 python 库(这也可以),但是在 python 中构建该过程对我不起作用......

这是我用来解析 SDMX-Json 数据集并将输出 CSV 文件写入 Azure blob 存储的一段代码:

所以,我的最后一个问题是

有谁知道解析没有Time_Period 维度的 SDMX-Json 文件的方法?或以其他方式从经合组织自动提取整个数据集并对其进行解析......

例如:

  1. 有时间段的数据集(这个对我来说很好): http: //stats.oecd.org/sdmx-json/data/TALIS_EDUGPS/all/all
  2. 没有时间段的数据集:http: //stats.oecd.org/sdmx-json/data/PART2/all/all
0 投票
1 回答
307 浏览

python - 在 python 中读取 XML SDMX

我正在努力从以下链接使用 python 读取 SDMX XML 文件: https ://www.newyorkfed.org/xml/fedfunds.html或 直接

理想情况下,我想将资金利率纳入数据框,但我试图使用 pandasdmx,它似乎不适用于这个

我当前的代码:f

我想得到一些看起来像这样的东西:

我发现这种方法非常难看,对于每个“数据”,我需要检查它是否不是无。有没有更好的方法来做到这一点?