问题标签 [sdmx]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
295 浏览

excel - 从瑞典统计局到 Excel 的“自动化数据”的最佳方式?

这个问题有望作为使用 SDMX/JSON 或其他请求类型将数据请求实现为 excel 的其他一般问题的目的。

我是这种数据请求的新手,但想知道如何以半自动方式将数据提取到瑞典统计局网站的各种数据字段的 Excel 中。

他们的 API 详细信息在这里给出:http ://www.scb.se/en_/About-us/Open-data-API/API-for-the-Statistical-Database-/

我希望了解如何将某些字段提取到 Excel 中。

0 投票
1 回答
1057 浏览

c# - 如何在 C# 中解析 sdmx 文件?

我正在尝试解析以下页面:

http://sdw-wsrest.ecb.europa.eu/service/data/YC/B.U2.EUR.4F.G_N_A.SV_C_YM.BETA0+BETA1+BETA2+BETA3+TAU1+TAU2?lastNObservations=1

为了得到 , 等的BETA0BETA1....

我正在苦苦挣扎,因为网页似乎是 SDMX 格式而不是常规 XML。如果有人可以帮助 ac# 片段,将不胜感激。

先感谢您。

0 投票
0 回答
52 浏览

r - readSDMX 到 data.frame 结果为 NULL?

我似乎无法将我的 rsdmx 结果转换为数据框。所有帮助教程我都能找到 parrot 相同的东西,但是当我尝试它时,我得到一个 NULL df。有来自我的 readSDMX 的数据,但 as.data.frame 结果为 NULL。

我错过了什么???这个 ASB 数据集有什么东西吗?

谢谢。

0 投票
0 回答
297 浏览

java - SDMX-ML:SAS 库名称 XML

Eurostat 数据可以通过REST API下载。API 的响应格式是根据 SDMX-ML 标准格式化的 XML 文件。使用 SAS,可以非常方便地使用libname语句和XMLXMLv2引擎访问 XML 文件。

目前,我正在使用xmlv2引擎以及automap=生成xmlmap访问数据的选项。有用。但是生成的 SAS 数据集非常非结构化,对于要下载的另一个数据集,数据结构可能会发生变化。此外,请求可能取决于 Eurostat 为不同 XML 文件中的每个数据库项目提供的 DSD 文件。

代码如下:

使用上面的代码,您可以在您的 WORK 库中查看所有下载的数据。一团糟。

根据 Eurostat 的描述下载另一个时间序列更改 URL 的参数。

所以这是我的问题

有没有一种方法可以轻松地xmlmap从对 DSD 文件的调用中生成一个,以便数据以结构良好的方式存储?

由于 SDMX-ML 标准广泛用于欧洲央行、欧盟统计局、经合组织等公共机构……我想知道是否有人已经对数据库实施了请求。我知道Banca Italia使用 javaObject 的工具。但是,我想知道是否有没有 javaObject 的解决方案。

0 投票
1 回答
454 浏览

json - SDMX到R中的RSDMX数据帧

我正在尝试从立陶宛统计局获取数据。他们提供带有 XML 或 JSON ( LSD ) 的 SDMX API。

显示的示例 XML 是:https ://osp-rs.stat.gov.lt/rest_xml/data/S3R629_M3010217下载 XML 文件。

我试过以下:

这导致错误:

我也尝试简单地阅读手动下载的文件

导致中位数为 NULL(空)

也许有人有一个想法,我如何解决从 LSD 下载/转换数据的问题:

非常感谢!

0 投票
1 回答
220 浏览

python - UNESCO SDMX api 数据转换成 pandas DataFrame

我正在尝试从 UNESCO 数据 api 下载一个表格并将其转换为 pandas DataFrame。到目前为止,我已经到了这么远:

不幸的是,它给了我以下错误:

关于我做错了什么的任何想法?

0 投票
0 回答
220 浏览

python - 使用 Python / pandaSDMX 处理并上传到 Postgresql

我正在寻找一种方法来获取 SDMX 文件(比如这里:http ://www12.statcan.gc.ca/datasets/Alternative.cfm?PID=105929&EXT=SDMX )并将它们处理成 Postgresql 表。

我可以将 rsdmx ( https://cran.r-project.org/web/packages/rsdmx/index.html ) 用于较小的数据集,但对于大型数据集,我们在 R 中遇到了许多限制。

PandaSDMX ( https://pandasdmx.readthedocs.io/en/latest/ ) 似乎可以解决其中一些问题,但我在 Python 方面没有经验,似乎无法让语法正常工作。我可以使用 Response.get() 将本地文件加载为响应对象,但不确定从那里去哪里。

我知道我需要应用代码表(结构文件),但我不确定如何执行或制作它,以便我可以使用 odo(http://odo.pydata.org/en/latest/)发送它到PostgreSQL。

希望有人可以提供帮助或建议另一种追求方法。

0 投票
1 回答
93 浏览

node.js - 从 ONU 的 UnData 下载数据

我想知道这段时期某些国家的人口1960-2015

我找到了这个包含这些数据的网站,我有兴趣使用Node.js.

我读到有一些API,但我不明白如何使用它们。

我去了这个网站(它允许你创建和下载XML格式的查询),我寻找了我感兴趣的表格。我设置了我感兴趣的参数并下载了查询:

现在我必须做一个 HTTP Post 请求。我安装request-promise 包

现在我不知道该怎么办。我考虑过使用这段代码,但我在哪里插入下载的查询?

有人能帮我吗?

0 投票
2 回答
3370 浏览

python - 来自 Eurostat 的 pandas 数据挖掘

我正在开始一项使用 python 和 pandas 分析来自 Eurostat 等统计机构的数据的工作。我发现有两种方法可以从 Eurostat 获取数据。

  • pandas_datareader:看起来很容易使用,但我发现一些问题是获取一些特定的数据
  • pandasdmx:我发现它有点复杂,但它似乎是一个很有前途的解决方案,但文档很差

我使用免费的 Azure 笔记本,在线服务,但我认为它不会使我的情况更加复杂。

让我解释一下pandas_datareader的问题。根据 pandas 文档,在 API 部分中,有这个简短的文档包,它可以工作。除了显示的示例之外,它很好地工作,其他表出现问题。例如,我可以使用以下简单代码获取有关欧洲房价的数据,其中 ID 表为prc_hpi_a :

但该表包含三种类型的住宅数据:TOTAL、EXISTING 和 NEW。我只有现有的住宅,我不知道如何获得其他的。对于这些类型的过滤,您有解决方案吗?

其次是使用pandasdmx的路径。这里比较复杂。我的想法是将所有数据上传到pandas DataFrame,然后我可以根据需要进行分析。说起来容易,但我没有找到很多解释这段话的教程:上传数据到熊猫结构。例如,我找到了本教程,但我坚持第一步,即实例化客户端:

它返回:

-------------------------------------------------- ------------------------- ImportError Traceback (last last call last) in () 1 import pandasdmx ----> 2 from pandasdmx import client 3 estat=client('Eurostat', 'milk.db')

ImportError:无法导入名称“客户”

这里有什么问题?我环顾四周,但没有解决这个问题

我也跟着这个教程

我得到了数据,但我的目的是将它们上传到熊猫结构(Series,DataFrame等),这样我就可以根据我的工作轻松处理。怎么做?实际上我用这条工作线做了(在以前的下面):

但是如果我尝试获取其他数据表,它就不起作用。让我用另一个关于协调指数当前价格表的例子来解释:

它在这里返回一个错误,即:

-------------------------------------------------- ------------------------- AttributeError Traceback (最近一次调用最后一次) in () 2 metadata = estat.datastructure('DSD_prc_hicp_midx').write( ) 3 resp = estat.data('prc_hicp_midx') ----> 4 data = resp.write(s for s in resp.data.series if s.key.COICOP == 'CP00') 5 #metadata.codelist 6 #data.loc[:, ('TOTAL', 'INX_Q','EA', 'Q')]

~/anaconda3_501/lib/python3.6/site-packages/pandasdmx/api.py in getattr (self, name) 622 使消息属性直接从响应实例 623 ''' 中读取 -> 624 return getattr(self.msg,名称)625 626 def _init_writer(自我,作家):

AttributeError:“DataMessage”对象没有属性“数据”

为什么它现在不获取数据?现在怎么了?

我花了将近一天的时间四处寻找一些明确的例子和解释。你有什么要提议的吗?是否有完整而清晰的文档?我还发现这个页面还有其他示例,解释了分类方案的使用,但它不适用于欧盟统计局(正如在某些时候解释的那样)

这两种方法都可以工作,除了一些解释的问题,但我还需要一个建议,有一个明确的方法可以使用,查询欧盟统计局以及许多其他机构,如经合组织、世界银行等……你能指导我找到一个明确的方法吗?和可行的解决方案,即使每个机构都不同?

0 投票
0 回答
49 浏览

version - .Stat Suite 是否支持 SDMX 版本 2.1

常见问题页面说https://siscc.org/faq/

.Stat Suite 是原生 SDMX 解决方案,支持完整的端到端流程。它可以使用、管理和导出 SDMX-JSON、SDMX-ML 和 SDMX-CSV 格式的 SDMX 2.1。

在检查此处列出的一些最新实现时:https ://siscc.org/who-we-are/members/

例如让我们看看http://andmebaas.stat.ee/

从许多结构中选择一个:http: //andmebaas.stat.ee/restsdmx/sdmx.ashx/GetDataStructure/KK513

我可以看到 2.1 sdmx 版本不兼容

  • URI Schema 与标准版本 2.1 不匹配,如果它的旧版本我找不到这种 URI 模式的规范,你能提供参考吗?
  • xml 消息格式也使用v2_0模式和不同的结构。

有没有办法为这些端点强制使用 2.1 版本?我试图设置 Accept 标头application/vnd.sdmx.structurespecificdata+xml;version=2.1

这与标准的差异是因为 .Stat 套件实现细节还是因为在这种情况下 stat.ee 以这种方式实现了它。

PS如果你知道我可以问这个问题的更好的地方,请告诉我。