0

尝试请求 ERA5 数据。请求受大小限制，系统将自动拒绝任何大于限制的请求。但是，人们希望尽可能接近请求限制，因为气候数据存储 (CDS) 处理每个请求需要几个小时。

例如，我有一个向量years <- seq(from = 1981, to = 2019, by = 1)和一个向量variables <- c("a", "b", "c", "d", "e"...., "z")。最大请求大小为 11。这意味着长度（年）*长度（变量）必须小于或等于 11。

对于每个请求，我必须提供一个包含年份和变量的字符向量的列表。例如： req.list <- list(year = c("1981", "1982", ..."1991"), variable = c("a")) 这将起作用，因为有 11 年和 1 个变量。

我考虑过使用 expand.grid() 然后使用第 1-11 行、第 12-22 行 ...和 ​​unique() 值每列来获取请求的年份和变量。但是这种方法有时会导致请求大小太大： req.list <- list(year = c("2013", "2014", ..."2018"), variable = c("a", "b"))因为长度（年）*长度（变量）= 12> 11而被拒绝。

我也使用 foreach() 和 doParallel 创建多个请求（一次最多 15 个请求）

如果有人有更好的解决方案，请分享（在遵守请求大小限制的同时尽量减少独特组合的数量），非常感谢。

4

1 回答 1

0

限制是根据字段数量设置的，可以将其视为 grib 意义上的“记录”数量。通常建议的方法是在检索命令中保留变量列表和较短的时间尺度，然后循环多年（更长的时间）。尽管对于 ERA5，这是一个选择问题，因为数据都在缓存上，而不是磁带驱动器上，对于基于磁带驱动器的请求，使用单个请求检索同一磁带上的数据很重要（即，如果您使用 CDS 检索季节性预测或其他不是 ERA5 的数据集）。

这是一个简单的循环示例：

import cdsapi

c = cdsapi.Client()

yearlist=[str(s) for s in range(1979,2019)]

for year in yearlist:
    c.retrieve(
    'reanalysis-era5-single-levels',
    {
        'product_type': 'reanalysis',
        'format': 'netcdf',
        'variable': [
            '10m_u_component_of_wind', '10m_v_component_of_wind', '2m_dewpoint_temperature',
            '2m_temperature',
        ],
        'year': year,
        'month': [
            '01', '02', '03',
            '04', '05', '06',
            '07', '08', '09',
            '10', '11', '12',
        ],
        'day': [
            '01', '02', '03',
            '04', '05', '06',
            '07', '08', '09',
            '10', '11', '12',
            '13', '14', '15',
            '16', '17', '18',
            '19', '20', '21',
            '22', '23', '24',
            '25', '26', '27',
            '28', '29', '30',
            '31',
        ],
        'time': [
            '00:00', '01:00', '02:00',
            '03:00', '04:00', '05:00',
            '06:00', '07:00', '08:00',
            '09:00', '10:00', '11:00',
            '12:00', '13:00', '14:00',
            '15:00', '16:00', '17:00',
            '18:00', '19:00', '20:00',
            '21:00', '22:00', '23:00',
        ],
    },
    'data'+year+'.nc')

我认为您可以将其与 foreach 并行化，尽管我从未尝试过，但我认为它不会有太大帮助，因为每个用户的作业限制设置得非常低，因此您最终会得到大量那里的队列中的工作......

于 2020-03-04T14:49:38.187 回答