几天前我完成了我的第一个 Python RESTful API(使用Flask RESTPlus),我写了一个小程序来测试它:
if __name__ == '__main__':
with open('dataset.csv') as dataset:
reader = csv.DictReader(dataset)
nb_requests = 0
for row in reader:
data = json.dumps(row)
nb_requests += 1
requests.post(url=url, data=data, headers=header)
问题如下:
我有一个非常庞大的 CSV 数据集,我需要对其进行测试(500k+ 行),并且我需要针对其中的每一行向我的 API 发出 POST 请求。
正如预期的那样,它很慢,因为两个程序都是同步的,我想知道让它更快的最佳实践是什么?
我读到了多线程、多处理、异步......但我实际上不知道为了使 API 和我的测试程序更快,最好的解决方案是什么。有什么建议么 ?
谢谢你的灯!