3

我对 Python 很陌生，我的任务是逐行解析一个非常大的 .csv 文件，然后基于逗号分隔的值，我必须调用一个 REST api。有人可以帮我提供一个示例代码。

根据 csv 文件中的第一列值，我必须调用不同的 REST api 或创建不同的 REST URL 及其相应的参数。存储这些的最佳方法是什么？最好有 xml 或哈希映射或？？？.所以当我从 csv 读取每一行时，我从我的配置中获取 url 和所需的参数，然后我必须为 REST api 创建 URL 并调用调用。

第二个问题：我们是否需要创建任何线程以便它执行得更快

我的代码如下所示。

import sys, argparse, csv, collections, time, datetime

EventAPIDict = {"evnet_1": "http://rest_apiurl/?",
                "evnet_2": "http://rest_apiurl/?"}

EventParamsDict = {"evnet_1": ("s", "ts"),
                "evnet_2": ("s")}

EventIndexDict = {"evnet_1": ("1", "4"),
                  "evnet_2": ("1")}

def processRow(row):
    print "-----------------------------"
    #print localRow
    event = row[0]
    if event in EventAPIDict:
        print event
        strRESTAPI = EventAPIDict[event]
        i = 0
        for param in EventParamsDict[event]:
            #print param
            indexes = EventIndexDict[event]
            value = row[int(indexes[i])]
            if param == "ts":
                timestamp = value #"2013-05-28 14:28:58"
                value = datetime.datetime.strptime(timestamp, '%Y-%m-%d %H:%M:%S').strftime("%s")
            strRESTAPI = ("%s%s=%s&")%(strRESTAPI, param, value)
            i = i + 1

        strRESTAPI = strRESTAPI[:-1]
        print strRESTAPI
        #TODO: Invoke the Rest API

#TODO: Get the csv file to be parsed.
fileName = "LogDetails.log"
# open csv file
with open(fileName, 'rb') as csvfile:
    csvfile.seek(0)

    reader = csv.reader(csvfile, delimiter=',')

    for row in reader:
        processRow(row)
4

1 回答 1

0

要回答您的问题 #1 - 是的，此脚本将解析一个 CSV 文件并对其采取行动。我用你的基本结构在我的脚本中做同样的事情。您也可以从 XML 或 JSON 格式解析它，这些格式更便于其他系统移植。

我必须查看一个数据文件才能更多地理解您为什么要进行比较等。我希望输入 CSV 包含调用 REST API 所需的所有信息。

第二个问题：

使用文件搜索功能来创建不同的线程并执行一定数量的调用。当然，您还有一个问题是可以同时进行多少调用以及服务器可以处理多少。

于 2015-04-30T15:07:08.077 回答