0

我已经构建了一个简单的 Dask 应用程序，以使用多处理循环文件并创建摘要。代码循环遍历目录中的所有 zip 文件，并在遍历文件时创建名称列表（虚拟任务）。我无法打印名称或将其附加到列表中。什么问题，我想不通。

import pandas as pd 
import numpy as np 
import datetime as dt
import matplotlib.pyplot as plt
plt.ioff()
import time
import os
from  pathlib import Path
import glob


import webbrowser

from dask.distributed import Client

client = Client(n_workers=4, threads_per_worker=2) # In this example I have 8 cores and processes (can also use threads if desired)
webbrowser.open(client.dashboard_link)
print(client)
os.chdir("D:\spx\Complete data\item_000027392")
csv_file_list=[file for file in glob.glob("*.zip")]     
total_file=len(csv_file_list)

data_date=[]
columns=['Date', 'straddle_price_open', 'straddle_price_close']
summary=pd.DataFrame(columns =columns)



def my_function(i):
    df=pd.read_csv(Path("D:\spx\Complete data\item_000027392",csv_file_list[i]),skiprows=0)
    date = csv_file_list
    data_date.append(date)
    print(date)
    return date

futures = []

for i in range(0,total_file):
    future = client.submit(my_function, i)
    futures.append(future)

results = client.gather(futures)
client.close()

这个想法是我应该能够在使用 dask 时对数据进行操作并打印输出和图表，但由于某种原因我不能。

4

0 回答 0