这似乎是一个宽泛的问题，但我想要达到的目标是准确的，所以请阅读它。
我正在构建一个连接到市场广播并订阅近 200 个广播脚本的应用程序。每秒接收每个脚本的广播。
现在在应用程序中我想实现两件事：
- 收集广播并制作1分钟、5分钟、15分钟的蜡烛等。
- 将某些脚本的直播值与预定义值进行比较。
我尝试了不同的方法来解决这个问题，但只有一种方法显示出最好的结果。尽管这不是想要的结果。
我目前的做法：
main.py----->Process----
|
|
------------
| |
broadcast candle
在broadcast我得到广播并制作 1 分钟蜡烛并通过Pipe()与蜡烛的连接转发它。在candle我尝试按要求的间隔制作蜡烛。
问题：
- 每个符号/每个蜡烛的形成需要将近一秒钟的时间。我使用
pandas数据框来存储数据，然后进行groupby()操作以形成蜡烛。 - 1 分钟蜡烛形成蜡烛需要近 6-10 秒。希望接近 2 秒或更短。
- 没有广播比较的余地。
我想知道的是，我在数据结构和数据处理方面应该采取什么方法，以便有足够的空间让所有流程尽可能快地进行？
我在考虑 HDF5 用于数据存储和 dask 用于处理，但这值得吗？（我从未在 HDF5/dask 上工作过）。
欢迎任何建议。谢谢 ！
编辑
这是我根据所需频率制作蜡烛的代码。请注意，在我从主数据帧中切片脚本数据后，每个脚本都会调用它。
def __create_minutes_candles(self, data=None, freq=None, latest=True):
start_time = time()
data = data if isinstance(data, pd.DataFrame) else self.__data
if freq and not data.empty:
for _symbol in self.scrips:
symbol_df = data[data['symbol'] == _symbol]
symbol_candle = self.__create_candle(_symbol, symbol_df, freq)
# Following code assembles all candles for all symbols and then append it to file
def __create_candle(self, symbol, symbol_df, freq):
if not symbol_df.empty:
candle = symbol_df.groupby(pd.Grouper(freq=freq, base=self.base)).apply(self.__candle_calc)
candle.dropna(how='all', inplace=True)
volume = symbol_df['volume'].resample(rule=freq, base=self.base).sum()
volume = volume[volume != 0]
symbol_candle = pd.concat([candle, volume], axis=1)
symbol_candle['symbol'] = [symbol] * len(symbol_candle)
symbol_candle = symbol_candle[self.file_columns]
return symbol_candle
这是我生成蜡烛的数据框视图：
timestamp symbol ltp volume
0 2019-02-27 12:34:38 NIFTY_50 10778.70 NaN
1 2019-02-27 12:34:36 ACC 1430.00 1154730.0
2 2019-02-27 12:34:37 ADANIENT 131.30 3687673.0
3 2019-02-27 12:34:37 ADANIPORTS 325.60 4091014.0
4 2019-02-27 12:34:37 ADANIPOWER 47.85 28333489.0
5 2019-02-27 12:34:35 AJANTPHARM 997.00 397915.0
6 2019-02-27 12:34:37 ALBK 46.30 17753857.0
7 2019-02-27 12:34:33 AMARAJABAT 720.90 317973.0
8 2019-02-27 12:34:37 AMBUJACEM 214.95 1648760.0
9 2019-02-27 12:34:35 APOLLOHOSP 1152.15 738995.0
10 2019-02-27 12:34:37 APOLLOTYRE 212.65 1722708.0
11 2019-02-27 12:34:37 ARVIND 75.45 2225521.0
12 2019-02-27 12:34:37 ASHOKLEY 82.95 21954785.0
13 2019-02-27 12:34:37 ASIANPAINT 1405.35 755940.0
14 2019-02-27 12:34:37 AUROPHARMA 717.70 1248541.0
15 2019-02-27 12:34:37 AXISBANK 715.25 8247772.0
16 2019-02-27 12:34:37 BAJAJ-AUTO 2900.95 541710.0
17 2019-02-27 12:34:33 BAJAJFINSV 6398.05 182373.0
18 2019-02-27 12:34:37 BAJFINANCE 2637.80 759410.0
19 2019-02-27 12:34:37 BALKRISIND 890.90 659789.0
20 2019-02-27 12:34:37 BANKBARODA 100.60 6876303.0
21 2019-02-27 12:34:37 BANKINDIA 81.15 6643359.0
22 2019-02-27 12:34:36 BATAINDIA 1298.00 492525.0
23 2019-02-27 12:34:37 BEL 80.40 8375060.0
24 2019-02-27 12:34:37 BEML 837.90 2072199.0
25 2019-02-27 12:34:36 BERGEPAINT 297.00 564332.0
26 2019-02-27 12:34:36 BHARATFIN 921.05 271384.0
27 2019-02-27 12:34:36 BHARATFORG 510.85 1321287.0
28 2019-02-27 12:34:37 BHARTIARTL 316.25 2660313.0
29 2019-02-27 12:34:37 BHEL 65.05 3227136.0
... ... ... ... ...
8410 2019-02-27 12:35:56 RPOWER 10.50 30267776.0
8411 2019-02-27 12:35:56 SAIL 48.45 12045549.0
8412 2019-02-27 12:35:56 SBIN 268.10 13249778.0
8413 2019-02-27 12:35:56 SHREECEM 16861.30 24079.0
8414 2019-02-27 12:35:56 SIEMENS 986.80 168896.0
8415 2019-02-27 12:35:56 SRTRANSFIN 1132.40 813839.0
8416 2019-02-27 12:35:56 STAR 412.65 710360.0
8417 2019-02-27 12:35:56 SUNPHARMA 441.75 9114905.0
8418 2019-02-27 12:35:56 SUNTV 604.80 2645366.0
8419 2019-02-27 12:35:56 TATACOMM 582.05 745842.0
8420 2019-02-27 12:35:56 TATAGLOBAL 191.55 1080853.0
8421 2019-02-27 12:35:56 TATAMOTORS 177.80 12885577.0
8422 2019-02-27 12:35:56 TATAMTRDVR 87.95 2138988.0
8423 2019-02-27 12:35:56 TATAPOWER 65.80 3032921.0
8424 2019-02-27 12:35:56 TATASTEEL 502.50 5517049.0
8425 2019-02-27 12:35:56 TCS 2046.40 2315885.0
8426 2019-02-27 12:35:56 TECHM 823.75 2428864.0
8427 2019-02-27 12:35:56 TITAN 1025.30 960611.0
8428 2019-02-27 12:35:56 TORNTPHARM 1823.75 134955.0
8429 2019-02-27 12:35:56 TORNTPOWER 238.90 901773.0
8430 2019-02-27 12:35:56 TV18BRDCST 33.05 2314156.0
8431 2019-02-27 12:35:56 TVSMOTOR 457.40 993427.0
8432 2019-02-27 12:35:56 UBL 1338.50 203388.0
8433 2019-02-27 12:35:56 ULTRACEMCO 3863.20 401531.0
8434 2019-02-27 12:35:56 UPL 864.00 1799297.0
8435 2019-02-27 12:35:56 VEDL 164.60 6466586.0
8436 2019-02-27 12:35:56 VOLTAS 543.25 1388822.0
8437 2019-02-27 12:35:56 WIPRO 376.90 4978421.0
8438 2019-02-27 12:35:56 YESBANK 224.45 42431769.0
8439 2019-02-27 12:35:56 ZEEL 462.50 7847558.0
这是我生成的 Dataframe 的视图。
symbol open high low close volume
timestamp
2019-02-27 12:29:00 ACC 1431.50 1432.15 1431.25 1431.85 1091.0
2019-02-27 12:29:00 ADANIENT 131.80 131.90 131.75 131.80 4516.0
2019-02-27 12:29:00 ADANIPORTS 326.15 326.55 326.00 326.40 6476.0
2019-02-27 12:29:00 ADANIPOWER 47.80 47.80 47.50 47.70 71156.0
2019-02-27 12:29:00 AJANTPHARM 999.00 999.00 998.10 998.10 245.0
2019-02-27 12:29:00 ALBK 46.55 46.70 46.55 46.65 11483.0