python - 使用 python 从服务器迭代一个 20+ gb 的大文件

Question

嗨，我在服务器上有大约 16 个 20+ gb 文件，我需要从中读取特定条目，如果我的计算机上保存了其中一个文件，我的代码可以以正确的顺序读取文件

f = open('biodayk1.H2009', 'rb')

lbl = array.array('f')

bio = 0 for day in range(iday):
    f.seek(nx*ny*km*bio*4, 1)
    lbl.read(f, nx*ny*km)    #reads the desired ibio
    f.seek(nx*ny*km*(10 - bio)*4, 1) #skips the next ibios 
f.close()

现在我需要从服务器读取文件而不下载每个文件。我正在研究 paramiko 并能够连接到服务器，但我不太确定如何遍历文件并返回我想要的内容。如果您需要更多信息或需要我回答任何问题，请提出。提前致谢。

Answer 1

你……在痛苦中。我建议您遵循 rsync 路线并编写一个在服务器上运行的脚本，该脚本提供您感兴趣的字节。您可以通过 paramiko 创建的文本通道与其通信。

Answer 2

我建议execnet远程运行一些 Python（本地函数或模块）。

无需设置。