问题标签 [fromfile]

我有非常大的二进制文件，其中包含 x 个用于 y 传感器的 int16 数据点，以及带有一些基本信息的标题。二进制文件被写入每个采样时间的 y 值，最多 x 个采样，然后是另一组读数，依此类推。如果我想要所有数据，我正在使用numpy.fromfile()它的工作非常好和快速。但是，如果我只想要传感器数据的子集或只需要特定的传感器，我目前有一个可怕的双for循环，使用file.seek(), file.read()，struct.unpack()这需要很长时间。有没有另一种方法可以在 python 中更快地做到这一点？也许mmap()我不太了解？还是只使用整体fromfile()然后进行子采样？

遵循@rrauenza on 的建议mmap，这是很好的信息，我将代码编辑为

虽然这比以前快，但仍然比以前慢几个数量级

我用一个较小的 30 Mb 文件对此进行了测试，该文件只有 16 个传感器和 30 秒的数据。原始代码为 160 s，mmap为 105 s，np.fromfile二次采样为 0.33 s。

剩下的问题是 - 显然使用numpy.fromfile()小文件更好，但是对于可能高达 20 Gb 的大文件以及数小时或数天的数据和多达 500 个传感器，是否会有问题？

我有很多由二维组成的卫星数据。

（我将 H5 转换为不包含纬度信息的二维数组数据，我另外制作了纬度/经度信息数据。）

我知道一个数据中真正的纬度/经度协调和网格协调。

如何在 Python 中部分读取 2d 卫星文件？

“numpy.fromfile”通常用于读取二进制文件。

如果我在 numpy.fromfile 中使用选项作为计数，我可以部分读取二进制文件。

但是我想跳过一个数据中的前记录以节省内存。

例如，我有 3x3 2d 数据如下：

Python

a= [[1,2,3] [4,5,6] [7,8,9]]

我刚刚在 Python 中阅读了 a[3][0] 。（结果 = 7）

当我在 Fortran 中读取文件时，我使用了“recl，rec”。

Fortran

打开（1，文件='exsmaple.bin'，访问='直接'，recl=4）！recl=4 表示 4 btype

读取（1，rec=lat*x-lon）文件名

关闭(1)

lat 表示数据中纬度的位置。（以上示例中的 lat = 3 ；在 Fortran 中起始编号为 1。）

lon 表示数据中的经度位置。（在上述示例中，lon = 1；在 Fortran 中，起始编号为 1。）

x 没有。行。（x = 3，上面的例子，数组是 3x3）

我可以读取文件，并且只使用 4 字节的内存。

我想知道Python中的类似方法。

请给我特殊信息以节省时间和记忆。

感谢您阅读我的问题。

2016.10.28. 解决方案

python 数据= [1,2,3,4,5,6,7,8,9]，dtype = int8，文件名=名称

a = np.memmap(name, dtype='int8', mode='r', shape=(1), offset=6)

打印 [0]

结果：7

我正在准备一个脚本，它需要使用与脚本相同文件夹中的一些图像。图像将显示在 WinForms GUI 上。

当我通过单击从文件夹手动运行 ps1 脚本时，它会加载图像并显示它们。不幸的是，我不记得我是如何设置它的，但据我所知，它只是用于 ps1 文件的默认程序。当我从 cmd 文件运行脚本（隐藏 cmd 窗口）时，它也会加载它们。

但是当我使用 Powershell IDE 打开并运行它时，我得到了错误并且我的 GUI 上没有显示任何图标。当我使用 Powershell 打开时，它也无法加载它们。

我能找到的这些运行模式之间的唯一区别是：

执行 cd $scriptPath 时的行为相同，因此当前文件夹很可能不是有罪的文件夹。

我知道我可以在每个文件读取行（FromFile）中写入 $scriptPath/red.png，但我想要定义一次 - FromFile 的默认位置 - 然后无论我以何种方式运行它，都只需简单的文件名即可.

要更改什么以使默认文件读取路径与我的脚本位置相同？

我想使用np.fromfile. 该文件包含一个 3D 数组，我只关心每一帧中的某个单元格。

上面的代码理论上可以工作，但是我的文件非常大，将其全部读入会x导致内存错误。有没有办法fromfile只vals用开始？

我正在尝试更新一些np.fromfile在方法中使用的遗留代码。当我尝试为这种方法搜索 numpy 源时，我只找到np.core.records.fromfile，但是当您搜索文档时，您可以找到np.fromfile。看看这两种方法，你会发现它们有不同的 kwargs，这让我觉得它们完全是不同的方法。

我的问题是：

1) 来源在哪里np.fromfile？

2）为什么同一个名字下有两个不同的功能？如果您不注意两者的行为差异，这显然会让人感到困惑。np.core.records.fromfile如果您尝试读取的字节数多于文件包含的字节数而np.fromfile没有，则特别会引发错误。您可以在下面找到一个最小的示例。

我有 2 个关于 Scala 类的问题BufferedSource。

如何查询当前阅读位置？

我试过了pos：

输出：

为什么它会从 0 跳到 2049？！

是否有另一种方法来查询位置和/或将其设置在其他地方？

谢谢你的帮助 ：-）

The goal I'm trying to accomplish is simply requesting an image from an API, and returning it to the client-side in the form of an append method.

NO, I cannot just handle this in client side altogether because of a user/pass requirement for the API.

NO, I cannot use @Url.Action(ImageFromPath) method in the src of the image.

That said, here's my back-end code:

The goal in client-side is:

The problem I'm having is on line srcImage = Image.FromFile(URL), with error:

An exception of type 'System.IO.FileNotFoundException' occurred in CoreCompat.System.Drawing.dll but was not handled in user code

If it makes any difference, the call to the API URL itself requires a couple seconds to return the Image.

Can anyone advise the proper way to get this accomplished? Or at least help in getting my current approach working?

EDIT - I've looked at How can I convert image url to system.drawing.image for an answer, but it only provides solutions using WebClient which is not available in ASP.Net Core yet.

我正在尝试使用 numpy.fromfile() 读取一个非常大（几 GB）的二进制文件。一次读取整个文件会产生内存不足错误，因此我想创建一个循环来一次读取和处理 N 块数据。类似于以下内容：

如何检测何时到达文件末尾，以便中断循环？

我需要从文件中获取问题，然后随机显示它们以输入答案。我所做的是生成一个随机数，然后文件逐行读取。当它遇到随机数时，它将显示相关行。现在一切正常，但我不想重复数字。我该如何解决这个问题。

这是我尝试过的

I have a binary file and I am parsing it to a numpy array in Python like the following:

However, this is very very slow. Can anyone tell me why and how to speed it up?