问题标签 [fromfile]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 从 Python 中的二进制文件中提取特定字节
我有非常大的二进制文件,其中包含 x 个用于 y 传感器的 int16 数据点,以及带有一些基本信息的标题。二进制文件被写入每个采样时间的 y 值,最多 x 个采样,然后是另一组读数,依此类推。如果我想要所有数据,我正在使用numpy.fromfile()
它的工作非常好和快速。但是,如果我只想要传感器数据的子集或只需要特定的传感器,我目前有一个可怕的双for
循环,使用file.seek()
, file.read()
,struct.unpack()
这需要很长时间。有没有另一种方法可以在 python 中更快地做到这一点?也许mmap()
我不太了解?还是只使用整体fromfile()
然后进行子采样?
遵循@rrauenza on 的建议mmap
,这是很好的信息,我将代码编辑为
虽然这比以前快,但仍然比以前慢几个数量级
我用一个较小的 30 Mb 文件对此进行了测试,该文件只有 16 个传感器和 30 秒的数据。原始代码为 160 s,mmap
为 105 s,np.fromfile
二次采样为 0.33 s。
剩下的问题是 - 显然使用numpy.fromfile()
小文件更好,但是对于可能高达 20 Gb 的大文件以及数小时或数天的数据和多达 500 个传感器,是否会有问题?
python - 如何在 Python 中部分读取 2d 卫星文件?(二进制,源文件)
我有很多由二维组成的卫星数据。
(我将 H5 转换为不包含纬度信息的二维数组数据,我另外制作了纬度/经度信息数据。)
我知道一个数据中真正的纬度/经度协调和网格协调。
如何在 Python 中部分读取 2d 卫星文件?
“numpy.fromfile”通常用于读取二进制文件。
如果我在 numpy.fromfile 中使用选项作为计数,我可以部分读取二进制文件。
但是我想跳过一个数据中的前记录以节省内存。
例如,我有 3x3 2d 数据如下:
Python
a= [[1,2,3] [4,5,6] [7,8,9]]
我刚刚在 Python 中阅读了 a[3][0] 。(结果 = 7)
当我在 Fortran 中读取文件时,我使用了“recl,rec”。
Fortran
打开(1,文件='exsmaple.bin',访问='直接',recl=4)!recl=4 表示 4 btype
读取(1,rec=lat*x-lon)文件名
关闭(1)
lat 表示数据中纬度的位置。(以上示例中的 lat = 3 ;在 Fortran 中起始编号为 1。)
lon 表示数据中的经度位置。(在上述示例中,lon = 1;在 Fortran 中,起始编号为 1。)
x 没有。行。(x = 3,上面的例子,数组是 3x3)
我可以读取文件,并且只使用 4 字节的内存。
我想知道Python中的类似方法。
请给我特殊信息以节省时间和记忆。
感谢您阅读我的问题。
2016.10.28. 解决方案
python 数据= [1,2,3,4,5,6,7,8,9],dtype = int8,文件名=名称
a = np.memmap(name, dtype='int8', mode='r', shape=(1), offset=6)
打印 [0]
结果:7
winforms - 如何在 Powershell 中设置 FromFile 位置?
我正在准备一个脚本,它需要使用与脚本相同文件夹中的一些图像。图像将显示在 WinForms GUI 上。
当我通过单击从文件夹手动运行 ps1 脚本时,它会加载图像并显示它们。不幸的是,我不记得我是如何设置它的,但据我所知,它只是用于 ps1 文件的默认程序。当我从 cmd 文件运行脚本(隐藏 cmd 窗口)时,它也会加载它们。
但是当我使用 Powershell IDE 打开并运行它时,我得到了错误并且我的 GUI 上没有显示任何图标。当我使用 Powershell 打开时,它也无法加载它们。
我能找到的这些运行模式之间的唯一区别是:
执行 cd $scriptPath 时的行为相同,因此当前文件夹很可能不是有罪的文件夹。
我知道我可以在每个文件读取行(FromFile)中写入 $scriptPath/red.png,但我想要定义一次 - FromFile 的默认位置 - 然后无论我以何种方式运行它,都只需简单的文件名即可.
要更改什么以使默认文件读取路径与我的脚本位置相同?
python - 使用 numpy.fromfile 加载每个第 n 个元素
我想使用np.fromfile
. 该文件包含一个 3D 数组,我只关心每一帧中的某个单元格。
上面的代码理论上可以工作,但是我的文件非常大,将其全部读入会x
导致内存错误。有没有办法fromfile
只vals
用开始?
python - Numpy fromfile 的两种实现?
我正在尝试更新一些np.fromfile
在方法中使用的遗留代码。当我尝试为这种方法搜索 numpy 源时,我只找到np.core.records.fromfile,但是当您搜索文档时,您可以找到np.fromfile。看看这两种方法,你会发现它们有不同的 kwargs,这让我觉得它们完全是不同的方法。
我的问题是:
1) 来源在哪里np.fromfile
?
2)为什么同一个名字下有两个不同的功能?如果您不注意两者的行为差异,这显然会让人感到困惑。np.core.records.fromfile
如果您尝试读取的字节数多于文件包含的字节数而np.fromfile
没有,则特别会引发错误。您可以在下面找到一个最小的示例。
scala - scala BufferedSource 位置
我有 2 个关于 Scala 类的问题BufferedSource
。
如何查询当前阅读位置?
我试过了pos
:
输出:
为什么它会从 0 跳到 2049?!
是否有另一种方法来查询位置和/或将其设置在其他地方?
谢谢你的帮助 :-)
c# - API Image Request Issue - FileNotFound at URL
The goal I'm trying to accomplish is simply requesting an image from an API, and returning it to the client-side in the form of an append
method.
NO, I cannot just handle this in client side altogether because of a user/pass requirement for the API.
NO, I cannot use @Url.Action(ImageFromPath)
method in the src of the image.
That said, here's my back-end code:
The goal in client-side is:
The problem I'm having is on line srcImage = Image.FromFile(URL)
, with error:
An exception of type 'System.IO.FileNotFoundException' occurred in CoreCompat.System.Drawing.dll but was not handled in user code
If it makes any difference, the call to the API URL itself requires a couple seconds to return the Image.
Can anyone advise the proper way to get this accomplished? Or at least help in getting my current approach working?
EDIT - I've looked at How can I convert image url to system.drawing.image for an answer, but it only provides solutions using WebClient
which is not available in ASP.Net Core yet.
python - 如何使用 numpy.fromfile 检测 EOF
我正在尝试使用 numpy.fromfile() 读取一个非常大(几 GB)的二进制文件。一次读取整个文件会产生内存不足错误,因此我想创建一个循环来一次读取和处理 N 块数据。类似于以下内容:
如何检测何时到达文件末尾,以便中断循环?
c - 从文件中获取数据并随机显示行而不在 C 中重复
我需要从文件中获取问题,然后随机显示它们以输入答案。我所做的是生成一个随机数,然后文件逐行读取。当它遇到随机数时,它将显示相关行。现在一切正常,但我不想重复数字。我该如何解决这个问题。
这是我尝试过的
python - Reading numpy array from file and parsing very slow
I have a binary file and I am parsing it to a numpy array in Python
like the following:
However, this is very very slow. Can anyone tell me why and how to speed it up?