问题标签 [large-files]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c# - 在 C# 中为大文件创建校验和的最快方法是什么
我必须在某些机器上同步大文件。文件最大可达 6GB。同步将每隔几周手动完成。我不能考虑文件名,因为它们可以随时更改。
我的计划是在目标 PC 和源 PC 上创建校验和,然后将所有带有校验和的文件(尚未在目标中)复制到目标。我的第一次尝试是这样的:
问题是运行时间:
- 使用 SHA256 和 1,6 GB 文件 -> 20 分钟
- 使用 MD5 和 1,6 GB 文件 -> 6.15 分钟
有没有更好更快的方法来获取校验和(也许有更好的散列函数)?
iphone - 在iPhone上的objective-C中将大文件读入sqlite表
我有一个 2 MB 的文件,不是太大,我想将它放入一个 sqlite 数据库中以便我可以搜索它。CSV 格式的条目大约有 30K,每行有六个字段。我的理解是 iPhone 上的 sqlite 可以处理这种大小的数据库。
我采取了一些方法,但它们都慢了 > 30 秒。我试过了:
1)使用C代码读取文件并将字段解析为数组。
2)使用以下Objective-C代码解析文件并直接放入sqlite数据库:
我错过了什么吗?有谁知道将文件放入数据库的快速方法?
或者是否可以将文件翻译成可以直接读入sqlite的sqlite格式?
或者我应该将文件转换为 plist 并将其加载到字典中?不幸的是,我需要搜索两个字段,我认为字典只能有一个键?
路易斯,谢谢你的回复。
我应该提到我只想在应用程序开始时将数据写入数据库一次,然后我只需要读取数据库,不写入。
您能告诉我如何在构建过程中直接从 CSV 文件生成 sqlite3 数据库吗?
php - 搜索和替换 3000 行、25 列的电子表格
我正在尝试清理此(旧)电子表格中的数据,并且需要删除单引号和双引号、HTML 标记等内容。麻烦的是,它是一个 3000 行的文件,有 25 列,我尝试过的每个电子表格应用程序(NeoOffice、MS Excel、Apple Numbers)都会被它阻塞。难的。
关于如何清理这个东西以导入 MySQL 的任何想法?显然,我可以逐行手动浏览每条记录,但如果可能的话,我想避免这种情况。同样,我可以编写一个 PHP 脚本在导入时处理它,但也不想让服务器陷入死循环。
php - 在浏览器中查看大文本文件
我需要编写一个文本文件查看器(不是目录树,而是实际的文件内容)以在浏览器中使用。它将用于查看大文件。我想让用户能够真正 ummm 浏览文件,即上一页和下一页按钮,而每个页面将只显示文件的一部分。
两个问题:
- 无论如何通过POST(或其他东西)传递文件描述符,以便在每个页面上我可以继续从已经打开的文件中读取,而不是重新开始(再次 - 大文件)
- 有没有办法向后读取文件?对于浏览回文件非常有用。
非常欢迎任何其他实现想法。谢谢
c++ - 有人可以提供一个使用 boost iostreams 查找、读取和写入 >4GB 文件的示例吗
我读过 boost iostreams 应该支持 64 位访问大文件的半便携方式。他们的常见问题解答提到了64 位偏移函数,但没有关于如何使用它们的示例。有没有人使用这个库来处理大文件?打开两个文件,寻找它们的中间并将一个复制到另一个的简单示例将非常有帮助。
谢谢。
tomcat - 在tomcat项目中放置大型静态文件的位置?
我有一些比较大的文件(Flash 电影)要提供。我应该把它们放在我的项目中的什么地方?我不想每次导出 .war 文件时都导出它们,因为它们占用了大量空间。
php - 自动打印和处理大型 HTML 文件
我编写了一个简单的 PHP 应用程序来为公司员工创建工资检查。db & app 之间的交互很好,数据被缓存并且性能足够高。所以有什么问题?
我需要为最终用户提供一键打印整个支票的能力。打印如此大的 HTML 文件是不可能的,除非浏览器崩溃。
因此,如果您对列出支票和打印它们有任何解决方案/建议,我将不胜感激。
windows - 为什么我的 Perl 程序不能在 Windows 上创建超过 4 GB 的文件?
为什么使用打印输出到文件时文件的大小上限为 4 GB?我希望通过流输出应该可以生成任意大小的文件。
更新:ijw和Chas。欧文斯是对的。我以为 F: 盘是 NTFS 格式的,但实际上它使用的是 FAT32 文件系统。我在另一个驱动器上尝试过,我可以生成一个 20 GB 的文本文件。在这种情况下没有限制。向所有人道歉。
详细信息:在研究回答 Stack Overflow 上的问题时,我需要测量使用 Perl 读取非常大的文本文件的性能。为了测试读数,我需要一个大的文本文件,我编写了一个小的 Perl 脚本来生成文本文件,但遇到了一个意想不到的问题。输出文件会不断增长,直到达到 4 GB。根据 Windows Explorer,脚本一次运行的大小为 4294967269 字节(磁盘上为 4294967296 字节)。脚本继续,但文件不再增长。
重要的是它只是一些:
其中 $line 是一个以“\n”结尾的长字符串。线的长度是可以配置的,对于这个问题并不关键;例如 250 个字符或 34000 个字符。NUMBERS_OUTFILE 是使用以下命令创建的文件句柄:
驱动器 F:采用 NTFS 格式,位于与操作系统磁盘不同的物理硬盘上。
是什么原因,是否有解决方法?
完整的Perl 脚本和BAT 驱动程序脚本(使用 pre 标签格式化的 HTML)。如果设置了两个环境变量 MBSIZE 和 OUTFILE,那么 Perl 脚本应该能够在 Windows 以外的其他平台上不加改变地运行。
平台:来自 ActiveState 的 Perl 5.10.0;32位;build 1004。Windows XP x64 SP2、8 GB RAM、500 GB Green Caviar 硬盘。
perl -V
说:
sharepoint - 大文件上传到 WSS v3
我构建了一个 WSSv3 应用程序,它以小块上传文件;当每个数据块到达时,出于性能原因,我暂时将其保存在 SQL 2005 图像数据类型字段中**。
上传结束时出现问题;我需要通过 WSSv3 对象模型将数据从我的 SQL Server 移动到 Sharepoint 文档库。
现在,我可以想到两种方法:
和
有没有其他方法可以成功完成这项任务?
** 性能原因:如果您尝试直接在 Sharepoint 上写入每个块,您会注意到随着文件增长 (>100Mb) 的性能下降。
git - 是否可以在 git 中仅存储大文件的校验和?
我是一名生物信息学家,目前从基因组文件中提取正常大小的序列。一些基因组文件足够大,我不想将它们放入主 git 存储库,而我将提取的序列放入 git。
是否可以告诉 git “这是一个大文件 - 不要存储整个文件,只需获取它的校验和,如果该文件丢失或修改,请告诉我。”
如果那不可能,我想我将不得不 git-ignore 大文件,或者按照这个问题的建议,将它们存储在一个子模块中。