问题标签 [large-data]

我的数据库中有一些大约 7K 行的表，我需要在网站 (asp.net) 上使用自定义格式、数据透视表等详细信息制作报告。

什么是最好的解决方案，因为当我用这么多的数据渲染转发器时，它非常慢。

谢谢你的建议

如何标记 3d 点云数据集？是否有软件可以加载包含 x,y,z 值的文本文件，然后将其可视化，以便我可以标记它？

我一直在探索Stack Overflow 数据转储，到目前为止，我一直在利用友好的 XML 和正则表达式“解析”。我尝试使用各种 Haskell XML 库来查找特定用户按文档顺序发布的第一篇文章都遇到了令人讨厌的颠簸。

标签汤

hxt

xml

我哪里做错了？使用 Haskell 处理大量 XML 文档的正确方法是什么？

我有一个用户表 - 它包含大约数百万行（用户 ID 是主键）。

我只想检索用户 ID 和他们的加入日期。

使用SELECT user-id, joining-date FROM users需要很多时间。有没有一种快速的方法可以从这个表中查询/检索相同的数据？

有人对如何将逗号分隔的数据文件读入 Matlab 有一些建议吗？简单的解决方案（如 dlmread、fscanf）似乎不起作用，因为有多 (10) 行标题信息。我最接近解决方案的是：

这里的问题是数据例如看起来像这样：

转换为矩阵时，单元格中的所有字符串必须具有相同的大小，否则会给出使用 'vertcat' 的错误。如果没有其他选择，我可以只删除记事本中的标题，但是对于许多文件来说，这将是一项乏味的工作。

再会。

我正在使用 boost::asio 通过网络接收大型对象。

我有一个代码：

哪里My_Class * Obj。我怀疑这种方法是否可行（因为我在这里有一个指向对象的指针）？或者使用以字节为单位的固定大小的数据包接收这个对象会更好吗？

提前致谢。

我有一个单词和单词频率的文本文件。它非常大——理论上我们说的是数百万行。

我只想从文件中检索值，并尽可能快速有效地完成（对于 Web 应用程序，在 Django 中）。

我的问题是：存储和检索值的最佳方式是什么？应该将它们导入 SQL 吗？还是保留文件并使用grep？或者将它们放入 JSON 字典中......？还是其他方式？

非常感谢您的建议！

我正在使用 smartgwt。当我尝试加载大量数据时，我的资源管理器没有运行并收到一条错误消息"A script on this page is causing Internet Explorer to run slowly. If it continues to run, your computer may become unresponsive. Do you want to abort the script?"

除了 Amazon MapReduce，我还有哪些其他选项可以处理大量数据？

我有一组非常大的数据（约 300 万条记录），需要按每日计划与更新和新记录合并。我有一个存储过程，它实际上将记录集分解为 1000 个记录块，并将MERGE命令与临时表一起使用，以避免在数据更新时锁定活动表。问题是它并没有完全帮助。该表仍然“锁定”，并且我们使用数据的网站在尝试访问数据时会收到超时。我什至尝试将它分成 100 个记录块，甚至尝试WAITFOR DELAY '000:00:5'看看它是否有助于在合并块之间暂停。它仍然相当缓慢。

我正在寻找有关如何在不锁定表的情况下合并大量数据的任何建议、最佳实践或示例。

谢谢