问题标签 [data-management]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
118 浏览

mysql - 静态资源的访问控制

在我的应用程序中,我有时会生成一张新图片。在这里阅读评论后,我决定将图片存储在文件系统中,将元数据存储在数据库中,所以现在我的文件独立于数据库静态提供(bd 为用户提供他们想要访问的文件名,然后他们从中提取静态文件服务器)。

但是,我这里的问题是我并不总是希望用户看到其他用户生成的图片。例如,假设用户 Joe 创建了图片 A 和 B,用户 Sue 创建了图片 C 和 D。我不希望 Joe 能够看到 C 和 D,我也不希望 Sue 看到 A 和 B。因为所有文件是静态服务的,如果乔碰巧猜到了 C 的 url,他就可以访问它。

由于提供图片的方式几乎不受我的 django 控制,我不确定这里的解决方案是什么,除了加密文件(这是复杂且资源密集型的)

0 投票
4 回答
1176 浏览

iphone - 搜索海量数据来自 iPhone 中的 Web Services

我必须开发一个应用程序来处理来自网络服务调用的大量数据。

有一个带有搜索栏的 UITableView,当用户输入一个字母时,tableview 应该动态显示与搜索栏中的文本对应的搜索结果。

处理这种数据传输的最佳方式是什么?每次用户输入字母时发送请求似乎是个坏主意。

0 投票
2 回答
2433 浏览

r - R中的自动虚拟变量

我有以下创建的数据框:

我正在寻找创建 11 个虚拟变量。前 10 名各一个,“其他”各一个。可以通过以下方式轻松找到前 10 名:

我知道 R 很棒,所以我假设有一个易于自动创建(和命名)前 10 名的虚拟变量并将其余部分折叠成一个名为“其他”的最终虚拟变量。

提前感谢您的任何帮助或见解。

0 投票
4 回答
13037 浏览

ios - NSCoding VS 核心数据

我一直在寻找一篇解释 NSCoding (NSKeyedArchiver...) 相对于使用 CoreData (SQLite...) 的优缺点的文章。

有很多选择,我可以实现自己的自定义二进制读取器/写入器,或者使用 plists/xml/json... 或者使用 SQLite 或 NSCoding。

我现在有点迷路了。任何机构都可以解释主要功能之间的区别吗?

0 投票
3 回答
5119 浏览

database - 用于教育目的的简单数据库实现

我想深入学习数据库系统的实现。是否有一个用于教育目的的开源简单数据库实现,我可以通过代码?就像有很多操作系统实现(Minix,Pintos ...)。我想知道是否也有类似的数据库教育系统。

我读了几本教科书,它们主要侧重于理论和概念。

非常感谢!阿尔弗雷德

0 投票
1 回答
117 浏览

r - 新的重叠变量

我不知道给这个取什么标题。

我有一个关于人员、年份和活动的数据集

我想结合年份和活动列,但是对于每一年,在原始年份列中,我想生成 +/- 3 年,同时保留与 id 的关联

如果我分两步执行此操作: 对于 id "1",原始年份是 1971 年,因此 ID 1 的 +/-3 年将导致:

在第 2 步中,我想将此 all_years 列与原始 df 中的活动列结合起来,保留 id。所以 id "1" 有 3 个活动 (a,b,c) 和 7 年 (1968:1964),所以 id "1" 将在新的组合列中出现 10 次。

所以最终,我会得到这样的结果:

一如既往,谢谢!

0 投票
2 回答
144 浏览

iphone - ios中的数据管理

在 iPhone 应用程序中,从在线数据库中检索数据的最佳方法是什么?(SQLite 或 mysql)

我想要实现的是在我的应用程序中读取和写入在线数据。

此外,开发人员如何从服务器端资源(xml、json、数据库表等)检索信息到他们的应用程序?

0 投票
1 回答
3510 浏览

python - 哪个数据库用于科学数据(可变大小的图像 + 元数据搜索)

我正在寻找一个好的数据库解决方案来存储大量(约 100 GB 到几 TB)的科学数据。理想情况下,它将能够处理大量数据。

要求

我的数据文件是“图像”,一个约 400 万个条目数组(1000x1000x3 整数 + 1000x1000 浮点数),加上每个图像约 50-100 个条目的相关元数据。元数据分层存储。图像将被组织到一个或多个“文件夹”(或“项目”)中,它们本身可以包含其他文件夹。一切都有所有者,等等。

我需要在一个或多个文件夹中搜索 100-10,000 张图像,主要基于其元数据。然后,我可能需要从图像中提取切片——如果我只需要其中的一小部分,我真的不想加载所有数据。图像应以压缩格式存储。

编辑:重要的是要强调我缺乏统一的数据。例如,图像是未知尺寸的浮点数或整数,通常具有 10^5-10^6 个条目,并且每个图像的元数据数量可能会有所不同。跨图像搜索元数据当然仅限于具有相同键的那些。

当前方法

我目前的,但不是很好的解决方案是混合数据库。首先,我使用 SQL 数据库(现在是 Django + MySQL)来处理“文件夹”、所有者,并且每个图像都有记录,但没有任何数据。我也可以为元数据创建记录。其次,我使用 PyTables 以 hdf5 格式存储图像和元数据,并将其视为数据库。这解决了切片和压缩问题,并允许我分层存储元数据,但 PyTables 似乎没有可扩展性,并且远不如商业数据库发达。(它不是为多用户环境而设计的:我正在编写自己的锁!这是一个不好的迹象。)

帮助!

我不是铁杆程序员,因此强烈推荐标准数据库解决方案。我的“优化”肯定会包括维护和编程成本。谁能推荐最喜欢的数据库解决方案或架构?关于关系vs分层vs其他的想法?

选项可能是 SciDB(不常见,可能很好)、SQL(听说这对这些应用程序不利,可能是 PostgreSQL?)和 HBase(实际上,我对此一无所知)。我觉得在科学,尤其是天文学,社区中肯定有好的解决方案,但是大型项目似乎需要一个认真的团队来建立和维护。

我很乐意提供更多信息。

0 投票
1 回答
3879 浏览

bigdata - 在基于 Web 的应用程序中处理大量数据

为基于 Web 的应用程序存储大量数据的最佳方式是什么?

每条记录只有 3 个字段,但每天将有大约 1.44 亿条记录 - 存储一个月 - 总共 4,464,000,000 条记录。让我们四舍五入到 50 亿。

数据必须可在关键字上搜索并尽快将结果返回给最终用户。

  • 哪种编程语言?
  • JSON / XML / 一些我从未听说过的数据库系统?
  • 什么样的基础设施?想象一下,这个系统只能同时满足最多 1,000 个用户的需求。

我假设无论您搜索 10 条记录还是 100 亿条记录,代码都是相同的,您只需要提高效率即可。我还假设 mySQL/PHP 没有机会,我们将为托管解决方案支付一大笔钱。

只需要一些关于从哪里开始的指导,真的。谢谢!

0 投票
2 回答
37 浏览

database - 启动时带有数据的应用程序

我目前正在开发一个需要数据的应用程序。示例:书籍清单。在首次启动时创建预先填充的数据库的最佳方法是什么?还是我们需要在首次启动时填充核心数据库?

在此先感谢您的帮助 :)