问题标签 [data-manipulation]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
80 浏览

sql-server - Finding unknown source of data in SQL Server

I have a SQL Server database that is possibly being manipulated by a third party services, such as DTS or VB Script ran from different server.

How do I find out that it is so and how do I find the location of them?

Note: I know it is silly to ask this question as it should be documented etc but I suppose these things happen.

0 投票
3 回答
10656 浏览

javascript - Javascript JSON 数据操作库

我目前正在处理一个项目,我正在处理大量的 JSON 数据来回传输并由浏览器存储为 javascript 对象列表。例如:

我发现自己正在编写各种索引和排序算法来有效地操作这些数据,并且我开始认为这种事情以前一定已经做过了。

我有使用Ext.data.StoreExt.data.Record对象来执行这种数据操作的经验,但我认为它们对于初级开发人员来说过于复杂,我正在从事的项目是一个小型移动应用程序,其中我们不能仅仅为了它而添加一个 300K+ 的库,所以我需要一些非常小的东西。

如果有一个 Javascript JSON 操作框架具有以下任何想法:

  1. 可以储存
  2. 检索,
  3. 排序
  4. 遍历JSON 数据,
  5. 使用干净的 API
  6. 最小的性能拖累(手机没有很多计算能力)
  7. 以及理想情况下小于 10K 的小型有效载荷?

我可能要求太多,但希望有人使用过这样的东西......我正在寻找的那种东西是jQuery 的 JSON 等价物,也许它并不那么古怪。

0 投票
1 回答
62 浏览

php - 处理来自查询的数据

我在 codeigniter 的模型类中编写了一个“get”函数,但是我需要处理一些返回的数据,理想情况下没有一大堆开销。

结果如下所示:

问题是答案存储为以管道分隔的答案列表,但我希望函数将其作为分解数组返回。我不确定语法以及如何创建和替换数组或将数组附加到我上面粘贴的对象数组中。

你可以看到一些我一直在尝试的代码被注释掉了。

理想情况下,'answer' => '4555|||', 我不想拥有

我在使用数组时没有问题,explode但我不确定如何修改原始的 codeigniter 活动记录结果。

0 投票
2 回答
3770 浏览

r - R中时间序列数据的滑动时间间隔

我正在尝试为不规则的时间序列数据集提取有趣的统计数据,但未能找到适合该工作的工具。很容易找到用于处理任何时间定期采样的时间序列或基于索引的序列的工具,尽管我对我试图解决的问题不太幸运。

首先,一个可重现的数据集:

假设时间以秒为单位。该系列有近 1700 秒(仅 30 分钟),在此vecZ期间有 5001 个条目。(注意:我会尝试使用xts,但xts似乎需要日期信息,并且我宁愿在不相关时不使用特定日期。)

我的目标如下:

  • 确定每个点之前 3 分钟和之后 3 分钟的值的索引。由于时间是连续的,我怀疑任何两点之间恰好相隔 3 分钟。我想找到的是给定点之前最多 3 分钟和至少 3 分钟之后的点,即类似于以下内容(在伪代码中):

    backIX(t, vecZ, tDelta) = min{ix in length(vecZ) : t - time(ix) < tDelta} forwardIX(t, vecZ, tDelta) = min{ix in length(vecZ) : time(ix) - t > tDelta}

    所以,3 分钟,tDelta = 180. 如果t=2500,则结果为forwardIX()3012(即 time(vecZ)[2500] 为 860.1462,而 time(vecZ)[3012] 为 1040.403,或刚刚超过 180 秒后),输出为backwardIX()2020(对应于时间 680.7162 秒)。

    理想情况下,我想使用不需要的函数t,因为这将需要length(vecZ)调用该函数,这忽略了可以更有效地计算滑动时间窗口的事实。

  • 将函数应用于滚动时间窗口中的所有值。我见过rollapply,它采用固定的窗口大小(即固定数量的索引,但不是固定的时间窗口)。我可以用一个简单的方法来解决这个问题,使用foreach按索引计算的循环(或;-))t,但我想知道是否已经实现了一些简单的函数,例如计算给定时间范围内所有值的平均值的函数. 由于这可以通过在窗口上滑动的简单汇总统计信息有效地完成,因此它的计算成本应该低于多次访问所有数据以计算每个统计信息的函数。一些相当自然的函数:均值、最小值、最大值和中值。

    即使窗口不随时间变化,改变窗口大小的能力也足够了,我可以使用上述问题的结果找到窗口大小。但是,这似乎仍然需要额外的计算,因此能够指定基于时间的间隔似乎更有效。

R 中是否有有助于在时间窗口中对数据进行此类操作的包,还是我不走运,我应该编写自己的函数?


注意 1:这个问题试图做类似的事情,除了不相交的时间间隔,而不是滚动的时间窗口,例如,我可以调整这个来对每个连续的 3 分钟块进行分析,但我看不到调整这个的方法滚动 3 分钟间隔。

注意 2:我发现从zoo对象切换到数字向量(对于时代而言)显着加快了第一个目标的范围查找/窗口端点识别问题。这仍然是一种幼稚的算法,但值得一提的是,使用zoo对象可能不是幼稚方法的最佳选择。

0 投票
2 回答
1203 浏览

r - 如何将每行两列的最小值和最大值绘制为散点图

我有一个看起来像这样的数据框:

我想制作一个散点图,其中 X 轴上的长度(每行)最小值和 Y 轴上每行的最大值。我努力了:

但是,这会绘制两列的最小值与两列的最大值的单个点。我是否使用了错误的功能?或者以某种方式操纵数据框会更好吗?请原谅任何天真,我对 R 和 ggplot2 还是很陌生。

任何帮助将非常感激。

编辑:使用上述代码的示例图:

示例散点图

0 投票
0 回答
189 浏览

javascript - javascript中的数据操作

我有一个包含如下文件夹的信息数组:

现在所需的数据类型是:

现在的问题是,可以有任意数量的文件夹和任意级别的层次结构。

那么有没有办法可以实现这种转换?

0 投票
3 回答
297 浏览

r - 面板数据的事件时间

我有一个国家年份的面板数据集。我想计算事件发生后的时间,以及每个国家/地区的事件总数,我可以随着时间的推移而衰减。我正在使用包timeSinceEvent中的函数doBy,它返回一个具有我想要的值的数据框,但我无法将它应用于我的主 df。

我试过用这个:

收效甚微。我逐步完成了该功能,它似乎正在做我想做的事,但我想我调用它的方式有问题?

0 投票
1 回答
2399 浏览

r - 重塑、聚合/连接字符串

我正在以国家/地区年份格式汇总数据集

我想进行连接conflictID.a,以便对于将多行聚合为单行的实例,我得到聚合的所有值conflictID.a

以下是一些示例数据:

dput(tail(subset(data, select=c(ccode.a,year,onset,conflictID.a)), 100))

我也人为地修改了数据以重现问题。因此,在两种情况下,有 2 行或更多行具有相同的yearccode.a值,但conflictID.a值不同,我想在聚合时将它们连接在一起,每个ccode.a, year.

0 投票
1 回答
261 浏览

javascript - 操纵 Google Analytics(分析)数据 - 教育目的:G. Analytics 报告的可信度如何

我需要一个修改过的 Javascript,它会夸大浏览量、唯一身份访问者和访问者数量!

出于教育目的,因为我想看看在人为更改 G. Analytics 报告时是否存在某些模式

我对此进行了编码,但它不起作用:

并且此代码仅更改网页浏览量:

我之所以问,是因为我最近查看了一份分析报告,该报告与所有基础数​​据并不完全吻合

谢谢

0 投票
3 回答
1156 浏览

javascript - Javascript 分析代码操作 (G. Analytics)

对于我的工作,我正在做一个关于 Google Analytics 有效性的研究项目(主要是关于 Flippa 上经过验证的报告)-> 看看是否有可能完全伪造 G. Analytics(简单的“是”不会削减它)!

我修改了 G. Analytics 代码如下:

现在,当您运行它时,它将产生多次访问和访问者。您可以看到 __utma 上的第二个数字会随着每次浏览量而变化,该数字是 visitorId,当它发生变化时,意味着您获得了新的访问者

问题是我现在得到的统计数据如下所示:

  • 访问量:1,785
  • 独立访客:1,781
  • 浏览量:2,188
  • 页数/访问:1.23
  • 平均 参观时间: 00:00: 03
  • 跳出率:96.13 % %
  • 新访问:99.78 %

请不要在平均极端下降。访问时长!

在它们与此类似之前:

  • 访问:135
  • 独立访客:118
  • 浏览量:383
  • 页数/访问:2.84
  • 平均 参观时间:00 :04:22
  • 跳出率:57.78 %
  • % 新访问:68.89 %

现在我的问题是:我需要如何修改 G. Analytics 代码(如果可能的话)以使其看起来与此类似:

  • 访问:135 * 10 = 1350
  • 独立访客:118 * 10 = 1180
  • 浏览量:383 * 10 = 3830
  • 页数/访问:2.84
  • 平均 参观时间:00 :04:22
  • 跳出率:57.78%
  • % 新访问:68.89%

所以基本上将访问量、唯一身份访问者、网页浏览量增加10倍,但其他统计数据保持不变。

非常欢迎http://jsfiddle.net上的示例

PS:对不起我的英语不好(不是我的母语)