问题标签 [data-collection]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
javascript - 从 Javascript 心理学实验中收集数据
作为研究的一部分,我正在用 JavaScript 设计一个基本的识别记忆实验,其中首先向参与者展示一系列要学习的图片,然后向他们展示一组更大的图片,并且必须识别他们中的哪些以前见过。
虽然我通常会使用 EPrime 包或 Python(实验)来完成此类任务,但我一直在用 JavaScript 编写它,以便我可以在大型组中进行测试(我只有 6 台计算机上的 EPrime,目前只有 Python我自己的)。
作为一个 JS/html 菜鸟,我的问题是我想不出一种收集数据进行分析的方法(即发送给我自己,或者将它保存到某处的服务器)。任何人都可以帮我解决这个问题吗?
magento - 应税/非应税销售的自定义 Magento 报告
让我先说我是 Magento 以及一般数据集合的新手(最近才开始使用 OOP/框架)。
我在这里学习了优秀的教程,并且我熟悉 Alan Storm 对该主题的概述。我的目标是创建一个自定义 Magento 报告,给定开始/结束日期,将返回以下总数:
- 应税净额(含税订单的 SUM 小计)
- 非应税净额(不含税订单的 SUM 小计)
- *总销售额(总计)
- *总净销售额(小计)
- *总运费
- *总税金
*对于这些数字,我知道它们可以在现有的单独报告中获得,或者可以从它们手动计算,但是此报告的目的是为我们的店主提供一个单独的页面来访问和导出以发送给他的会计师进行纳税目的。
我在 Adminhtml 中已经有了基本的报告结构,包括日期范围,我相信如果需要订单状态/等,我可以包含其他过滤器。现在我只需要提取正确的数据集合并弄清楚如何检索相关数据。
我的问题是我无法确定订单数据的存储方式、需要哪些连接(如果有)、一旦获得数据如何操作数据,或者它们如何与我设置的网格交互. 我发现的有关该主题的现有教程都专门处理产品报告,而不是我需要的汇总销售数据。
非常感谢任何人可以为我指明正确的方向,找到可以帮助我了解如何使用 Magento 销售数据或提供任何其他见解的资源。
monitoring - 为分布式系统构建数据收集和监控的中间件
我目前正在寻找一个好的中间件来构建监控和维护系统的解决方案。我们的任务是监控、收集和维护由多达 10,000 个独立节点组成的分布式系统。
该系统集群成 5-20 个节点的组。每个组通过处理传入的传感器数据来生成数据(作为一个团队)。每个组都有一个专用节点(蓝色框)作为组的外观/代理,将组中的数据和状态暴露给外界。这些集群在地理上是分开的,并且可以通过不同的网络连接到外部世界(一个可能通过光纤运行,另一个通过 3G/卫星)。我们很可能会经历更短(秒/分钟)和更长(小时)的中断。数据由每个集群在本地持久化。
这些数据需要由外部和集中式服务器(绿色框)收集(持续且可靠),以供各种客户端(橙色框)进一步处理、分析和查看。此外,我们需要通过每个组代理节点监控所有节点的状态。不需要直接监视每个节点,即使中间件可以支持它会很好(处理来自约 10,000 个节点的心跳/状态消息)。在代理失败的情况下,可以使用其他方法来查明单个节点。
此外,我们需要能够与每个节点交互以调整设置等,但这似乎更容易解决,因为这主要是在需要时手动处理每个节点。可能需要进行一些批量调整,但总而言之,它看起来像是标准的 RPC 情况(Web 服务或类似情况)。当然,如果中间件也可以通过一些请求/响应机制来处理这个问题,那将是一个加分项。
要求:
- 1000+ 节点发布/提供连续数据
- 数据需要可靠(以某种方式)并持续收集到一台或多台服务器。这很可能建立在中间件之上,使用某种明确的请求/响应来请求丢失的数据。如果这可以由中间件自动处理,这当然是一个加号。
- 多个服务器/订阅者需要能够连接到同一个数据生产者/发布者并接收相同的数据
- 数据速率最大为每组每秒 10-20 次
- 消息大小范围从大约 100 字节到 4-5 KB
- 节点范围从嵌入式受限系统到普通 COTS Linux/Windows 机器
- 节点一般使用C/C++,服务器和客户端一般使用C++/C#
- 节点应该(最好)不需要安装额外的软件或服务器,即每个节点一个专用的代理或额外的服务是昂贵的
- 安全性将基于消息,即不需要传输安全性
我们正在寻找一种解决方案,它可以处理主要代理节点(蓝色)和服务器(绿色)之间的通信,用于数据发布/轮询/下载,以及从客户端(橙色)到单个节点(RPC 样式)以调整设置。
对于相反的情况,似乎有很多讨论和建议;将数据从服务器分发到许多客户端,但很难找到与所描述情况相关的信息。一般的解决方案似乎是使用 SNMP、Nagios、Ganglia 等来监控和修改大量节点,但对我们来说棘手的部分是数据收集。
我们简要介绍了 DDS、ZeroMQ、RabbitMQ(所有节点都需要代理?)、SNMP、各种监控工具、Web 服务(JSON-RPC、REST/协议缓冲区)等解决方案。
那么,对于一个易于使用、健壮、稳定、轻量级、跨平台、跨语言的中间件(或其他)解决方案,您有什么建议吗?尽可能简单但不简单。
android - 键盘输入的广播意图
是否有为键盘发送数据以“键入”的意图?
这比实际更理论,但是否可以广播键盘接收到的意图。意图将包含一个字符串,然后将其“键入”到活动输入字段中。或者,意图可以包括一个目标字段,键盘可以使用它来选择视图中的正确字段或防止数据输出到错误的字段。
为什么?
我正在想象这可能对数据收集应用程序有用。
示例 1:蓝牙秤
假设您有一个跟踪体重的应用程序。每天早上你启动应用程序,称体重,输入你的体重。如果秤与手机上的应用程序无关服务配对,您只需选择重量字段并在秤上加紧。该值将发送到您的手机并使用此意图传递到默认键盘。
示例 2: NFC 身份标签
服务表单申请需要 16 位机器序列号。机器上有一个包含序列号的 NFC 标签。NFC 读取意图不是手动输入,而是由服务捕获,该服务通过意图将值传递给默认键盘。
批评:
- 该应用程序可以/应该直接与秤集成。
反驳论点:不适用于网络应用程序,并且您依赖于支持(并保持支持)您的特定解决方案(例如蓝牙设备)的应用程序。 - 将输入字段替换为启动结果意图的按钮。
反驳论点:同上,但需要更多的用户交互;点击和时间是优质商品。
如果它不存在,那么键盘实现这样的意图接收器会是最糟糕的主意吗?或者它会为糟糕的应用程序设计打开大门?安全方面?
web-scraping - 防止网页抓取
我目前是开发包含前端客户端的应用程序的团队的一员。
通过这个客户端,我们发送用户数据,每个用户都有一个用户 ID,客户端通过 RESTful API 与我们的服务器对话,向服务器询问数据。
例如,假设我们有一个书籍数据库,用户可以获得作者最近写的 3 本书。我们重视用户的时间,我们希望用户无需明确注册即可开始使用该产品。
我们重视我们的数据库,我们使用我们自己的专有软件来填充它,并希望尽可能地保护它。
所以基本上问题是:
我们可以做些什么来保护自己免受网络抓取?
我非常想了解一些保护我们数据的技术,我们希望防止用户在作者搜索面板中输入每个作者的姓名,并获取每个作者写的前三本书。
任何建议的阅读将不胜感激。
我只想提一下我们知道验证码,并希望尽可能避免它们
c# - 什么是创建一组“连接”的数据的好方法
我目前正在编写一个接收有关运动数据的程序。变量是
练习 - 例如)卧推
日期 - 前)08/12/13
代表 - 前)10
重量 - 前)135
设置重量 - Ex) 3
休息时间 - 例如)120(以秒为单位)
当天体重 - Ex) 200
我正在从 CSV 文件导入。我已经解析了数据并拥有它,以便它给我一个这样设置的类
所以这是我的问题。我发现当我绘制这些日期时,日期没有得到排序,我希望首先显示较早的日子。所以我一直在整理我的List<WorkoutInformation>
. 但我发现这让我很容易丢失哪些日期与哪些重量、代表或其他信息相关。那么我的问题是如何创建一个类,我可以在其中访问信息(例如列表)MyList.date[i]
,但是当我更改MyList.date[i]
所有其他信息的索引时,它会被适当地索引吗?
python - Python:数据获取
我试图找出如何以最简单的方式从文件中获取某些数据。我在互联网上搜索过,但找不到任何东西。我希望能够做到这一点:
文件.txt:
但我只想像这样得到data1,
任何想法,在此先感谢。
facebook-graph-api - 使用网络爬虫从 Facebook 页面获取数据
在试图写论文的那一刻,我有点迷失了。
我需要从 facebook 页面收集数据,以便以后将它们用于网络分析。
我需要收集发布的每条消息:
- 发布消息的 ID
- 内容
- 类型(图片、链接、文字或游戏)
- 发布消息的人的 ID 和姓名
- 消息的创建日期
- 如果是这种情况,可能更新的日期
- 点赞数
- 喜欢的人的姓名和ID
- 股数
- 共享者的姓名和ID
- 评论数
- 评论者姓名和ID+评论内容
- 每时刻的页面点赞数(每条消息发布前)
我不是来自 IT 部门,我遇到了很多困难。收集此类数据的最简单方法是什么?
此外,您认为试图在公共 Facebook 页面上获取数据是否合法?
android - Android 传感器数据收集无法正常工作
我开发了一个数据收集器,它从加速度计、陀螺仪、磁力计收集数据,它工作了一段时间。然后我也添加了线性加速度(4个月后,本周)。现在两个版本的行为都非常奇怪。有时,当我进行一些体育活动(例如步行等)时,它们会完美地记录数据。但是,有时它不会更新传感器值而只是重复旧值,即每个传感器值都会在 5 秒、2 秒等随机后更新,我需要一个每秒 50 个样本的采样率。我对 10-15 名参与者进行了实验,因此我的所有数据都无效。奇怪的是,同一个应用程序以前可以完美运行。我找不到任何问题。我在这里放了一些快照。可能是如果有人可以指出任何错误或什么?
缓冲写入器:
然后在 timertask 线程中使用这个 bow.writer 每 20 毫秒记录一次数据。
任何人都可以评论或帮助我吗?这个应用程序的这种奇怪行为超出了我的理解。
struts2 - 数据收集表单输入隐藏的 Struts 2
当我将数据从隐藏字段发送到操作时,就会出现我的问题。没有正确收集数据,结果页面我收到以下消息:
- 使用值“[Ljava.lang.String;@354c0a31”设置表达式“idplatos”时出错
- 使用值“[Ljava.lang.String;@4786b9ce”设置表达式“idrestaurantes”时出错
在此表单中,隐藏字段的值来自先前的查询,在查询其他不在表单中的数据的同一页面上正确显示。这是表单的代码:
这是来自行动的代码:
问题是什么?