问题标签 [data-collection]

我正在尝试从 infoweb.newsbank.com 的数据库中收集文章，以用于我在大学所做的研究。到目前为止，这是我的代码：

不幸的是，我得到了这个回复：

我试过使用 http.cookiejar，但我不熟悉这个库。我正在使用 Python 3。有人知道如何接受 cookie 并访问文章吗？谢谢你。

我从事图像和视频质量评估工作，我正在尝试建立一个非常大的图像/视频数据库。

几乎所有在社交媒体网站上上传的图像，即使没有经过后期处理，至少也得到了很好的捕捉。我们大多数人拍了 100 张照片，最后只上传了几张好照片。有没有一种简单的方法来收集那些质量不高的（例如：模糊、曝光不足/过度曝光）？

我正在从事一个从 POS 系统处理收据数据的项目，我希望你能指出我正确的方向。

我是使用 POS 系统的新手，基本上我想弄清楚如何在打印之前或期间收集收据数据并将该数据传输到平板电脑或其他设备。

收据是用什么格式打印的？外部设备在哪里可以收集（从串口？！）？非常感谢任何其他有关 POS 系统的指南或信息！

我正在处理我的一项任务，该任务需要数据收集、报告和汇总。我已经探索了满足最大要求的 ODK（收集和聚合）。在完成 ODK 之前，我想知道是否有任何类似的解决方案我应该参考，提前致谢。

相关：如何通过浏览器确定远程服务器的延迟

我试图了解收集外部服务器 http 响应状态码的可行性。

对于上下文：我正在将一个 javascript 库加载到页面，该库是为捕获 DOM 元素值而编写的，然后将 GET 请求组装到外部服务器以传递这些值以进行收集。Google Analytics 就是一个很好的例子，ga.js 库从页面/浏览器中确定数据值的范围，并向外部服务器上的跟踪像素发出带有大量查询字符串名称/值对和/或 cookie 值的图像请求。这是一种常见的活动，一般都可以理解。

我要记录的是外部收集服务器的响应/确认（为了减少处理和/或数据收集开销，这可能仅限于响应不是 200 的情况）。我的理解是响应代码仅在 HTTP 标头中可用。我什至不知道是否可以以这种方式捕获标头响应。 我不清楚如何捕获或以其他方式记录这些响应代码并使它们在浏览器中可用，以便后续收集例程（可能是 javascript 库）可以与出站服务器域一起收集这些代码（即主机：google-analytics .com STATUS: 413 Request Entity Too Large）并将这些收集的值发送到外部收集环境。

作为一个额外的“很高兴”，收集时间也是有益的，但我意识到这是一个明显不同的问题。发出请求时启动计时器，当请求被确认并返回给浏览器的状态代码时停止它，发送该数字和数据：（HOST：google-analytics.com STATUS：413 Request Entity Too Large TIME：283ms ）。

我正在使用 form_for 助手在我的应用程序的客户端收集数据。然而奇怪的事情正在发生。我没有收集 :name 和 :description 并且它们都返回为零。这是我的代码：

我是否需要在 form_for 下创建一个 fields_for 才能使其正常工作？这有点棘手，因为我使用的是@type，在这种情况下，它被设置为告诉视图哪种属性。他们正在看。例如，这一行：

取决于你在什么视图显示以太：

并且因为它们在技术上是相同的，所以我对两者使用相同的索引。我希望我对我的问题很清楚，并感谢任何了解我的问题和解决方案的人。

让我们假设我们有一个网站，并且为了论证，后端是用 Java 编写的。

让我们还假设我们想为我们网站上的用户捕获点击流数据。我们想跟踪各种事情，例如：

• 知识产权
• 访问时间
• 推荐
• 用户代理
• 等等

另一个假设是我们在某个地方有一个带有 REST 接口的点击流 Web 服务，它只是将我们提供给它的信息保存到数据库中。

现在，从我对这些东西的有限知识来看，我看到了两个问题。

1. 如何确保点击流数据被用户捕获而不是被用户回避？
2. 如何使您的点击流服务可移植？

目前，我看到了两种实现点击流的方法，但都有一些缺陷。

1. 使用 Javascript 发送点击流数据，使其可移植，因此您可以将其连接到任何网站而无需更改后端代码。唯一应该做的改变是在 HTML 中（这些都是次要的）

有一个 HTML 页面

captureAndSendClickStreamData()您包含的 Clickstream.js 中的函数在哪里。

显然，这种方法提供了简单的可移植性，对吧？但是，如果用户禁用了 JS 怎么办？从本质上讲，他正在阻止您努力工作的点击流服务。

2. ClickStreamServletFilter您在某个类中处理捕获点击流数据。明显的优势是最终用户不知道它，也不能真正禁用它。但是，要使用您的点击流服务扩展其他网站，您需要弄乱后端，如果您尝试增强的网站不是用 Java 编写的，那么后端会更加混乱。

所以，我最后的问题是：

1. 提到的方法还有其他不那么明显（缺点）的优点吗？
2. 还有其他可行的方法吗？
3. 像谷歌、Facebook、亚马逊这样的大公司是如何处理这个问题的？

感谢您的时间 ：）

目前我正在使用 Luhn 算法开发信用卡验证程序。到目前为止它正在工作，但接下来的事情是告诉哪家银行发行了这张卡。当然不是全部，只是少数。

问题：在一个发行人下存储可能的六位数字的正确方法是什么？

一家银行可以有 5-10-20 开头的数字序列，但我无法弄清楚正确的数据存储方法。

谷歌搜索对我没有帮助。我正在尝试通过 Facebook 应用程序事件在 Facebook 仪表板上推送数据 我的代码是：

所以，activateApp工作正常，但logEvent没有。我检查了应用 ID 并重新创建了它，但我遇到了同样的问题。

我有一个学术调查，需要记录每个问题所花费的时间。所有问题都在单独的页面上。我刚刚发现我正在使用的 QuestionPro 无法做到这一点（或者至少不允许在我可以访问的包中使用它）。我需要为每个参加调查的人（将在受控实验室进行）记录这些时间，并将每个人分开。

有没有办法记录这些数据？在这个阶段我对任何事情都持开放态度，只要我能在几天内实现它。