问题标签 [vroom]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - R结合使用新的readr/vroom延迟加载+ dplyr AND dtplyr/data.table?
我正在加载一个大型数据集,我需要过滤大约 1/20 的行,然后按 5 列 group_by 并总结剩下的 3 个。
此页面https://vroom.r-lib.org/articles/benchmarks.html 说由于惰性 altrep 实现,采样、过滤和分组聚合要快得多。
因为“一旦一个特定的向量完全实现,所有后续操作的速度应该与正常的 R 向量相同。” 我的问题是,过滤后使用 dtplyr 或 data.table 进行汇总操作是否有意义?
optimization - osrm 自托管 API 的错误结果
2022年新年快乐!这是我的第一个问题
我按照本教程中描述的说明在 GCP(谷歌云平台)中实现了 OSRM + Vroom 的设置:https ://medium.com/@calroughan/a-beginners-guide-to-installing-osrm-and- vroom-on-gcp-28fbcf1f7857。但就我而言,我使用的是哥伦比亚的地理数据。
所有安装过程都很顺利,我启动并运行了这两个服务。问题:我在 Vroom API 响应中得到错误的结果。
例如,我将这个简单的请求发送到 OSRM 服务:ttp://35.209.254.69:5000/route/v1/driving/4.647868,-74.1134533;4.755680799999999,-74.0236338?overview=simplified&steps=true&geometries=polyline。我得到了这个结果:
下面的结果是错误的,因为 route[0] 中的距离和持续时间属性为 0。如果我在 osrm 前端演示中执行相同的示例,我得到以下结果: https://map.project-osrm.org/? z=13¢er=4.699297%2C-74.067215&loc=4.646360%2C-74.111818&loc=4.754348%2C-74.022195&hl=en&alt=0&srv=1。您可以在此图像中观看它 OSRM 前端相同的示例
在一个更复杂的路由优化案例中,我观察到非常奇怪的几何形状,例如下一个: 位于哥伦比亚巴兰基亚的初始交付
在使用 vroom 应用路线优化后,这是其中一条路线的结果几何图形
如您所见,这条折线完全没有意义,因为它的大小比最初的交付几何形状大得多
所以,我的问题是:有人遇到过 OSRM 或 Vroom 自托管解决方案的类似问题吗?我可能做错了什么?
我感谢任何使我朝着正确方向解决此问题的建议和/或建议。
formatting - 如何使用 vroom_write() 以毫秒为单位编写 POSIXct?
如何POSIXct
使用毫秒编写列vroom::vroom_write()
?
我可以format()
在保存之前使用将时间“渲染”为字符(见下文),但我想知道是否有更简洁的方法,例如,通过设置一些选项?
r - 用 vroom 定义小数点分隔符
我经常面对 csv 文件,这些文件是用德语语言环境保存的,因此没有正确用逗号分隔,而是用分号分隔。这当然很容易通过定义分隔符来解决。但vroom
与例如fread
不提供还定义小数分隔符的可能性相反。因此,带有小数点分隔符的数值,
会作为字符导入,或者在没有任何小数点分隔符的情况下错误地导入,从而导致非常大的数字。有没有办法直接定义小数点分隔符,类似于它的工作方式fread
?
r - 尝试测试非包 R 文件,source() 失败
我有一个(主要是 Python)工作流程,它使用一些(可能是可悲的 Pythonesque)R 脚本用于可视化目的,并希望为所述 R 脚本设置测试。现在,我发现我应该仍然可以使用testthat
,而无需将所有内容都设置为包;但是,与那里的答案不同,我将代码设置在嵌套结构中:
为了处理这种结构,我尝试here
以一种我理解的方式使用和设置东西应该类似于该答案中描述的内容:
- 在
test_single_script.R
:
- 在
run_tests.R
:
看起来我得到了single_script.R
(print(path.to.single.script)
无论如何返回绝对路径)的绝对路径。但是,在尝试运行时run_tests.R
,我收到以下错误:
我已经尝试tests
在项目根目录中运行它......结果相同。我查看了错误并没有发现任何问题。我已经尝试挖掘vroom
's 的代码以查看它可能会阻塞,但找不到任何东西。
我只是错过了一些令人尴尬的基本内容吗?
docker - Vroom 错误 - 连接被拒绝:提名
我正在尝试使用 docker-compose设置本地Vroom实例(遵循本教程)。这是我的 docker-compose 文件:
一切都开始正常并且似乎工作,但是当我尝试使用 vroom-frontend 时,它不起作用并且我收到以下错误:
我认为这是因为nominatim阻止了我的 IP 地址(请求太多)——这应该发生吗?没有这个外部服务不应该工作 Vroom 吗?
我也收到以下错误:
这是我的输入文件,在Vroom 演示中使用时效果很好:
这是它的外观(使用官方 Vroom 演示服务器):
r - 以块的形式导入分隔文件时连接缓冲区的大小不够大?
因此,我尝试将一个相当大(大约 100 GB 和 6 亿行)的 csv 文件导入我设置的 sqlite 数据库中,方法是一次读取大约一百万行的 csv 并编写一个函数为以下:
现在发生的是我收到以下错误:
使用 read.csv 的类似函数,虽然非常慢,但工作得非常好,这就是为什么我尝试使用 vroom 而不是它:
现在我可以通过以下方式增加连接大小:
虽然这允许循环的多次迭代运行,但它仍然会遇到连接大小错误。增加连接大小会进一步导致:
有人对这个问题的解决方法有一个不错的想法吗?我当然可以继续使用 read.csv 版本,但最好有更快的东西。
提前致谢。
r - 更改 VROOM_TEMP_PATH 后 Vroom() 无法识别文件
我遇到了一个问题,vroom()
将非常大的临时文件写入我的 C: 驱动器。按照这里的建议,我曾经Sys.setenv(VROOM_TEMP_PATH = 'E:/myspaciousdirectory')
将临时目录设置为首选的、更宽敞的目录。但是,现在vroom()
似乎无法识别我从中读取文件的(单独)目录中的文件。即使我将完整的文件路径传递给文件名vroom()
,我也会收到No such file or directory
错误消息。奇怪的是,它可以vroom()
识别文件夹中包含的某些 CSV,但不能识别其他 CSV,并且没有明显的一致性。
更改后如何vroom()
识别我的文件VROOM_TEMP_PATH
?