问题标签 [python-scoop]

有没有在 Jupyter 笔记本中运行 SCOOP 模块的方法？我需要使用 SCOOP 来构建数据集，然后从那里使用 matplotlib/seaborn 来构建绘图。

我正在使用powershell和scoop，windows。我已经安装了 speech_recognition 存储桶，但仍然显示错误。

我正在尝试熟悉 Scoop 库（此处的文档：https ://media.readthedocs.org/pdf/scoop/0.7/scoop.pdf ）来学习如何并行执行统计计算，特别是使用期货。地图功能。

因此，首先，我想尝试运行一个简单的线性回归，并使用从正态分布随机生成的 10000000 个数据点（4 个特征，1 个目标变量）来评估串行和并行计算之间的性能差异。

这是我的代码：

然而，在那之后回归摘要确实是串行生成的——通过 Python 的标准 map 函数——一个错误：

回溯（最近一次调用最后）：文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 193 行，在 _run_module_as_main 中“ main ”", mod_spec) 文件 "C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py"，第 85 行，_run_code exec(code, run_globals) 文件 "C:\ Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 302 行，在 b.main() 文件“C:\Users\niccolo.gentile \AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 92 行，在主 self.run() 文件“C:\Users\niccolo.gentile\AppData\Local \Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 290 行，在运行 futures_startup() 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs \tensorenviron\lib\site-packages\scoop\bootstrap__main__。py"，第 271 行，在 futures_startup run_name="主要的" 文件 "C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py"，第 64 行，在 _startup 结果 = _controller.switch(rootFuture, *args, **kargs) 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop_control.py”，第 253 行，runController raise future.exceptionValue文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop_control.py”，第 127 行，runFuture future.resultValue = future.callable(*future. args, **future.kargs) 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 263 行，在 run_path pkg_name=pkg_name, script_name=fname ）文件“C：\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 96 行，在 _run_module_code mod_name、mod_spec、pkg_name、script_name）文件“C:\Users\niccolo.gentile\ AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 85 行，在 _run_code exec(code, run_globals) 文件“Scoop_map_linear_regression1.py”，第 33 行，在 model_vals_1 = list(futures.map(linreg , [1,2,3])) 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py”，第 102 行，在_waitAll(*futures) 中的 _mapGenerator：文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py”，第 358 行，在_waitAny（未来）中的 f 的 _waitAll：文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py”，第 335 行，在 _waitAny raise childFuture.exceptionValue NameError: name 'y_vals ' 没有定义

是之后产生的。这意味着代码停止在model_vals_1 = list(futures.map(linreg, [1,2,3]))。

我也尝试过两次使用 map 运行它，并且确实没有出现错误。

我还指定脚本已正确启动：

来自 Anaconda Prompt 命令行。

事实上，如果它在没有 -m scoop 参数的情况下启动，它不会被并行化并且会实际运行，而只是使用 Python 的内置 map 函数的两倍，就像在警告中报告的方式一样。也就是说，在启动时不指定 -m scoop 参数，futures.map 将被 map 替换。

相反，我的目标是使用 futures.map 并行运行它，并评估性能改进。

指定它以避免任何其他类似的答案以及随之而来的搁置。

任何评论都受到高度赞赏和欢迎。

我正在尝试使用 Python 的 Scoop 库从正态分布随机生成超过 10000000 个数据点（4 个特征，1 个目标变量）的线性回归。这是代码：

然而，在那之后回归摘要确实是串行生成的——通过 Python 的标准 map 函数——一个错误：

回溯（最近一次调用最后一次）：文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 193 行，在 _run_module_as_main “main”，mod_spec）文件中“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 85 行，_run_code exec(code, run_globals) 文件“C:\Users\niccolo.gentile \AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 302 行，在 b.main() 文件“C:\Users\niccolo.gentile\AppData\Local\ Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 92 行，在主 self.run() 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\ envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 290 行，在运行 futures_startup() 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\bootstrap__main__.py”，第 271 行，在 futures_startup run_name="main " 文件 "C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py"，第 64 行，在 _startup 结果 = _controller.switch(rootFuture, *args, **kargs) 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop_control.py”，第 253 行，runController raise future.exceptionValue文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop_control.py”，第 127 行，runFuture future.resultValue = future.callable(*future. args，**future.kargs）文件“C：\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 263 行，在 run_path pkg_name=pkg_name, script_name=fname) 文件“C:\Users\niccolo.gentile\ AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\runpy.py”，第 96 行，在 _run_module_code mod_name、mod_spec、pkg_name、script_name）文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3 \envs\tensorenviron\lib\runpy.py"，第 85 行，在 _run_code exec(code, run_globals) 文件“Scoop_map_linear_regression1.py”，第 33 行，在 model_vals_1 = list(futures.map(linreg, [1,2,3 ])) 文件“C:\Users\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py”，第 102 行，在 _mapGenerator 中用于 _waitAll(*期货）：文件“C：\用户\niccolo.gentile\AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py"，第 358 行，_waitAll for f in _waitAny(future)：文件“C:\Users\niccolo.gentile \AppData\Local\Continuum\anaconda3\envs\tensorenviron\lib\site-packages\scoop\futures.py"，第 335 行，_waitAny raise childFuture.exceptionValue NameError: name 'y_vals' is not defined

是之后产生的。这意味着代码停在model_vals_1 = list(futures.map(linreg, [1,2,3]))

请注意，为了能够并行运行代码，必须从指定 -m scoop 参数的命令行启动它，如下所示：

实际上，如果它在没有 -m scoop 参数的情况下启动，它不会被并行化并且确实会实际运行，但只是使用 Python 内置的 map 函数的两倍（因此，串行运行两次），就像你会得到的那样在警告中报告。也就是说，在启动时不指定 -m scoop 参数，futures.map 将被 map 替换，而目标是使用 futures.map 并行运行它。

这样做是为了避免人们回答他们通过简单地启动没有 -m scoop 参数的代码来解决问题，就像这里已经发生的那样：

Python 并行计算 - 独家新闻

因此，该问题被错误地搁置为题外话，因为不再具有可重复性。

非常感谢您，任何评论都将受到高度赞赏和欢迎。

我学得很深，我想用勺子。是否可以在笔记本中测试我的程序？

我从 scoop 文档中了解到 $ python -m scoop your_program.py 是正确的运行方式。有什么方法可以将“-m scoop”作为参数传递给笔记本？

谢谢。

如何使用 OpenAi-Gym 和 Scoop 产生可重现的随机性？

每次重复该示例时，我都希望得到完全相同的结果。如果可能的话，我希望它与使用随机提供者（例如随机和 np.random）的现有库一起使用，这可能是一个问题，因为它们通常使用全局随机状态并且不为局部随机状态提供接口

我的示例脚本如下所示：

预期输出：equal, yay在每一行

实际输出：not equal :(多行

完整输出：

当我在没有独家新闻的情况下运行这个示例时，我得到了几乎完美的结果：

我想在高性能计算环境中使用 SCOOP（Python 中的可扩展并发操作）。为了测试 SCOOP，我在我的 Windows 机器上使用 Python 2.7.18 在 Anaconda 环境 (4.10.3) 中安装了该模块。从文档运行此示例脚本时：

我在控制台中得到以下输出。

因此：SCOOP 做了需要做的事情，但同时也会抛出错误。不过，这些错误似乎对其性能没有影响。这对我未来的项目来说是个问题吗？如何避免显示这些错误？

谢谢

我一直在使用 ray 在远程 linux 服务器上并行化我的代码。一段时间后作业停止并出现以下错误：

再深入一点，我在其中一名工人的日志文件中发现了这一点：

如果我使用 Dask 或 Scoop 等其他并行化库，我将面临同样的问题。我也试过谷歌云服务器，问题还是一样。

有趣的是，当我在本地 Mac 机器上以完全相同的并行化运行相同的代码时，代码运行良好。

任何指针将不胜感激！

谢谢

我正在使用 Dask 运行涉及大量缓存的并行实验。

我注意到当我增加实验数量（以及因此并行任务的数量）时，每个实验的运行时间显着减少。我最初认为这可能是由于缓存而发生的，但经过一番调查后，我意识到这不是问题所在。可用的内存总是比需要的多。

我对具有相同行为的勺子进行了相同的实验。

我无法弄清楚为什么每次实验的运行时间都会减少。任何指针都会有所帮助。

谢谢！