2

感谢pyodide ，我正在尝试在浏览器中使用NLTK。Pyodide 启动良好，设法加载 NLTK，打印其版本。

尽管如此，虽然包下载看起来不错，但在调用 时nltk.sent_tokenize(str)，NLTK 会引发错误，即找不到包“punkt”。

我会说下载的资源在某处丢失了，但我不太了解 Pyodide / WebAssembly 如何管理文件。有什么见解吗？

错误截图：

简单版：

import nltk
nltk.download(pkg)
for sent in nltk.sent_tokenize("Test string"):
    print(sent)

具有更多详细信息的版本，指定下载目录和服务器 url。

import nltk
pkg = "punkt"
downloader = nltk.downloader.Downloader(server_index_url="https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml") 
downloader.download(pkg, download_dir='/nltk_data')
downloader.status(pkg)
for sent in nltk.sent_tokenize("Test string"):
    print(sent)

完整示例代码：

<!DOCTYPE html>
<html>
  <body>
    <script type="text/javascript" src="https://cdn.jsdelivr.net/pyodide/v0.18.0/full/pyodide.js"></script>
    <script type="text/javascript">
      // init Pyodide
      async function pyodide_loader() {
        let pyodide_premise = loadPyodide({
          indexURL: "https://cdn.jsdelivr.net/pyodide/v0.18.0/full/",
        });
        let pyodide = await pyodide_premise;
        await pyodide.loadPackage("micropip");
        await pyodide.loadPackage("nltk");
        return pyodide_premise;
      }
      let pyodideReadyPromise = pyodide_loader();

      
      // run Python code and load NLTK
      async function load_packages() {
        let pyodide = await pyodideReadyPromise;
        let output = pyodide.runPython(`
print(f"*** import nltk")
import nltk
print(f"*** NLTK version {nltk.__version__=} imported, downloading resources now")

pkg = "punkt"
nltk.download(pkg)

str = "Just for testing"
for sent in nltk.sent_tokenize(str):
    print(sent)
      `);
      }
      load_packages()
    </script>
  </body>
</html>
4

2 回答 2

2

简短的回答是，目前在 Pyodide 中无法使用 Python 下载文件，因为http.client等requests需要浏览器 VM 不支持的 POSIX 套接字。

奇怪的是，它nltk.download并没有出错——它应该有。

解决方法是手动下载所需的资源，例如，使用本评论中所示的 JavaScript获取 API；

from js import fetch

response = await fetch("<url>")
js_buffer = await response.arrayBuffer()
py_buffer = js_buffer.to_py()  # this is a memoryview
stream = py_buffer.tobytes()  # now we have a bytes object

# that we can finally write under the appropriate path
with open("<file_path>", "wb") as fh:
    fh.write(stream)

我不太了解 Pyodide / WebAssembly 如何管理文件。

默认情况下，它是在每次页面加载时重置的虚拟文件系统 ( MEMFS )。您可以使用标准 python 工具（open、'os' 等）访问它。如有必要，您还可以挂载持久文件系统。

于 2021-09-02T14:53:27.663 回答
2

这是punkt使用pyodidev0.18.1 加载的工作示例。我试图将此作为对@rth 接受的答案的评论发布，但字符数超过了 240 个字符的限制。

from js import fetch
import nltk
from pathlib import Path
import os, sys, io, zipfile

response = await fetch('https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/packages/tokenizers/punkt.zip')
js_buffer = await response.arrayBuffer()
py_buffer = js_buffer.to_py()  # this is a memoryview
stream = py_buffer.tobytes()  # now we have a bytes object

d = Path("/nltk_data/tokenizers")
d.mkdir(parents=True, exist_ok=True)

Path('/nltk_data/tokenizers/punkt.zip').write_bytes(stream)

# extract punkt.zip
zipfile.ZipFile('/nltk_data/tokenizers/punkt.zip').extractall(
    path='/nltk_data/tokenizers/'
)

# check file contents in /nltk_data/tokenizers/
# print(os.listdir("/nltk_data/tokenizers/punkt"))

nltk.word_tokenize("some text here")

我从https://github.com/pyodide/pyodide/issues/1798pyodide的维护人员和其他优秀的人那里得到了很多帮助来解决这个问题。谢谢！

于 2021-11-14T22:03:09.223 回答