问题标签 [apache-tvm]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 从时间角度来看，将 PyTorch 模型与 TVM 集成会使情况变得更糟
最近有人告诉我，在 Apache TVM 的帮助下集成/编译我的 PyTorch 模型应该可以加快推理速度，但我对 TVM 的使用感到非常困惑，因为似乎有多种使用方式。
他们网站上的这个博客说
用法很简单：
而已！然后，PyTorch 将在其 JIT 编译过程中尝试将所有可以转换的运算符转换为已知的 Relay 运算符。
如果工作就这么多，为什么其他具体教程要全面得多？在经历了相当多的教程之后，我假设的另一件事（不确定我是否正确）是 TVM 不能真正使用默认的火炬代码运行方式，需要“jit”编译器（运行火炬代码的非默认方式）来研究。这个假设是基于 github repo 教程显示以下片段的事实
函数my_func用一个装饰器包装，看起来是用 jit 编译函数。但是使用这个完全相同的函数并在有和没有 wrapper + TVM 的情况下计时它的使用表明，这个函数的正常使用要高效得多。如果它没有加快速度，那么 jit+tvm 到底有什么帮助？如果它应该加快速度，为什么这里不是这样？
PS 对于我的问题的全面描述，我深表歉意。即使在使用 torch_tvm 阅读和修改了相当多的内容之后，我也无法弄清楚这一点并了解发生了什么。将不胜感激任何资源链接或任何可能对我有所帮助的解释。
python - 我们如何将 TVM 调度器集成到现有的神经网络以实现并行化？
我是Apache TVM框架的新手，我正在为教育和未来使用做一些尝试。我注意到它在 NN 编译和调优方面提供了许多强大的功能。引起我注意的机制之一是张量表达式(TE)。
然而，所有教程主要集中在设置调度程序和生成底层 IR 代码，使用基本示例。我想知道是否有任何方法可以在现有NN 的过程中使用它 - 例如 ResNet，在编译/自动调整过程中作为示例提供，以便利用并行化（例如，通过 OpenCL）或任何优化。
我希望有某种调度绑定机制，允许基于自定义调度的 NN 执行内部运行的操作进行计算，但是我不清楚这种用法。我在这里想念什么吗？
python - 在 TVM Docker 容器中找不到 libtvm.so 和 libtvm_runtime.so
我是 Apache TVM 的新手。
我尝试构建并启动一个命名tvm.ci_cpu:latest为教程https://tvm.apache.org/docs/install/docker.html#docker-source中描述的 docker 镜像。
我尝试按照教程https://tvm.apache.org/docs/tutorial/tvmc_command_line_driver.html#using-tvmctvmc中所述在 docker 容器中使用 python 应用程序。
然后我收到以下错误：
我尝试使用上面文章中提到的其他方法，但出现以下新错误：
我尝试拉取并使用以下第三方 docker 镜像，而不是我自己构建的镜像：
但是，我仍然遇到与以前相同的问题。
WHY? I had no idea at all.
Any suggestion? Thanks.
tensorflow - TensorFlow Serving 是否支持编译运行时中的推理？
是否可以在 TF Serving 中提供由推理编译器（特别是ONNXRuntime、TVM或TensorRT ）优化的模型？或者 TF Serving 只能在 TensorFlow 运行时提供由 TensorFlow 创建的 SavedModel？