问题标签 [parameter-server]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - TensorFlow Estimator:使用参数服务器时如何进行预测?
TensorFlow Estimator 易于使用参数服务器策略进行分布式训练。但我无法使用参数服务器策略进行预测。我找不到任何资源来介绍这部分。
预测示例代码:
TF_CONFIG:
结果:PS和Woker都做了预测。
有什么建议吗?非常感谢。
tensorflow - MutableHashTable 是如何放置在参数服务器上的,是否可以并行更新哈希表并加锁?
- MutableHashTable 是如何放在参数服务器上的?
- 可以使用锁定并行更新哈希表吗?
tensorflow-estimator - 将 TF ElasticAverageOptimizer 与 tf.estimators API 一起使用
我想使用参数服务器方法将 Tensorflow 的ElasticAverageOptimizer添加到我的模型训练中。该模型目前使用AdagradOptimizer
.
我正在使用 Tensorflow v1.15 api tf.estimator 来训练和评估模型,构建一个像这样的自定义估计器:
训练使用具有 10 个 PS 节点和约 100 个工作节点的参数服务器方案运行。我想修改我的代码以在我当前generate_model_fn
的优化器周围添加ElasticAverageOptimizer
包装器AdagradOptimizer
。以下是来自的当前相关代码generate_model_fn
:
我不确定如何设置ElasticAverageCustomGetter
以ElasticAverageOptimizer
使用我的 cluster_spec。文档中的示例提供了一种为单个工作人员和参数服务器设置自定义 getter 的方法,但我不知道如何将其转换为我的情况。我试过将一个工人传递给自定义吸气剂,但这似乎不起作用。这是代码:
这导致ValueError: Unknown attribute: 'ixqzvi-worker-0.test.svc' in 'ixqzvi-worker-0.test.svc:2222'
我也尝试将整个传递cluster_spec['worker']
给ElasticAverageCustomGetter
,但这会导致TypeError
for 列表类型。
有什么建议么?谢谢。