问题标签 [parameter-server]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
295 浏览

tensorflow - TensorFlow Estimator:使用参数服务器时如何进行预测?

TensorFlow Estimator 易于使用参数服务器策略进行分布式训练。但我无法使用参数服务器策略进行预测。我找不到任何资源来介绍这部分。

预测示例代码:

TF_CONFIG:

结果:PS和Woker都做了预测。

有什么建议吗?非常感谢。

0 投票
0 回答
12 浏览

tensorflow - MutableHashTable 是如何放置在参数服务器上的,是否可以并行更新哈希表并加锁?

  1. MutableHashTable 是如何放在参数服务器上的?
  2. 可以使用锁定并行更新哈希表吗?
0 投票
0 回答
4 浏览

tensorflow-estimator - 将 TF ElasticAverageOptimizer 与 tf.estimators API 一起使用

我想使用参数服务器方法将 Tensorflow 的ElasticAverageOptimizer添加到我的模型训练中。该模型目前使用AdagradOptimizer.
我正在使用 Tensorflow v1.15 api tf.estimator 来训练和评估模型,构建一个像这样的自定义估计器:

训练使用具有 10 个 PS 节点和约 100 个工作节点的参数服务器方案运行。我想修改我的代码以在我当前generate_model_fn的优化器周围添加ElasticAverageOptimizer包装器AdagradOptimizer。以下是来自的当前相关代码generate_model_fn

我不确定如何设置ElasticAverageCustomGetterElasticAverageOptimizer使用我的 cluster_spec。文档中的示例提供了一种为单个工作人员和参数服务器设置自定义 getter 的方法,但我不知道如何将其转换为我的情况。我试过将一个工人传递给自定义吸气剂,但这似乎不起作用。这是代码:

这导致ValueError: Unknown attribute: 'ixqzvi-worker-0.test.svc' in 'ixqzvi-worker-0.test.svc:2222' 我也尝试将整个传递cluster_spec['worker']ElasticAverageCustomGetter,但这会导致TypeErrorfor 列表类型。

有什么建议么?谢谢。