1

我有一个 200 个节点的 mesos 集群，可以同时运行大约 2700 个执行程序。大约 10-20% 的执行者在一开始就迷路了。他们只在提取执行程序 tar 文件之前进行。

    WARNING: Logging before InitGoogleLogging() is written to STDERR
    I0617 21:35:09.947180 45885 fetcher.cpp:76] Fetching URI 'http://download_url/remote_executor.tgz'
    I0617 21:35:09.947273 45885 fetcher.cpp:126] Downloading 'http://download_url/remote_executor.tgz' to '/mesos_dir/remote_executor.tgz' 
    I0617 21:35:57.551722 45885 fetcher.cpp:64] Extracted resource '/mesos_dir/remote_executor.tgz' into '/extracting_mesos_dir/'

我的执行程序 tar 球非常大（大约 40 MB 左右），大多数需要 30 多秒才能下载的执行程序都丢失了。mesos master 是否会等待所有 executor 直到某个时间段注册并在 executor 未能这样做时将它们标记为 LOST？

执行人详情：

我正在使用 python 来实现调度程序和执行程序。执行程序代码是一个扩展基类“执行程序”的 python 文件。我已经实现了 Executor 类的 launchTasks 方法，它只是做 executor 应该做的事情。

执行人信息为：

    executor = mesos_pb2.ExecutorInfo()
    executor.executor_id.value = "executor-%s" % (str(task_id),)
    executor.command.value = 'python -m myexecutor'

    # where to download executor from
    tar_uri = '%s/remote_executor.tgz' % (
        self.conf.remote_executor_cache_url)
    executor.command.uris.add().value = tar_uri
    executor.name = 'some_executor_name'
    executor.source = "executor_test"
4

1 回答 1

2

具有从属的执行程序的默认超时为 1 分钟，并且可以使用--executor_registration_timeout从属标志进行更改。

从Mesos 配置

--executor_registration_timeout=VALUE 在考虑挂起和关闭从属服务器之前等待执行程序注册到从属服务器的时间（例如，60 秒、3 分钟等）（默认值：1 分钟）

于 2015-06-30T06:09:31.450 回答