7

TL;DR 我正在寻求帮助来实现下面的大理石图。目的是尽可能对未排序的值进行排序，而无需在扫描执行之间等待时间。

我不是要求全面实施。欢迎任何指导。 未消耗最小大理石图 我有一个无限热可观察的异步慢速（强制用于测试目的）扫描。这是相关代码：

thread_1_scheduler = ThreadPoolScheduler(1)
thread = ExternalDummyService()
external_obs = thread.subject.publish()

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
    .scan(seed=State(0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

external_obs.connect()
thread.start()

def slow_scan_msg(state, msg):
    sleep(0.4)
    return state \
        ._replace(count = state.count + 1) \
        ._replace(last_msg = msg)

这是完整版：https ://pyfiddle.io/fiddle/781a9b29-c541-4cd2-88ba-ef90610f5dbd

这是当前输出（值是随机生成的）：

emitting Msg(count=0, timestamp=14.139175415039062)
emitting Msg(count=1, timestamp=6.937265396118164)
emitting Msg(count=2, timestamp=11.461257934570312)
emitting Msg(count=3, timestamp=13.222932815551758)
emitting Msg(count=4, timestamp=5.713462829589844)
SLOW st.count=0 last_msg.counter=0 ts=14.14
SLOW st.count=1 last_msg.counter=1 ts=6.94
SLOW st.count=2 last_msg.counter=2 ts=11.46
SLOW st.count=3 last_msg.counter=3 ts=13.22
SLOW st.count=4 last_msg.counter=4 ts=5.71
SLOW FINISHED

我想对扫描执行之间的待处理消息进行排序。因此，第一个发出的消息将始终是第一个被消费的消息，但下一个消费的消息将是直到该点发出的和未消费的消息的最小值（值）（所有这些消息都在当前版本中，因为即时发射）。依此类推……我认为大理石图比我的解释要好。

请注意，扫描不是在等待完成事件，在发出最后一条消息后它没有开始的唯一原因是因为睡眠。在这里，您有另一个版本，其中睡眠已从扫描中删除并放入 ExternalDummyService。您可以看到这些值在它们发出的那一刻就被消耗掉了。这也显示在大理石图中。

我尝试了to_sorted_list，这是我在 RxPy 中找到的唯一排序方法，但我无法让它工作。

我正在寻找的是这样的：

external_obs \
    .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
############ buffered_sort() does not exist
    .buffered_sort(lambda msg: msg.timestamp) \
############
    .scan(seed=State("SLOW", 0, None), accumulator=slow_scan_msg) \
    .subscribe(log, print, lambda: print("SLOW FINISHED"))

谢谢

4

1 回答 1

5

如果你想使用to_sorted_list你需要重新映射你在单个元素中获得的列表。将您的功能更改main为：

def main():
    thread_1_scheduler = ThreadPoolScheduler(1)

    thread = ExternalDummyService()
    external_obs = thread.subject.publish()

    external_obs \
        .flat_map(lambda msg: Observable.just(msg).subscribe_on(thread_1_scheduler)) \
        .to_sorted_list(key_selector=lambda msg: msg.timestamp) \
        .flat_map(lambda msglist: Observable.from_iterable(msglist)) \
        .scan(seed=State(0, None), accumulator=slow_scan_msg) \
        .subscribe(log, print, lambda: print("SLOW FINISHED"))

    external_obs.connect()

    thread.start()

给出：

>emitting Msg(count=0, timestamp=18.924474716186523)
>emitting Msg(count=1, timestamp=4.669189453125)
>emitting Msg(count=2, timestamp=18.633127212524414)
>emitting Msg(count=3, timestamp=15.151262283325195)
>emitting Msg(count=4, timestamp=14.705896377563477)
>SLOW st.count=0 last_msg.counter=1 ts=4.67
>SLOW st.count=1 last_msg.counter=4 ts=14.71
>SLOW st.count=2 last_msg.counter=3 ts=15.15
>SLOW st.count=3 last_msg.counter=2 ts=18.63
>SLOW st.count=4 last_msg.counter=0 ts=18.92
>SLOW FINISHED

请注意，该to_sorted_list方法将等待主题流结束开始扫描，因此您不能使用它来实现问题中显示的弹珠图。

要正确实现它，我认为您需要onBackpressureBuffer在 RxJava 中实现但在 RxPy 中没有实现的东西。

这并不能完全解决问题，因为缓冲区是 FIFO（先进先出），并且您需要一种自定义方式来选择首先发出的消息。这可能需要对如何处理对缓冲区的请求进行调整。

您可能会找到一种更好的方法来使用称为rxbackpressure的 RxPy 扩展来实现解决方案，特别是使用它的类dequeuablebuffer.py，您可能能够适应您的需求。

于 2018-04-18T13:15:56.710 回答