Java 中的 Master-Worker 模式：轻松协调并发处理

大约 3 分钟

也称为

Master-Slave
Controller-Worker

Master-Worker 设计模式的意图

Master-Worker 设计模式旨在通过在主进程和多个工作进程之间分配任务来执行并行计算。这种模式增强了软件系统中的并发性、性能和可扩展性。

Master-Worker 模式的详细解释及实际应用案例

现实世界中的例子

Master-Worker 模式优化了并行任务处理和吞吐量。例如，在餐厅厨房中，主厨（主进程）将任务分配给帮厨（工作进程），帮厨同时工作以准备订单。主厨从用餐区接收订单，并将每个订单分解成具体的任务，例如烤肉、准备沙拉和烹饪甜点。每个任务根据帮厨的专业技能和当前工作量分配给不同的帮厨。帮厨并行工作以准备他们负责的那部分订单，而主厨则监督整个过程，确保所有菜品都按时正确准备。一旦订单的每个部分准备就绪，主厨就会收集所有部分，进行最终检查，然后将菜肴装盘以供服务。这种厨房运营通过分配和管理任务来优化效率和产出，模拟了 Master-Worker 模式。

通俗易懂

Master-Worker 模式涉及主进程将任务委派给多个工作进程，工作进程并行执行任务并报告结果，从而优化并行任务处理和吞吐量。

维基百科说

主从是一种非对称通信或控制模型，其中一个设备或进程（主进程）控制一个或多个其他设备或进程（从进程）并充当它们的通信中心。在某些系统中，主进程从一组合格设备中选出，其他设备充当从进程。

Java 中 Master-Worker 模式的编程示例

在提供的代码中，MasterWorker 类启动并发计算过程。Master 类将工作分配给 Worker 对象，每个对象并行执行其任务，从而优化任务处理并提高系统效率。

// The MasterWorker class acts as the main entry point for the Master-Worker system.
public class MasterWorker {
  private Master master;

  public MasterWorker(Master master) {
    this.master = master;
  }

  public Result getResult(Input input) {
    return master.computeResult(input);
  }
}

在此代码中，MasterWorker 类用 Master 对象初始化。getResult 方法用于启动计算过程。

// The Master class is responsible for dividing the work among the workers.
public abstract class Master {
  protected List<Worker> workers;

  public Master(List<Worker> workers) {
    this.workers = workers;
  }

  public abstract Result computeResult(Input input);
}

Master 类包含一个 Worker 对象列表。computeResult 方法是抽象的，应该在子类中实现，以定义如何划分工作以及如何聚合结果。

// The Worker class is responsible for performing the actual computation.
public abstract class Worker extends Thread {
  protected Input input;

  public void setInput(Input input) {
    this.input = input;
  }

  public abstract Result compute();
}

Worker 类扩展了 Thread，允许它并行执行计算。compute 方法是抽象的，应该在子类中实现，以定义实际的计算逻辑。

// The Input and Result classes are used to encapsulate the input data and the result data.
public abstract class Input<T> {
  public final T data;

  public Input(T data) {
    this.data = data;
  }

  public abstract List<Input<T>> divideData(int num);
}

public abstract class Result<T> {
  public final T data;

  public Result(T data) {
    this.data = data;
  }
}

Input 类有一个 divideData 方法，用于将输入数据划分为子任务。Result 类只是封装了结果数据。

何时在 Java 中使用 Master-Worker 模式

适合将任务分解成更小、独立任务的场景。
在需要并发执行以提高性能的应用程序中很有用。
适用于分布式计算，其中任务需要由多个处理器或机器处理。

Master-Worker 模式 Java 教程

Master-Worker 模式（Gigaspaces）

Java 中 Master-Worker 模式的实际应用

在分布式系统中实现，以管理跨不同计算资源的任务。
在服务器架构中使用，以同时处理多个客户端请求。
在科学计算框架中使用，其中大型数据集需要并行处理。

Master-Worker 模式的优缺点

优势

通过并行化任务提高性能。
提高处理大量请求的系统的响应能力。
在任务协调和任务执行之间提供明确的关注点分离，简化设计。

权衡

管理主进程和工作进程之间的同步和状态一致性方面的复杂性。
管理主进程和工作进程之间通信的开销，尤其是在分布式环境中。

任务并行和数据并行：Master-Worker 利用这些模式将工作划分为任务或数据段。
生产者-消费者：结构类似，但侧重于平衡生产和消费速率；Master-Worker 更侧重于任务分配和聚合。
管道：两者都组织处理步骤，但管道线性排列步骤，而 Master-Worker 可能不会强加这种顺序。