工作原理

发布时间: 更新时间: 总字数:696 阅读时间:2m 作者:IP:上海 网址

Beanstalkd 工作原理

主要组成

  1. job: 一个需要异步处理的任务,需要放在一个 tube 中。
  2. tube: 一个有名的任务队列,用来存储统一类型的 job,是 producer 和 consumer 操作的对象。
  3. producer: job 的生产者,通过 put 命令来将一个 job 放到一个 tube 中。
  4. consumer: job 的消费者,通过 reserve、release、bury、delete 命令来获取 job 或改变 job 的状态。

工作机制

  • Beanstalk 支持任务优先级(priority)、延时(delay)、超时重发(time-to-run)和预留(buried),能够很好的支持分布式的后台任务和定时任务处理。
  • Beanstalk 的一个 job 的生命周期有 READY、RESERVED、DELAYED、BURIED 四种。
  • 工作机制
  • 当 producer 直接 put 一个 job 时,job 就是 READY 状态,等待 consumer 来处理。
  • 如果选择延迟 put,job 就先到 DELAYED 状态,到指定时间再 READY。
  • consumer 获取了 READY 的 job,此状态就为 RESERVED。
  • 这样其他 consumer 不能再操作此 job。当 consumer 完成该 job 后,可以选择 delete、release 或者 bury。
  • delete 之后,job 不能再获取。
  • release 的 job 可以重新迁移或延迟迁移回 READY。
  • bury 的 job 可以被休眠,需要的时候再 READY 或者 delete 掉。

特点

  • 优先级:支持 0 到 2**32 的优先级,值越小,优先级越高,默认优先级为 1024。
  • 持久化:可以通过 binlog 将 job 及其状态记录到文件里面,在 Beanstalkd 下次启动时可以通过读取 binlog 来恢复之前的 job 及状态。
  • 分布式容错:分布式设计和 Memcached 类似,beanstalkd 各个 server 之间并不知道彼此的存在,都是通过 client 来实现分布式以及根据 tube 名称去特定 server 获取 job。
  • 超时控制:为了防止某个 consumer 长时间占用任务但不能处理的情况,Beanstalkd 为 reserve 操作设置了 timeout 时间,如果该 consumer 不能在指定时间内完成 job,job 将被迁移回 READY 状态,供其他 consumer 执行。