Welcome to function_scheduling_distributed_framework_docs’s documentation!

Contents:

• 0. 此项目迁移到 funboost 框架
• 1.分布式函数调度框架简介
  • 1.0 github地址和文档地址
    • 1.0.1 分布式函数调度框架文档地址
    • 1.0.2 分布式函数调度框架github地址
  • 1.1 安装方式
  • 1.2 框架功能介绍
    • 1.2.1 框架支持5种并发模式
    • 1.2.2 框架支持20种中间件
    • 1.2.3 框架对任务支持20种控制功能。
  • 1.3 框架使用例子
  • 1.4 python分布式函数执行为什么重要？
  • 1.5 框架学习方式
• 2. 对比celery框架
  • 2.0,在比较之前，说明一下和celery的关系？
  • 2.1 celery对目录层级文件名称格式要求很高
  • 2.2 性能远远超过celery
  • 2.3 celery的重要方法全部无法ide自动补全提示
  • 2.4 比celery强的方面的优势大全
• 3.框架详细介绍
  • 3.1 各种中间件选择的场景和优势
  • 3.2 框架支持的函数调度并发模式种类详细介绍
  • 3.3 框架最最重要的task_deco装饰器参数说明
    • 3.3.2 task_deco装饰器 的 concurrent_num 和 qps 之间的关系。
  • 3.4 框架的乞丐精简版实现方式
  • 3.5 框架的任务消费确认
  • 3.6 框架的设计规范原则
• 4.使用框架的各种代码示例
  • 4.1 装饰器方式调度函数
  • 4.2 非装饰器调度函数
  • 4.3 演示如何解决多个步骤的消费函数
  • 4.4 演示如何定时运行。
  • 4.5 多进程并发 + 多线程/协程，代码例子。
  • 4.6 演示rpc模式，即客户端调用远程函数并及时得到结果。
  • 4.7 演示qps控频
    • 4.7.1 演示qps控频和自适应扩大和减小并发数量。
    • 4.7.2 此框架对固定耗时的任务，持续控频精确度高于99.9%
    • 4.7.3 对函数耗时随机性大的控频功能证明
    • 4.7.4 分布式全局控频和单个消费者控频区别
  • 4.8 再次说明qps能做什么，qps为什么流弊？常规并发方式无法完成的需求是什么？
    • 4.8.1 下面讲讲常规并发手段为什么对8qps控频需求无能为力？
    • 4.8.2 使用分布式函数调度框架，无论接口耗时多少，轻松达到8qps的例子
  • 4.9 演示延时运行任务
  • 4.10 在web中如flask fastapi django 如何搭配使用消费框架的例子。
  • 4.11 开启消费状态、结果web页面
  • 4.12 框架 asyncio 方式运行协程
  • 4.13 跨python项目怎么发布任务或者获取函数执行结果？
  • 4.14 [分布式函数调度框架qq群]
• 5.框架运行时截图
  • 5.1 windwos pycharm 运行截图
  • 5.2 linux 运行率截图
  • 5.3 函数执行结果及状态搜索查看
• 6.常见问题回答
  • 6.1 你干嘛要写这个框架？和celery 、rq有什么区别？
  • 6.2 为什么包的名字这么长?
  • 6.3 框架是使用什么序列化协议来序列化消息的。
  • 6.4 框架如何实现定时？
  • 6.5 为什么强调是函数调度框架不是类调度框架，不是方法调度框架？
  • 6.6 是怎么调度一个函数的。
  • 6.7 框架适用哪些场景？
  • 6.8 怎么引入使用这个框架？门槛高不高？
  • 6.9 怎么写框架？
  • 6.10 框架能做什么
  • 6.11 日志的颜色不好看或者觉得太绚丽刺瞎眼，想要调整。
  • 6.12 是不是抄袭模仿 celery
  • 6.13 使用此框架时候，在一个python项目中如何连接多个相同种类的消息队列中间件ip地址
  • 6.14 什么是确认消费？为什么框架总是强调确认消费？
  • 6.15 如何等待队列中的消息全部消费完成
  • 6.16 框架支不支持函数上加两个装饰器？
  • 6.17 嫌框架日志记录太详细？
  • 6.18 框架与你项目依赖的三方包版本不一致冲突？
• 7.更新记录
  • 7.1 新增第十种Consumer，以redis为中间件，但增加了消费确认，是RedisConsumerAckAble类。
  • 7.2 新增基于以redis为消息中间件时候的页面管理和消费速度显示。
  • 7.3 新增一个10行代码的函数的最精简乞丐版实现的分布式函数执行框架.
  • 7.4 新增sqlachemy 支持的数据库作为消息中间件
  • 7.5 日志改为导入独立包nb_log，支持用户配置文件自定义日志配置。
  • 7.6 优化qps控频。
  • 7.7 增加rocketmq支持。 (2020-7)
  • 7.8 新增 async 并发模式 (2020-12)
    • 7.8.2 gevent/eventlet 和 asyncio 用法区别感受
    • 7.8.3 关于 async 并发模式，为什么框架还使用 pyredis pika pymongo，而没有使用aioredis aiomongo
  • 7.9 2021-04 新增以 redis 的 stream 数据结构 为中间件的消息队列。
  • 7.10 2021-04 新增以 redis 的 list 为数据结构，但使用 brpoplpush 命令 双队列 作为中间件的消息队列。
  • 7.11 2021-04 新增以 zeromq 为中间件的消息队列。
  • 7.12 2021-04 新增以 操作kombu包 为中间件的消息队列
  • 7.14 2021-04 新增以mqtt emq 作为消息中间件
  • 7.15 2021-04 新增以 httpsqs 作为消息中间件
  • 7.16 2021-04 新增支持下一代分布式消息系统 pulsar 。
  • 7.17 2021-04 新增延时运行任务,介绍见4.8
  • 7.18 2021-09 新增 轻松远程服务器部署运行函数
  • 7.19 2021-09 新增 socket udp/tcp/http 消息队列，不需要安装消息中间件软件。
  • 7.20 2021-09 新增 支持 nats 高性能消息队列
• 8.用于爬虫
  • 8.1 演示获取汽车之家资讯的 新闻 导购 和 评测 3个板块 的 文章。
  • 8.2 演示经典的豆瓣top250电影的爬虫
  • 8.3 演示3种最常见代码思维方式爬取汽车之家资讯
    • 8.3.1 每次临时手写rquests + 多线程,使用low爬虫方式的缺点
    • 8.3.2 scrapy 爬虫框架来实现缺点
    • 8.3.3 scrapy 框架 和 分布式函数调度框架爬虫对比
    • 8.3.4 临时手写爬虫全流程的代码
    • 8.3.5 scrapy爬虫代码
    • 8.3.6 分布式函数调度框架的代码
• 9 轻松远程服务器部署运行函数
  • 9.1 远程服务器部署函数的意义
  • 9.2 远程服务器部署函数的入参介绍。
  • 9.3 远程服务器部署消费函数的代码示例。