taskflow 源码阅读笔记-1

之前写了一篇介绍Taskflow的短文:传送门

Taskflow做那种有前后依赖关系的任务管理还是不错的,而且他的源码里运用了大量C++17的写法,觉得还是非常值得学习的,因此决定看一下他的源码,这里顺便写了一篇代码学习笔记。

概述

代码链接:

https://github.com/taskflow/taskflow
本文是commitid: b91df2c365c20fa4cb43951192f6939fbe876abf 版本的源码学习记录,其他版本可能会有不同

简介

简介可以参考代码仓库的README
简单来说它是一个实现DAG(有向无环图)的多线程任务管理库, 下图截取自代码仓库的README:
image.png

使用方法

使用方法见README,这里需要指出的是,作者分享了他的compile explorer https://godbolt.org/z/j8hx3xnnx, 我们可以在上面修改代码来看效果
这个是个纯头文件的库,只需要引用其头文件就行了
#include <taskflow/taskflow.hpp> // Taskflow is header-only
但是这个头文件怎么来的呢?
其实这个和Eigen的使用方法一样,在源码库中,有一个taskflow文件夹,里面全部都是.hpp文件,在最外层有一个taskflow.hpp文件,它是总的入口文件,我们只要include这个文件就行。
具体来说,如果我们想在我们自己的项目中使用它,
一种方法是直接将taskflow文件夹中的所有文件拷贝到我们自己的代码仓库,
另一种更好的方式就是和Eigen一样,把他做成一个deb包安装在机器上,这样我们就可以在多个项目中使用它了
不管怎么安装,最后在我们需要使用它的地方#include <taskflow/taskflow.hpp> 就行了
下面摘抄自代码仓库中的README:

#include <taskflow/taskflow.hpp>  // Taskflow is header-onlyint main(){tf::Executor executor;tf::Taskflow taskflow;auto [A, B, C, D] = taskflow.emplace(  // create four tasks[] () { std::cout << "TaskA\n"; },[] () { std::cout << "TaskB\n"; },[] () { std::cout << "TaskC\n"; },[] () { std::cout << "TaskD\n"; } );                                  A.precede(B, C);  // A runs before B and CD.succeed(B, C);  // D runs after  B and Cexecutor.run(taskflow).wait(); return 0;
}

代码学习

核心代码量

主要功能代码约1.5万行,在taskflow文件夹下:
image.png

代码实现

从上面的使用示例来看,它给我们展示了几个接口:

  • tf::Executor executor;
  • tf::Taskflow taskflow;
  • auto [A, B, C, D] = taskflow.emplace(… …);
  • A.precede(B, C); // A runs before B and C
  • D.succeed(B, C); // D runs after B and C
  • executor.run(taskflow).wait();

下面我们就从这几个接口入手来看其代码实现

tf::Taskflow

首先来看命名空间tf
tf是本代码仓库的根命名空间,所有的代码都是在这个命名空间下的
然后我们来看tf::Taskflow
代码位于 taskflow/taskflow/core/taskflow.hpp

定义tf::Taskflow taskflow时,
首先会构造其成员变量
其中实际会执行构造的只有 Graph _graph;
我们看下_graph的构造过程:
Gragh类只有一个成员变量 std::vector<Node*> _nodes; 它是一个指针的数组,因此也没什么额外的构造过程
再来看Graph类的无参构造函数,发现它直接是用的default构造函数,因此它也没做什么事情。
然后会调用构造函数:
因为没有传入参数,所以调用的是无参构造函数:

// Constructor
inline Taskflow::Taskflow() : FlowBuilder{_graph} {
}

Taskflow的构造函数啥都没有干,我们再看它的基类FlowBuilder的构造函数
FlowBuilder构造时需要传入_graph变量,这个变量是Taskflow类的成员变量,后面再看它是怎么构造的

// Constructor
inline FlowBuilder::FlowBuilder(Graph& graph) :_graph {graph} {
}

FlowBuilder的构造函数也啥都没有干,只是把_graph赋值给它自己的成员变量,注意Graph类只有移动构造函数,也就是说,此时Taskflow类中的_graph已经报废了
因为FlowBuilder类中只有_graph这一个成员变量,因此在构造阶段它没啥别的事情了

taskflow.emplace(…)

Taskflow类里没有emplace(…)这个方法,它是Taskflow的基类FlowBuilder的成员函数
emplace(…)方法有5个实现版本, 其中一个的定义如下:

template <typename C, std::enable_if_t<is_static_task_v<C>, void>*>
Task FlowBuilder::emplace(C&& c) {return Task(_graph._emplace_back("", 0, nullptr, nullptr, 0,std::in_place_type_t<Node::Static>{}, std::forward<C>(c)));
}

然后,作者在is_static_task_v的地方实现了不同版本的萃取方法:

  • is_static_task_v
  • is_dynamic_task_v
  • is_condition_task_v
  • is_multi_condition_task_v
  • sizeof…(C )>1

示例代码中传入的是多个lamda表达式, 会匹配到 sizeof…©>1 这个版本,代码如下:

template <typename... C, std::enable_if_t<(sizeof...(C)>1), void>*>
auto FlowBuilder::emplace(C&&... cs) {return std::make_tuple(emplace(std::forward<C>(cs))...);
}

然后再依次调用 is_static_task_v 的版本,代码如上所示:
做的事情是:

  • 用传入的lamda表达式构造了一个Node,
  • 然后把这个Node放到_graph中,
  • 最后用_graph._emplace_back返回的Node*来构造一个Task实例返回

A.precede(B, C)

从上面的分析可以知道, A/B/C都是Task类的实例,
先来看下Task类的构造:

inline Task::Task(Node* node) : _node {node} {
}

Task类中没有其他成员变量,只有一个Node* __node, 因此Task中只维护一个Node, Task类是Node类的观察者

precede() 是Task类的方法, 它的实现如下:

template <typename... Ts>
Task& Task::precede(Ts&&... tasks) {(_node->_precede(tasks._node), ...);//_precede(std::forward<Ts>(tasks)...);return *this;
}

实际上是执行的Node类的precede
再来看Node类precede函数

inline void Node::_precede(Node* v) {_successors.push_back(v);v->_dependents.push_back(this);
}

这里涉及到两个变量:

SmallVector<Node*> _successors;  // 下一个要执行的节点
SmallVector<Node*> _dependents;  // 上一个执行的节点

这样用这两个向量把依赖关系保存起来

D.succeed(B, C)

和上一个函数类似,只是依赖关系改了一下:

template <typename... Ts>
Task& Task::succeed(Ts&&... tasks) {(tasks._node->_precede(_node), ...);//_succeed(std::forward<Ts>(tasks)...);return *this;
}

tf::Executor

Executor类的构造过程如下:

// 声明
explicit Executor(size_t N = std::thread::hardware_concurrency());// 定义
inline Executor::Executor(size_t N) :_MAX_STEALS {((N+1) << 1)},_threads    {N},_workers    {N},_notifier   {N} {if(N == 0) {TF_THROW("no cpu workers to execute taskflows");}_spawn(N);// instantite the default observer if requestedif(has_env(TF_ENABLE_PROFILER)) {TFProfManager::get()._manage(make_observer<TFProfObserver>());}
}

我们用的示例是无参的,因此N默认为std::thread::hardware_concurrency(), 即当前系统支持的并发线程数的估计值
然后设置:

  • _MAX_STEALS 为 (N+1)*2
  • 实例化N个std::thread
  • 实例化N个worker
  • 实例化参数为N的notifier

然后调用_spawn()函数启动任务

executor.run(taskflow).wait()

inline tf::Future<void> Executor::run(Taskflow& f) {return run_n(f, 1, [](){});
}template <typename C>
tf::Future<void> Executor::run_n(Taskflow& f, size_t repeat, C&& c) {return run_until(f, [repeat]() mutable { return repeat-- == 0; }, std::forward<C>(c));
}template <typename P, typename C>
tf::Future<void> Executor::run_until(Taskflow&& f, P&& pred, C&& c) {std::list<Taskflow>::iterator itr;{std::scoped_lock<std::mutex> lock(_taskflows_mutex);itr = _taskflows.emplace(_taskflows.end(), std::move(f));itr->_satellite = itr;}return run_until(*itr, std::forward<P>(pred), std::forward<C>(c));
}

TODO: 这里还有很多没看的,先写到这里,有空继续补充。。。

用到C++功能

这个代码库使用了大量的modern C++的特性,下面列举一些:

  • std::forward
  • std::future
  • std::function
  • lamda表达式
  • 模版元编程
  • std::atomic
  • std::decay_t
  • std::is_void_v
  • std::monostate
  • std::tuple
  • std::make_tuple
  • std::get
  • std::array
  • std::index_sequence
  • std::memory_order_relaxed
  • std::is_invocable_v
  • std::add_lvalue_reference_t
  • std::find_if
  • std::find_if_not
  • std::distance
  • std::next
  • std::min_element
  • std::advance
  • std::lock_guard
  • std::mutex
  • std::invoke
  • std::enable_if_t
  • std::memcmp

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/433951.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C++中的STL】函数对象

函数对象 函数对象概念谓词概念 内建函数对象算术仿函数关系仿函数逻辑仿函数&#xff08;基本用不到&#xff09; 函数对象概念 重载函数调用操作符的类&#xff0c;其对象常称为函数对象&#xff0c;函数对象使用重载的()时。行为类似函数调用&#xff0c;也叫仿函数。 函数…

java/node代码 破解“滑动验证码”的移动距离

1.直接上代码结论 import javax.imageio.ImageIO; import java.awt.*; import java.awt.image.BufferedImage; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.URL;p…

svg 属性详解:填充与边框

svg 属性详解&#xff1a;填充与边框 1 颜色和透明度2 填充规则 fill-rule3 边框样式3.1 stroke-width3.2 stroke-linecap3.3 stroke-linejoin3.4 stroke-dasharray 1 颜色和透明度 图像都有颜色&#xff0c;svg 中可以使用属性 fill 和 stroke 来修改图形的颜色。fill 属性设置…

【RSA加密算法进行数字签名并验签--C++】

RSA加密算法进行数字签名并验签--C 前言RSA加密算法什么是RSA加密算法公钥加密私钥解密or私钥加密公钥解密&#xff1f;公钥加密&#xff0c;私钥解密&#xff08;常见用法&#xff09;&#xff1a;私钥加密&#xff0c;公钥解密&#xff08;较少用法&#xff0c;本次使用&…

自动驾驶的决策层逻辑

作者 / 阿宝 编辑 / 阿宝 出品 / 阿宝1990 自动驾驶意味着决策责任方的转移 我国2020至2025年将会是向高级自动驾驶跨越的关键5年。自动驾驶等级提高意味着对驾驶员参与度的需求降低&#xff0c;以L3级别为界&#xff0c;低级别自动驾驶环境监测主体和决策责任方仍保留于驾驶…

两个近期的计算机领域国际学术会议(软件工程、计算机安全):欢迎投稿

近期&#xff0c;受邀担任两个国际学术会议的Special session共同主席及程序委员会成员&#xff08;TPC member&#xff09;&#xff0c;欢迎广大学界同行踊跃投稿&#xff0c;分享最新研究成果。期待这个夏天能够在夏威夷檀香山或者加利福尼亚圣荷西与各位学者深入交流。 SERA…

专业120+总分400+海南大学838信号与系统考研高分经验海大电子信息与通信

今年专业838信号与系统120&#xff0c;总分400&#xff0c;顺利上岸海南大学&#xff0c;这一年的复习起起伏伏&#xff0c;但是最后还是坚持下来的&#xff0c;吃过的苦都是值得&#xff0c;总结一下自己的复习经历&#xff0c;希望对大家复习有帮助。首先我想先强调一下专业课…

Github 2024-01-27 开源项目日报 Top10

根据Github Trendings的统计&#xff0c;今日(2024-01-27统计)共有10个项目上榜。根据开发语言中项目的数量&#xff0c;汇总情况如下&#xff1a; 开发语言项目数量Python项目3Jupyter Notebook项目2非开发语言项目2JavaScript项目1Go项目1Rust项目1Shell项目1 Papers We Lo…

【学网攻】 第(9)节 -- 路由器使用以及原理

系列文章目录 目录 系列文章目录 文章目录 前言 一、路由器是什么&#xff1f; 二、实验 1.引入 总结 文章目录 【学网攻】 第(1)节 -- 认识网络【学网攻】 第(2)节 -- 交换机认识及使用【学网攻】 第(3)节 -- 交换机配置聚合端口【学网攻】 第(4)节 -- 交换机划分Vlan…

精品基于Uniapp+springboot助农管理系统App农产品积分购物商城

《[含文档PPT源码等]精品基于Uniappspringboot助农管理系统App》该项目含有源码、文档、PPT、配套开发软件、软件安装教程、项目发布教程、包运行成功&#xff01; 软件开发环境及开发工具&#xff1a; 开发语言&#xff1a;Java 后台框架&#xff1a;springboot、ssm 安卓…

鸿蒙HarmonyOS获取GPS精确位置信息

参考官方文档 #1.初始化时获取经纬度信息 aboutToAppear() {this.getLocation() } async getLocation () {try {const result await geoLocationManager.getCurrentLocation()AlertDialog.show({message: JSON.stringify(result)})}catch (error) {AlertDialog.show({message…

开源直播电商系统的实现方式(仿抖音电商模式)

当下&#xff0c;传统的图文电商模式正在走向没落&#xff0c;以“抖音”为首的直播电商模式备受用户追捧&#xff0c;它具有直观与互动的特点&#xff0c;拥有传统电商所不具备的优势。而且&#xff0c;当前正是直播电商的红利期&#xff0c;很多主播和品牌商都通过直播电商业…