【C#】并行编程实战:使用并发集合

        在上一章的并行编程实现里,为了保护资源,我们对共享资源加锁(各种同步原语)来进行保护,避免多线程同时访问(主要是写入)。但一般来说,共享资源是一个可以由多个线程读写的集合,即便多线程也应该能够同时写入。因此,使用同步原语对于这种数据集合来说,就不是很合适。

        本章将学习线程安全(Thread-Safe)的集合。本章的内容还是比较简单,主要是代码示例较多。

        本教程对应学习工程:魔术师Dix / HandsOnParallelProgramming · GitCode


1、并发集合详解

        从 .NET Framework 4 开始,许多线程安全集合被添加到 .NET 库中,例如:

  • IProducerConsumerCollection<T>

  • BlockingCollection<T>

  • ConcurrentDictionary<TKey, TValue>

        这些都包含在了命名空间 System.Collections.Concurrent 之中。

System.Collections.Concurrent 命名空间 | Microsoft Learn提供多个线程安全集合类,只要多个线程同时访问集合,就应使用这些类来代替 System.Collections 和 System.Collections.Generic 命名空间中的相应类型。 但是,不保证通过扩展方法或通过显式接口实现访问集合对象是线程安全的,可能需要由调用方进行同步。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent?view=netstandard-2.1

        当使用这些结构时,不需要任何同步,并且读取和更新都将以原子方式完成。并发集合(Concurrent Collection)包装轻量级的 Slim 同步原语,在内核上的负担更轻。

1.1、IProducerConsumerCollection<T>

        顾名思义 IProducerConsumerCollection 就是生产者和消费者的集合,为通用同类对提供有效的无锁替代集合。通过继承接口以实现功能:

IProducerConsumerCollection定义供制造者/使用者用来操作线程安全集合的方法。 此接口提供一个统一的表示(为生产者/消费者集合),从而更高级别抽象如 BlockingCollection<T> 可以使用集合作为基础的存储机制。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.iproducerconsumercollection-1?view=netstandard-2.1        首先,我这里先写一个测试用例:

        public static void AddRangeItem(this IProducerConsumerCollection<CaseItem> cases){for (int i = 0; i < 10; i++){var item = new CaseItem();item.Index = i;item.Value = $"{cases.GetType().Name}_{i}";cases.TryAdd(item);}}public static void ParallelDebugCases(this IProducerConsumerCollection<CaseItem> cases){int length = cases.Count;Parallel.For(0, length, x =>{CaseItem item;if (cases.TryTake(out item))Debug.Log($"[{item.Index}] : {item.Value}");});Debug.Log("执行打印完成");}

        这里逻辑就很简单,依次添加10个CaseItem,然后并行取出打印出来。我这里直接写一个类,以不做任何并行处理的方式实现,然后直接运行查看结果:

         可以看到,打印的结果就比较诡异了,没有打印出 1 和 7 。也就是有 2 个 CaseItem 在并行过程中丢失了。如果要想在多线程中正常使用,显然是要我们自己提供线程同步的方案。

        如果我们使用传统的队列(Queue),那么就需要像这样写类似的代码:

        public bool TryTake(out CaseItem item){lock (m_LockObject){if (m_Queue.Count > 0){item = m_Queue.Dequeue();return true;}item = null;return false;}}

        我这里是直接加锁了。当然也可以使用 Monitor 的写法,或者其他同步原语。但是我们发现这样确实不方便,毕竟重复的代码很多。

        那么下面作者介绍了几个内置的类可供使用:

1.2、并发队列 ConcurrentQueue<T>

        并发队列 (ConcurrentQueue<T>) 是队列(Queue<T>)的线程安全版本,而不必自己写同步原语。

ConcurrentQueue表示线程安全的先进先出 (FIFO) 集合。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.concurrentqueue-1?view=netstandard-2.1        而且,ConcurrentQueue<T> 是已经继承了 IProducerConsumerCollection<T>:

using System.Collections.Generic;namespace System.Collections.Concurrent
{public class ConcurrentQueue<T> : IProducerConsumerCollection<T>, IEnumerable<T>, IEnumerable, ICollection, IReadOnlyCollection<T>{public ConcurrentQueue();public ConcurrentQueue(IEnumerable<T> collection);public int Count { get; }public bool IsEmpty { get; }public void Clear();public void CopyTo(T[] array, int index);public void Enqueue(T item);public IEnumerator<T> GetEnumerator();public T[] ToArray();public bool TryDequeue(out T result);public bool TryPeek(out T result);}
}

        在以下应用场景中,考虑使用并发队列:

  • 每个项目的处理时间都很短。

  • 只有一个专用生产者线程或只有一个专用消费者线程。

  • 处理速度在 500 FLOPS 或以上。

        上面是书上的说法,确实比较晦涩。这里提供一个参考文章:

C#线程 ConcurrentQueue安全队列介绍_Paddy Pan的博客-CSDN博客c#安全线程队列ConcurrentQueus介绍及方法实现原理和使用 _concurrentqueuehttps://blog.csdn.net/qq_41230604/article/details/126305068

        这个就讲得比较清楚了。例如在添加项目进队列时,不是直接Lock而是使用了一次自旋锁。总的来说,只要是高并发需求,使用 ConcurrentQueue<T> 是更优的选择。但是如果没有并发,ConcurrentQueue<T> 的性能应该是不如 Queue<T> 的。

        之前做过一个性能测试,可以看下具体差异:

【学习积累】Queue 与 ConcurrentQueue性能测试_concurrentqueue和queue的区别_魔术师Dix的博客-CSDN博客在 C# 中,关于队列(Queue)有两种,一种就是我们普通使用的队列,另一种是线程安全的队列ConcurrentQueue 。本文将对这两个队列进行一个简单的性能测试,同时讨论一种特殊情况:一个线程入队,一个线程出队时使用 Queue 的情况。_concurrentqueue和queue的区别https://blog.csdn.net/cyf649669121/article/details/130162599

        这里写一个测试用例:

        private void RunWithConcurrentQueue(){ConcurrentQueue<CaseItem> caseItems = new ConcurrentQueue<CaseItem>();caseItems.AddRangeItem();caseItems.ParallelDebugCases();}      

        执行结果如下:

         可见10次打印刚好就是 0~9 ,没有任何重复项。

1.3、并发堆栈 ConcurrentStack<T>

        ConcurrentStack<T> 是 Stack<T> 的并发版本,同样也继承了 IProducerConsumerCollection 接口。当然,与队列的区别,就是堆栈是 LIFO(后进先出),而队列是FIFO(先进先出)。同样的,并发堆栈不涉及内存锁定,靠自旋(Spinning)和比较交换(Compare-And_Swap,CAS)无锁算法来消除竞争。

ConcurrentStack表示线程安全的后进先出 (LIFO) 集合。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.concurrentstack-1?view=netstandard-2.1        这里我们用 1.2 的代码改造一下进行示例:

     private void RunWithConcurrentStack(){ConcurrentStack<CaseItem> caseItems = new ConcurrentStack<CaseItem>();caseItems.AddRangeItem();caseItems.ParallelDebugCases();}

        运行结果也是相同的:

1.4、ConcurrentBag<T>

        这个和前两个类似,但是是无序集合。

ConcurrentBag表示对象的线程安全的无序集合。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.concurrentbag-1?view=netstandard-2.1

        ConcurrentBag<T> 已针对同一线程既充当生产者又充当消费者的情况进行了优化。而且还支持工作窃取(详见 任务并行性:11、工作窃取队列)算法,为每一个线程维护一个本地队列。

        似乎比较抽象,这里写一段代码测试一下:

        private void RunWtihConcurrentBag(){ConcurrentBag<int> caseItems = new ConcurrentBag<int>();ManualResetEventSlim resetEventSlim = new ManualResetEventSlim(false);Task t1 = Task.Run(() =>{for (int i = 0; i < 5; i++){caseItems.Add(i);}resetEventSlim.Wait();int length = caseItems.Count;for (int i = 0; i < length; i++){int val;caseItems.TryTake(out val);Debug.Log($"case item : {val}");}});Task t2 = Task.Run(() =>{for (int i = 5; i < 10; i++){caseItems.Add(i);}resetEventSlim.Set();});}

        运行结果如下所示:

         可见在 Bag 内部明显分了 2 个部分,一个部分是 0~4,一部分是 5~9,也就是分别由 t1 和 t2 添加的事项。0~4 的事项总是排列在一起,但相互之间是无序的;5~9 的事项也是如此。按照书上说法,ConcurrentBag<T>为每一个线程维护了一个本地队列,都是优先完成自己线程的队列,再处理其他线程的,所以打印结果才会如上图所示。

1.5、BlockingCollection<T>

        BlockingCollection<T> 可以限制生产者线程生成的最大数目,然后生产者线程将睡眠,并进入阻塞。当消费者线程使用了项目时,生产者线程将接触阻塞;当集合被耗尽时,消费者线程将被阻塞。

BlockingCollection为实现 IProducerConsumerCollection<T> 的线程安全集合提供阻塞和限制功能。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.blockingcollection-1?view=netstandard-2.1

        综上 BlockingCollection<T> 有两个概念:

  • 限制:集合达到最大值时,不能添加任何新对象,生产者线程进入睡眠模式。

  • 阻塞:当集合为空时,可以阻塞消费者线程。

    这里写个代码来进行示例:
        //创建  BlockingCollection 并设定容量为 5,填0代表无上限private BlockingCollection<CaseItem> m_BlockingCaseItems = new BlockingCollection<CaseItem>(5);// 生产者线程private void RunWithBlockingCollectionProduce(){Task.Run(() =>{for (int i = 0; i < 10; i++){CaseItem item = new CaseItem();item.Index = i;item.Value = $"[{i}]_BlockCollection";m_BlockingCaseItems.Add(item);//如果当前容量 大于5 ,则会在这里阻塞;Debug.Log($"添加一个事项:{item.Value} / {m_BlockingCaseItems.Count}");}Debug.Log("全部添加完成 ! ");});}//消费者线程private void RunWtithBlockingCollectionConsumer(){Task.Run(async () =>{for (int i = 0; i < 5; i++){CaseItem item = m_BlockingCaseItems.Take();//如果当前容量为0,则会在在这里阻塞Debug.LogWarning($"消费一个事项:{item.Value}");await Task.Delay(1000);}Debug.LogWarning("全部消费完成 ! ");});}

        这两个方法我们有两个顺序调用,我们先调用生产者线程,再调用消费者线程,效果如下:

         可以看到,在添加了5个事项之后,达到容量上限之后不再继续添加,线程直接阻塞。当消费者线程每取出一个事项,生产者线程则解除一次阻塞并继续执行。

        现在我们反过来,先调用消费者线程,再调用生产者线程,结果如下:

         当开始调用消费者线程时,由于容量为空,所以直接阻塞了消费者线程。开始生产者线程之后,便开始唤醒并进行消费,从上图的 Log 中可以清楚地看到两个线程的相互唤醒作用。

 

2、多生产者-消费者应用场景

        这一节其实说的就是 BlockingCollection<T> 的两个语法糖:

namespace System.Collections.Concurrent
{public class BlockingCollection<T>:IEnumerable<T>, IEnumerable, IReadOnlyCollection<T>, ICollection, IDisposable{public static int AddToAny(BlockingCollection<T>[] collections, T item);public static int TakeFromAny(BlockingCollection<T>[] collections, out T item);}
}

也就是可以从一个集合中获取、添加事项。

3、ConcurrentDictionary<TKey,TValue>

        很显然了,ConcurrentDictionary<TKey,TValue> 就是用于多线程并行的字典,可以消除键的重复问题。这个字典读是无锁的,而写入是上锁的。

ConcurrentDictionary表示可由多个线程同时访问的键/值对的线程安全集合。 icon-default.png?t=N6B9https://learn.microsoft.com/zh-cn/dotnet/api/system.collections.concurrent.concurrentdictionary-2?view=netstandard-2.1        这里写个代码示例:

        private void RunWithConcurrentDictionary(){ConcurrentDictionary<int, CaseItem> dictCaseItems = new ConcurrentDictionary<int, CaseItem>();var t1 = Task.Run(() =>{Parallel.For(0, 5, i =>{CaseItem item = new CaseItem();item.Index = i;item.Value = $"T1 : {i}";dictCaseItems.AddOrUpdate(i, item, (k, v) =>{Debug.Log($"T1 冲突: {v.Value} |");return v;});});});var t2 = Task.Run(() =>{Parallel.For(4, 8, i =>{CaseItem item = new CaseItem();item.Index = i;item.Value = $"T2 : {i}";dictCaseItems.AddOrUpdate(i, item, (k, v) =>{Debug.Log($"T2 冲突: {v.Value} |");return v;});});});var t3 = Task.Run(() =>{Parallel.For(6, 10, i =>{CaseItem item = new CaseItem();item.Index = i;item.Value = $"T3 : {i}";dictCaseItems.AddOrUpdate(i, item, (k, v) =>{Debug.Log($"T3 冲突: {v.Value} |");return v;});});});Task.WaitAll(t1, t2, t3);Debug.Log("最后结果");foreach (var item in dictCaseItems.Values){Debug.Log(item.Value);}}

        执行打印结果如下:

         可以看到,我们遇到了3次写出冲突,会要求我们给一个方法进行冲突处理。可以选择保留,或者更新,或者合并,这个就看我们自己传入的方法如何处理。


4、本章小结

        本章的内容还是比较简单的,主要就是介绍了几个并发集合的用法,以及常见的注意事项。其实我发现其实 .NET 提供的集合都还是很好使用的,性能和效果上都没有啥问题,大家可以根据自己的需求,在不同使用场景中使用合适的并发集合。

本教程对应学习工程:魔术师Dix / HandsOnParallelProgramming · GitCode

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/27408.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

composer的劈坑

现在是php8盛行的天下&#xff0c;安装php8我就不多说了&#xff0c;宝塔、小出面板一大堆&#xff0c;一键安装。真心说方便。&#xff08;好吧&#xff0c;不打广告了&#xff09;&#xff0c;以下是针对 linux 系统 1、安装composer 安装composer之前&#xff0c;需要要先在…

Apache Doris (三十):Doris 数据导入(八)Spark Load 3- 导入HDFS数据

目录 1. 准备HDFS数据 2. 创建Doris表 3. 创建Spark Load导入任务 4. 查看导入任务状态 进入正文之前&#xff0c;欢迎订阅专题、对博文点赞、评论、收藏&#xff0c;关注IT贫道&#xff0c;获取高质量博客内容&#xff01; 宝子们订阅、点赞、收藏不迷路&#xff01;抓紧…

.net core 2.1 简单部署IIS运行

netcore的项目不像netFramework那么方便部署到iis还是要费点功夫的 比如我想把这个netcore2.1的项目部署到iis并运行&#xff1a; 按照步骤走&#xff1a; 一、确认自己的netcore环境 1、需要安装下面3个环境包(如果电脑已安装请忽略) 检查是否安装cmd命令&#xff1a;cmd&…

Spring @Autowired 注解原理

Spring Autowired 注解原理 1.Autowired 使用 ComponentScan("org.example.bean") public class AnnoContextDemo {Autowiredprivate User user;public static void main(String[] args) {AnnotationConfigApplicationContext context new AnnotationConfigApplic…

Sentinel流量规则模块(新增)

系统并发能力有限&#xff0c;比如系统A的QPS支持1个请求&#xff0c;如果太多请求过来&#xff0c;那么系统A就应该进行流量控制了&#xff0c;比如其他请求直接拒绝 新增流控规则介绍:新增流控规则窗口 1.资源名&#xff1a;默认请求路径。 2.针对来源&#xff1a;Se…

四维轻云地理空间数据在线协作管理平台为测绘行业用户解决了这些难题

测绘作为一个基础性行业&#xff0c;从大比例的地形图到铁路网、公路网的分布&#xff0c;再到互联网地图&#xff0c;测绘的身影随处可见。随着科技的不断发展与进步&#xff0c;无人机也成为测绘行业的一部分。通过无人机测绘技术能够获取高精度的影像数据并生成三维模型和点…

自监督语义分割面模型——Masked Autoencoders Are Scalable Vision Learners(MAE)论文阅读

1、摘要 This paper shows that masked autoencoders (MAE) are scalable self-supervised learners for computer vision. Our MAE approach is simple: we mask random patches of the input image and reconstruct the missing pixels. It is based on two core designs. F…

【动手学深度学习】pytorch-参数管理

pytorch-参数管理 概述 我们的目标是找到使损失函数最小化的模型参数值。 经过训练后&#xff0c;我们将需要使用这些参数来做出未来的预测。 此外&#xff0c;有时我们希望提取参数&#xff0c;以便在其他环境中复用它们&#xff0c; 将模型保存下来&#xff0c;以便它可以在…

Spark(26):Spark通讯架构

目录 0. 相关文章链接 1. Spark通信架构概述 2. Spark 通讯架构解析 0. 相关文章链接 Spark文章汇总 1. Spark通信架构概述 Spark 中通信框架的发展&#xff1a; Spark 早期版本中采用 Akka 作为内部通信部件。Spark1.3 中引入 Netty 通信框架&#xff0c;为了解决 Shuf…

今天实习第三天,vue(vue-cli部分,webpack部分,vue-router部分,elementUI部分)

01.创建第一个vue-cli。这里用的是node.js。早上的时候&#xff0c;就需要把node.js安装上去 02.node.js安装 第一步.去官网下载node.js https://nodejs.org/en 第二步.运行官网下载的node.js的msi文件&#xff08;记住所有的node.js文件的安装包都是msi文件的形式&#xff0…

qt和vue交互

1、首先在vue项目中引入qwebchannel /******************************************************************************** Copyright (C) 2016 The Qt Company Ltd.** Copyright (C) 2016 Klarlvdalens Datakonsult AB, a KDAB Group company, infokdab.com, author Milian …

APP加固:助力移动应用安全合规

近日&#xff0c;工业和信息化部发布了2023年第2批侵害用户权益行为的App&#xff08;SDK&#xff09;名单&#xff0c;55款App因涉及强制、频繁、过度索取权限等问题而被通报。这一举措进一步凸显了合规对于APP发展的重要性。 根据工业和信息化部的通报&#xff0c;被通报的这…