【iOS ARKit】人脸追踪之挂载虚拟元素

        人脸跟踪（Face Tracking）是指将人脸检测扩展到视频序列，跟踪同一张人脸在视频序列中的位置。是论上讲，任何出现在视频中的人险都可以被跟踪，也即是说，在连续视频帧中检测到的人脸可以被识别为同一个人。人脸跟踪不是人脸识别的一种形式，它是根据视频序列中人脸的位置和运动推断不同视频帧中的人脸是否同一人的技术。

  • 挂载虚拟元素

      在iOS Realitykit 中，在检测到的人脸面部挂载虚拟元素的实现方式有两种：一种是通过遵循ARSesionDelegate 协议，执行 session（_ session: ARSession, didAdd anchors: LARAnchor」）方法，在获取的ARPaceAnchor 上挂载虚拟元素；另一种是与 Reality Composer结合使用。在使用第一种方式时，可以利用 ARFaceAnchor 初始化一个 AnchorEntity 类型实例，这样，ARFaceAnehor的姿态信息就可以直接被使用，典型的使用代码如下：

  public func session(_ session: ARSession, didAdd anchors: [ARAnchor]){guard let pAnchor = anchors[0] as? ARObjectAnchor else {return}let objectName =  pAnchor.referenceObject.name == "jinhua" ? "toy_drummer" : "toy_robot_vintage"DispatchQueue.main.async {do{let myModeEntity = try Entity.load(named: objectName)let objectEntity = AnchorEntity(anchor: pAnchor)objectEntity.addChild(myModeEntity)myModeEntity.playAnimation(myModeEntity.availableAnimations[0].repeat())self.arView?.scene.addAnchor(objectEntity)} catch {print("加载失败")}}}

      在检测到的人脸上挂载虚拟元素使用 RealityKit 与Reality Composer 结合的方式更方便直观，特别是需要在很多虚拟元素之间进行切换时，可以大大简化代码逻辑。使用第二种方式的操作步骤如下：

 （1） 打开 Reality Composer，并创建一个锚定到人脸的工程（Reality Composer 具体操作参阅第10章），如图5-5所示。

 （2）导入需要挂载的 USDZ 或者 Reality 模型文件并调整到参考人脸理想的位置，然后给场景命名（命名时建议使用英文字母或者英文字母与数字组合，方便在RealityKit 中调用），如图5-6所示。

（3）在Reality Composer 菜单中依次选择“文件”—“保存”（或者使用快捷键 Command＋S）保存工程为FaceMask. rcproject 文件（工程名根据需要自行命名）。

（4）使用 RealityKit 加载工程文件到内存，直接获取工程文件中的锚点信息并将其作为 ARAnchor 添加到 ARVeiw.scene 场景中即可。这里需要注意的是，ARKit会在检测到人脸后自动在指定的位置挂载虚拟元素，但 ARKit 并不会自动运行人脸检测的 ARSession，因此，需要手动运行人脸检测的 ARSession 以开启人脸检测功能，典型代码如代码下：

struct FaceMaskContainer : UIViewRepresentable{func makeUIView(context: Context) -> ARView {let arView = ARView(frame: .zero)return arView}func updateUIView(_ uiView: ARView, context: Context) {guard ARFaceTrackingConfiguration.isSupported else {return}let config = ARFaceTrackingConfiguration()config.isWorldTrackingEnabled = falseconfig.providesAudioData = falseconfig.maximumNumberOfTrackedFaces =  1config.isLightEstimationEnabled = true
//        uiView.session = context.coordinatorif let faceAnchor = try? FaceMask.loadGlass1() {uiView.scene.addAnchor(faceAnchor)}uiView.session.run(config,options: [.resetTracking, .removeExistingAnchors])context.coordinator.arView = uiViewlet gesture = UISwipeGestureRecognizer()gesture.direction = [.left,.right]gesture.addTarget(context.coordinator, action: #selector(context.coordinator.changeGlass(gesture:)))uiView.addGestureRecognizer(gesture)}func makeCoordinator() -> FaceMaskContainerCoordinator {FaceMaskContainerCoordinator()}class FaceMaskContainerCoordinator: NSObject {var arView :ARView?var faceMaskCount = 0let numberOfMasks = 5@MainActor @objc func changeGlass(gesture: UISwipeGestureRecognizer){guard let arView = arView else {return}let jian = gesture.direction == .leftjian ?  (faceMaskCount -= 1) : (faceMaskCount += 1)if faceMaskCount < 0 {faceMaskCount = 5}faceMaskCount %= numberOfMasksswitch faceMaskCount {case 0:if let g = try? FaceMask.loadGlass2(){arView.scene.anchors.removeAll()arView.scene.addAnchor(g)}case 1:if let g = try? FaceMask.loadIndian() {arView.scene.anchors.removeAll()arView.scene.addAnchor(g)}case 2:if let g = try? FaceMask.loadRabbit() {arView.scene.anchors.removeAll()arView.scene.addAnchor(g)}case 3:if let g = try? FaceMask.loadHelicopterPilot() {arView.scene.anchors.removeAll()arView.scene.addAnchor(g)}case 4:if let g = try? FaceMask.loadGlass1() {arView.scene.anchors.removeAll()arView.scene.addAnchor(g)}default:break}}}}
struct  FaceCheckingContainer: UIViewRepresentable {@Binding var faceMetre: Boolfunc makeUIView(context: Context) -> ARSCNView {let arView = ARSCNView(frame: .zero)return arView}func updateUIView(_ uiView: ARSCNView, context: Context) {guard ARFaceTrackingConfiguration.isSupported else {return}if faceMetre {}let config = ARFaceTrackingConfiguration()config.isWorldTrackingEnabled = falseconfig.providesAudioData = falseconfig.maximumNumberOfTrackedFaces =  1config.isLightEstimationEnabled = trueuiView.delegate = context.coordinatoruiView.session.run(config,options: [.resetTracking, .removeExistingAnchors])}func makeCoordinator() -> FaceCheckingContainerCoordinator {FaceCheckingContainerCoordinator(self)}class FaceCheckingContainerCoordinator: NSObject, ARSessionDelegate,ARSCNViewDelegate {var parent : FaceCheckingContainerinit(_ parent: FaceCheckingContainer) {self.parent = parent}func renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) -> SCNNode? {guard  let device = renderer.device  else {return nil}let faceGeometry = ARSCNFaceGeometry(device: device)let node = SCNNode(geometry: faceGeometry)if parent.faceMetre {//显示图片面具let matrial = node.geometry?.firstMaterialmatrial?.diffuse.contents =  "face.scnassets/face.png"node.geometry?.firstMaterial?.fillMode = .fill}else {//显示网格node.geometry?.firstMaterial?.fillMode = .lines}return node}func renderer(_ renderer: SCNSceneRenderer, didUpdate node: SCNNode, for anchor: ARAnchor) {guard let faceanchor = anchor as? ARFaceAnchor,let facegeometry = node.geometry as? ARSCNFaceGeometry else {return}facegeometry.update(from: faceanchor.geometry)}}}

   在代码中，首先检查设备对人脸检测的支持情况，在设备支持时运行人脸检测配置开启测功能，然后加载由 Reality Composer 配置好的虚拟模型。本示例我们在 Reality Composer 中创建场景，每一个场景使用了一个虚拟元素，为方便切换不同的虚拟元素，我们使用了滑动手势控制场实现的效果如下图所示。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/438342.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据结构——用Java实现二分搜索树

数据结构——用Java实现二分搜索树

目录 一、树 二、二分搜索树 1.二叉树 2.二分搜索树 三、代码实现 1.树的构建 2.获取树中结点的个数 3.添加元素 4.查找元素 &#xff08;1&#xff09;查找元素是否存在 &#xff08;2&#xff09;查找最小元素 &#xff08;3&#xff09;查找最大元素 5.二分搜索…
阅读更多...
使用程序设计流程图解析并建立神经网络(不依赖深度学习library）

使用程序设计流程图解析并建立神经网络(不依赖深度学习library）

介绍&#xff1a; ## Flow chart for a simple neural network: #(1)Take inputs 输入 #(2)Add bias (if required) #(3)Assign random weights to input features 随机一个权重 #(4)Run the code for training. 训练集训练 #(5)Find the error in prediction. 找预测损失 #(6…
阅读更多...
Linux实验记录：使用RAID（独立冗余磁盘阵列）

Linux实验记录：使用RAID（独立冗余磁盘阵列）

前言&#xff1a; 本文是一篇关于Linux系统初学者的实验记录。 参考书籍&#xff1a;《Linux就该这么学》 实验环境&#xff1a; VmwareWorkStation 17——虚拟机软件 RedHatEnterpriseLinux[RHEL]8——红帽操作系统 目录 前言&#xff1a; 备注&#xff1a; 部署磁盘阵…
阅读更多...
模拟退火算法（Simulated Annealing, SA）

模拟退火算法（Simulated Annealing, SA）

一、简介 模拟退火算法来源于固体退火原理&#xff0c;是一种基于概率的算法。将固体加温至充分高的温度&#xff0c;再让其徐徐冷却&#xff0c;加温时&#xff0c;固体内部粒子随温升变为无序状&#xff0c;内能增大&#xff0c;分子和原子越不稳定。而徐徐冷却时粒子渐趋有…
阅读更多...
幻兽帕鲁Linux私服搭建备份迁移指南

幻兽帕鲁Linux私服搭建备份迁移指南

幻兽帕鲁Linux私服搭建指南 文档参考 &#xff01;&#xff01;&#xff01;说明&#xff1a;不只是幻兽帕鲁&#xff0c;后续大家想自己搭私服玩别的Steam游戏&#xff0c;大部分内容都可以做一个参考 Linux安装steamcmd Linux开服步骤 游戏配置修改 Youtobe视频教程 配…
阅读更多...
阿里十年 “帕鲁” 手把手带你学习 CompletableFuture

阿里十年 “帕鲁” 手把手带你学习 CompletableFuture

阿里十年 “帕鲁” 手把手带你学习 CompletableFuture 文章目录 阿里十年 “帕鲁” 手把手带你学习 CompletableFutureFuture 介绍CompletableFuture 介绍CompletableFuture 常见操作创建 CompletableFuturenew 关键字静态工厂方法 处理异步结算的结果异常处理组合 Completable…
阅读更多...
Kafka（九）跨集群数据镜像

Kafka（九）跨集群数据镜像

目录 1 跨集群镜像的应用场景1.1 区域集群和中心集群1.2 高可用(HA)和灾备(DR)1.3 监管与合规1.4 云迁移1.5 聚合边缘集群的数据 2 多集群架构2.1 星型架构2.2 双活架构2.2 主备架构2.2.1 如何实现Kafka集群的故障转移2.2.1.1 故障转移包括的内容1. 灾难恢复计划2. 非计划内的故…
阅读更多...
遗传算法优化最大化效应的某些需求点可不配送的vrptw问题

遗传算法优化最大化效应的某些需求点可不配送的vrptw问题

标题&#xff1a;遗传算法优化最大化效应的某些需求点可不配送的vrptw问题 摘要&#xff1a; 在可不配送的车辆路径配送问题&#xff08;VRPTW&#xff09;中&#xff0c;我们面临着优化路径规划以最大化效用的挑战。本文提出了一种基于遗传算法的方法&#xff0c;旨在解决具…
阅读更多...
信创发展之路

信创发展之路

1、什么是信创 信创&#xff0c;即信息技术应用创新&#xff0c;以前也被称为“安可“&#xff08;安全可控&#xff09; 1.1、基本概念 信创产业主要包括四大领域&#xff1a; 基础设施&#xff0c;包括芯片&#xff08;CPU、GPU等&#xff09;、存储、服务器、云计算等&…
阅读更多...
排序（2）——选择排序

排序（2）——选择排序

三、选择排序 1.简介 选择排序主要采取的排序策略就是选择&#xff0c;在拿到待排序数组后&#xff0c;程序会一遍遍地遍历未排序部分数组&#xff0c;在每一次的遍历过程中会找到最小的元素&#xff0c;并在遍历完成后换到未排序数组部分的最左侧。如此循环往复&#xff0c;每…
阅读更多...
Linux网络编程——网络初识

Linux网络编程——网络初识

文章目录 1. 网络协议初识1.1 为什么要有网络协议1.2 协议分层 2. OSI七层模型3. TCP/IP五层&#xff08;或四层&#xff09;模型4. 网络传输基本流程5. 以太网通信 1. 网络协议初识 1.1 为什么要有网络协议 早期计算机是独立的&#xff0c;如果要进行数据交互&#xff0c;就…
阅读更多...
【Shell实战案例面试题】输入网卡的名字，来输出网卡的IP

【Shell实战案例面试题】输入网卡的名字，来输出网卡的IP

1.问题 参数后判断要加"" 名字为空时显示ip 2.分析 把本机的所有网卡名列出来&#xff0c;来引导用户输入 使用命令列出所有网卡信:ifconfig/ip a 设计一个函数&#xff0c;把网卡名作为参数&#xff0c;函数返回网卡的IP 在获取某个网卡IP时&#xff0c;考虑网…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023