Microsoft Mixed Reality & AI Lab - Zurich 苏黎世混合现实研发中心简介
微软苏黎世混合现实与人工智能实验室概况
专注于利用计算机视觉绘制和理解环境,识别和跟踪相关物体,并帮助用户执行任务,构建混合现实的未来。该实验室还在探索混合现实和机器人之间的协同作用。该实验室的负责人Marc Pollefeys是微软的合作科学总监,也是苏黎世联邦理工学院的计算机科学教授。
他最出名的是在3D计算机视觉方面的工作,他是第一个开发自动将照片转换为3D模型的软件管道的人,但也致力于机器人、图形和机器学习问题。
在此实验室的里,微软和欧洲大陆顶级技术学校苏黎世联邦理工学院建立了战略合作伙伴关系,允许在混合现实和人工智能的多个领域进行密切合作。该实验室正在与EPFL和INRIA等其他顶级机构进一步合作。该实验室目前正在招聘计算机视觉、图形、机器学习、机器人、交互和软件工程领域的世界级、多样化的专业知识。
主要研究领域
智能 | 系统 | 理论 | 其他研究领域 |
人工智能 | 数据平台和分析 | 算法 | 电子生态和环境 |
视频与声学 | 硬件与设施 | 数学 | 经济学 |
计算机视觉 | 编程语言和软件工程 | 医疗、健康和基因学 | |
图形和多媒体 | 量子计算 | 社会科学 | |
人机互动 | 安全、隐私和密码学 | 新兴市场技术 | |
人类语言技术 | 系统与网络 | ||
搜索和信息检索 |
联合研发项目
微软混合现实与人工智能实验室、EPFL和苏黎世联邦理工学院承担的研究项目是一项合作研究,旨在应对人工智能相关领域的研究挑战。这些项目是通过2008年成立的微软-瑞士联合研究中心承担的。
2022-2023年项目
1. École Polytechnique Fédérale de Lausanne | EPFL智能厨房:面向神经系统患者的家庭功能评估平台
2. 苏黎世联邦理工学院|混合现实的人机协同运动规划
3. 苏黎世联邦理工学院|高保真MR Me:个性化神经动画化身的轻量级捕获和逼真度差分渲染
4. 苏黎世联邦理工学院|共享自治的混合现实
5. École Polytechnique Fédérale de Lausanne |接触增强现实
6. 苏黎世联邦理工学院|通过沉浸式混合现实远程操作的熟练辅助护理机器人
7. 苏黎世联邦理工学院|根据最终用户数据进行终身映射的模块化方法
主要工作人员
团队成员主要包括五种类型
1. 科学家
2. 项目经理
3. 工程师
4. 访问学者
5. 实习生
正在进行中项目
随着机器人在我们的家庭和工作场所变得越来越普遍,人类需要一种直观地与它们互动的方式:在不需要特殊训练的情况下控制它们,可视化和理解它们的意图,并利用它们产生的空间数据。混合现实设备(HoloLens和支持AR的移动设备)正在解决与移动机器人相同的定位和映射问题。为了发挥作用,他们需要了解周围的空间,知道自己在环境中的位置。我们在这一领域的研究工作重点是开发更好地将机器人和人类定位在一起的方法,以及利用空间智能和混合现实设备的传感能力实现更容易、更安全、更有效的人机交互的方法。
学生如何申请来苏黎世实习
在苏黎世的混合现实与人工智能实验室,这是前所未有的激动人心的时刻!我们的团队正在构建混合现实的未来。我们热衷于使用计算机视觉绘制和了解环境,识别和跟踪相关物体,并帮助用户执行手头的任务。我们继续推进计算机视觉、人工智能、机器人、人类理解和深度学习的最新技术。我们所做的一切都受到人工智能系统负责任开发的基本精神的启发,这反过来要求采用包容性的设计方法,让每个人都能做得更多。作为一名实习生,你将有机会为我们团队塑造世界的努力做出真正的贡献。
我们正在为苏黎世的混合现实与人工智能实验室寻找计算机视觉、机器学习和机器人(广义)的研究实习生。作为一名实习生,你将与一名或多名导师合作,并使用我们正在开发的尖端硬件和软件技术。在微软实习不仅能提升你的职业生涯,还能让你参与该领域令人兴奋的研究突破。实习生与世界顶尖的研究人员和工程师一起工作、学习并建立终身网络。
所需资质
1. 目前必须参加计算机视觉、深度学习、机器人、机器学习、人工智能或相关领域的博士课程。
首选资格
2. 理想的候选人应具备以下一项或多项资格:
1)在以下任一领域具有至少一年研究经验的学生:
2)具有开放词汇、大型语言模型(LLM)等的3D场景推理。。。
3)SLAM、运动结构、相机定位、图像特征、多视图立体、表面重建
4)具有混合现实、多模式机器人映射的人机交互
5)人体建模、跟踪、动作和视频理解、人体运动分析
6)深度生成建模和深度学习架构
7)神经渲染和计算机图形
8)算法解决问题和软件开发技能(C++、Python、C#等)。
9)具有PyTorch、Tensorflow、ROS、OpenCV等开源工具的经验。
10)熟悉开源3D库,如COLMAP、Open3D、Theia、Maplab等。
11)在相关领域的顶级会议或期刊上发表(如CVPR、ECCV、ICCV、IJCV、PAMI、ICRA、 IROS、RSS、IJRR、TRO、NeurIPS、ICML等)。
12)出色的沟通和写作能力。
实习生工作职责
实习生将他们的研究技能和知识应用到实践中。在为期12周的实习中,你将致力于一个刺激性的、开放式的项目,旨在提升前沿技术。你将被要求与其他实习生和研究人员合作,经常与团队交换想法和结果,主动寻求他人的反馈,在共同的代码库中工作,并进行最后的演讲。研究实习在所有领域都有,而且全年都有,尽管通常在夏天开始