请选择 进入手机版 | 继续访问电脑版

搜索
查看: 9009|回复: 0

迄今为止最全的HoloLens 2技术揭秘(下)

[复制链接]

17

主题

17

帖子

63

积分

注册会员

Rank: 2

积分
63
发表于 2020-4-8 15:35:40 | 显示全部楼层 |阅读模式
图多、有视频,流量预警。
上半篇讲光学器件,链接地址:王知:迄今为止最全的HoloLens 2技术揭秘(上)
电子部件

深度感知

普通照片没有深度信息
普通照片是二维的,很难分辨出照片里物体的远近。Kinect得到的画面含有深度信息。
HL2深度地图
没有深度感应器,那HoloLens就仅仅是一个头戴显示器。有了Kinect,HoloLens才有了感知外部世界的能力。通过第二代HPU内置的神经网络,HoloLens 2不光能构建深度地图,还能智能识别物体,这是一扇窗,这是一把椅子,椅子上坐着一个人。
Xbox 360上的第一代Kinect,用的是结构光技术。Xbox One上的第二代Kinect,微软抛弃了结构光,改用TOF(time of flight)技术,并不断改进,一直到HoloLens 2。下图为HoloLens上的第三代Kinect与HoloLens 2上的第四代Kinect效果对比,进步明显。


手势追踪

第四代Kinect,注意右端两个发射器的角度
Kinect有两个信号发生器,一个正对前方用于深度感应;另一个向下倾斜,其精度更高,帧率也更高,用来追踪手势。
为了减少电量消耗,HoloLens 2上有两个神经网络来识别手势。一个神经网络是时刻运行,负责粗度判断。只有通过了初步检验,才会打开第二个神经网络来精确识别手势。


https://www.zhihu.com/video/1193984433072603136
这是微软内部手势识别机器学习软件。从视频看到,双手都能识别,精度很高。一代只能识别两种手势,特别是鹤嘴式识别成功率低,破坏了用户操作体验。HoloLens 2更精准的手势识别让用户能以最自然的方式进行交互。


眼球追踪

Eye tracking camera
HoloLens 2鼻梁部位有两个相机,负责虹膜识别和眼球追踪。Kipman称,虹膜识别达到了百万分之一的False accept rate以及98%的true positive rate。有了眼球追踪便能够自动测量瞳孔间距Inter-pupillary distance。瞳孔间距对双目式显示设备十分重要,错误的距离会导致画面错位或扭曲,迫使用户不停在脑海里纠正,进而导致用户强烈不适。


声音系统

第一代推出后,很多企业向微软反馈HoloLens麦克风与外发声音,无法在非常嘈杂的生产环境里使用。为了让这些潜在用户买单,微软重新打造了HoloLens 2的声音系统。
环境麦克风在上端标记1、2、3处
HoloLens 2前方上端有三个小孔,它们是收集环境音的麦克风。而收集用户语音的麦克风则隐藏在护目镜的底端,正好在用户嘴唇上端。这一设计使得既是在高达90分贝的环境里,HoloLens 2用户依然能使用语音操作。
手指处为隐藏式麦克风


HPU

有别于CPU这种通用型处理器,HPU是ASIC特殊应用集成电路。前者好比是一把菜刀,可以用来切菜、剔骨、斩肉、削苹果,什么工作都能干,但未必得心应手;后者则是一把刨丝刀,专攻一项技能。它们各司其职,CPU运行应用GPU负责渲染,HPU的工作是:
    Fully Ariticulated Hand Tracking  Spatial Audio  6DOF tracking  Hologram Stability  Eye Tracking   Surface Reconstruction, Spatial Mapping  Scene Understanding (e.g. find floors, walls, ceilings)
简单点说,HPU统领前面提到的所有组件。声频信号要交给HPU上的FFT单元,深度数据要交给HPU上的DNN单元,等等。这些原始数据只有经过HPU处理,得到有用信息,最后传递到CPU提供给具体应用。Hologram显示输出也必须先经过HPU。HPU先从6DOF得来的定位信息中预测用户头部位置,然后交给CPU;CPU和GPU渲染完成hologram后,交回给HPU;HPU再更新用户头部姿势位置,对hologram进行矫正,最后发送到light engine输出。
HPU共有13个计算单元,7个SFP(SIMD Fixed Point)单元来处理frontend processing以及2D processing,6个VFP(Victor Floating Point)单元来处理backend、3D和Geometric processing。它们各管一块,运行专门的算法。这么做看似有些浪费,其设计理念是:用更大的面积来换取更低的延迟。
HPU 1.0 v HPU 2.0
UI

第一代HoloLens只支持两种手势操作,五指张开的boom和鹤嘴式air tap,后者识别失败率高。精准的手势识别和眼球追踪技术,使得操作HoloLens 2从直观的intuitive变成本能的instinctive,在用户交互上重大跃进。


https://www.zhihu.com/video/1193984846320496640
发布会上的演示视频相信很多读者已经看过。顺便说一句,视频作演示的妹子名叫Julia Schwarz。别看她年轻得像个实习生,8年前她在微软研究院Human Computer Interface组就对Kinect骨追踪做了大量工作。在CMU读博时,Schwarz还与人共同创办了Qeexo公司,领队开发出FingerSense技术,被华为用在P8和荣耀7上面。


舒适度



佩戴舒适

第一代HoloLens部分重量由鼻梁承受。这种做法对重约十克左右的眼镜来说问题不大,而HoloLens有五百多克,使用时间稍微一长便给用户带来不适感。为了改进这一点,自然的想法是把设备重量分布开来,由整个头部承担。这么做最大的阻碍是,每个人的头颅骨不一样,如果将压力施加到错误部位,比如太阳穴处,会引起人体强烈不适。
东亚人与欧洲人头骨显著差异
Eye relief,即眼睛到镜片的距离,是另一个影响用户体验的因素。好的头戴式设备应该具备较大的Eye relief,使用户能佩戴眼镜使用AR设备。而东亚人种前额到眼睛的距离比较短,高加索人更深。
亚洲人与欧洲人差异
好在微软财大气粗,对上千人的头颅进行扫描,最终HoloLens设计能满足95%的人群。
为了改进佩戴体验,微软进行大量实验,甚至在实验对象的脖子贴上电极,来测量他们的颈部肌肉压力。第一代HoloLens重量集中在前端,重心位于人眼后12毫米。HoloLens 2则把SOC、通信天线、以及电池都挪到后面,使得重心后移60毫米,约人耳上方。


https://www.zhihu.com/video/1193984996636221440
这一系列改进,效果显著。据用过的人说,戴HoloLens 2就像戴一顶棒球帽般轻松,长时间佩戴毫无不适。


散热

第一代HoloLens最长使用时间约两小时,不是因为电池耗尽,而是散热跟不上,机身过热被迫关机。同样的,Magic Leap虽然是分体式设计,把运算单元拆开,但依然有严重的散热问题,使用十几分钟后眼镜部分就烫手。好的MR设备必须做到良好的散热。
工程师为散热花费大量心血。HoloLens 2肩部两块黑色为烟囱式散热管,
这是覆盖在Snapdragon 850上的钛合金vapor chamber.


https://www.zhihu.com/video/1193985113975816192
HoloLens 2散热设计优秀,通过红外摄像可以看到,在短短几秒内热量就均匀扩散到整个机身,而这一切都是被动散热没有风扇。


https://www.zhihu.com/video/1193985182196150272
碳纤维

HoloLens 2上诸多传感器需要联合作业,保持它们之间的距离稳定不变很重要,否则就无法保证算法结果的正确性。另一方面,各种电子元器件会发热,机身热胀冷缩之下导致各种偏差。  
微软工程师尝试了大量材料,最终确定碳纤维才是最佳选择。碳纤维的热胀系数,取决于生产工艺、编排和测量方向,可正可副。如果设计巧妙的话,通过正确的编织,能做到零热膨胀。  碳纤维坚固、重量轻、杨氏模量大、强度大,非常适合HoloLens,但是加工塑模难度大。Kipman回忆道,设计HoloLens 2时遇到种种困难,碳纤维是最难的一个。

VR兔-国内最大的VR/AR资源平台 | http://www.vr2.tv】

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册VR2账号

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册VR2账号

本版积分规则

Archiver|手机版|小黑屋|VR兔  |网站地图

GMT+8, 2021-5-16 23:30 , Processed in 0.211482 second(s), 31 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表