Kinect是美国微软公司于2010年11月4日推出的XBOX360游戏机体感周边外设的正式名称,起初名为Natal,意味初生。它实际上是一种3D体感摄影机,利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让玩家摆脱传统游戏手柄的束缚,通过自己的肢体控制游戏,并且实现与互联网玩家互动,分享图片、影音信息。
Light Coding技术。
Light Coding技术理论是利用连续光(近红外线)对测量空间进行编码,经感应器读取编码的光线,交由晶片运算进行解码后,产生成一张具有深度的图像。 Light Coding技术的关键是Laser Speckle雷射光散斑,当雷射光照射到粗糙物体、或是穿透毛玻璃后,会形成随机的反射斑点,称之为散斑。散斑具有高度随机性,也会随着距离而变换图案,空间中任何两处的散斑都会是不同的图案,等于是将整个空间加上了标记,所以任何物体进入该空间、以及移动时,都可确切纪录物体的位置。Light Coding发出雷射光对测量空间进行编码,就是指产生散斑。
Kinect就是以红外线发出人眼看不见的class 1雷射光,透过镜头前的diffuser(光栅、扩散片)将雷射光均匀分布投射在测量空间中,再透过红外线摄影机记录下空间中的每个散斑,撷取原始资料后,再透过晶片计算成具有3D深度的图像。
PrimeSence公司用的Light Coding技术,说穿了与微软先前买下3DV公司所使用的TOF技术根本就毫不相关,只是产生的结果类似。这点更加印证了微软收购3DV Systems,只是为了动作感测相关的专利权、取得地位。
由于微软并没有买断PrimeSense公司的技术,因此PrimeSensor装置未来也有可能出现在电视、电脑 等消费性产品上,例如CyberLink讯连科技也与PrimsSense合作开发3D互动体验介面(来源:PrimeSense)。面对将来有可能出现同质性产品,微软则是强调Kinect的追焦旋转功能是他们的专利,这点别人不能模仿。
PrimeSence公司展示应用Light Coding技术的体感侦测系统。该技术并未被微软买断,未来将有机会应用在其他装置上。
另一关键:骨架追踪系统
了解Kinect如何获得影像后,接下来就是进行辨识的工作。透过Light Coding技术所获得的只是基本的影像资料,重点还是要辨识影像,转换为动作指令。据说Prime Sense公司并没有提供辨识技术,所以辨识部份得靠微软自己搞定。
微软会将侦测到的3D深度图像,转换到骨架追踪系统。该系统最多可同时侦测到6个人,包含同时辨识2个人的动作;每个人共可记录20组细节,包含躯干、四肢以及手指等都是追踪的范围,达成全身体感操作。为了看懂使用者的动作,微软也用上机器学习技术(machine learning),建立出庞大的图像资料库,形成智慧辨识能力,尽可能理解使用者的肢体动作所代表的涵义。
Kinect侦测的距离为1.2公尺到3.5公尺间,水平视野则是57度,侦测范围似乎比原本想像的还要小,看来还是不能站的太随意;Kinec也配备了追焦系统,如果玩家超出影像范围,底座马达可驱动Kinect左右旋转27度。整体看来Kinect对操作空间的限制,似乎比其他体感装置更严格些。
Kinect一次可追踪2人的动态,每人能追踪高达 20组细节。
Kinect的首次亮相是在2009年6月1日E3 2009上,当时的代号是“Projet Natal”意为初生,遵循微软以城市名作为开发代号的传统,“Projet Natal”是由来自巴西的微软董事Alex Kipman以巴西城市Natal, Rio Grande do Norte命名。Natal在英语中还有初生的含义,这也是微软给予此计划对XBOX360带来新生的期望。在Kinect公布时,微软宣布有超过一千种开发工具于当日发放给游戏开发人员。
为了展示Kinect的魅力,微软在E3 09的媒体发布会上展示了3个游戏Demo,分别是Ricochet、Paint Party(颜料派对) 和 Milo & Kate。一个基于《火爆狂飙:天堂》的Kincet游戏试玩也在这个发布会上一同展示。在E3 09上Kinect的骨骼捕捉技术已经可以在30Hz的条件下同时捕捉四个人的48个骨骼动作。据业界传闻,“Paject Nata”将作重大的设计改变或者硬件升级,将同时有一个新的XBOX360主机随其一同发售,微软随即公开否认了这些报道的真实性。并且一再强调“Paject Nata”完全兼容目前市场上所有型号XBOX360主机,微软的首席执行官史蒂芬鲍威尔在一次发布会上甚至称“Paject Nata”就是新一代XBOX,当被问及下一代主机什么时候上市时,微软副总裁巴蒂尔金则宣称初生计划的发布足以使XBOX360的生命延续到2015年。(普通主机生命周期为5年)在Kincet的开发过程中,项目组成员对许多游戏进行Kincet式实验性的控制方式改变,以此来做项目可能性评估,在这些游戏其中就有《美丽的块魂》和《太空侵略者》,这些游戏在2009年9月的东京电玩展得到展示。创意总监藤角表示这些基于Kincet控制的游戏涉及到游戏代码的重大改变,因而现有游戏将不可能通过软件更新而改变控制方式。
尽管Kincet传感器单元原计划包含一个微处理器用来处理系统的影像捕捉操作部分。但是到了2010年1月,这个独立的处理器被取消,XBOX360的一个氙气CPU将负责这部分数据的处理。Kincet系统在运行时将占据XBOX360大约10%-15%的CPU资源,业界评论家称如此数量的CPU能耗增加将使得目前的游戏更加不可能通过软件更新的方式来增加Kincet功能。Kincet的焦点更多的应放在开发商如何充分利用这个硬件上。
3月25日,微软宣布将在E3 2010期间召开名为“初生计划全球首秀”的发布会上公布Kincet的发售日期。这个发布会于2010年6月13日晚在Galen Center举行,在会上微软宣布“Poject Natal"正式命名为Kincet,取意为“kinetic”(运动)和“connect”(沟通)的融合。微软在这次发布会上同时宣布,Kincet将于2010年11月4日在北美正式发售。
Kinect可以准确的判断玩家诸如3D定位、速度和方向等因素,但是在处理上会略有延迟。Kinect并不是一个一对一的体感设备,尽管对于核心玩家和技术爱好者而言Kinect还存在一些明显的问题,Kinect是为了那些休闲游戏玩家和低年龄玩家所设计,它更适合家庭、年轻人以及聚会、Kinect及其游戏会造成一场不小的Kinect效应。
优点
但是这并不是说传统游戏玩家就找不到和Kinect的契合点,实际上Kinect带来了一些体感运动之外很酷的形式,例如体感菜单导航、语音指令识别、远程视频会议和我们提到过的视觉识别系统。
体感菜单
Kinect另一个迷人的因素就是他炫目的未来科技表现。挥挥手臂就可以切换菜单,通过语音控制菜单,这一切看起来科幻无比,Kinect允许玩家通过简单的挥手来进行体感操作瞬间到达在360系统界面一个特别设计的Kinect 中心。
在这个Kinect中心里玩家可以通过动作控制菜单,例如将手从右往左挥动可以浏览内容,而将手保持在某处不动可以访问自己感兴趣的内容。
语音指令
语音指令更加简单,你只需要说出单词"XBOX",然后你就可以说出你想要做的项目就可以了,语音指令在媒体库中同样有效,例如暂停播放等指令十分方便,爱丢手柄遥控器的人一定十分喜欢这一设定。
语音指令的一个遗憾就是不限制进行此项操作的玩家人数,所以任何在房间内的其他人都可以打断你的操作,如果玩家们有不同意见会是一个问题。
视频会议
Kinect另一件有趣的特点就是视频会议,微软称之为“Video Kinect”用户可以通过此项功能和XBOX Live上其他Kinect用户甚至MSN用户进行视频会议(聊天)。利用Kincet的自动倾斜功能,在视频过程中,摄像头会自动捕捉并跟随玩家的位置,即使你在四处走动。
视觉识别
另外在这里要重复的一点是,视觉识别功能无疑是Kinect的功能之一,当玩家出现在Kinect面前时自动识别并登入设定档虽然看起来没什么特别,实际上识别过程很快,尽管Kinect ID设置复杂,但是一旦弄妥方便之极。
Kinect在未来也会有无穷潜力,更高分辨率的摄像头,独立的处理数据以减少延迟的处理器芯片都是可以在将来做到的。
在软件方面,游戏类别和和应用还很单薄,但随着时间的推移,这一状况将得到改善。例如利用Kinect的语音指令功能玩家可以和RPG中的角色展开互动,Kinect可以很轻易地从家庭聚会游戏类型扩大到传统游戏中。
Kinect传感器
Kinect骨架追踪处理流程的核心是一个无论周围环境的光照条件如何,都可以让Kinect感知世界的CMOS红外传感器。该传感器通过黑白光谱的方式来感知环境:纯黑代表无穷远,纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点,并形成一幅代表周围环境的景深图像。传感器以每秒30帧的速度生成景深图像流,实时3D地再现周围环境。如果你玩过pin point impression 3D针模玩具可能更容易理解这一技术--将你的手(或者脸,如果你愿意的话)按压在这种玩具上,就可以产生你身体某一部位的简单3D模型。
寻找移动部件
Kinect需要做的下一件事是寻找图像中较可能是人体的移动物体,就像人眼下意识地聚焦在移动物体上那样。接下来,Kinect会对景深图像进行像素级评估,来辨别人体的不同部位。同时,这一过程必须以优化的预处理来缩短响应时间。
Kinect采用分割策略来将人体从背景环境中区分出来,即从噪音中提取出有用信号。Kinect可以主动追踪最多两个玩家的全身骨架,或者被动追踪最多四名玩家的形体和位置。在这一阶段,我们为每个被追踪的玩家在景深图像中创建了所谓的分割遮罩,这是一种将背景物体(比如椅子和宠物等)剔除后的景深图像。在后面的处理流程中仅仅传送分割遮罩的部分,以减轻体感计算量。
Kinect的大脑
真正的魔术在这里发生。分割化玩家图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中。随后该系统将给出了某个特定像素属于哪个身体部位的可能性。比如,一个像素有80%的几率属于脚,60%的几率属于腿,40%的几率属于胸部。看起来这时候我们就可以把几率的可能性当作结果,但这么做未免太过武断了。我们的做法是将所有的这些可能性输入到接下来的处理流程中并且等到阶段再做判断。
看了上面的介绍,你也许要问我们如何教会Kinect辨识人体部位。开发这一人工智能(被称为Exemplar(模型)系统)可不是一件轻松的事情:数以TB计的数据被输入到集群系统中来教会Kinect以像素级技术来辨认手、脚以及它看到的其他身体部位。
模型匹配:生成骨架系统
处理流程的一步是使用之前阶段输出的结果,根据追踪到的20个关节点来生成一幅骨架系统。Kinect会评估Exemplar输出的每一个可能的像素来确定关节点。通过这种方式Kinect能够基于充分的信息最准确地评估人体实际所处位置。另外我们在模型匹配阶段还做了一些附加输出滤镜来平滑输出以及处理闭塞关节等特殊事件。
骨架追踪系统的目标之一是为处理流程的各种输出提供一种菜单式的选择界面。游戏开发者可以选择任意的系统部件组合来开发各种游戏体验。比如,你可以仅仅使用分隔映射来制造一些惊人的华丽效果。
维库电子通,电子知识,一查百通!
已收录词条48243个