发展
计算机与人机交互发展
半个世纪前,美国宾夕法尼亚大学,世界上第一台电子数字计算机诞生,从此,人们进入了以计算机这种人类最高智慧的产物所代表的电子信息时代。
现在,计算机已经深深地渗透到了我们生产生活的每一个角落,深深影响了世界发展的进程和人类生活的模式。
1959年,美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发,提出了被认为是人机界面的第一篇文献《关于计算机控制台设计的人机工程学》。1960年,Liklider JCK首次提出人机紧密共栖(Human-Computer Close Symbiosis)的概念,被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第一次人机系统国际大会,同年第一份专业杂志国际人机研究(IJMMS)创刊,可以说,1969年是人机界面学发展史的里程碑。1970年,两大人机交互研究中心成立——英国Loughbocough大学HUSAT研究中心,美国Xerox公司Palo Alto研究中心。1970年到1973年出版的四本与计算机相关的人机工程学专著,为人机交互界面的发展指明了方向。20世纪80年代初期,学术界相继出版了六本专著,对最新的人机交互研究成果进行了总结。人机交互学科逐渐形成了自己的理论体系和实践范畴的架构。理论体系方面,从人机工程学独立出来,更加强调认知心理学以及行为学和社会学的某些人文科学的理论指导;实践范畴方面,从人机界面(人机接口)拓延开来,强调计算机对于人的反馈交互作用。人机界面一词被人机交互所取代。HCI中的I,也由Interface(界面/接口)变成了Interaction(交互)。
20世纪90年代后期以来,随着高速处理芯片、多媒体技术和Internet Web技术的迅速发展和普及,人机交互的研究重点放在了智能化交互、多模态(多通道)-多媒体交互、虚拟交互以及人机协同交互等以人为在中心的人机交互技术方面。
人机交互与人机界面
人机交互本质上是人与机器(计算机)的交互。从更广泛的角度理解,人机交互是指人与含有计算机的机器的交互。具体来说,人机交互用户与含有计算机的机器系统之间的双向通信,以一定的符号和动作来实现,如击键、移动鼠标、显示屏幕上的符号、图形等。这个过程包括几个子过程:识别交互对象,理解交互对象,把握对象情态,信息适应与反馈等;而人机界面是指用户与含有计算机的机器系统之间的通信媒体或手段,是人机双向信息交互的软件支持和硬件支持。这里界面定义为通信媒体或手段,它的物化体现是有关的软件支持和硬件支持,如带有鼠标的图形显示终端等。
交互是人与机器和环境作用关系状况的一种描述。界面是人与机器和环境发生交互关系的具体表达形式。交互是实现信息传达的情境刻画,而界面是实现交互的手段。在交互设计子系统中,交互是内容和灵魂,界面是形式和肉体。然而在大的产品设计系统中,交互和界面都只是解决人机关系的一种手段,而不是最终目的,其最终目的是解决和满足人的需求。
交互设计是从属于产品系统的,是对成功的产品设计的一种强有力的支持与完善。如果利用系统论的观点,交互设计是从属于产品设计系统的子系统。
人机交互与人机界面是两个有着紧密联系而又不尽相同的概念。
人机界面(Human Computer Interface,简写HCI,又称用户界面或使用者界面),是人与计算机之间传递、交换信息的媒介和对话接口,也是计算机系统的重要组成部分。人机界面简单的区分为“输入(Input)”与“输出(Output)”两种,输入指的是由人来进行机械或设备的操作,如把手、开关、门、指令下达或保养维护等,而输出指的是由机械或设备发出的通知,如故障、警告、操作说明提示等。优秀的人机接口会帮助使用者更简单、更正确、更迅速的操作机械或设备,也能使机械或设备发挥最大的效能并延长使用寿命,而目前所指的人机接口多为其狭义,也就是指软件人性化的操作接口。
多点触摸概述与发展运用
多点触摸是在同一显示界面上的多点或多用户的交互操作模式。——Jeffson Y.Han
从计算机诞生开始,人类就不断探索如何跟与计算机进行更有效地沟通并努力使沟通过程更加愉悦。在程序员和设计师们的共同努力下,计算机界面从命令行界面(Command Line Interface)一直发展到现在的图形用户界面(Graphics User Interface),在人机交互的发展过程中,鼠标和键盘一直是最基本的输入设备,而屏幕一直是计算机信息的最主要输出设备。现在,一种全新的交互方式正在向我们走来——自然用户界面(Natural User Interface),也就是俗称的触摸界面,在这种操作模式下,屏幕不仅作为输出设备,同时被作为输入设备,在屏幕上直接操作,从而操控计算机。
对于触摸技术(触控技术),人们并不陌生,银行的取款机大多有触摸屏功能,很多医院、图书馆等公共场所的大厅都有这种使用了屏幕触摸技术的电脑,支持触摸屏的手机、MP3、数码相机也层出不穷。但是这些已经存在的触控屏幕都是单点触控,只能识别和支持每次一个手指或触点的操作,若同时有两个以上的触点,就无法做出正确的反应。而多点触摸技术能把任务分解为两个方面的工作,同时采集多点信号和对每路信号的意义进行判断,也就是所谓的手势识别,从而实现同时识别多个触点同时做的触控动作。
多点触摸 (又称多重触控、多点感应、多重感应,英文为Multitouch或Multi-Touch)是一种能够在不使用传统输入设备(如鼠标、键盘等)下进行计算机的人机交互操作模式。
多点触摸技术始于1982年由多伦多大学发明的感应食指指压的多点触摸屏幕技术。同年贝尔实验室发表了首份探讨触控技术的学术文献。
1984年,贝尔实验室研制出一种能够以多于一只手控制改变画面的触摸屏,同时,多伦多大学的一组开发人员终止了相关硬件技术的研发,把研发方向转移至软件和界面上,期望能接续贝尔实验室的研发工作。同年,微软开始研究该领域。
1991年此项技术取得重大突破,Pierre Wellner发表了一份文件,他针对可以支持多点触摸的“数码服务台”研制出一种名为数码桌面的触摸屏技术,容许使用者同时以多个手指操作触摸屏幕内的影像,这为后来的发展起到了至关重要的作用。
1999年,约翰埃利亚斯和鲁尼韦斯特曼生产了几款多点触摸产品,包括iGesture板和多点触摸键盘,在2005年,被苹果电脑收购。
2006年,Siggraph大会上,纽约大学的Jefferson Y Han教授向众人演示了其最新成果,由他领导研发的新型触摸技术可由双手同时操作,并且支持多人同时操作。利用该技术,Jefferson Y Han在36英寸×27英寸大小的屏幕上,多只手指操作,在屏幕上同时画出了几根线条。与普通的触摸屏技术所不同的是,它同时可以有多个触点响应,而且响应时间小于0.1秒。
2007年,苹果和微软分别发表了应用多点触摸技术的产品计划,令该技术开始进入主流的应用。这种输入界面让使用者极大地扩充可操纵区域,带来神奇的体验感受,使大众对使用多点触摸操作电脑的兴趣大大增加。
按照冯•诺依曼的计算机构成原理,一台计算机应由运算器、存储器、控制器、输入输出设备组成。传统计算机的输入设备是键盘和鼠标,输出设备是显示器,而多点触摸计算机与传统计算机不同之处就在于它的输入与输出全都集中到了显示设备上,在屏幕上输入指令,计算机将结果反应在屏幕上。
在现有技术下,多点触摸技术所使用的显示设备主要有液晶显示器、背投显示器等。诸如全息显示器之类的设备还停留在科幻电影和科学家的实验室里。
如果你用过iPhone,就会知道多点触摸是一种很有用也很奇妙的技术。通过放大缩小的手势,可以在浏览网页时缩放页面大小,在浏览图片时对图片进行缩放和选择等操作。很多人以为多点触摸仅限于放大缩小功能,其实,放大缩小只是多点触摸的实际应用之一。有了多点触摸技术,应用就可以通过无限想象来无限扩展。程序员可以把多点触摸应用到诸多方面,从一定程度上改变或者创新出更多的操作方式,诸如在硬玻璃上弹钢琴,以及苹果手机上的PS模拟器,它通过多点触摸技术,实现方向键和其他按钮的同时组合输入。
概述
多点触摸指的是允许计算机用户同时通过多个手指或触点来控制计算机的一种操作模式,而多点触摸设备是由可触摸显示或影幕设备(如计算机显示器、桌面、墙壁),也可由触摸板组成,之后通过软件识别同时发生触摸行为的点并进行处理。这与市场上常见的触摸显示屏(如计算机触摸板、银行的ATM 柜员机)不同,市场上常见的触摸显示屏只能够识别单点。
通过全球爱好者的不断探索和创新,到目前为止,已经有五种可以帮助爱好者搭建稳定的多点触摸平台的技术,它们分别是:由Jeff Han 教授开创的受抑全内反射多点触摸技术(FTIR);微软Surface采用的背面散射光多点触摸技术(Rear-DI);由Alex Popovich 提出的激光平面多点触摸技术(LLP); 由Nima Motamedi 提出发光二极管平面多点触摸技术(LED-LP);由Tim Roth 提出的散射光平面多点触摸技术(DSI)。
这五项技术主要基于光学原理和计算机视觉识别,除了这五种主流技术之外,,还有一些其它的技术同样可以搭建多点触摸设备,包括声波器、电容、电阻、动作捕捉器、定位器、压力感应条等。通常情况下,这各种感应器结合起来,就可以搭建一个特别的多点触摸设备。在这里,我们将和大家探索这五种多点触摸技术。
基于光学原理的多点触摸技术
基于光学原理(如摄像头)的多点触摸技术搭建的设备体积相对较大,但它的可拓展性较强、成本较低以及容易搭建。受抑全内反射多点触摸技术(FTIR),正 面和背面散射光多点触摸技术(Front and Rear DI),激光平面多点触摸技术(LLP),发光二极管平面多点触摸技术(LED-LP),散射光平面多点触摸技术(DSI),这些都是基于光学原理多点触摸技术。
每个基于光学原理的多点触摸技术都包含光学感应器(通常为摄像头或摄像机)、红外光源以及通过投影仪或者显示面板显示的屏幕。因为有这三个相通点,所以在系统探讨各项技术前,需要对这三点有个清晰认识和了解。
红外光源
红外线(英文简称:IR)是不可见光的一种,位于人眼可以看到的可见光的红光外侧,在光谱中波长自0.76μm(微米)至400μm,“近红外”(英文简称:NIR)处于红外光谱上的最低处,一般被认可的波长为700nm(纳米)到1000nm 。大多数数码摄像头的传感器对红外线很敏感,所以我们通常看到的摄像头都加装一块可以滤去红外线的镜头,以便于摄像头只捕捉可见光。但这与我们所需要的相反,我们需要捕捉红外光,因此我们需要将一块可以滤除其它波长光只接收相对应红外线波长光的镜头,替换原先的过滤镜片就可以达到我们的目的。
在多点触摸技术中,红外光源主要作用是区别触摸表面的可视界面和手指或物体痕迹。鉴于很多系统都以投影仪或者显示器作为显示的设备,因此如何让摄像头仅读取手指或物体反馈的触摸点是我们需要关注的,通过改装摄像头,让它仅读取我们在触摸表面上所需要反馈的触摸点即可。
大多数亚克力(Acrylic)生产商在生产亚克力时已经加强了削弱900nm 以上红外线的能力,这样可以帮助在作为窗户使用时是减少对太阳热的吸收。很多摄像头在这方面上也做了修正,减小对940nm 以上红外线敏感度和降低太阳光的干扰。
我们需要的红外光是通过红外发光二极管得到的。在多数基于光学原理多点触摸技术中(特别是LED-LP 以及FTIR),红外发光二极管可以作为有效的红外光源从而提高我们所需要的红外光。散射光多点触摸技术(DI)不一定需要红外发光二极管,但是也可以安装具有红外发光二极管的红外光源组。激光平面多点触摸技术(LLP)利用红外激光器作为红外光源。
通常情况下,可以购买单红外发光二极管或者直接购买红外发光二极管带:
单红外发光二极管:单红外发光二极管价格相对便宜,可以很容易利用FTIR、DSI 以及LED-LP技术,为设备制作发光二极管框,但是需要我们了解如何去焊接我们所需要的电路。目前最常用的型号是欧司朗的SFH 485P,如果你想利用LCD面板作为显示设备的话,那么你需要亮度更大的红外发光二极管。
红外发光二极管带:这是用柔性扁平电缆结合红外发光贴片制作的条带,十分便利,购买的时候已经组装好,只需要我们贴在亚克力四边则可,公认质量最好的是美国的environmentallights.com提供的红外发光二极管带。
红外发射器:用于散射光多点触摸装置,这种方式的装置更为简易,只需要我们通过红外发射器将箱子内部照亮即可,但需要我们注意的是如何消除因为红外发射器引起的区域过亮问题。
在购买红外发光二极管之前,需要十分注意发光二极管的参数表、波长、角度、功率等,这些都是技术的重点。
波长:780-940nm,红外发光二极管在这个范围内最容易被摄像头读取。波长越低,敏感度就越高,更容易分析压感。
功率:最低为80mw。
适用在FTIR 的角度:角度低于正负48 度将不能产生全内反射,而角度大于正负48 度则会使红外线溢出亚克力。为了确保范围正常,可以让角度高于正负48 度,但高于正负60 度会造成浪费(60-48=+/-12 度),红外线会溢出亚克力。
适用在DI 的角度:通常来讲角度越广越好,更大的角度产生的效果会更理想。对于DI 装置,很多人会遇到区域过亮的问题。为了解决这个问题,我们建议将发光器反转照射,避免直射显示区域,同时我们需要为摄像头加上过滤片,软盘盘片可以临时充当,但效果不太好,我们建议用专业的过滤镜镜片来解决问题。
红外摄像头
一般的网络摄像头或者摄像机可以用于多点触摸设备上,但是会将红外光过滤掉,只让其读取可见光,所以我们需要对其进行改装成只有红外光可以被读取。通常情况下,我们只需要打开摄像头的盖⼦,然后将过滤红外光线的镜片去掉,换上可以过滤可见光的镜片即可。但有些价格比较贵的摄像头会将这个具有过滤红外线功能的过滤镜片整合在摄像头里面,我们无法去掉。
有些摄像头可以直接读取红外光线,但进行改装的摄像头用起来的效果会更好。
多点触摸设备的性能好坏取决于其采用的部件,因此你需要十分谨慎地去选择你所需要的部件。在购买摄像头之前,你需要明确的是自己的目的是什么。如果你仅需要搭建一个小的用来测试的多点触摸设备,那么一个简单的摄像头就足够了,但相反如果你需要搭建一个用来演示的多点触摸设备,那就需要考虑购买更好的摄像头了。
分辨率:摄像头的分辨率十分重要,分辨率越高的摄像头能够更容易地读取手指或者物体清晰的图像,这对于需要做精确度高的设备来说很重要。对于一个小的多点触摸设备来说,一个低分辨率的网络摄像头(320*240像素)就可以胜任了,而比较大的设备则需要一个分辨率高的摄像头(640*480像素以上)以提高精确度。
帧率:帧率是指摄像头在一秒中内读取到的帧的数目,帧率越高意味着在单位时间内影像越流畅。为了让设备反应更加灵敏,更好地读取手指或物体移动时产生的触点信息,我们少需要30帧每秒(FPS)的摄像头。
接口:通常情况下,我们可以通过两种接口来连接摄像头和电脑。根据项目的不同,可以选择常用的USB接口或者专业的IEEE1394接口(常说的“火口”、“火线”)。IEEE1394摄像头对读取的信息的衰减程度小,从而能够更好地将信息传送给计算机处理,衰减越少的摄像头,设备的效率越高。
镜头类型:大多数网络摄像头都具有过滤红外线的滤镜片,也具有避免图像变形的矫正单元。我们需要捕捉和利用红外线,很多网络摄像头可以很容易去除滤除红外的镜片,这个镜片被放置在镜头的后面,具有遇红色反光的特性。有些摄像头无法拆除红外滤镜,需要将整个镜头进行更换。
网络摄像头一般都会用到M12型号的底座,工业摄像头系列(IEEE1394)通常需要另外购买镜头。不同型号的摄像头,底座也不尽相同,例如M12、C或者CS。选择一个好的摄像头并不是一件容易的事情,很多摄像头生产商会提供一个在线的镜头计算工具,这个工具通过输入几个参数便能够帮我们测量出在镜头与显示物体区域的焦距。要注意选择好相对应型号。一个焦距比较低的镜头往往会产生诸如图像变形等不好的效果,干扰触点的定位,使得工作难以进行。
摄像头传感器和红外线过滤镜:鉴于我们的多点触摸技术是基于红外线的,因此我们需要知道我们选择的摄像头是否具有读取红外线的功能。一般情况下,生产商都会提及所用的摄像头传感器类型,通过这个类型我们可以找到相对应的参数表,这个参数表会告诉我们这个摄像头传感器在不同波长光下的敏感度,例如:SONYICX098BQ CCD 传感器的参数表。
在利用摄像头作为多点触摸设备部件前,需要为摄像头添加过滤干扰光的滤镜。尽管我们使用的是已经能够感应红外线的摄像头,但它仍然会对其它光敏感。为了解决这个问题,我们需要在镜头前添加一个裁剪的滤片(软盘、三色胶片)或者镜头滤镜。裁剪的滤片能够为我们消去一些可见光,但没有特定的范围,而镜头滤镜具有波长唯一性、只允许一个特定波长的光线通过的特点。
如果是购买USB接口的摄像头,我们建议您购买以下的一种:
PlayStation 3(PS3eye)摄像头,能够比较容易地除去红外滤镜片,具有比较高的帧率(640*480@30 FPS)。
Philips SPC 900NC,不能除去红外滤镜片,需要更换镜头,具有比较高的帧率(640*480@30 FPS)。
如果是购买IEEE 1394(火线接口)的摄像头,我们建议您购买以下的一种:
Unibrain Fire(640*480@30 FPS),传感器型号与Philips SPC 900NC相同。
Point Grey Firefly(640*480@60 FPS)。
IEEE 1394 摄像头相对于USB 摄像头具有以下的优点:
高帧率;
高分辨率;
图像压缩率低。
1. 受抑全内反射多点触摸技术(FTIR)
《受抑全内反射多点触摸技术(FTIR)》Jeff Han教授(Han2005)。Han教授的方法是源自一个光学的基本现象,叫全内反射(又称全反射),它讲述的是在入射比特许的角(Getty,KellerandSkove1989,p.799)大的情况下,光线经过两个不同折射受抑全内反射多点触摸技术原理图率的介质,这个特许的角(称为临界角)基于物质的折射率而得到的,可以通过Shell法则以数学方式计算出来。当上述情况发生时,在物质上就不会产生折射,而是所有的光线会反射在内部。Han教授通过这个原理把红外线反射在一块遵守全内反射规则的压克力内部,当用户在压克力表面触摸时,光线就会被用户的接触部位反/折射(通过皮肤),在触摸的地方就会将原本反射在内部的红外线折射回我们在压克力板面架设的红外摄像头,通过对应的软件就可以侦测到我们相对应的信息点。这个原理在我们制作多点触摸显示设备的时候非常的有用,当光线的反射被我们破坏在对应的区域,然后折射出来时,架设在下面的红外摄像头便能够清晰地读取到相对的信息点。
(正背投式)散射光照明多点触摸技术(DI)
散射光照明多点触摸技术会有两种表达形式:正面散射光照明多点触摸技术和背面散射光照明多点触摸技术。两种表达形式都基于同一个原理——画⾯与触摸在屏幕上面的手指形成对比。
激光平面多点触摸技术(LLP)
红外激光头发射出来的红外面铺满整个屏幕,这个激光红外面的厚度大概在1mm左右,当手指触摸屏幕的时候,手指的尖部会作为一个红外点显示出来。利用激光平面多点触摸技术来实现多点触摸装置是种简易以及价格便宜的方法,多数的装置需要四个激光头,从屏幕的四个角落照射在平面上。激光光线的亮度取决于激光的功率(mw、w),功率越大亮度就越高。
散射光平面照明多点触摸技术(DSI)
散射光平面照明多点触摸技术是利用一种特殊的压克力来使红外线照亮整个屏幕的。可以参照FTIR装置的步骤(不需要用到兼容层),把普通的压克力转成特殊压克力,这种压克力运用了许许多多的导光粒子作为主材料,就像在压克力里面装满了许许多多的镜仔一样,当光照射进入内部的时候,就会被发散射光平面照射多点触摸技术原理图射从而照明整个屏幕,市场上称这种压克力为导光板。这种效果有点类似散射光照明多点触摸技术(DI),不同的是没有特别明亮的区域以及它的设置和FTIR相同。
发光二极管平面多点触摸技术(LED-LP)
红外发光二极管放置在触摸屏幕的四周,让光线更好地分布在表面上。这和激光平面多点触摸技术类似,二极管平面多点触摸技术同样在触摸屏幕上创造了一个红外线平面,光线会使放在屏幕上方的物体发亮而不是触摸,然后通过软件(Touchlib、CommunityCoreVision)调节滤镜来设置仅当物体被提起或者接近屏幕的时候被照亮。但这个对于刚开始用二极管平面多点触摸技术来做设备的爱好者来说会是一个挑战,需要有更多的耐性去调节。装置中建议利用一块挡片放置在二极管的上方,这可以让更多的光在平面上。