首届(2020)天津跨学科媒体艺术教育论坛—— 物联网与艺术:新的表达与体验
张翼英
天津科技大学人工智能学院教授
天津市高校学科领军人才
天津科技大学海河学者特聘教授
国家电网公司信息网络安全实验室客座教授
研究方向:物联网,信息安全,人工智能
张翼英:感谢刘主任,这两天听各个专家,从不同的角度在艺术这一块儿体验。我应该和艺术离得比较远,刚刚看到杨帆教授的讲解,可能她的比我还远一些,从她的讲解我发现,不对,她这一块儿比我近一些。我这一块儿,主要是想从物联网这个角度来谈谈自己(物联网)对(艺术的)表达和体验。因为谈艺术,谈不到,所以我(本次)主要是从物联网的技术,对于艺术方面的支撑,与大家交流一下。我主要想从三个方向谈一下自己对物联网和艺术的关系,进行一些交流和探讨。
首先,物联网这个事,什么是物联网?从2008年以来,中国政府大力推物联网开始,这个概念大家非常熟悉,而且当时也给出了比较明确的概念,物联网本身是通过在物体上安装一些标签,传感器,一些智能设备,把这些物体的状态通过网络信息传输过来,或者是把信息传输过去进行控制,这样的一个系统,听起来比较复杂一点。从本质上来说,就是一个连接器。使得我们原来在信息传输,信息获取方面可以更深一步。(物联网)包括四个核心要素,物体,可以看成客观的世界,感知,感知这一块儿比较复杂,因为感知这个东西涉及到不同的元素,包括我们本身的这些视觉、听觉这些常见的,还有其他的各种感知。湿度、温度,包括PM2.5这类具体的物理参量,把这些信号变成具体的数字信号,这些我们称之为感知,通过网络来进行信息传输,服务是我们对应这些感知,对这个物体做出什么样的反应,这样的一个过程。
整个来看,物联网本身,不是特别复杂、难以理解,可以把它看作一种网络的延伸,只是我们可以获得更多的信息,更好的,更全面的,更深入感知这个客观的世界。我们对物联网给出了四个方面的本质特征,第一个是关注外部,刚才刘主任说了一下,莫向外求,对于物联网来说,第一个就是关注外部,因为它是要拓展我们的感知能力,对于整个客观世界进行信息的捕捉,我们这一块儿首先是要关注外部,看一下外部的客观世界有什么。对于我们的所感,所观,很多是我们范围非常局限,而且可能不是特别准确,比如说温度,现在我们在家里面可以穿一个半袖,但是外面可能是10度,甚至更低,对外面具体的感觉就会体会不到,关注外部是物联网的第一个特点。
第二,不确定性,因为世界是随机的,整个来看,很多地方,到底这个事情是什么,我们确定这个事必然发生,但是可能会有各种参数,各种变量影响着这个事物的进程,它的不确定性是让我们具体感受的一个方面,我们之所以要不断测量这个世界,不断观察这个世界,因为这个世界是变化的,他的不确定性,因为我们有一种追求稳定,追求平衡的想法,我们的不确定性,造成了物联网必须通过这种方式去观察。不可重现,每一秒钟,这个世界都在变化,都是不同的,他是不可重现的东西。外部驱动,和不确定性是一样的一个因素,只有不确定性,他的改变,物联网本身才能发挥作用,外面的改变是一种驱动的因素。比如一个例子,我们用视频去观察,如果这个事情里面的内容是不变的话,我们这个视频观察的意义就和一幅画没有太大的关系。因此,物联网,它的本质就是两个字,连接,把物理的,客观的世界和信息的主观的世界进行连接,使得我们在感知上,在认知上,能有更丰富,更好的手段。我们平常用的一些声光电技术对于整个世界进行一些感知和控制,现在又有其他的一些物联网的技术,能够更好地来支撑这个世界,包括3D打印,数字孪生等等,我在后面也会跟大家简单地描述一下。物联网本身它能提供很好的基本平台,好风凭借力,物联网跟艺术在很多方面得到了很好的滋生。所以说我们在这次的报告里面,我就跟大家说一说,物联网的相关技术,对于艺术的支撑。
物联网大概是什么样的东西呢?给大家简单介绍一下,什么是艺术?我本身不搞艺术,我只是有一个比较粗浅的认识,艺术本身是一种表达,无论是画画,雕塑,声音,还有其他的艺术形式,都是一种表达,可能大家对表达的形式是不一样的,不同的作品,不同的人有不同的理解,而这种表达,可能带有一些思想,带有一些方向,一些理解,所以我觉得艺术是一种表达。因此,我今天想跟大家说一下,物联网本身作为一种技术,给艺术提供了一种新的表达方式,艺术可以以物联网的技术作为琴,来弹出不同的声音。
第三部分,我主要介绍一下新的表达与体验,表达是从艺术的角度,物联网技术是支撑,体验是在这个过程中,我们怎样有一些比较粗浅的体验。第一个方面的技术,因为艺术更多的体现在展示方面,所以我第一部分和第二部分主要是在展示,第一部分是结构方面的展示,第二部分是媒体方面的展示,在结构方面的展示,我想物联网作为电子技术,主要支撑在光影这个方向。在不同的地方,通过物联网展现出各种艺术的形象,现在也非常感谢杨帆教授,底下的小兔子是我女儿的小夜灯,我觉得很可爱,现在我知道它叫什么了。这种艺术形式,通过这种光影的形式,感觉出来之后,变成给大家艺术上的享受,我这个小兔子有八种颜色的变换。
这个是我在网上找的一个素材,澳大利亚的活力悉尼灯光音乐节作品,以蜂巢的形式,类似于灯的艺术产品,给出了一些,包括在光的色系方面,采用暖色系,看起来有一种新的表示方式。这个是湖州的彩虹隧道,这个色带是不用电,自主发光的新材料,通过吸收车辆的光,自然光,或者是其他的能量,就可以有这样的能量支撑,可以维持12小时发出不同颜色的光芒,车在这个隧道行走的时候,就会有一种很好的体验,非常梦幻,可以通过类似于RFID,类似于这种材料,吸收光的光源作为能源储存起来,如果隧道里面突然停电了,这个隧道也会自然亮起来的,既有美的享受,也有安全保障。
第二个方面,媒体展示,因为结构展示这一块儿相对来说用的物联网技术不是特别多,媒体展示这一块儿,现在物联网给艺术各种展示手段,各种幕,天幕,地幕,异形的幕,各种屏,LED、液晶、透明的屏,三维展示,给我们提供了非常好的技术支撑,所以说现在通过这些技术,加上想象力,艺术表演展示的能力,会有好的作品出来。这个也是一个意大利活力悉尼灯光节上的作品,包括座椅,左侧的自动钢琴,通过光、氧、互联网感知的能力,通过不同的人的行为,行走、坐卧,可以有不同的反应,这样整个光、影和人的行为就有一个交互的展示。
这个是大家现在经常看到的,曲面屏幕,因为以前屏幕的展示因为材质的问题比较硬,而且曲面的显示也不太容易,现在在材质上有很好的支撑,就可以把它做成各种形态进行展示,像这种曲面的,球形的,给人的冲击力还是蛮大的,而且通过不同的形态的展示,把人可以带道不同的想象力的空间中。
这个是在建筑体上,现在物联网技术,在视觉方面展示很多,这种建筑,有些大厦可以调窗户的采光、温度、湿度,变得智能化。这个是杭州展示的一个作品。这个是建筑上的一些其他作品,这个是清明上河图,在上海的展馆,这个是全景幕,这些都是比较直观的表述。幻影成像是通过不同的光源,有一种立体的展现,很多地方还拿它作为一种表演形式,可以说在控制方面做得还是比较好的。
这两个是基于数字化技术的信息呈现,360度全息投影展示,在舞台上色彩纷呈,给我的感觉不仅是艺术享受,而且真的很好看,而且是动态的,是变化,感觉特别梦幻,这种全息投影展示,在艺术表达这方面,相对来说是比较新的,而且它能够给人一种极其梦幻的感觉,这是传统艺术不能够给大家的,传统的艺术可能更多的靠观察、想象,这一块儿是直接给你一些视觉上的刺激,可能想象的空间要压缩了,但是直接的刺激可能更强烈一些。
在追求平面展示的时候,我们对于3D这一块儿也有很多新的技术和产品出来,包括裸眼3D,原来我们到影院也好,IMAX戴3D眼镜看一些3D电影,通过光的不同调节,聚焦的位置不同,我们获得3D的刺激,现在裸眼3D,通过这种作品的构造,来产生一些3D的效果。这两个是首尔3D的展示屏,特别的诊视。这个是通过3D技术来展示一些作品的呈现,是一种新的表现方式。
这个是三维的艺术品展示,在一些博物馆,还有展览厅用得非常多,我们可以看右下角,可以通过手机的方式去做,像西安那边的博物馆,可以很好的从各个方位了解艺术藏品具体的构成,包括一些比较详细的传说、来源、历史、工艺这样的东西,我们去博物馆,可以近距离观察,但是不会有这么详细的信息获取。
这是这几年出来的3D打印的东西,3D打印这一块儿通过三维和比较特殊的材质,能够打印出来我们设计的各种模型,有些以前像镂空的雕刻什么的,现在都可以直接用3D打印机的方式直接打印,而且有些地方,比如说两个封闭的中空球,球里面再打印起来的东西,如果我们从传统工艺角度来说,这是很难实现的,现在在里边可以很好地实现这样的一些构造。3D打印现在也是,包括艺术表现,包括生物性的产品也可以用3D打印的方式呈现,在工艺上,材料上,可能会有一些变化。所以说可能在几年之后,就会有比较好的像义肢这样的东西,可以和人体很好地结合,弥补一些现在技术不能够支撑的东西。现在大家到很多地方,有人脸识别,现在有的地方还能支撑人脸识别,打印一个模型,去仿造,这是3D打印,在工业制造里面,3D打印是比较热的技术,它在艺术展示这一块儿,尤其是一些艺术爱好者,只是在电脑里设计模型,就可以做出很好的艺术产品,而不是需要很多沉淀才能做出很好的工艺产品的老艺术家,在这一块儿,看思想、思维到不到位,电脑的设计水平是不是到位,就可以把这个艺术产品打印出来,形态各异的,网上有很多很多这样的模型可以直接拿过来用,这样的话,就可以满足很多人的艺术梦想,同时可能会有一些各种产品,想象不到的产品出现。
前两部分无论是结构展示,还是媒体展示这方面,和过去传统的艺术方式是非常相近的,我觉得物联网最好的支持,就是我们下面这一部分,一个是互动方面的展示,一个是融合方面的展示。互动方面的展示,我们可以通过物联网技术,对艺术产品有一个这样的互动,现在艺术产品还不是很多,大多数还都是光影、声音这方面,具体我们看一下。
这个是斯德哥尔摩的地铁,设计成钢琴的音乐楼梯,可以通过这种方式发出不同的声音,挪威的地铁,可以通过类似于半透明这样的一些材质,部署装饰的地铁的情况,加上艺术宫殿的形式,让人们感觉走在里面特别好。现在大家去北京的地铁看,有很多好的表现形式,但是物联网艺术方面还没有,天津的地铁在这方面更是应该有很大的进步空间,如果有机会的话,艺术家们可以利用物联网技术,和我们的艺术水平,可以给他们做一些真正的改进,每天人来人往那么多,对于整个地铁的乘坐体验也不是很好,可以有很大的提升空间。
这个是我找了一个印象莫奈5D+沉浸式展览,也是通过灯光,还有大幕,对艺术作品给出一种体验的环境。这个是互动展示技术,这个交互桌面也是很有意思的事情,我曾经有一个想法,开发一个桌球指导的产品,如果你打桌球的时候,杆指向哪个球,那个球怎样滚动,什么样的角度,直接画条线,类似这种交互桌面,就觉得特别有意思,那样我们打球的准确性更高一些,这是交互展示。
这个是大屏幕,我们通过一些产品的点击,可以看产品的构造、历史,还有艺术表现,下边这一块儿,是魏老师说了一下兰亭序电子交互的产品,这些对于艺术作品的感知、了解,可能有更丰富的表现形式,我们可以参与进去,这些在具体展示的时候,可以给我们很好的体验,有的时候可能给我们一些穿越的感觉。
这个是另外一种大屏幕展示,现在这种技术很多,通过一些视频来确认人员身份,男孩子、女孩子、老人、小孩,什么工作,他可以根据这个显示不同的信息,有的是广告,感觉就是特别实时交互的过程,给人一个感觉,有这样一个互动的支撑,让人非常舒服。这种东西太多的话,可能容易造成疲劳。这是体感互动,我们可以用来打球,体感的游戏,包括桌面。
第四个方面是融合技术展示,包括AR、VR,可以有一些沉浸感在里面,这是一些融合技术的产品,包括使用的触摸屏,一些具体的形态和使用上,我们加一些物联网的技术,感知技术,触屏感知,人脸感知,实现对形态的展示。这个是一种非常好的沉浸式的,人可以加进来,可以体会到,不是简单的,像上次那种交互,给他一个反应,这个是直接融合进来,包括游戏,穿越这些东西,都可以加进来。
还有其他的表演方式,像无人机表演,现在是比较常见的形式,通过巨量的无人机,光和这种空间的模式,这种产品的特征是瞬时的,但是是可再现的,想看还可以演出来,但是这是一个动态的过程。整个展示,包括设计,包括表演,对于环境的要求不一样,像印象西湖,把光、电,现在把物联网的技术也加进来,会有很好的视觉上的冲击。这个是以建筑作为背景做的表达。
因为5G的发展,现在还有一种叫数字孪生,就是物理世界和数字世界同步进行,通过信息的三维来反映物理世界的客观情况,这叫数字孪生,相同的人各干各的,这个数字孪生,就像镜像一样,同步客观世界。
这个是比较常见的文化再现,就是把清明上河图这样的艺术作品直接用物联网技术处理一下,把它变成电子的,把先前的艺术作品变成活的了,加上一些背景音乐。另外还有识别技术,这个和人工智能结合得比较紧密。
先前跟大家说了几种物联网技术和艺术结合相应的支撑,在具体的物联网技术和实际的艺术交互这一块儿,可以从多个方面,包括表达,包括承载,还有创作方面,有这样的一些结合点,物联网技术像是一只笔,在作画上,应该说使用上,表达力上,给我们很多的机会。对于科学技术和艺术设计是相互影响的,在具体采用技术这一块儿,需要注意的几个方面,技术的成熟度、先进性,因为很多物联网技术,他是基于便利和通信的,要有一个维护的过程,并不是作品出来就OK了,可能还要有一些维护的方式方法去做。我们在技术上的选择可能跟你们的想象有关,你去想象一个什么样的东西,用技术表达手段去做,这样可能是更好的表示过程。我们在物联网技术和对现代技术的推进上是很大的,但是一些突破性的产品,还是需要大家努力,因为我不是搞艺术的,我希望有更多更好服务式的、沉浸式的艺术产品可以和我们相结合,包括日常生活当中,现在的一些各种机器人,怎样和我们的艺术结合起来,让我们既享受到技术带来的便利,也能够同时有艺术带来的愉悦,比较心安的感觉。
我今天的演讲就到这里,谢谢各位!
Comments
Please Log in or Register to comment