这段视频是官方制作的一次线上讲座,你可以理解为是一次官方的网络公开课。
这份公开课对于Disguise语境下的XR工作流进行了一次完整的介绍,非常具有学习意义,因为是全英文,并且没有字幕,同时视频发布于国外的网站上,对于国内的一些朋友来说比较难以吸收,因此分享一下该视频的学习笔记。
本文是视频的图文摘要,因此会比较零碎(同时我也在思考更好的撰写方式),为了重要的内容不被遗漏,因此对于一些关键的内容,我会附上听译的原文
本文首发于新剧元文档库
如果文章有疏漏之处,还请各位指正,谢谢!
What Disguise is?
Disguise是什么?
imagine - create - deliver -> Spectacular Live Visual experience, in many different industries -> Concert touring, TV Production, video -> spectacular experiences,巨型项目,大型Live, 建筑Projections,Theatre&Opera,
Disguise是一个能够帮助用户从想象到创建,再到交付巨型项目的全案平台
巨型项目包括巡回演唱会,电视节目制作,大型Live,建筑Mapping,剧场演出等等
以下是Disguise覆盖的群体规模
以下是Disguise所提供支持的著名项目与品牌
以下是Disguise的整个工作流,我认为非常关键
Disguise是什么?它用来解决什么问题?
Disguise是媒体服务器?是设计软件?
都是,Disguise是整个流程
Concept Development - Content Validtion - Show Sequencing - Load-in - Show Rehearsals - Showtime
概念开发-内容验证-节目排序-加载 - 节目排练-放映时间
Disguise能够随时调整项目,包括演出进行时
Concept Development 概念开发
把所有媒体,所有资源都放进设计软件中
Content Validtion 内容验证
关注所有的技术设置,验证所有的投影仪,led屏等等,确保所有的东西都在3D表面观感良好
Show Sequencing 表演排序
将视频内容按照音乐的cue排序好,等等
Load-in 装载
把所有的内容都载入到实际的媒体服务器中,为排练Rehearsals 做准备
Show Rehearsals 表演排练
排练,考虑并解决各种问题
Showtime 正式表演
Delivery,交付项目
XR是Extended Reality的缩写
XR的简单介绍
Disguise语境下的XR
so, our term, XR, covers a collection of disguise workflows focused on camera tracking and real-time content generation and that's the summary.
And I guess these workflows can be applied to:
Traditional screens, that's like you know background LED, Projection surfaces
And can be applied to AR, that is Argumented Reality items, and computer generative things may sit in the foreground or around presenter
or by combining both those things, that's tracked background as well as Argumented Reality, we call that Mixed Reality
那么,在我们的术语中,XR涵盖了一系列Disguise的工作流,总体来说,这些工作流专注于摄像机追踪与实时内容生成。
同时我认为,这些工作流还能够应用于:
传统屏幕,就像你所知道的,LED背景幕墙和投影表面
同时还可以应用于AR,也就是增强实境和计算机生成的一些东西,这些东西可以生成于前景或者表演者周围,并可以根据表演者的动作发生反应
或者所有这两者的结合,也就是背景追踪与增强实境相结合,我们叫它混合现实。
A collection of disguise workflows focused on camera tracking and real-time content generation
专注于相机追踪与实时内容生成的一系列工作流的集合
该XR工作流也可以向下兼容至:
传统屏幕(只是“现实”)
背景,后景,background,LED幕墙,投影机投影到基本的表面
AR(Augmented Reality增强现实)
前景,电脑直接就能生成出来的,并且只能在前景
两者的结合,MR(Mixed Reality混合现实)
后面会讲MR的事情
在Disguise语境中,VR跟XR不能划等号
一般用vr做previsulization,预可视化
为什么现在要开始做XR?
XR技术的演变,从2018年到2019年,由游戏和娱乐扩展到设计,商务,零售,教育和医疗等行业,2019年开始出现极大的增长势头,预计2021年市场增长率为78.5个百分点
数据来源:福布斯
XR sits at the juncture if three fast moving technology trends
XR处于三个有快速发展趋势的技术的结合点
LED
LED is becoming finer pitch and lower cost
LED的间距变得更小(也就是说分辨率更高,清晰度更高)和成本也更低
更多的像素,更高的质量
GPU
GPUs are getting faster and faster
GPU性能越来越高
Real-time enging
Artists are turning to real-time engines for unleashed creative potential
艺术家用实时引擎挖掘更多的创作潜力
Notch,Unity,Unreal
各行各业,电视广播,影视制作,舞台多媒体等等都往这转
(注:印证了我一直以来的观点,因为大多数情况下,人的精力有限,懂艺术多一点,懂程序就会少一分,程序的执行能力和创意潜力是互相作用的,但是往往就因为艺术家不够了解程序而损失了挖掘创意潜力的机会,简而言之,对技术理解的匮乏限制了想象力,并且有时候也常常在想,如果他们对程序更加了解一些,是不是就能想出比先前更棒的设计方案呢?不单单是普通的设计人员,包括大导演也不例外,在这方面,我丝毫不认为大导演有无可企及之处,我也同样会为他担心这种事。如何打破设计人员与程序间的壁障,减少创意灵感的损耗,是我们未来的工作哲学的重点)
技术细节,关于,为什么要用XR,如何使用XR,XR的价值几何?
我们都对绿幕工作流十分熟悉
它们是什么?它们有什么用?它们通常用在哪些地方?
那么,如果你曾经用过绿幕或者蓝幕工作流,你常常会遇到一些这样那样的问题和挑战,这些问题都使我们不得不在质量上,设计上,系统稳健度上与后期的时间消耗上等等方面做出妥协,所有这些传统工作流中的问题都是我们Disguise使用XR所尝试去解决的
in-Camera Screens + Camera Tracking + Generative Content + Argument Reality + Disguise Workflow
相机内屏幕 + 相机追踪 + 生成式内容 + 增强现实 + Disguise工作流
那么, Disguise的XR到底是什么?
它不是应该单独的东西,它是一系列工作流相互结合产物,这些工作流结合起来之后比任何其中的一个元素都更为强大
相机内屏幕,相机追踪,生成式内容,增强现实与Disguise工作流提供的技术支持
接下来让我们深入这五个部分的细节,并且了解它们都需要什么
相机内屏幕,也可以说是绿幕的替代品,基本上需要多个LED屏幕作为背景,构建一个studio演播室,所以,也就是说使用LED屏来取代绿幕或者蓝幕作为背景为演员服务
那么,这些LED屏能为你提供什么?
Lighting & Shadows are real 光照与阴影是真实的
首先,总体上来说,LED屏能为你提供沉浸式的光源,所以,你可以有非常真实的光照与阴影,这些都是以LED屏幕作为光源而创建的
Reflections are real 反射是真实的
如果你的道具中有玻璃,或者一些可以有镜面反射的材质,它们可以从屏幕中获取光照,并且很自然地进行反光,它们看起来非常非常逼真,因为它们就是“真的”,而这些要实现这些要素,在过去传统的绿幕工作流中非常困难
No keying 不需要抠像(keying 抠像)
因为摄像机所见即所得(所捕捉到的),所以在屏幕上看到的,就是最终所得到的,因此不需要抠像
No green spill 没有绿色溢出,就是比如说一个人在绿幕前,长发飘飘,然后绿色光会反射到头发丝上,接着头发丝会发绿,就叫绿色溢出,同样,绿幕不能穿绿衣服,蓝幕不能穿蓝衣服也是因为这个原因。
A huge Enviroment can be created from a small studio space 小片场可以创建巨大的环境
通过这些特点,你可以在一个非常小的拍摄现场中制作一个非常巨大的沉浸式拍摄环境,可以在LED屏幕边界之外扩展更大的虚拟世界
我们待会会回到这里讨论我们如何做到这点
Performer/presenter can see the CG world around them 演员或主持人可以看到他们周围的CG世界
绿幕的另一个传统问题是,在其中的演员并不知道他们在哪里,因为他们只能看到一个绿色的世界围绕着他们,而使用XR,他们可以看到他们所置身的世界,他们可以依赖这个世界,让表演变得更容易,从而表演得更好
Performer/presenter can use natural eye lines 演员或主持人可以有自然的视线
因为他们就置身于由LED屏幕提供的真实的虚拟世界,所以他们能够更好地知道自己应该往哪里看,因为他们就真的在那里,因此能够更好更自然地表现出视线的细节
No need for comfort monitors 不需要comfort monitors
这意味着不再需要comfort monitors了,因为,当演员在绿幕里想要找一个地方看的时候,会在周围环境找个东西看,而当舞台上有其他显示器的时候,这些显示器会吸引演员的目光,造成不自然的视线
注:关于什么是comfort monitor,请参阅以下链接
https://franchetti.com/how-to-use-comfort-monitors-to-enhance-your-presentations/
Post-porductoion cycle is reduced as more creative visual decisions can be made on set or in the studio
后期制作周期被极大地减少了,同时可以在片场或者工作室做出更多的视创意视觉决策
举个例子
XR看起来是什么样的?
比如说这个视频,是2018年冬奥会的视频,选手可以直接在演播间就看着自己的比赛录像与主持人一块录制节目,因为她的比赛录像就真的在墙上,而如果这是传统绿幕演播间,那就很麻烦了,因为选手没有接受过表演训练
除此之外,另一个很重要的部分是摄像机的追踪
所以,为了让这个环境看起来逼真,在摄像机的眼睛这部分上,我们需要知道摄像机在哪,在三维空间中的位置,还有关于屏幕的位置
Supports both optical and mechanical tracking 同时支持光学与机械两种追踪方式
我们内建了支持光学追踪和机械追踪的相机追踪系统
Work with major optical tracking compaines MoSys,stYpe,nCam,OptiTrack,BlackTrax 可以与主流光学追踪公司协同工作
我们还为主流的光学追踪系统提供了驱动,包括:MoSys,stYpe,nCam,OptiTrack,BlackTrax
Work with major mechanical tracking technologies 与主流机械追踪技术协同工作
同时我们还可以主流的支持机械追踪技术,我们已经沿用了很多年了
Supports multi-camera workflows 支持多摄像机工作流
我们还支持多摄像机工作流,这样你可以使用多个摄像机拍摄,可以在多个摄像机之间来回切换,获得多个角度的影像
Tracking calibration can be happen in less than 10 minutes 追踪校准的耗时控制在10分钟以内
在使用追踪系统时,有一个我们称作世界对齐的常见问题,你在不同的系统有多个不同的三维世界都需要你进行对齐,而这件事通常非常非常费时间,在传统的工作流中,所有事都必须手动完成,而我们拥有一项基于Struct lights的技术,可以将校准时间控制在10分钟以内
Lens calbration can be take less than 30 minutes
关于镜头校准,很典型地,当你在用绿幕时,你的镜头校准工作非常的繁琐枯燥,而我们有镜头校准系统,可以帮助你在30分钟内校准镜头还有焦距
Every camera move can be pre-visualized 每个相机的移动都可以预可视化
因为我们知道摄像机在三维空间中的位置,这意味着我们可以预可视化每个相机的移动,排除一些故障,并且可以为在摄影棚中的拍摄工作进行预演,你可以知道你的相机能往哪摆,能往哪移,能离舞台有多远多近,等等,所有的这些都会影响你的创意决策,快速了解这些信息对节约时间是非常有帮助的
快速看一下这些校准工作是怎样进行的
你可以看到屏幕上有这些点,我们的系统知道我们所希望看到的图案,而我们则通过摄像机读取它们,通过这样的方式,我们可以弄明白这些屏幕相互之间的位置关系,还有与相机之间的位置关系。你可以看到这是非常快的过程,这基本上就是校准工作看上去的样子
另一环关键的元素是生成式内容,生成式内容的另一个术语叫Real-time render content(实时渲染内容),这有别于传统内容工作流,在生成式内容中,你的视频是实时渲染的,所以你可以忽略传统的后期软件,例如AE之类的软件来渲染视频,你的视频是实时渲染出来的,你可以当成是一个图形引擎中的程序,而不是一个只能播放的视频文件。
Build a 3D world for your environment, and constantly create different content for the same space. Make the studio a multi purpose sapce
这意味着你可以为你的环境创建一个有三个维度的世界,并且一直往里面创建不同的内容。你可以使你的摄影棚用作多个用途
Renders a scene from the camera viewpoint 从摄像机的视角渲染场景
场景是由摄像机的视角渲染出来的。你可以在左边的图像中看到,从观众肉眼的视角看来,图中的场景看起来有些扭曲和奇怪,但是从摄像机的角度来看,透视则是完美正确的
Perspective correct - create false depth in a scene 正确的透视——在场景中创建假深度
这个场景中只是在观众的感觉上深度和空间出现了错误,但是我们的摄像机,实际上是看向一个虚拟的环境,同时你也可以认为摄像机是存在于这个虚拟空间中的,它只是在看着这个有两个维度的LED表面(这段讲的很绕,意思就是背景LED版上,肉眼看是错的,但是摄像机看的却是没问题的,因为背景板上的内容需要根据摄像机的视角来调整内容,它只为摄像机的视角负责,摄像机看起来是对的就行)
(背景板的内容是实拍的,所以需要根据摄像机“需要”看到的东西进行“调整”)
Integrated workflows for Notch, Unity and Unreal 针对Notch,Unity与Unreal的完整工作流
我们针对市面上最流行的实时渲染引擎集成有完整的工作流,Notch,Unity,Unreal,所以无论你喜欢用哪种,Disguise系统都能够提供很好的支持!
The camera can explore the 3D world as required by production - no forced shots or locked off cameras needed
这意味着你可以让摄像机根据需要探索3D世界,在XR中,并不会强求你的摄像机固定在一个镜头位置拍摄,也不需要锁定住你的摄像机,因为你在虚拟的3D世界中可以任意拍摄,甚至可以移到LED屏幕区域外进行拍摄
Creative decisions on the environment can be made live, no requirement for re-rending content, everything can happen in real-time
这意味着你可以实时对环境做出创意上的决策,而不用回去重新渲染内容,你可以随时做各种改变,基本上所有在该环境中被创建的内容都可以随时进行更改,比如你有一个窗户,窗户外能看见一个山,你可以随时改变窗外的景色,把山换成湖,早晨换成黄昏,夏天换成冬天,等等
第四个元素是增强现实
Select objects to appear in the foreground from your 3D scene
关键词:foreground
增强现实就是所有的东西都产生在3D场景的前景中。
例如左边的图像,该图像来自于一个叫做BTS的韩国男团,你可以看到这个歌手抬头看着头顶上的文字,上面写着London,而这里的这个文字并不存在于舞台上,很显然非常难以实现这种让字凭空浮空在现实中的效果(难吗?根本是无法做到),所以它只是被增强于电视广播的输出中,这就是AR,Augmented Reality,
该演出的技术细节,只用了Disguise中的AR
https://www.broadcastbeat.com/bts-world-tour-showcases-breathtaking-ar-content/
Bring in virtual elements in front of performers 将虚拟元素带到演员面前
而它允许你在输出层中创建深度Create depth in the outgoing scene,所以它允许你将虚拟元素带到演员面前,这样,你还可以让表演者在很多虚拟元素之间走动(多个虚拟元素与表演者之间复杂的遮挡关系),因为我们可以知道他们在三维空间的位置
Colour calibration workflows to manage colour space between front + back 色彩校准工作流程可管理前后之间的色彩空间
让AR内容看起来真实的关键在于它们的颜色要相同,颜色要介于前景和后景之间,而这就是颜色校准工作流所要完成的任务,我们要让LED屏幕的颜色与你参考的材料所匹配(前景,AR,背景,LED屏幕)
Conventional Key + Fill workflows can be used for easy intergration to broadcast infraseructure
注:Key + Fill是抠与填,电视领域的东西
所以传统的抠与填工作流可以轻松地集成于电视广播中的基础设施
Compositing can also happen within disguise 这些合成工作也可以在Disguise中进行
你也可以在Disguise平台中合成3D空间中的各种元素,你可以有很多种类型的图层,很多种带有各种内容的图层在你的3D空间中,这就是表演者为什么可以在各种虚拟元素之间走动(在各种虚拟元素之间搞定复杂又多元的遮挡关系),因为我们可以知道虚拟元素和表演者在3D空间中的位置
关于Key+Fill是什么意思:
关于电视方面的资料,Key的介绍
https://wenku.baidu.com/view/ddfa6ef4f61fb7360b4c653b.html
所以Key + Fill应该是传统工作流中的抠像与填像
这里是一个例子,这是一个来自于MalfMedia的广播。你可以看到在右边是一个带有追踪数据的AR图像,而左边是最终广播出去时的实际画面
这是另一个例子,大多数的图像都是增强在输出馈送中的,这些不是真实存在于现场的,它们只存在于输出馈送中,这是我们曾做过的最大的一个项目,运行于两个Disguise gx2服务器中,然后广播给了数百万的观众,而这一切的关键(难点)就在于精确并快速定位到屏幕的位置,每天都要排练好几次
All the benefits of the disguise workflow
Disguise的工作流带给你所有这些的福利
这些福利有3D模拟,VR预可视化,多种有用的编辑方式还有其他各种功能
One environment for LED screen & AR elements which combine to make Mixed Reality (and intergrated lighting control via DMX)
所以你可以使用单个创意环境同时为LED屏与AR对象服务,这两者结合就制作出了Mixed Reality,同时你还可以在Disguise工作流中通过DMX控制光照,将另一个环境带入这个沉浸式世界
One platform for visualization, pre-programming and delivery
所以,Disguise是一个集可视化,方案预制定与最终交付于一体的平台
In built VR simulation of all production elements
同时为所有的制作内容内建一个VR模拟器
而这就是Disguise中的XR
相机内屏幕 - 相机追踪 - 生成式内容 - 增强实境 - Disguise技术支持的工作流
好的各位,让我们来看几个例子,了解一下XR在实际拍摄中是如何进行的
那么,这是一个2018年的例子,你可以看到Andy站在LED屏幕地板上他的后面是LED屏幕墙
and camera, and input is take in as render input and correct pixels to show the correct perspective behind,the camera are pushed to the LED wall in flawless behind Andy, and so there is a blend point there about where there has three screens on the right hand side, and where the real physical LED finishes, and the virtual world starts and everything is tracked mapped inside of disguise you would never know there was a blend mesh. you can place a performer or presenter or anybody i guss inside of this LED environment which could be quiet small, it could be just 3m cube,and you can put it into anywhere, any virtual environment, you can imagine, and the good thing is that you don't need to be a trained performer to stand in that environment, and it is not a green screen, you can see everything is happening around.
然后,摄像机用MoSys追踪,然后追踪数据被带入Disguise,而在Notch中,你可以看到运行了一个虚拟环境,而相机,相机的输入作为渲染输入,正确的像素显示后面正确的视角,这些画面被推送到安迪后面的LED墙上,所以在那里有一个混合点Blend Point,就在右手边的那三个屏幕那里,真正的物理LED屏幕到那为止,虚拟世界开始,一切都被追踪并映射map到Disguise内部,你永远不会知道有一个混合网格blend mesh。你可以把一个演员,主持人或任何你想安排进去的人放进这个LED环境中,这个环境可能很小,可能只有3x3的立方体那么大,你可以把它放在任何地方,任何虚拟环境中。你可以想象,好的一点是你不需要成为一个训练有素的演员来站在那个环境中,它不是一个绿色的屏幕,你可以看到周围发生的一切。
is being used in broadcast is XR, you can see this fifa football world cup, on the left and right hand side, and a window behind the presenters, on the left and right side you can see there are tracked inside disguise, and you can see the perspective and the illisuion of the large window behind and with everything mapped inside of our products.
在这个在广播中使用的是XR,你可以看到这里有FIFA世界杯,在主持人后面有一个窗口,在主持人的左边和右边的是LED墙,它们被追踪于Disguise内部,你可以看到后面的大窗户看到正确的透视与幻象,以及我们Disguise内部的所有映射map。
而Wihte Light(例子里的公司)不是唯一使用XR进行广播的厂商,这是一个简单而漂亮的例子,你有一个主持人用的桌子,你的背后的LED屏幕能运行一些内容,你还有被追踪的相机,所以当相机向内容移动时,内容也发生形变,给出了有深度和透视的幻觉,这是一个非常简单的技术
XR同时也被用于电子竞技,你在这里可以看到一个增强实境的前景
这些是游戏的元素,在电竞赛事中,主持人们就在这里讨论游戏比赛,而实际上主持人只是坐在桌子后面,他们的背后是两块小小的LED屏幕,
and then able to drop AR elements in the foreground which the camera could move around, infact they are not actually there
他们被放进了一个游戏中的虚拟环境,然后能够将增强现实元素放在前景中,相机可以移动(所谓移动,就是让元素根据相机视角在前景实时渲染)。这些元素,事实上它们并不在那里
如你所见,这是一个由Meptik制作的音乐视频,在北美,所以他们用了几个gx 2c(服务器型号)Disguise产品,这一段其实有些关键词并没有听明白,抱歉
BTS的例子之前讲过了,我喜欢这个例子,它就像圣坛一样。观众本身是看不到演员身边的增强实境元素的,但如果你看到旁边的IMAX屏幕,或者在收看电视直播,你可以看到这些图像,所以很多在场馆中的观众,他们体验不到。但是那些不那么靠近演员的观众可以从IMAX屏幕中看到增强实境内容,爱心和粒子围绕着演员, 给了他们一个和谐的体验
这是一个来自UK的非常好的例子,BRIT Awards演唱会,
there is one single project output, XR does not need to be very complicated, so there is one single project output down on to the piano,
有一个单独的项目输出,XR不需要非常复杂,所以钢琴上有一个单独的项目输出,
而所有的内容都是在Notch中创建的,并且由移动的摄像机追踪透视,这样就给了钢琴一个看起来像个隧道的效果
是一个live broadcast电视直播,
你可以看到现在她在一个AR世界中
Mapping content to screen for camera in real time masks blends gradients composited live 6k 60fps playback
在实时蒙版中将内容为摄像机映射到屏幕上,并合成为实时6K 60帧视频
它实际上并不是一个XR工作流,它用的是传统的多图层2d内容,但依然被相机追踪,
它展示了你不用实时渲染内容也可以创建非常强大和真实的沉浸式体验
在这个例子中你可以看到太空飞船还是一些结构,在静态背景中移动,被相机追踪,在3D空间中移动
这部分是来自于最新的星球大战电影,这里,是我们的一位合作伙伴,卢卡斯影业。我们使用Disguise为摄影棚的背景提供真正的投影,它们非常精确,明亮且锐利,在实际拍摄中,还能够为演员提供光照。
这为坐在这个太空飞船里面的演员提供了非常非常真实的演出表现
一个有趣是事情是,当演员们第一次走进这个环境时,他们不知道会看到什么,他们以为背景是静态的,但是当背景开始播放时,太空船开始移动时,他们表现得看起来像真的在飞船中,他们创造出了非常非常逼真的表演。
这个我觉得是一个非常好的例子,告诉你,你不需要通过抢银行去筹钱来做XR,你可以有一个相对小的片场,和一个锁定视角的摄像机,所以在这个案例中,没有,也并不需要相机追踪系统,但仍然能够为舞台上的人创建有一定真实程度的幻象。
这是来自我们的合作伙伴FABER的另一个例子“Prefabricated”,他们预先构思了一个有LED片场的绿幕室,在这个混合型的房间,他们可以根据客户的需求快速启用绿幕或LED屏。
这是一个非常棒的例子,white light工作室建造了这个这个LED方块,LED地板,LED墙,在新冠流行期间,他们在周末不能在一起集会,所以主持人可以这里与其他人接触,你可以看到其他人都在Zoom上 ,然后创建一个教堂的场景,是一个经典的三面片场
一个来自德国的厂商,他们做了很多很棒的项目
电视制片行业资料
https://study.com/tv_production_career.html
看一个快速的product demo,快速检视interface,演示Disguise XR workflows,我们之前提到的东西,所有的东西都存在于Disguise内,你可以在我们的网站上下载免费版,如果你想获得授权进入这个build,请联系我们,我们给你提供这个内容
我们先快速带你浏览一下用户界面,并且给你一些关于如何在3D空间中设置XR的点子。
那么,我们说着就打开软件
关于XR的东西,可以像星球大战那样无比巨大且复杂,但是也可以只是摄像机追踪透视的背景,给一个透视的幻象,可以很基础很简单,用于舞台和直播,也可以只用AR,让图像出现于前景,能够遮挡演员,在最新版本的Disguise中可以简单快速地完成这项任务,你可以把3D对象在里面随意调遣,非常灵活。
Disguise Workflow 工作流
Fully 3D Video Production Platform
PreVisulize, all your screens, all your content, and programme your shows and controll your media service in one single platform
全3D视频制作平台
在一个平台中预可视化所有你的屏幕,所有你的内容,并且编排你的表演,同时控制你的媒体服务器
This a tipical XR set up
2 LED screens
1 LED floor
这是一个典型的XR片场
两块LED屏幕
一块LED地板
以米为单位进行分面,这里还有分辨率,知道所有这些屏幕的信息,可以让我们进行对齐工作
在这里,我们有两个摄像机,一个是虚拟摄像机,我喜欢把它叫做Source Camera,另一个是main camera, 从目的上来看,在现实世界的情况下,你只会有一个摄像机,并且这个摄像机会附有一个追踪源(tracking source),它从追踪系统向Disguise系统实时发送摄像机的位置信息等等一切信息
所以,当我移动这个(现实世界的)摄像机的时候,这个存在于3D空间中的摄像机就会像现在这样同步四处移动
现在我们进入下一个内容
我们有一个Argumented Reality up AR片场,如你所见,屏幕现在变成了黑色,因为现在没有东西在屏幕上,但如果你看这里,在main camera上,很显然我们在这能看到一辆赛车存在于3D空间,
那么,当我移动摄像机的时候,你可以看到,这辆赛车只存在于摄像机中,接着我可以对赛车做的是,我们可以改变赛车的位置和旋转,可以操作这辆赛车
接着我们进入下一环节,我们有一个存在于MR中的摄影棚
当我们讨论MR时,MR其实是
It is a combination of content on video screens and content that is been applied outside these screens
视频屏幕上的内容和应用于这些屏幕之外的内容
注:目前“video screen”是什么意思没弄明白,是LED屏幕的统称吗?Video screen应该就是指3LED屏片场
屏幕之外的内容,整个虚拟世界(特指摄像机没看到的没拍到的地方)
屏幕上的内容,真实世界的道具,演员,LED屏幕,AR内容
你现在可以看到,这个演播室,已经从摄像机的透视角度被投射到这些屏幕上了
那么,假如我站在这里,在这些屏幕的侧面,我们可以看到透视非常扭曲,从我站的地方看,画面非常扭曲,
但是当摄像机移到这里的时候,你就会看到,从摄像机所在角度来看
同时,你可以看到这两个摄像机所看到的内容有所差异
当我放大焦距,我们会看到,摄像机只会渲染它们看到的东西
但是当我们将焦距拉远,两个摄像机渲染的画面就完全不一样了,
Source camera能看到LED屏幕,和Disguise中的其他虚拟的东西
但在Main camera中,我们可以看到,我们现在实际上是在应用LED屏幕边界之外的扩展内容。就是这个扩展内容让我们得以获得这个沉浸式环境,你可以自由拍摄,并创建各种内容,为台上的演员提供沉浸式环境
意思就是,两个摄像机,在焦距没拉开的时候看不出来有什么问题,但焦距拉开后就能看出问题了,
此时LED屏幕上的东西并不是直接显示上去的,更像是摄像机作为投影仪投上去的(所以叫Map),然后Main camera是不会“看到”Disguise世界(其实也就是现实世界)的,屏幕外的东西就是一片漆黑,而Source camera则是能看到现实世界的
Source cam代表现实摄像机,Main cam代表虚拟摄像机
实际上,摄像机像一个投影仪,
另外,为什么不用投影仪而用LED,因为演员会挡住光路
Comments
Please Log in or Register to comment