Sora开启文本到视频的全新时代
在官方分享的演示视频中,Sora可以直接输出有多个角色、多种场景和运镜的画面。
在Sora的想象中,中国的龙年春节是一个热闹非凡、充满活力的节日。舞龙队伍里,龙身蜿蜒曲折,龙尾灵动飘逸,队伍四周有抬头观望的孩子,还有很多用手机记录的人们,人物很多,各有各的行为。
提示词为镜头穿过熙熙攘攘的东京街道,跟随几个人享受雪天并逛街。Sora生成的视频中可以看到镜头从天空的雪花中俯冲,跟着一对牵手的情侣,走过日式风格的街道。
据悉Sora实现的最关键的一处技术突破是,“画面主体即使暂时离开镜头,也能保持不变。”因此生成视频的逼真度和连贯性有了肉眼可见的进步。
OpenAI的技术报告显示:其并未将Sora单纯视作视频模型,而是将视频生成模型作为“世界模拟器”,不仅可以在不同设备的原生宽高比直接创建内容,而且展示了一些有趣的模拟能力,如3D一致性、长期一致性和对象持久性等。目前Sora能够生成一分钟的高保真视频,OpenAI认为扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。
Sora将引发新一轮数字化变革浪潮
随着OpenAI全新视频生成模型Sora的问世,文化产业和多个相关领域正站在了新一轮数字化变革的门槛上。从视频制作到文学创作,再到文旅体验,Sora有望引领一场前所未有的创新浪潮,为各行业的未来发展描绘出全新的蓝图。
视频领域:创作门槛更低,内容更多元化
作为一款强大的文生视频大模型,Sora有效降低了视频创作的门槛,用户只需输入描述性文字,就能快速生成高质量的视频内容,这不仅为创作者提供了全新的创作方式,还加速了视频内容的生产速度,从而满足用户对新鲜、有趣内容的需求。
可以推测,未来通过对大量数据的学习和分析,Sora生成的视频将更符合用户的喜好,甚至能根据用户的反馈进行自我优化和调整。这种智能化的生成方式将激发创作者的灵感,推动视频内容的创新和发展。
文学领域:丰富作品的多样性
文旅领域:沉浸式体验感更强
国内领先厂商先后布局相关业务
今年1月,万兴科技发布湖南首个通过算法备案、国内首个音视频多媒体大模型——万兴“天幕”大模型。
图源: 万兴科技官网
据悉,“天幕”大模型是以视频创意类AI技术为核心的多媒体大模型,涵盖音频、图像、视频等多模态能力。在视频生成方面,“天幕”可以根据用户输入的创作想法拓展出完整的故事内容,并实现AI自动生成写实、动漫两种风格的视频画面。
比如,通过“天幕”,绘本视频创作者可以根据自己的童话故事主题生成动画故事;短视频创作者可以输入主题描述,自动生成故事会、科普等主题短视频,提高短视频制作效率;摄影师、动画设计师还能快速生成动漫、写实两种画风的素材,无需复杂耗时的拍摄或动画设计。
同时,万兴科技还宣布将大模型研发中心正式落户马栏山视频文创园。该文创园是湖南音视频发展的主阵地,始终坚持“文化+科技”深度融合,筑牢云广算技术底座,拥有马栏山视频云平台、视频超算平台、视频共享制作中心等公共技术平台,现已形成了上下游产业链协同发展的数字视频全产业链集群。
海康威视也已处于多模态大模型的研发阶段,包括视觉、语音、文本等多模态信号的融合训练及处理。
大华股份的“星汉大模型”结合了图像、点云、文本、语音等多种数据类型,大幅提升了视觉解析的能力。该模型具有准确性和泛化性的飞跃、图文提示的全新定义、视觉认知能力的突破、全场景自主解析能力、以及大小模型与算力的融合协同五大优势。
昆仑万维旗下Star Group和Opera都具备做短视频的土壤,其中Opera在海外已经推出了短视频功能。此外,昆仑万维天工大模型在腾讯优图实验室联合厦门大学开展的多模态大语言模型测评中,综合得分排名第一。
当虹科技拥有自研的AIGC工具集,发布了以静态照片生成三维体积视频的方案,并且通过点云模型转换及压缩算法实现高达800倍的视觉无损压缩,实现不同模态之间相互切换。
因赛集团旗下InsightGPT目前可生成20秒以上的视频,能够结合图像、视频大模型,融合抠图等多种算法,再结合音频模型,整体渲染后最终合成完整视频。
图源:财联社
(部分信息来源于“创业板观察”微信公众号、财联社)
添加江小融 (ID: xr17368129233)
领取更多行业热点观察
- THE END -
2024.10
2024文化科技融交会
邀您参展参会
中国(南京)文化和科技融合成果展览交易会,简称“文化科技融交会”或“融交会”,是全国首个聚焦文化和科技融合的专题性展览交易平台,每年在南京举办。
展会由江苏省人民政府作为指导单位,江苏省委宣传部、江苏省科学技术厅、江苏省委网信办、江苏省文化和旅游厅、江苏省广播电视局、南京市人民政府联合主办,南京市委宣传部、南京市科学技术局、南京市委网信办、南京市文化和旅游局、南京市工业和信息化局、南京市文化投资控股集团共同承办。融交会聚焦中华优秀传统文化创造性转化和创新性发展、国家文化大数据体系建设、人工智能、数字文旅、元宇宙等领域,全面展示了文化产业最新成果。
自2018年至2023年,展会已累计服务各类市场主体超4430家,集聚49个国家文化和科技融合示范基地,213家投融资机构、285个商协会、262家文博场馆、445余家文旅集团/景区等现场参观参会,行业观众累计超5.8万人次,达成交易超860亿元,全网阅读量累计10.25亿次,连续两年获得中宣部文改办简报专刊报道,树立文化科技融合的“风向标”,打造产业数字化的“指南针”。
参展咨询:李先生 18251960408
论坛咨询:姜女士 18363996740
商务合作:吴女士 13675161637
媒体合作:王女士 13951661116
Comments
Please Log in or Register to comment