关于可灵:可灵(Kling)是由快手大模型团队自研打造的视频生成大模型,现已支持文生视频、图生视频、视频续写等多个能力,让用户可以轻松高效地完成艺术视频创作。
官网链接:https://kling.kuaishou.com/
平台链接:https://klingai.kuaishou.com/
移动端使用:
一、应用指南
文生视频
- 简介:输入一段文字,可灵大模型根据文本表达生成5s视频,将你的文文字转变为视频画面。
- 公式:
:bulb:提示词(Prompt)=(镜头语言+光影)+主体(主体描述)+ 主体运动 + 场景(场景描述)+(氛围)
——括号里的内容可选填
镜头语言:是指通过镜头的各种应用以及镜头之间的衔接和切换来传达故事或信息,并创造出特定的视觉效果和情感氛围。如超大远景拍摄,背景虚化、特写长焦镜头拍摄、地面拍摄、顶部拍摄、航拍、景深等;
光影:光影是赋予摄影作品灵魂的关键元素,光影的运用可以使照片更具深度,更具情感,我们可以通过光影创造出富有层次感和情感表达大力的作品。如氛围光照、晨光、夕阳、光影、丁达尔效应、灯光等;
主体:主体是视频中的主要表现对象,是画面主题的重要体现者。如人,动物,植物,以及物体等;
主体描述:对主体外貌细节和肢体姿态等的描述,可通过多个短句进行列举。如运动表现、发型发色、服饰穿搭、五官形态、肢体姿态等;
主体运动:对主体运动状态的描述,包括静止和运动等,运动状态不宜过于复杂,符合5s视频内可以展现的画面即可;
场景:场景是主体所处的环境,包括前景、背景等;
场景描述:对主体所处环境的细节描述,可通过多个短句进行列举,但不宜过多,符合5s视频内可以展现的画面即可。如室内场景、室外场景、自然场景等。
氛围:对预期视频画面的氛围描述。如热闹的场景、电影级调色、温馨美好等。
Prompt:一个小男孩在咖啡厅看书
说明:提示词为“主体”+“场景”,因此,除了主体和场景表达准确外,主体和场景的一些细节、镜头语言,以及氛围等具有一定随机性。
Prompt:一个小男孩穿着棕色的衣服在咖啡厅看书,书本放在桌子上,桌子上还有一杯咖啡,冒着热气,旁边是咖啡厅的窗户
说明:提示词为“主体(主体描述)+场景(场景描述)”,加入对主体和场景的细节描述,视频将更贴合预期画面。
Prompt:正面镜头,背景虚化,氛围光照,一个小男孩穿着棕色的衣服在咖啡厅看书,书本放在桌子上,桌子上还有一杯咖啡,冒着热气,旁边是咖啡厅的窗户,画面有和谐美好的感觉
说明:提示词加入“镜头语言”和“光影”,辅助氛围描写,视频画面的质感会有所提升,将更满足对镜头和光影等方面的需求
:point_right: 一些优质案例 (以下内容来源于可灵创作者分享)
Prompt:固定镜头,一只戴眼镜的小白兔坐在咖啡馆的椅子上看报纸,桌上有一杯咖啡。
Prompt:一只带有鹰翅膀的狮子在巡视自己的领地,翅膀完全展开,柔和的阴影,突显出毛发和羽毛的质感。
Prompt:长焦镜头拍摄,地面拍摄,刺眼的阳光,一只骆驼,新疆戈壁烟尘四起。
Prompt:室内拍摄,特写,一个中国小孩正在吃饺子。
Prompt:特写镜头,清晨的阳光,一只鹦鹉站在红色的邮箱上,鹦鹉有着亮蓝色的羽毛,黄色的喙,背景是嘈杂的街道。
Prompt:宇航员在月球表面搭建基地。
Prompt:一只可爱的黑白边境牧羊犬,头伸出车窗,毛发被风吹动,微笑着伸出舌头。
Prompt:一艘中世纪的帆船在海上航行,雾蒙蒙的夜晚,明亮的月光,诡异的氛围。
Prompt:一个女人,在一个巷子里和别人枪战,银翼杀手风格,霓虹,氛围光照。
Prompt:三位蓝色宇航服的宇航员带着玻璃面罩,面罩下面有小动物LED灯,宇航员面部表情紧张,向前走,在奇异的紫色外星飞船内部,探索,和同伴一起探索。
Prompt:太空战机高速穿过一个巨大的科幻内部通道,冲出通道飞向太空,通道尽头可以看到外面是太空大战。
Prompt:外星球上,赛博朋克的城市街景,建筑具有未来感,镜头缓慢向前推进,街道上有行人。
Prompt:镜头在高空俯视,城市中间出现一座火山,正在喷发岩浆。
Prompt:在未来科技的实验室,中心有一个小小立方体科技核心旋转,发出光芒,周围是其他装置。
Prompt:环绕运镜,一个古装英俊少年,穿着白衣,在坐在池塘边,闭目养神。
Prompt:镜头向上移动,女子的背影,穿红色长衫,站在房顶。远处的建筑在冒烟。
一些tips
- 简单语句,尽量使用简单词语和句子结构,避免使用过于复杂的语言;
- 画面内容尽可能简单,可以在5s内完成;
- 用“东方意境、中国、亚洲”等词语更容易生成中国风和中国人;
- 对数字不敏感,比如“10个小狗在海滩上”,数量很难保持一致;
- 分屏场景,可以使用prompt:“4个机位,春夏秋冬”;
图生视频
- 简介:上传任意图片,可灵大模型根据图片信息可生成5s视频,同时支持添加提示词控制图像运动。
- 公式:
:bulb:提示词(Prompt)=主体+运动,背景+运动……
主体:画面中的人物、动物、物体等主体;
运动:指目标主体希望实现的运动轨迹;
背景:画面中的背景。
Prompt:戴墨镜
说明:模型没有理解,因此只简单进行运镜
Prompt:蒙娜丽莎用手戴上墨镜
说明:符合“主体+运动”表达,结果符合预期。
Prompt:蒙娜丽莎用手戴上墨镜,背景出现一道光
说明:符合“主体+运动”表达,结果符合预期
主体1+运动2:蒙娜丽莎用手戴上墨镜
主体1+运动1:背景出现一道光
:point_right: 一些优质案例 (以下内容来源于可灵创作者分享)
图片/Prompt:模特在微笑,风吹动头发。
视频:
图片/Prompt:大熊猫在吃苹果。
视频:
图片/Prompt:运动员骑着自行车在公路上,速度感。
视频:
图片/Prompt:丹顶鹤在寻找食物。
视频:
图片/Prompt:飞舞的沙尘,飘荡的衣服。
视频:
图片/Prompt:无Prompt 直接生成。
视频:
图片/Prompt:无Prompt 直接生成。
视频:
图片/Prompt:无Prompt 直接生成
视频:
一些tips
- 尽量使用简单词语和句子结构,避免使用过于复杂的语言;
- 运动符合物理规律,尽量用图片中可能发生的运动描述;
- 描述与图片相差较大,可能会引起镜头切换;
视频延长
- 简介:对生成后的视频可续写4-5秒,支持多次续写(最长3分钟),可通过微调提示词进行视频续写创作。
- 公式:
:bulb:提示词(Prompt)=主体+运动
主体:指上传图片中希望运动的主体,为了保证较好的文本响应能力,选一个主体效果会好一些;
运动:指目标主体希望实现的运动轨迹。
原视频:
提示词2: 续写x1:一个女人站在雪地里,抬起右手摸了一下帽檐
提示词3: 续写x2:女人的手放下,并望向远方
:point_right: 一些优质案例 (以下内容来源于可灵创作者分享)
二、应用场景案例
文生视频以下案例均来自可灵首批创作者