盘天下 | 免费网盘资源分享

这是一个 G it Hub 项目 ，名为 Open-Chat-Video-Editor，是一个基于  文本生成视频  的开源工具。

该项目的主要特点有：

• 涵盖多种主流 算法 和模型 ，如 Chatgpt, Stable Diffusion, CLIP 等，可以根据 用户 输入的文本，自动生成视频内容。
• 支持多种输入方式 ，如直接输入文本，或者输入一个网页链接，可以将网页内容转换为视频。
• 提供多种安装方式 ，如使用 docker ，或者直接安装依赖包，可以在不同的 环境 中运行该项目。
• 仅用于交流 学习 ，不得用于 商业 ，以及其他会对 社会 带来危害的用途。

或者你对这些生涩的 文字 感到难以理解，下面上一个结构图你就大致明白了：

以上是它的整体 技术 框架，再来一组结果展示加强理解

1 、短句转 短视频 （Text2Video）

界面如下:

 以输入 文案 ：【小 孩子 养宠物】为例，利用文本模型（如： chatgpt 等），可以自动生成一个较长的短视频文案：

1. ['小孩子养宠物', '可以更好地 提升 小孩子的责任感和 独立 感', '但也要慎重的选择合适的宠物', '因为只有经过一定的训练养成', '它们才能够 成长 起来', '一起玩耍和度过一段欢快的 时光 ', '宠物不仅能够陪伴小孩子渡过寂寞时光', '还能培养小孩子处事冷静、自信以及 情感 交流和 沟通 能力', '在养宠物的过程中', '小孩子们可以唤醒和发掘他们被磨练出来的坚毅和耐力', '能够亲 身体 验到勤勉 和坚持的重要 性 ']

根据不同的视频生成模式，可以生成不同的视频，各个模式如下:

1）图像检索

2）图像生成（stable diffusion）

3）先图像检索，再基于 stable diffusion 进行图像生成

4）视频检索

2、网页转短视频（Url2Video）

界面如下：

1）输入一个 url, 例如：https://zh.wikipedia.org/wiki/%E7%BE%8E%E5%9B%BD%E7%9F%AD%E6%AF%9B%E7%8C%AB 其内容是： 美国 短毛 猫 的维基 百科

2）解析网页并自动摘要成短视频文案，结果如下：

1. ['nn 美国短毛猫', '是一种神奇又 魔幻 的宠物猫品种', '它们优雅可 爱 ', '活力无比', '能拥有多达 80 多种头毛 色彩 ', '最出名的是银虎斑', ' 其银色毛发中透着浓厚的黑色斑
2. 纹 ', ' 除此之外 ', ' 它们还非常温柔 ', ' 是非常适合 家庭 和 人类 相处的宠物 ', ' 并且平均寿命达 15-20 年 ', ' 这种 可爱 的猫
3. 品种 ', ' 正在受到越来越多人的喜爱 ', ' 不妨试试你也来养一只吧 ']

3）自动合成短视频 例如图像生成模式

如何使用该项目进行视频 编辑 ？

要使用该项目进行视频编辑，您需要先安装好相关的依赖环境，然后 下载 数据 索引和 meta 信息 ，最后选择合适的配置文件，运行相应的脚本。具体的步骤如下：

• 安装依赖环境
  • 安装 Pytorch，根据您的设备选择 GPU 或 CPU 版本，使用 pip 命令进行安装。
  • 安装其他依赖包，使用 pip 命令安装 requirements.txt 文件中的包。
  • 安装 CLIP，使用 pip 命令安装 OpenAI 的 CLIP 项目。
  • 安装 FAISS，使用 conda 命令安装 pytorch 的 f ai ss-cpu 包。
• 下载数据索引和 meta 信息
  • 下载 data.tar 文件，解压到 data/index 目录下。
• 选择配置文件
  • 根据您的输入数据和期望的输出效果，选择不同的配置文件，放在 configs 目录下。
  • 如果您要使用 ChatGPT 来生成文案，您需要在配置文件中，提前配置好 OpenAI 的 API Key 和 organization ID。
• 运行脚本
  • 根据您的输入数据，选择不同的功能，运行 app/app.py 文件，指定 func 和 cfg 参数。
  • 例如，如果您要输入一句话，生成一个视频，您可以运行：
  • 然后，您可以在终端中输入您想要生成视频的文本，等待程序运行完成，您就可以在 output 目录下找到生成的视频文件。

项目地址：https:// github .com/SCUTlihaoyu/open-chat-video- editor

夸克资源精选合集