正在制作一款 ComfyUI 的替代品

3 天前
 sunxfancy

大家好,

年初的时候,我在使用 ComfyUI 在做文生视频的工作流,被其中巨量的结点和连线震撼到了。基于结点的工作流在数据少时非常方便,但却有两个缺点:

  1. 抽象能力差,重复的工作只能拷贝修改
  2. 不容易和其他工作流整合

这使得大型复杂的工作流维护非常困难,甚至到了哪怕是专业人士也很难修改的地步。并且还因为结点安装难,版本难以管理等问题造成使用不易。

为了一劳永逸地解决这些存在的问题,我计划开发一款由脚本控制的 stable diffusion 工具,实现以下特性:

  1. 根据脚本动态生成 UI 界面,实现模型推理,进行生图、生成视频、生成 3D 模型等工作
  2. 高扩展的 UI 系统、模型系统,可以通过插件系统新增 UI 支持、模型支持
  3. 脚本安全可分享,无法调用潜在危险 api
  4. 更加安全的版本管理

现在开发了一个 MVP 为项目做概念验证,如果有感兴趣的朋友欢迎了解试用、参与开发。 也欢迎大家多提改进建议。

项目仓库:github.com/sunxfancy/SSUI 下载链接: https://github.com/sunxfancy/SSUI/releases/tag/v0.1-alpha (仅限 Windows NVIDIA 显卡) 目前想寻找三位同伴组建一个小团队,如果你有一定的业余时间,并愿意参与此开源项目,请发邮件报名: sunxfancy@gmail.com

2064 次点击
所在节点    分享创造
34 条回复
cherryas
3 天前
你知道 comfyui 开发团队多少人吗
emojiiii
3 天前
额,你只看到了 Comfyui 的前端,但其实 Comfyui 的服务端更复杂...
这个我个人感觉还不如 AI 动态生成工作流,或者基于 Comfyui 的后端,自己做一点工作流上面的简化?
swordtooth
3 天前
比较担心做完之后还是没人用😑
sunxfancy
3 天前
@swordtooth 能问下你的想法吗?你愿意用一个基于代码的工作流吗?脚本提供了任意编写 python 函数的能力,但限制了一些危险的系统 API 调用这样的。
sunxfancy
3 天前
@emojiiii ComfyUI 的后端 API 不太符合我的要求,代码质量有点差,目前我用的 InvokeAI 的部分后端代码改成的推理库。。。
ChoiYoonJung
3 天前
@sunxfancy 说实话如果足够好用我是愿意用的,打个比方,类似我更倾向于用绘图语言(plantuml 等)而不是拖拽的绘图工具(draw.io 等),确实更好维护一些
swordtooth
3 天前
@sunxfancy #4 comfyui 我就没用下去,就是因为太复杂了。换成 python 会好点吗?逻辑性会更强一点,但是也一些非程序员或者不会 python 的程序员也用不下去。

---

只说我自己的话,我愿意用基于代码的工作流,如果是我擅长的语言就更好了( JavaScript )。
担心的是推广,我也有个开源项目,但是推广不开。
sunxfancy
3 天前
@swordtooth 其实我的想法是,既然 ComfyUI 调整 workflow 都如此困难,那索性就不调整了,由脚本开发者做好可以灵活配置的工作流,扩展性多强,就看脚本的设计者提供了多少配置选项这样,用户只需要打开生图就好了。。
ybby
3 天前
@cherryas 想问一下有多少人
sunxfancy
3 天前
@swordtooth 不过你说的也很有道理,可能会导致一些想修改工作流但不会 python 的用户做不到一些修改。至于推广,确实是个大问题,不过还不是我现在需要头疼的事,哈哈。如果你有想推广的项目,不妨也发到 V2EX 上让我们看看
sunxfancy
3 天前
@ChoiYoonJung 哈哈,没错我也是一样。
swordtooth
3 天前
@sunxfancy #8 嗯,最近比较闲也想找点新鲜事务,如果需要前端,可以参与进来
2MO
3 天前
😅怎么总有人一上来就先泼冷水啊,好的开源项目自然会有更多人来一起维护的
hugsky
3 天前
生态别忽略了
hhjuteman
3 天前
其实想要的是一个 类似虚幻里面 c++ 和 蓝图共生的方式。
一些负载的逻辑节点模块能够直接用代码实现,蓝图可以继承代码,蓝图里面只需要简单的逻辑修修改改就行。
现在 comfyui 确实是,连来连去最后不知道连到哪里了。要是能有函数,过程式的程序模型打底就好了
sunxfancy
3 天前
@hhjuteman 你说的太对了,我这两天也一直在想怎么把脚本跟类似蓝图的这种结点系统结合起来,我目前的一点思路是,允许函数的一个参数传入一个结点表示的 workflow ,然后把这个 workflow 转换成 lambda 函数的样子。嘛不过还有很多细节没有设计好,暂时就只是个想法。
swordtooth
3 天前
@sunxfancy #10 不过倒是有个现成的例子就是油猴,用别人写好的脚本,好用的话确实不需要修改。

哈哈已经发了,确实增了点用户量。
sunxfancy
3 天前
@swordtooth 那很欢迎呀,我现在想组建一个小团队,除了我之外,增加两名前端和一名后端。前端技术栈主要是 yarn+react+typescript ,后端主要是 Python fastapi ,asyncio 这些。之后项目再成熟一些,可能再寻找其他做模型推理的合作者加入
yplam
3 天前
实际上 UI 是 ComfyUI 最简单的部分,ComfyUI 的优势就是灵活,你不喜欢大量节点与连线可以直接自己写个大 node 把功能整合到一起;如果面向的是小白用户,也完全可以写个独立 UI ,后台调用 ComfyUI 工作流。

PS: 相对于前端后端这些,建议先评估一下是否有足够开发能力实现与 ComfyUI 类似的功能,举个例子: PuLID + Flux ,Wan 2.1 FP8
sunxfancy
3 天前
@yplam 额,哈哈,我怎么感觉自己被当成了新手开发者 :)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1127705

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX