ComfyUI安装与文生图详解

上期填坑

leetcode,16.25. LRU 缓存
设计和构建一个“最近最少使用”缓存,该缓存会删除最近最少使用的项目。
缓存应该从键映射到值(允许你插入和检索特定键对应的值),并在初始化时指定最大容量。当缓存被填满时,它应该删除最近最少使用的项目。
它应该支持以下操作: 获取数据 get 和 写入数据 put 。
获取数据 get(key) - 如果密钥 (key) 存在于缓存中,则获取密钥的值(总是正数),否则返回 -1。
写入数据 put(key, value) - 如果密钥不存在,则写入其数据值。
当缓存容量达到上限时,它应该在写入新数据之前删除最近最少使用的数据值,从而为新的数据值留出空。

public class LRUCache {
    class DLinkedNode {//定义双向链表节点和构造函数
        int key;
        int value;
        DLinkedNode prev;
        DLinkedNode next;
        public DLinkedNode() {}
        public DLinkedNode(int _key, int _value) {key = _key; value = _value;}
    }
    
    //使用hash进行快速定位节点
    private Map<Integer, DLinkedNode> cache = new HashMap<Integer, DLinkedNode>();
    private int size;
    private int capacity;
    private DLinkedNode head, tail;

    //初始化
    public LRUCache(int capacity) {
        this.size = 0;
        this.capacity = capacity;
        // 使用伪头部和伪尾部节点
        head = new DLinkedNode();
        tail = new DLinkedNode();
        head.next = tail;
        tail.prev = head;
    }

    public int get(int key) {
        DLinkedNode node = cache.get(key);
        if (node == null) {
            return -1;
        }
        // 如果 key 存在,先通过哈希表定位,再移到头部
        moveToHead(node);
        return node.value;
    }

    public void put(int key, int value) {
        DLinkedNode node = cache.get(key);
        if (node == null) {
            // 如果 key 不存在,创建一个新的节点
            DLinkedNode newNode = new DLinkedNode(key, value);
            // 添加进哈希表
            cache.put(key, newNode);
            // 添加至双向链表的头部
            addToHead(newNode);
            ++size;
            if (size > capacity) {
                // 如果超出容量,删除双向链表的尾部节点
                DLinkedNode tail = removeTail();
                // 删除哈希表中对应的项
                cache.remove(tail.key);
                --size;
            }
        }
        else {
            // 如果 key 存在,先通过哈希表定位,再修改 value,并移到头部
            node.value = value;
            moveToHead(node);
        }
    }
  
    //伪头节点的作用是为了快速头插
    private void addToHead(DLinkedNode node) {
        node.prev = head;
        node.next = head.next;
        head.next.prev = node;
        head.next = node;
    }

    private void removeNode(DLinkedNode node) {
        node.prev.next = node.next;
        node.next.prev = node.prev;
    }

    private void moveToHead(DLinkedNode node) {
        removeNode(node);
        addToHead(node);
    }

    private DLinkedNode removeTail() {
        DLinkedNode res = tail.prev;
        removeNode(res);
        return res;
    }
}

ComfyUI

ComfyUI是鼎鼎大名的Stable Diffusion图像生成模型的使用界面之一。相比于其前辈WebUI,ComfyUI不仅在组织形式上,在性能上也得到了提升:

• 以工作流形式面向用户,给用户更高的自由度,直观易用。
功能模块节点化,用户更加清楚功能和数据流转,可根据需求定制化
• 性能优化,图片生成速度更快
• 内部流程优化,硬件要求更低,低显存和CPU也能运行,降低使用门槛
• 支持工作流程分享
ComfyUI 开源地址:https://github.com/comfyanonymous/ComfyUI
Web UI 开源地址:https://github.com/AUTOMATIC1111/stable-diffusion-webui
Stable diffusion 开源地址:https://github.com/CompVis/stable-diffusion
ComfyUI功能强大,包括文生图、图生图、文生视频、图片修复等,这里以文生图来对ComfyUI进行详细的入门介绍。

ComfyUI安装

windows下载安装:

对于windows用户来说只需要上ComfyUI的GitHub开源地址下载压缩包即可,如下图:


解压安装包到合适位置(建议选择磁盘剩余空间大的盘),如下图,


ComfyUI提供了run_cpu和run_nvida_gpu两种启动脚本,顾名思义,分别为使用CPU和GPU运算,选择响应的文件双击即启动。

Llinux、mac安装启动

需要按照ComfyUI的GitHub开源地址中说明,依次
克隆项目
git clone https://github.com/comfyanonymous/ComfyUI.git
安装环境
AMD :pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.0
NVIDA:pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
安装依赖:
pip install -r requirements.txt
手动运行python main.py 启动。

ComfyUI启动界面如下如:


default.png

模型安装

ComfyUI已经启动,但是没有模型来运行,需要我们下载模型到对应的目录中,如图:


模型.png

提供两个下载模型资源的地址:
抱抱脸https://huggingface.co/
C站https://civitai.com/

我在https://huggingface.co/runwayml/stable-diffusion-v1-5 下载v1-5-pruned-emaonly.ckpt模型后,放入checkpoint目录,启动程序,选择好模型,使用默认的提示词、参数、解码器等,运行的效果如图:

模块详解

以默认的文生图流程为例,对ComfyUI的各个流程节点:大模型加载器、正向提示词、反向提示词、采样器、图像宽高、输出输出、VAE解码器等进行介绍。

模型加载器

如下图,模型加载器分为几大类,分别是模型库(checkpoint),插件预训练模型(VAE、LoRA等),放大器(upscale)等。

按照如图选择的路径点击,即可添加大模型的加载器节点,如图所示:


本地已加载4个大模型供选择,双击即可选择。

正反提示词

提示词在文生图中至关重要,提示词的好坏关系到生成的图的效果。 如果自己运行文生图时,可以借鉴C站相关做作品的提示词模版。 提示词节点如下图方法添加:

一个输入CLIP刚好与大模型的输出CLIP可以相连,一个输出与采样器相连。 你会发现ComfyUI将可以相连的颜色也进行了匹配。

图像属性

如图添加图像属性:宽和高,batch_size指一次生产图的数量。仅有一个输出。

采样器

如图,我们添加简单的采样器:


4个输入:分别对应大模型的model输出、正反提示词和图像属性。
一个输出:流程经过采样器处理完成后,图像在低维度意味着已经生产,所以最后要连接VAE解码器进行解码。

采样器的7个参数

seed:种子,每张图都有个随机的种子。
control_after_generate:每次生产图后下一次种子的产生方式。默认是随机。
注:当我们要微调当前已生产的图像时,将这个选项设置为固定。这样生成的图像不会相差太大
steps:生产图需要去噪的次数,值越大,图像越清晰,当然运行越慢。
cfg:提示词在生成中的权重,越小生成的图越与提示词风马牛不相及,一般0.8~0.9.
samper_name:ComfyUI提供了多种不同的采样器供选择,每种有不同的效果。感兴趣可以一一对比。
scheduler:控制迭代中噪声量大小,也有多种可选。
denoise:与steps相关,1表示按照steps设置的步数去降噪。

VAE解码器

如图进行添加。


输入samples与采样器的输入相连。VAE直接与大模型的VAE相连。
我们也可以新建一个VAE加载器与其相连,自定义要用的加载器类型。
输入图像直接与图像现实/保存相连。

保存图像

如图进行添加:


保存图像也有预览的功能,如果只是想预览图像可以选择添加preview image节点。
保存图像默认的保存路径在ComfyUI安装路径的output目录下。

生成图像

添加好节点,只需选好要连接的输入输出,拖动就可以连接。 ComfyUI的颜色匹配可以辅助。
点击如下图,控制面板的Queue Prompt或者按下Ctrl + enter,即可运行。


流程图运行过程中会标识运行的进度,表示正在运行的节点,清晰直观。

运行结束,可以save我们的流程图,以便下次加载或分享给他人

如下git图,拖动连接各个节点及点击生成图过程:


接下就可以自己设置相关变量参数,试试看了。 如下图是我参照C站相关作品的参数,生成流程图:

每日一算

leetcode , 209. 长度最小的子数组

给定一个含有 n 个正整数的数组和一个正整数 target 。 找出该数组中满足其总和大于等于 target 的长度最小的子数组 [numsl, numsl+1, ..., numsr-1, numsr] ,并返回其长度。如果不存在符合条件的子数组,返回 0 。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容