Python AI 之PhotoMaker 安装总结

时间：2024-04-19 14:35:28 来源：网络cs 作者：康由栏目：防关联工具阅读：

标签：安装总结

PhotoMaker 官方文档

PhotoMaker GitHub 地址:https://github.com/TencentARC/PhotoMaker

PhotoMaker Windows 安装

温馨提示：PhotoMaker 官网github 版本为通用版本，如果是Windows系统安装PhotoMarker 需要使用截图下的版本：

第一步：Windows 虚拟环境创建和安装，执行如下指令：

conda create --name photomaker python=3.10  #创建虚拟环境名称photomaker，并指定Python 版本3.10conda activate photomaker                   #激活虚拟环境photomakerpip install -U pip                          # 包管理工具pip 更新# Install requirementspip install -r requirements.txt             #安装Photomaker 所需依赖包

第二步：Windows 安装Pytorch 环境

打开pytorch 官网：PyTorch

拷贝运行指令在虚拟环境pytorch 中执行：

pip3 install torch torchvision torchaudio

PhotoMaker 运行

第一种：自己编写Python 脚本调用Photomaker。

1 在Photomaker 项目下添加run.py 文件

2 编写run.py 代码已经在Photomaker 官网提供。这里将需要修改的片段坐下简单说明。

加载模型

import torchimport osfrom diffusers.utils import load_imagefrom diffusers import EulerDiscreteSchedulerfrom photomaker.pipeline import PhotoMakerStableDiffusionXLPipeline ### Load base modelpipe = PhotoMakerStableDiffusionXLPipeline.from_pretrained(    base_model_path,  # can change to any base model based on SDXL    torch_dtype=torch.bfloat16,     use_safetensors=True,     variant="fp16").to(device) ### Load PhotoMaker checkpointpipe.load_photomaker_adapter(    os.path.dirname(photomaker_path),    subfolder="",    weight_name=os.path.basename(photomaker_path),    trigger_word="img"  # define the trigger word)      pipe.scheduler = EulerDiscreteScheduler.from_config(pipe.scheduler.config) ### Also can cooperate with other LoRA modules# pipe.load_lora_weights(os.path.dirname(lora_path), weight_name=lora_model_name, adapter_name="xl_more_art-full")# pipe.set_adapters(["photomaker", "xl_more_art-full"], adapter_weights=[1.0, 0.5]) pipe.fuse_lora()

主要用于：负责加载图像生成模型，这里我们使用 RealVisXL_V3.0，接着为模型挂在 Adapter 也就是论问题提到的 PhotoMaker 的 bin 文件，同时注意修改 device 变量，相当于要修改:

bass_model_path、photomaker_path 以及 device

录入图像

### define the input ID imagesinput_folder_name = './examples/newton_man'image_basename_list = os.listdir(input_folder_name)image_path_list = sorted([os.path.join(input_folder_name, basename) for basename in image_basename_list])input_id_images = []for image_path in image_path_list:    input_id_images.append(load_image(image_path))

使用 Photomaker提供的 newton_man 的示例图像，可以看到其基于 list 读取，根据 README 的介绍，一个角色的图像越多，生成的会越精准或者和你的图像越像.

执行

# Note that the trigger word `img` must follow the class word for personalizationprompt = "a half-body portrait of a man img wearing the sunglasses in Iron man suit, best quality"negative_prompt = "(asymmetry, worst quality, low quality, illustration, 3d, 2d, painting, cartoons, sketch), open mouth, grayscale"generator = torch.Generator(device=device).manual_seed(42)images = pipe(    prompt=prompt,    input_id_images=input_id_images,    negative_prompt=negative_prompt,    num_images_per_prompt=1,    num_inference_steps=num_steps,    start_merge_step=10,    generator=generator,).images[0]gen_images.save('out_photomaker.png')

# 请注意，触发器单词 "img" 必须跟在类别单词后面才能进行个性化设置:

含义：一个男人的半身像 img 戴着钢铁侠套装的太阳镜，质量最好

这里 Class Word 类别单词就是 a half-body portrait of a man 即一个男人半身像，img trigger 会基于这个类别 + img 后的个性化描述，结合你的 Input Image 的人脸。

将上面三部分的代码粘贴至 run.py 中，并 activate 激活我们的环境。

device - 指定到对应设备，需自己添加该参数。

base_model_path - 下载的生成模型地址

photomaker_path - photomaker bin 文件地址

num_steps - 生成步数

第二种：运行Photomaker 携带gradio demo

运行网页版请执行如下命令：

python gradio_demo/app.py

PhotoMaker 安装发生的问题

问题一：

  File "D:\anaconda3\envs\photemaker\lib\multiprocessing\context.py", line 193, in get_context    raise ValueError('cannot find context for %r' % method) from NoneValueError: cannot find context for 'fork'

解决办法：使用spawn 替换fork

pip install spawn

代码：PhotoMaker\gradio_demo\app.py

问题二：

 File "D:\anaconda3\envs\photemaker\lib\site-packages\luigi\parameter.py", line 29, in <module>    from collections import OrderedDict, MappingImportError: cannot import name 'Mapping' from 'collections' (D:\anaconda3\envs\photemaker\lib\collections\__init__.py)

解决办法：

将from collections import Mapping, OrderedDict修改为from collections.abc import Mappingfrom collections import OrderedDict

问题原因：Python3.10 版本调整相关基础包的存放位置造成。

问题三：

 File "D:\anaconda3\envs\photemaker\lib\site-packages\luigi\scheduler.py", line 207, in <module>    class OrderedSet(collections.MutableSet):AttributeError: module 'collections' has no attribute 'MutableSet'

解决办法：

将collections.MutableSet 修改为collections.abc.MutableMapping

问题原因：Python3.10 版本调整相关基础包的存放位置造成。

问题四：

Traceback (most recent call last):  File "E:\python_ai\PhotoMaker\gradio_demo\app.py", line 14, in <module>    from photomaker import PhotoMakerStableDiffusionXLPipelineModuleNotFoundError: No module named 'photomaker'

解决办法：

import syssys.path.append('../photomaker')

知识拓展

huggingface 修改缓存地址

1、修改系统环境变量

打开环境变量的设置界面。设置系统变量。输入变量名XDG_CACHE_HOME 和变量值为新缓存路径的根路径 (例如 D:\cache)。点击"确定"保存，电脑重启后生效。

这样，以后的缓存结构将会是：

模型缓存：D:\cache\huggingface\transformers或D:\cache\huggingface\hub（一般是这里）
数据集缓存：D:\cache\huggingface\datasets
此外metrics和modules也分别是在D:\cache\huggingface\metrics和D:\cache\huggingface\modules之下。

huggingface下载

现状：国内无法正常访问脸蛋网：https://huggingface.co/，原由自己Google 或百度一下。现在国内出现了脸蛋网国内镜像地址：https://hf-mirror.com/

第一种方式：使用命令行下载。

(1) 安装依赖

pip install -U huggingface_hub

(2) 基本命令示例：

export HF_ENDPOINT=https://hf-mirror.comhuggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m

第二种方式: 直接URL下载

打开 https://hf-mirror.com/