Retouche d'images avec des modèles de diffusion

Modèles multimodaux avec Hugging Face

James Chapman

Curriculum Manager, DataCamp

Diffusers

Étapes d'un modèle de diffusion créant une image à partir de bruit

Entraîné à mapper du bruit vers une image
CLIP + Diffusion → 2 types de génération conditionnelle
- Génération : texte → image
- Modification : texte+image → image

¹ https://huggingface.co/docs/diffusers

Retouche d'image sur mesure

ControlNet : génération conditionnelle guidée par image et texte

Schéma montrant la méthode de retouche sur mesure avec un filtre Canny et ControlNet

¹ https://stable-diffusion-art.com/controlnet/

Retouche d'image sur mesure

from diffusers.utils import load_image

image = load_image("http://301.nz/o81bf")


import cv2
from PIL import Image
import numpy as np

image = cv2.Canny(np.array(image), 100, 200)

image = image[:, :, None]
image = np.concatenate([image, image, image], 
                       axis=2)

Image de La Joconde

Retouche d'image sur mesure

from diffusers.utils import load_image

image = load_image("http://301.nz/o81bf")

import cv2
from PIL import Image
import numpy as np

image = cv2.Canny(np.array(image), 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], 
                       axis=2)
canny_image = Image.fromarray(image)

La Joconde et la version avec filtre Canny

Retouche d'image sur mesure

from diffusers import StableDiffusionControlNetPipeline
from diffusers import ControlNetModel
import torch

controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", 
                                             torch_dtype=torch.float16)


pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)


pipe = pipe.to("cuda")

Retouche d'image sur mesure

prompt = ["Albert Einstein, 
          best quality, 
          extremely detailed"]

generator = [
  torch.Generator(device="cuda").manual_seed(2)]


output = pipe(
    prompt,
    canny_image,
    negative_prompt=["monochrome, 
                     lowres, bad anatomy, 
                     worst quality, 
                     low quality"],
    generator=generator,
    num_inference_steps=20)

Albert Einstein dans la pose de La Joconde

Reconstruction d'image (inpainting)

Générer du nouveau contenu ciblé sur une région donnée

La Joconde sans masque

Reconstruction d'image (inpainting)

Générer du nouveau contenu ciblé sur une région donnée
Masque binaire : blanc (1), noir (0)
Masques issus d'une segmentation ou définis par l'utilisateur (p. ex., avec InpaintingMask-Generation)

La Joconde avec notre masque

Reconstruction d'image (inpainting)

from diffusers import StableDiffusionControlNetInpaintPipeline, ControlNetModel


controlnet = ControlNetModel.from_pretrained("lllyasviel/control_v11p_sd15_inpaint", 
                                             torch_dtype=torch.float16, 
                                             use_safetensors=True)


pipe = StableDiffusionControlNetInpaintPipeline.from_pretrained(
    "stable-diffusion-v1-5/stable-diffusion-v1-5", 
    controlnet=controlnet, torch_dtype=torch.float16, use_safetensors=True
)

Reconstruction d'image (inpainting)

def make_inpaint_condition(image, image_mask):
    image = np.array(image.convert("RGB")).astype(np.float32) / 255.0
    image_mask = np.array(image_mask.convert("L")).astype(np.float32) / 255.0


    image[image_mask > 0.5] = -1.0

    image = np.expand_dims(image, 0).transpose(0, 3, 1, 2)
    image = torch.from_numpy(image)
    return image

control_image = make_inpaint_condition(init_image, mask_image)

Reconstruction d'image (inpainting)

output = pipe(
    "The head of the mona lisa in the 
  same style and quality as the original
  mona lisa with a clear smile and a 
  slightly smaller head size",

    num_inference_steps=40,

    eta=1.0,

    image=init_image,
    mask_image=mask_image,
    control_image=control_image,
).images[0]

La Joconde maintenant avec un sourire

Passons à la pratique !

Modèles multimodaux avec Hugging Face