Edição de imagens com modelos de difusão

Modelos multimodais com Hugging Face

James Chapman

Curriculum Manager, DataCamp

Diffusers

Etapas de um modelo de difusão criando uma imagem a partir de ruído

Treinado para mapear ruído em imagem
CLIP + Diffusion → 2 tipos de geração condicional
- Geração: Texto → imagem
- Modificação: Texto+imagem → imagem

¹ https://huggingface.co/docs/diffusers

Edição de imagem personalizada

ControlNet: geração condicional guiada por imagem e texto

Diagrama mostrando a abordagem de edição personalizada com filtro Canny e ControlNet

¹ https://stable-diffusion-art.com/controlnet/

Edição de imagem personalizada

from diffusers.utils import load_image

image = load_image("http://301.nz/o81bf")


import cv2
from PIL import Image
import numpy as np

image = cv2.Canny(np.array(image), 100, 200)

image = image[:, :, None]
image = np.concatenate([image, image, image], 
                       axis=2)

Imagem da Mona Lisa

Edição de imagem personalizada

from diffusers.utils import load_image

image = load_image("http://301.nz/o81bf")

import cv2
from PIL import Image
import numpy as np

image = cv2.Canny(np.array(image), 100, 200)
image = image[:, :, None]
image = np.concatenate([image, image, image], 
                       axis=2)
canny_image = Image.fromarray(image)

Imagem da Mona Lisa e versão com filtro canny

Edição de imagem personalizada

from diffusers import StableDiffusionControlNetPipeline
from diffusers import ControlNetModel
import torch

controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-canny", 
                                             torch_dtype=torch.float16)


pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)


pipe = pipe.to("cuda")

Edição de imagem personalizada

prompt = ["Albert Einstein, 
          best quality, 
          extremely detailed"]

generator = [
  torch.Generator(device="cuda").manual_seed(2)]


output = pipe(
    prompt,
    canny_image,
    negative_prompt=["monochrome, 
                     lowres, bad anatomy, 
                     worst quality, 
                     low quality"],
    generator=generator,
    num_inference_steps=20)

Albert Einstein na pose da Mona Lisa

Inpainting de imagem

Gerar novo conteúdo localizado em uma região específica

Mona Lisa sem máscara

Inpainting de imagem

Gerar novo conteúdo localizado em uma região específica
Máscara binária: branco (1), preto (0)
Máscaras a partir de segmentação ou definidas pelo usuário (ex.: usando InpaintingMask-Generation)

Mona Lisa com nossa máscara

Inpainting de imagem

from diffusers import StableDiffusionControlNetInpaintPipeline, ControlNetModel


controlnet = ControlNetModel.from_pretrained("lllyasviel/control_v11p_sd15_inpaint", 
                                             torch_dtype=torch.float16, 
                                             use_safetensors=True)


pipe = StableDiffusionControlNetInpaintPipeline.from_pretrained(
    "stable-diffusion-v1-5/stable-diffusion-v1-5", 
    controlnet=controlnet, torch_dtype=torch.float16, use_safetensors=True
)

Inpainting de imagem

def make_inpaint_condition(image, image_mask):
    image = np.array(image.convert("RGB")).astype(np.float32) / 255.0
    image_mask = np.array(image_mask.convert("L")).astype(np.float32) / 255.0


    image[image_mask > 0.5] = -1.0

    image = np.expand_dims(image, 0).transpose(0, 3, 1, 2)
    image = torch.from_numpy(image)
    return image

control_image = make_inpaint_condition(init_image, mask_image)

Inpainting de imagem

output = pipe(
    "The head of the mona lisa in the 
  same style and quality as the original
  mona lisa with a clear smile and a 
  slightly smaller head size",

    num_inference_steps=40,

    eta=1.0,

    image=init_image,
    mask_image=mask_image,
    control_image=control_image,
).images[0]

Mona Lisa agora com um sorriso

Vamos praticar!

Modelos multimodais com Hugging Face