AI уроки

Раніше я хотів тренувати LoRa на комп'ютері, я пробував Kohya, але були помилки. Я бачив різні уроки з тренування LoRa на платних сайтах, коли проходив різні курси з AI, але хотів тренувати на комп'ютері.
Я вирішив спробувати тренувати LoRa у ComfyUI.
У хмарі тренування на runninghub.ai не виходить, немає багатьох нод.
Я вирішив створити модель Lora Петрика П'яточкина з мультфільму.
Как Петя Пяточкин слоников считал (1984) Мультфильм Александр Викен. Оригінальне відео
Як Петрик П'яточкин слоників рахував (1984) Оригінальне відео
Як Петрик П'яточкин слоників рахував УКР версія FullHD / Как Петя Пяточкин слоников считал
Мультфільм низької якості, всі зображення дуже розмиті та слабкі для тренування LoRa.
Спочатку я підготував 30 зображень до 800 пікселів, намагався просто зробити скріншоти зображень Петрика П'яточкина в різних ракурсах і згенерувати LoRa. Були різні розміри зображень, змінював різні налаштування, але на моїй відеокарті генерація Lora чомусь тривала дуже довго, показувало генерацію дві доби. Я кілька разів запускав генерацію Lora, зупиняв. Потім вирішив зробити мінімальні розміри 512x512, вибрати якісні зображення Петрика П'яточкина 20 штук і перед тренуванням Lora доопрацювати ці зображення. Я робив AI upscale, покращував графіку зображень для тренування LoRa.
Одна модель Lora у мене тренувалася 28 годин на моїй відеокарті RTX 3060 12 GB, це досить довго, у автора з великими налаштуваннями на GeForce 5050 16Gb тренувалося 28 хвилин.
Мені вдалося натренувати модель LoRa Петрика П'яточкина, але працює тільки на flux1-dev.safetensors, на якій навчалася. Можна запустити на стислих версіях flux1. Я створював модель Lora на flux1, тому ця модель не запуститься під інші моделі та flux2. Для тренування моделі LoRa Петрика П'яточкина я підбирав різні ракурси, робив зображенням upscale, також використовував деякі зображення не з мультика.
На різних зображеннях для навчання Lora Петрик П'яточкин виглядає неоднаково, у нього сильно відрізняється тулуб нижче пояса, іноді він схожий на трикутну форму, іноді більш реалістичний пропорційний вигляд людини.
Помітною відмінністю у всіх персонажів у мультику є специфічна форма підборіддя, овал обличчя і шия. Всі персонажі мають незвичайне підборіддя, воно схоже на трикутник, голова розташована на тонкій шиї.
Але при генерації зображень AI це не враховує, коли я готував зображення для тренування Lora, деякі зображення при покращенні графіки втрачали цей контур підборіддя та форму ніг. Видно, що на одних зображеннях Петрик П'яточкин з дуже короткими ногами, у нього практично немає колін, на інших зображеннях з'являються коліна, а на деяких зображеннях є довгі руки та ноги, які, як у звичайних хлопчиків. Тому навчена Lora часто генерувала форму тулуба з ногами хлопчика правдоподібніше, але бувають випадки з короткими ногами і по три ноги, одна десь збоку чи ззаду може додатись, як було на зображеннях у мультику, де Петрик П'яточкин біжить із зміненими пропорціями тіла. Також форма овалу обличчя у Петрика не завжди без підборіддя, вона часто закруглюється як у реалістичного хлопчика.
Зараз на різних моделях можна взяти зображення Петрика П'яточкина, і наприклад, на моделі:
AI Image Editing in ComfyUI: Flux 2 Klein (Ep04) або qwen, z-image можна змінювати пози у персонажа без моделі Lora.
Модель LoRa можна тренувати не лише на одному персонажі, а на всій стилістиці мультика, як тренувала авторка.
Першу модель Lora вона створювала для всієї стилістики мультфільму «Острів скарбів» (1988), другу модель Lora авторка тренувала на одному персонажі.