AI уроки 3

Раніше я тренував LoRa в ComfyUI, але був специфічний воркфлоу тільки з однією моделлю для Flux1.
У цьому уроці я навчався тренувати LoRa у програмі Ostris. В цій програмі можна тренувати Lora на різних моделях, не тільки для генерації графіки, але і для відео, звуку. Є різні налаштування.

flux-2-klein-base-9b - це повна модель, на якій я тренував LoRa модель, на спрощеній версії не працює тренування.
Я тренував модель LoRa два рази, з першої спроби у мене перезавантажувався Windows11 під час оновлення.
З другої спроби тренування Lora на flux-2-klein-base-9b на 3000 кроках, 512x512 і 1024x1024, це з генерацією 130 зображень по 5 хвилин.
Тренування LoRa тривало 23 години 20 хв., це без завантаження Qwen моделі, аналізу промтів і підговки 20 зображень.
Цікаво те, що в момент генерації зображень в Ostris на flux-2-klein-base-9b під час тренування LoRa температура відеокарти піднімалася до 80-83℃, потім, коли тривало тренування LoRa, температура відеокарти опускалася до 46-60℃.
flux-2-klein-base-9b - ця модель дуже вимоглива до розміру відеокарти і оперативної пам'яті, у мене відеокарта Nvidia RTX 3060 12 Gb і на ній не повинна була тренуватися Lora, оскільки вимоги вдвічі більші, але вдалося натренувати модель LoRa, хоча і дуже довго.

Я підібрав 20 зображень містера Біна для тренування.
Я розумію, що тренувати LoRa Містера Біна не має прав.
Я не використовую його зображення ніде, це навчальний урок тренування LoRa.

Тренував LoRa для flux-2-klein-base-9b, автор уроку тренував для моделі Z-Image.
Моє завдання було - тренування Lora, а не подібна схожість зображень з містером Біном. У деяких зображеннях більше подібності, у якихось менше.
Під одні промпти краще виходить, під інші гірші.
Для кращої подібності обличчя містера Біна можна доопрацьовувати окремо зображення, замінювати в згенеровані зображення справжні особи містера Біна.
На цій моделі flux-2-klein-base-9b є збої з руками, пальцями та ногами, якщо складний деталізований промпт і нестандартна складна поза.
Наприклад, у Містера Біна є фотографії, де він ставить пальці у вигляді пістолета, два пальці вказують вперед, два пальці притиснуті, великий палець вгору. Таку позу пальців непросто згенерувати, виходить один вказівний палець спрямований уперед, іноді може вийде, але часто генеруються збої.
Також був збій коли я намагався згенерувати положення руки, яка тримає плюшевого ведмедика за шию ззаду, це не виходило згенерувати. AI на цій моделі не розуміє де шия у плюшевого ведмедика.