ComfyUI Tutorial Series 61-70

Цю анімацію я тестував у попередньому 48 уроці LTX 0.9.7
В LTX з'явилася можливість додавати два кадри між якими відбувається анімація.
В Wan2.2 також в цій версії з'явилася можливість додавати початкове і кінцеве зображення для анімації.
Ця версія Wan2.2 краще генерує анімації, більш деталізовано ніж LTX 0.9.7. Але є помилки в анімації.
Наприклад, метеорит може повільно падати, може летіти з різних напрямків, навіть із землі один раз летів, якщо не вказувати, звідки летить метеорит. Швидкість метеорита не задається, навіть якщо вказувати, що він швидко падає.
Під час падіння метеорита в машину можуть відбуватися неправильні анімації. Метеорит може впасти, полежати, почати підніматися вгору, потім піде дим або від машини може підніматися другий капот, перший капот машини не рухається.

Робив цю анімацію частинами: спочатку наближається камера, потім відчиняються двері, з'являється заєць, потім він виходить і вітає. Тут у мене не було кадру, в якому двері відчинені, тому при анімації двері повинні зникнути, оскільки коли з'являється заєць дверей немає. Я зробив анімацію відкриття дверей і додав двері в кадр, коли з'являється заєць.
Є невеликі нестиковки зі швидкістю руху камери, тому що при наближенні швидкість одна, потім в наступній анімації камера наближається з іншою швидкістю і цей перехід не плавний. Змонтував частинами ці відео.
Зробив upscale відео, але при upscale відео не деталізується по промпту і не виправляється якщо є помилки, як це робилося в ltx.
У наступному уроці 69 буде LongCat відео, там з'явилася можливість створювати цілий ланцюжок промптів для одного зображення та задавати складні сценарії для анімації. Це дозволяє не монтувати частинами шматочки відео.

Цю кімнату я моделював в уроці з Cinema 4d, Corona рендер.
Я тестував у Wan2.2 анімацію руху по кадрах, які я моделював у Cinema4d.
Анімація руху камера майже правильна, за винятком збоїв руху балок справа зверху, тому що AI плутається які балки куди повинні зміщуватися. Можна тестувати інші генерації, додавати уточнення у промпті та тестувати як це виправити. Таку анімацію правильно запустити в Cinema4d, і буде якісніша правильна анімація з деталізацією дерева та інших об'єктів, але займе більше часу на генерацію всіх кадрів.
Я додавав в цій анімації промпт, щоб люди жестикулювали, але через те, що люди невеликого розміру, AI не анімує їх.

Згенерував анімацію в Wan2.2 горизонтального відео зі збільшеним ракурсом людей.
Зробив анімацію наближення камери (Маштабування зображення) і додав згенеровану анімацію з жестикуляцією людей.
На відстані люди погано розпізнаються AI і не анімуються, тому спочатку статичні.

Тут автор показує як генерувати у хмарі Image2Image на Nano Banana

Анімації аніме на моделі NetaYume v3.5 генеруються зі звуками, також додаються мелодії на фон.
Але іноді мелодії заважають і додаються навіть коли в промпті просано, що мелодії не потрібні.
Тут автор показує як генерувати в хмарі Image2Video на Sora2, є посилання з midjorney-plus.oss-west-1.aliyuncs.com/sora на mp4, який завантажується без стиснення, це посилання можна завантажити, потім воно видаляється там.

Тестував у хмарі на моделі Sora2 Image to Video, відео не повністю анімується, це складний промпт для цього зображення. Заєць не йде, а зациклюється, можливо варто більше потестувати цю модель генерації.
В анімації добре літають іскри, додаються звуки у лісі, співають птахи.
У попередніх уроках я багато тестував генерацій анімацій на різних моделей з цим зайцем.

Це анімація зайця у лісі, який нюхає гриби на моделі LongCat.
Спочатку у зайця з'являвся гриб у лапі, зробив детальніше промпт, що заєць підходить до гриба, зупиняється, радіє.
В анімації заєць не просто радіє, він бере гриб, хоча це не вказано у промті, можна далі тестувати промпт.
Анімація руху зайця якісна, хоча у другому відео гриби на передньому плані трохи піднімаються під час руху зайця.

Анімації з дівчиною, яка смокче чупачупс виходили рідко правильно. Потрібно уточнювати промт, що дівчина кладе в рот чупачупс, облизує його. Рідко це виходило згенерувати правильно. Один раз згенерувало чітко правильно, але був збій у русі язика. Було багато анімацій, коли дівчина не облизує чупачупс, а просто рухає рукою з ним.

Анімації мишки з будиночка та її рухи на моделі LongCat правильні. Перша анімація без збоїв.
Є деякі недоліки: іноді двері можуть неправильно відчинятися або зникати, може запалюватися світло, але не відображатись у вікнах, отвір дверей може хитатися. Можна детальніше уточнити промт, щоб отримати кращу анімацію.

Всього у відео 768x768 було 6 відео по 91 кадр, вийшло 31 секунда.
Промпти для кожної частини:
1. A young woman with curly purple hair sits at a cozy café table, wearing a black turtleneck. The camera is static, centered in front of her. She gently stirs her coffee in a white mug with a spoon, soft warm lighting and a calm atmosphere.
2. the woman lifts the spoon from the mug and sets it on the table, Her movements are natural
3. the woman picks up the mug with both hands and takes a slow sip of coffee
4. the woman place the cup on the table and smiles to the camera
5. a black cat walking into frame from the side, jumping onto the table next to the mug. The woman looks at the cat with surprise and a gentle smile.
6. the woman take her hand from the mug and reaches out to pet the cat, smiling warmly as the cat relaxes beside her

У рекомендованих розмірах максимальний 768x768.
На моделі LongCat з'явилася можливість робити багато промптів для наступних частин відео за одним зображенням.
Це дозволяє не монтувати їх окремо. На кожному етапі генерації відео можна тестувати окрему частину анімації і переходити до наступної, якщо вона влаштовує. Генерація відео вимагає дуже потужної відеокарти, можна генерувати на сайті runninghun.ai за посиланням на форкфлоу автора LongCat img2video - 5 to 30 sec.
Є невеликі недоліки при генерації, які виправляються доробками в промпті та генерацією інших варіантів. Наприклад, в одній частині анімації з'являється чорна кішка, потім з'являється інша кішка, не вказано що кішка чорна.
Максимальні розміри генерації: 720x1280, 1280x720, 768x768, розміру 1024x1024 немає.
Я намагався згенерувати 1024x1024 на тестовому акаунті, потрібно це робити на платному акаунті, можливо згенерує на 1024x1024, але я читав що максимальний квадратний розмір для LongCat цієї версії 768x768.

Prompt for video:
Slow cinematic camera tracking forward, low angle, following a cute fluffy white bunny with big blue eyes and rosy cheeks as it walks joyfully along a winding path in an enchanted forest. The bunny wears a small brown backpack, its soft fur bouncing with each step. Surrounded by oversized glowing mushrooms casting warm light, colorful bioluminescent flowers, and floating magical sparkles, the scene feels whimsical and dreamlike. Tall, curved trees arch overhead, with gentle rays of sunlight filtering through the leaves, creating a serene, fairy tale atmosphere.
Анімація на LongCat якісна, рух зайця правильний, легкий. Іскри анімуються правильно. На зайці під час анімації не пропала деталізація, наприклад, на вовні, камера має глибину різкості, є фокус на зайці і видно деталізовану траву, а на ближньому фоні трава розмивається. Гарне освітлення променями сонця, як на зображенні. Не додає звуків як це робила модель Image2Video Sora2 в попередньому уроці 68.
Єдине, наприкінці камеру можна трохи відсунути, щоб не обрізало зайця, можна тестувати інші варіанти. Загалом гарна анімація, вже наближається по якості до платних моделей. У попередніх уроках я багато тестував генерацій анімацій на різних моделей з цим зайцем.