AI уроки 2

Нижче йдуть згенеровані відео на різних моделях під час навчання.
Коли я проходив навчання, я тестував генерацію відео на різних розмірах, з різними промптами, були помилки, які я доопрацьовував. Щоб показати весь процес збоїв при генерації, різні баги, я також розміщую відео з дефектами, а не лише фінальні вдалі результати. Найочевидніших дефектів я не включав. Під час створення відео можуть виникати помилки. Якщо їх не показувати, може здаватися, що потрібно мало часу на подібну генерацію потрібної анімації відео. Збої бувають різні: не до кінця опрацьовані промпти, високі вимоги до характеристик комп'ютера, відсутність якихось нод у вокрфлоу, якісь розширення ComfyUI несумісні. Може не запускатися воркфлоу, наприклад, у хмарі через якісь збої, якісь вузли в нодах чомусь не зв'язуються, хоча повинні, на сервері не встановлені всі ноди воркфлоу, немає якихось моделей, які потрібні, обмеження за часом генерації на тестовому сервері, обмежені характеристики відеокарти на сервері. Наявність прикладів з відповідними відео та проміжними результатами, а також скріншоти воркфлоу з моделями та промптами допомагає мені швидше зорієнтуватися у можливих збоях, коли повертаєшся до потрібної теми.

Prompt:
[VISUAL]: Opens with a medium close-up, camera slowly pushes in toward the character. An elderly man with deep wrinkles, piercing blue eyes, and a long thick white beard, wearing a worn gray cap and dark rugged clothing, looks directly into the camera. His expression is calm and thoughtful, his mouth opens and closes naturally as he speaks, with subtle head movements and slight eyebrow expressions. Soft natural lighting highlights the texture of his skin and beard. The background is slightly blurred, suggesting an outdoor coastal or rural environment with muted earthy tones.
[SPEECH]: I’ve seen many places in my life… but somehow, every new place still feels like the first time. Maybe next… a quiet beach, warm sun, and the sound of waves… yes, that would be nice.
[SOUNDS]: calm elderly British male voice, slightly rough and deep tone, natural outdoor ambience with soft wind and distant ocean waves, low background noise

Prompt:
[VISUAL]: Opens with a close-up shot, camera gently pushes in toward the character. A small, fluffy white bunny with soft fur, big expressive brown eyes, and pink inner ears sits upright on a wooden surface. Warm golden sunlight streams through a nearby window, casting soft highlights on its fur and creating a cozy indoor atmosphere. The bunny faces the camera with an exaggerated angry expression-its eyes slightly narrowed, brows subtly furrowed, and tiny nose twitching with attitude-while still retaining a cute, humorous look. Its ears make small reactive movements, and its mouth opens and closes naturally as it speaks. The bunny's tiny paws are held close to its chest, occasionally tensing slightly to emphasize the "threat." The background shows a softly blurred rustic kitchen with glass jars and warm tones, enhancing the contrast between the cozy setting and the bunny's mock-serious mood.
[SPEECH]: This is your final warning... give me snacks now... or I start chewing everything. Starting with... your favorite things..
[SOUNDS]: cute high-pitched animated bunny voice, soft and playful tone with a slightly cheeky attitude, cozy indoor ambience with light room tone, faint wooden creaks and subtle environmental warmth, no harsh background noise

У цьому уроці я вивчав генерацію відео за трьома кадрами на LTX 2.3.
Я генерував у хмарі відео за уроком 1280x704 15 секунд.
У відео додаються звуки руху об'єктів, які правильно підходять до дій у відео та мелодія. Мелодію не виходило прибрати, вона щоразу нова якщо інший номер генерації, іноді мелодії може не бути. Не вдалося також завантажити свою фонову мелодію для відео. Звуки ходи дівчини, відкриття дверей правильні.
Автор уроку має промпт для 15 секунд для генерації відео за трьома кадрами:

She turns her head and gets up from her chair.
The girl leaves the room. She walks to the door, reaches out, and opens it in a smooth motion. She continues forward, into the outside environment with a natural transition of lighting.
She walks to a parked superbike and stops next to it, holding her helmet. Continuous frame-by-frame motion, no cuts, no abrupt transitions, smooth temporal coherence, stable identity, consistent clothing, natural pace, realistic movement, 24 frames/s.

Але з цього промпту часто генеруються різні помилки, які незрозумілі для AI і він генерує випадково, як може підходити.
За моїм задумом я вирішив зробити такий сценарій для відео:

Дівчина встала, відсунула стілець, вийшла з кімнати праворуч (з боку відео).
Наступний ракурс: Двері відчинилися дівчиною зсередини, дівчина вийшла, зачинила двері і пішла у бік мотоцикла.
Камера супроводжує рух дівчини до мотоцикла, дівчина підходить до мотоцикла, розвертається до камери, бере шолом двома руками з передньої сторони мотоцикла та перекладає шолом убік, тримаючи його однією рукою.
З моменту відходу з дому камера не повинна змінювати ракурси, а весь час супроводжувати дівчину.

Але виникає багато помилок у генераціях.
Неправильно виходить, неправильно встає зі стільця, неправильно розвертається, неправильно з'являється біля дверей, підходить з іншого боку до дверей, проскакує через двері, присідає і підповзає до дверей, йде в інший бік від мотоцикла, з'являються дві дівчини, одна підходить до дверей, інша виходить чи одна йде, інша виходить у цей час.
Камера не супроводжує дівчину, коли вона йде до мотоцикла, дівчина неправильно бере шолом і різко змінює позу із заднього виду на передній, шолом з'являється з порожнечі. Був збій, коли дівчина розвертається і не встає зі стільця, дивиться в різні боки, а потім встає або встає зі стільця, йде назад і там з'являється стіна. Дівчина йде ліворуч, в інший бік, довго виходить із дому, у кімнаті починають з'являтися стіни, новий інтер'єр, який не був у промпті. Дівчина намагалася вийти у бік стіни, де немає дверей. Коли дівчина вставала зі стільця, робила неправильний розворот, йшла не в той бік. Також спочатку були збої з шоломом, він міг з'являтися випадково в руці, коли дівчина відходила від дверей, або з'являвся в руці в момент, коли дівчина була близько біля мотоцикла. Іноді у дівчини змінювалися штани на спідницю. У дівчини на руці з'являвся годинник. Коли я генерував відео, я не звернув на це уваги, у другому кадрі дівчина не має годинника, у третьому у неї на руці видно сталевий браслет, його треба було прибрати. AI іноді намагається його додати, іноді прибрати. Помилки відео нестабільні, іноді може генерувати правильно, в іншому випадку можуть бути збої. Але коли я чітко описав, як дівчина підходить до мотоцикла, як її супроводжує камера, як розгортається, як дівчина бере шолом, як його перекладає в потрібну сторону, то в кінці відео не було збоїв після всіх цих пояснень.

Всі рухи фізично правильні, у дівчини не з'являються зайві частини тіла та інших дефектів із графікою немає.
Але в цьому воркфлоу спеціально заплющені очі дівчини чорними окулярами, щоб не було з ними дефектів.
При генерації різних версій я тестував, змінював промпти, але помилок у генераціях дуже багато, вони залежать від складності зображень та якісного промпту для анімації. Основна помилка – дівчина неправильно виходить із дверей, підходить до будинку з виходу, намагається пройти за двері та починає виходити з дому.

Високі вимоги до видеокарти, потрібно близько 24 GB щоб завантажити воркфлоу на комп'ютері.
Є можливість генерувати різні розміри:
3840 x 2176    1920 x 1088
2560 x 1408    1280 x 704
2048 x 1152    1024 x 576
1920 x 1088    960 x 544
1280 x 704    640 x 352
1280 x 736    640 x 368
960 x 544    480 x 272
768 x 432
384 x 216

З цих розмірів видно, що є лише один горизонтальний формат відео з різними розмірами однакової пропорції, для розміру 1280 є два варіанти.
Інші розміри не тестував.
Другий кадр може потрапляти у відео в різні місця за часом, я не тестував детально як точно вказувати в якусь секунду він повинен бути. Залежно від кількості тексту в промпті другий кадр може зрушуватися за часом. Наприклад, якщо на початку немає детального опису, як дівчина виходить із дому, то другий кадр з'являється швидше.
Якщо написати багато уточнень у промпті до того, як дівчина вийшла з дому або відбувався збій в анімації до другого кадру, то в кінці анімації дівчина починала бігти, оскільки не вистачало часу закінчити всі дії в промпті, а довжина відео фіксована - 15 секунд.

У цьому уроці я вивчав генерацію відео з двох кадрів на LTX 2.3 на воркфлоу з уроку.
Я взяв наприкінці відео два скріншоти у низькій якості мурахи та мурахи з людиною, згенерував за цими зображеннями зображення високої якості і спочатку тестував створювати анімацію з двох кадрів.
Анімація на цьому уроці виходила жахлива, дуже багато збоїв.
Для цього ворфкфлоу по двох кадрах я генерував анімацію на 4 секунди.
За моїм задумом, чоловічок повинен підбігати ззаду на мурахи і стрибати на нього. Але в цьому воркфлоу постійно змінюється обличчя людини, змінюються об'єкти, неправильно біжить людина, замість бігти ззаду у бік камери, людина підбігає попереду.
З'являються різні люди, яких не було у промпті.
Також я тестував анімацію дівчини, кадрам, яка виходить з дому і йде до мотоцикла з двох кадрів цього уроку. У всіх анімаціях відбуваються збої, останні секунди генеруються неправильно, неякісна графіка.

Потім я згенерував третій кадр, в якому мураха з чоловіком повинні бігти і чоловік показує вперед своїм палицею. Також я генерував додаткові лапи для мурахи, оскільки в уроці їх було 4, а потрібно 6 для правильної анімації.
Я тестував цю анімацію за трьома кадрами на воркфлоу з попереднього уроку.
Я створив такий сценарій для анімації на трьох кадрах протягом 10 секунд:

Стоїть мураха, до нього підбігає ззаду і застрибує чоловік, за ним біжать вороги, мураха починає тікати, а чоловік показує вперед посохом і тримається за мурахи, сидячи на ньому.

Анімація за трьома кадрами з попереднього уроку виходила якісніша, але також є дуже багато збоїв.
Змінюється особа, одяг якщо дуже детально не описувати все це в промті, якщо не уточнювати якісь вороги нападають на чоловіка, то генеруються різні люди. Я прописував у промпті, що вороги повинні наздоганяти чоловіка, але не обганяти, що вони просто біжать за ним, але чоловік від них утік.
Але часто різні люди обганяли мурахи і пробігали повз. Потім я прописував у промпті, що чоловіка наздоганяють оси. Я пробував показував і ос і жуків, коників, але в такому разі наздоганяє хтось один. Або з'являлися коники, або жуки, або літали оси. Оси не наздоганяють чоловіка на мураху, вони просто літали довкола нього. Коли я писав, що оси нападають, атакують, жалять чоловіка, оси літали і стукали один одного.
Оси рідко виходили правоподібні, іноді вони були схожі на роботів або дронів.
У відео додаються звук та мелодія, звуки, наприклад стрибка чоловіків, дзижчання ос добре підходять, але мелодії не завжди вдалі. Іноді мелодії взагалі немає, а лише звуки, але іноді з'являються мелодії, як і в минулому уроці, за яким я тестував ці анімації.

The video opens on a medium close-up of the natural, freckled woman from Image 1, holding a crease blending brush to her right eyelid with a neutral expression. Over the first few seconds, she begins gentle blending strokes, looking into the lens and saying, "Okay, let's build some dimension. Just blending out this shadow..." After four seconds, she sets down the crease brush and picks up an eyebrow pencil, carefully defining her arches while her eyebrows begin a dramatic, visible morph into the intensely dark and sculpted, bold shape seen in Image 2. As she works, she enthusiastically remarks, "Alright, strong brows today! I want them defined and strong today!" By the 9-second mark, with the eyebrows almost complete, she reaches with her free hand and quickly, delicately attaches the small stud earrings from Image 2, commenting, "And just a little touch for the ears... perfect." At 12 seconds, she transitions focus, setting down the brow pencil and picking up the bullet of vibrant red lipstick (Image 2 color), her base skin texture flawless-ing out to a matte finish in real-time as she says, "Okay, looking good. Base is smooth. Now, for the star of the show!" For the next five seconds, her precision application of the red lipstick is highlighted, as she continues, "Precision is everything with a bold red! Cupid's bow... loving this color!" By 20 seconds, the red lips are established, and she performs a final 'check' in the lens as her lashes visibly lift and volumize; she smiles warmly and strikes the final, beaming, confident pose from Image 2, showing a beautiful teeth-showing smile, as she concludes, "A final check, and yes! Loving the intensified look. It's time to conquer the day!" The entire sequence features fluid, realistic hand movements with perfect lip-synced American English, set against a soft studio backdrop with an upbeat, modern lo-fi track that reaches a jubilant peak with her final smile.