AI, генерація танців людини. Танці Маї, 20 пісень, літо 2026

Це моя маленька племінниця Мая. На фотографіях їй лише 1 рік та 5 місяців.
На мій погляд, вона дуже добре підходить для генерації ідей, тестувань одягу, рухів.
Вона може підійти як для чоловічих так і жіночих дитячих образів, бути в різному одязі, виконувати дитячі, підліткові сценки, так і танці. Я генерував танці з моєю племінницею, шукав різні красиві популярні мелодії будь-якого жанру, будь-якою мовою, головне щоб було мелодійно, був ефектний танець, підходив для дитини і було цікаво дивитися і слухати.
Найважливіше в цих відео для мене було зробити не просто рухи, а щось цікаве в рухах, придумати сценки, щоб тримали увагу, щоб вони були реалістичні, ніби дитина займається танцями і досягла помірного рівня майстерності. Навіть коли я дивився згенеровані танці з Маєю, я натискав на паузи і намагався зрозуміти як танцюристи можуть так володіти своїм тілом, адже це потрібно постійно думати про рухи різних частин тіла і робити це красиво, скільки зусиль, тренувань вкладено у професійний танець.
Метою цих генерацій було потестувати генерацію графіки та відео, придумати ідею для танцю, образ дівчинки та атмосферу сцени, згенерувати частини відео та змонтувати цікаві частини з відео щоб краще розуміти де виникають збої і які можуть бути складності, проаналізувати як поводиться камера і яка межа її можливостей на тій моделі, яку використовую, які збої виникають і як їх позбуватися через промпти чи зміни самого прикладу з відео.

На безкоштовних нейронках генерувати відео досить довго на моєму комп'ютері. Якби була дуже потужна відеокарта, можна було б завантажити найбільшу модель Scail2 об'ємом 32 гігабайти та пробувати, але складні сцени на моїй відеокарті на безкоштовних моделях не вдасться зробити у високій якості. При генерації зображень облич та відео не виходить відразу щоб обличчя добре збігалися, потрібно багато тестувати, перебирати, шукати гарний варіант. Генерація Flux2Klein замінює обличчя досить непогано, можна підібрати варіанти, при генерації відео в одному відео може підходити обличчя, в іншому відео обличчя може постійно не збігатися, може змінюватися пропорція голови, голова може бути сплюснута, очі можуть чомусь стискатися, в танці може довільно відкриватися рот, пропадати дивитися убік, опускати погляд. Іноді виходить вдало, іноді ні. Хоча в прикладі дівчина може дивитися в камеру, у згенерованому варіанті дівчинка може щось робити неправильно, доводиться уточнювати збої в промптах і генерувати заново, дивитися попередню генерацію і шукати вдалу анімацію. Також якщо відео довге, наприклад, я генерував по 20 секунд деякі варіанти, то наприкінці змінювався контраст всього відео, обличчя змінювало свій колір, ставало темнішим. Іноді обличчя дівчинки в танці було чітким, а іноді не виходило досягти чіткості, мінялося обличчя. Деякі відео я генерував частинами по 5 секунд щоб не чекати довго. Але в такому разі наступні частини відео вже не співпадали за положенням тіла, змінювалися різні деталі в анімації, відрізнялося обличчя. Ці зміни були незначні, але вони були, наприклад, змінювалася зачіска там де вона була погано видно, змінювалися різні дрібні деталі у одязі оскільки це був уже новий seed.
Краще генерувати відео на платних сайтах: Kling 3, Suno Minimax, Seedane 2 та інші.
Генерувати графіку можна на flux2klein9, виходять досить правильні результати.
Якщо генерувати не потрібно багато, можна генерувати на комп'ютері, якщо потрібно багато генерацій з дуже якісними стабільними результатами, краще користуватися платними сайтами: Nano Banana, Gpt image 2.0 та інші.
Для створення аудіо можна використовувати Suno, Eleven Labs, Minimax Audio. Для створення промптів можна використовувати Claude, ChatGpt, Gemini, Kimi.

Є платні моделі для генерації графіки та відео, але я використав усі доступні мені безкоштовні моделі, які я знав, оскільки це не комерційні розробки.
На момент створення цих відео моїй племінниці було рік та п'ять місяців.
Спочатку хотів зробити розважальні відео з танцем дівчинки, але потім, коли у мене почали з'являтися різні ідеї, їх накопичилося стільки, що хотілося все їх зробити.
Ідеї ​​для танців з'являлися нові і нові.
Я вирішив робити їх професійно ніби я створюю мініальбом з танцями дівчинки, щоб потім додати їх у портфоліо. Я хотів зупинити мить для моєї маленької племінниці Маї та зафіксувати її образ у танцях пісень, скільки ідей можна реалізувати. Можливо, якесь відео їй потім сподобається.

Я генерував графіку на flux2klein9, використовував claude.ai та chatgpt.com для генерації промптів та Scail2 модель з уроку
ComfyUI Scail 2 Video: WiFi Nodes, New Groups & Loops (Ep23)

У мене було 4 фотографії дівчинки, за ними я згенерував усі зображення та відео, тестував, намагався домогтися подібності та правильних рухів у танці та в інших рухах тіла. У деяких відео де зображення було згенероване і не редагувалося, виходило відео також схоже обличчя, але не завжди, в різних зображеннях по-різному виходить. Але бувало, що я редагував обличчя у фотошопі і його було складно анімувати, воно постійно сильно змінювалося і було не схоже, зовсім інше. Чомусь одні обличчя на зображеннях майже завжди схожі виходять у відео, а інші сильно відрізняються і потрібно багато генерувати, перебирати, щоб домогтися подібності.

Після вивчення багатьох уроків з генерації графіки та відео, я вирішив потестувати створення танців людини за прикладами. Я шукав різні короткі кліпи з танцями людей під відомі популярні пісні і хотів попрактикуватися, що вдасться зробити і що складно реалізувати. Потім мені захотілося робити не просто коротке відео по одному танцю, а вже кліпи, міксувати різні сцени, комбінувати різні ракурси. Відео на Scail2 можна робити вертикальні та горизонтальні 512x896, більше розміри не тягне моя відеокарта. Можна зробити upscale згенерованим відео. Платні моделі генерують краще та швидше. Я використовував найкращі безкоштовні моделі в ComfyUI, які були доступні на момент створення відео. Спочатку коли я генерував танець, були відео де іноді у люди вилазили у танці вилазили частини тіла за екран, камера могла знімати надто близько чи далеко людину, здигатися убік та не тримати людину у центрі або де завгодно з потрібними мені розмірами. Потім до мене дійшло, що можна просто створювати в Premiere Pro відео з правильним розташуванням людини в кадрі, підганяти у правильні позиції по секундах усю анімацію, масштабувати, зрушувати. Таким чином можна зі знятого танцю з красивими рухами згенерувати хороший танець, де людина завжди буде у фокусі і наближатиме, видаляти камеру так, як тобі потрібно, розміщувати людину як тобі хочеться в будь-який момент відео і навіть адаптувати танець під вертикальний або горизонтальний розмір. Якщо якісь незначні частини тіла не потрапляють у відео, вони будуть автоматично додані. Генерація відео повторить все це за зміненим відео.

Часто при генерації відео на Scail2 камера стоїть фіксовано по відношенню до заднього фону, наприклад завісу або вид парку з деревами. У таких відеокамера не пливла. Але в одному відео де була річка та човен, я генерував по 3 частини відео, оскільки за один раз все відео не генерувалося. Камера постійно зрушувалась убік праворуч і йшла від сонця, спрямовувала убік течії річки, хоча я прописував у промпті, що камера не рухається. Виходило, що кожна частина починалася заново з того місця, де повинна бути камера і камера в кінці кожної частини виявлялася зміщеною. Я довго не тистив цю сцену, можливо, там був човен, була річка, чомусь AI постійно провадив у тій сцені камеру, не виходило тримати у фокусі захід сонця. Потрібно було більше часу на випробування, але генерація йде повільно. В інших відео такого усунення камери не було. Але у відео з човном вийшло цікавий результат, який теж можна використати, камера обертається трохи довкола людини без причини.
Також якщо запускати відео 8-10 секунд, воно починає псуватися наприкінці, з'являються все більше і більше неточностей, відео стає темнішим, з'являються артефакти на об'єктах. Щоб цього не було, потрібно скорочуватись секунди. Іноді генерувало нормально іноді ні. Але якщо розрізати відео на частини, то кожна генерація змінює обличчя в людини і може не збігатися, може трохи зміщуватися поза людини. Тому, з одного боку, хочеться завантажити одне довге відео з прикладом руху і відразу за один раз його згенерувати, але з іншого боку воно генерується довго, немає можливості перевіряти помилки генерації під час генерації, тільки перші дві секунди можна перевірити. З одного боку швидше генерувати по 3-5 секунд відео, але з іншого боку якщо є 15-30 секунд відео з прикладом руху, то його хочеться за один раз згенерувати, але на генерацію піде багато часу і все відео може бути з різними недоліками, які немає можливості виправити окремо, тоді як невеликі шматочки відео легше перевіряти і генерувати.