News 

Papers

Neural Networks in AMV

Sunday, 04 December 2022

As neural networks are being used in various spheres of content-making nowadays, these technologies can be used in the process of AMV making. Here I will show you some software that helps with making AMVs.


Flowframes - Fast Video Interpolation for any GPU

Overview

Flowframes is a simple but powerful app that utilizes advanced AI frameworks to interpolate videos in order to increase their framerate in the most natural looking way possible.

Features

  • Can read MP4, GIF, WEBM, MKV, MOV, BIK, and more video formats
  • Can also take image sequences as PNG, JPEG and more as input
  • Output as video (MP4/MKV/WEBM/MOV), GIF, or frames

Difference

  • In Rife & Dain Algorithm, it produces no warps when comparing with twixtor.
  • In Rife Algorithm, It runs faster compared to Dain Algorithm.

Usage [source]

Download

Topaz Video AI - Production-grade AI models for professional use cases

Overview

Topaz Video AI focuses solely on completing a few video enhancement tasks really well: deinterlacing, upscaling, and motion interpolation. It has taken five years to craft AI models robust enough for natural results on real-world footage.

Features

  • Fewer motion artifacts - Other video upscaling techniques often create a “shimmering” or “flickering” effect from different processing in adjacent frames. TVAI significantly reduces these artifacts.
  • Recover video details - Inject real details into your videos, derived from the additional information in multiple adjacent frames.

  • Get more natural results - Traditional upscaling often causes artifacts. We mitigate these by deriving new information from multiple frames.

  • Trained on videos - Topaz Video AI was trained exclusively on video clips instead of still images.

Usage [source]

Buy [Free Alternative, requires command-line programming skills]

Midjourney - text to image generator.

Overview

Midjourney is an independent research lab that produces a proprietary artificial intelligence program that creates images from textual descriptions, similar to OpenAI's DALL-E and the open-source Stable Diffusion.

Features

  • Makes image more beautiful than you have imagined
  • Free up to 25 images, then costs $10/mo for 200 images.
  • Up to 2048x2048 resolution

Usage [source]

  1. Join the discord channel: https://discord.gg/midjourney
  2. Select one of the #newbies channels from the sidebar.
  3. Use the /imagine Command. Describe anything with words.
  4. Wait until your image becomes ready.
  5. Upscale the image or choose different variation.
  6. Save your image.

EbSynth - Transform Video by Painting Over a Single Frame

Overview

EbSynth breaks your painting into many tiny pieces, like a jigsaw puzzle. It then uses those pieces to assemble (synthesize) all the remaining video frames. That way, EbSynth always works only with what the artist paints. It never introduces anything new that wasn't shown in the painted keyframe.

Usage [source]

Download

Author: okhostok Views: 1901 time
Go back

Comments (18)
You aren't authorized! Comments could be posted only by registered and authorized users!

олух царя небесного   User profile
  10.12.2022 21:16
okhostok wrote:
ничего такого


Ну да. С моей стороны следовало всё это написать в теме "различные вопросы, незаслуживающие отдельной темы"
okhostok   User profile  Video channel
  07.12.2022 13:38
олух царя небесного wrote:
okhostok, мой посыл был больше к тому, что сайт позиционируется как крупная площадка аниме-клипов. Короткометражки на не аниме-исходники можно скачать на торрентах или посмотреть на других ресурсах. Хотя вряд ли самопальная анимация возьмёт верх в рамках AMV.


Да, я тут предложил ничего такого который поможет к сделание короткометражки.
1) Flowframes - заменитель твикстора в амв.
2) Topaz Video AI - постобработка амв.
3) Midjourney - лого, постер к амв.
4) Ebsynth - копирование эффекта в амв.
олух царя небесного   User profile
  07.12.2022 13:25
okhostok, мой посыл был больше к тому, что сайт позиционируется как крупная площадка аниме-клипов. Короткометражки на не аниме-исходники можно скачать на торрентах или посмотреть на других ресурсах. Хотя вряд ли самопальная анимация возьмёт верх в рамках AMV.
okhostok   User profile  Video channel
  07.12.2022 10:28
олух царя небесного wrote:
Ну воот. Я смотрю амв на Амвньюс, чтобы узнать новинки аниме и музыки, а здесь ратуют за разведение какой-то самодеятельности. Есть ведь Креа для такого.

ps. но это частное мнение. если данная инициатива каким-либо образом повысит активность на сайте - я только "за".


Вообще-то есть много мейкеров в ньюсе, я думал это будет интересен им.
олух царя небесного   User profile
  07.12.2022 07:26
Ну воот. Я смотрю амв на Амвньюс, чтобы узнать новинки аниме и музыки, а здесь ратуют за разведение какой-то самодеятельности. Есть ведь Креа для такого.

ps. но это частное мнение. если данная инициатива каким-либо образом повысит активность на сайте - я только "за".
Leberate   User profile  Video channel
  06.12.2022 21:02
а че sd в "гайд" не воткнули?
REVI7ION   User profile
  06.12.2022 02:23
Default Avatar
Первый софт заинтересовал.
Daniskin   User profile
  05.12.2022 15:26
Шутки про кнопку "создать красиво" становятся реальнее...
Turbo   User profile  Video channel
  05.12.2022 10:48
Спасибо за статью )

Ещё есть новая сетка которая по фотке генерит аниме версию. Может быть актуально для АМВ:
https://www.ixbt.com/live/sw/kitayskaya-neyroset-prevraschaet-vashe-foto-v-anime.html


Мой друг из Сингапура вместе с командой зарелизил сетку, которая генерит видео по описанию:
https://magicvideo.github.io/

Выглядит пока не очень, но думаю это дело времени пока допилят.
okhostok   User profile  Video channel
  05.12.2022 06:48
SWS wrote:
https://amvnews.ru/images/contests/AnonCon2022/AnonCon2022-3.png


вот я и думал, почему оно выбивается из строя)
mwDeus   User profile
  05.12.2022 05:31
Хорошо же.

okhostok, молодец что заморочился.

Теперь нужно под каждый пункт делать развёрнутые гайды.

Начало положено.
---------
SWS, скоро начнёшь гифки делать из вот этого всего, если не уже.

Ей богу, щяс для того чтобы контент делать - не нужно вообще ничего, только желание.

И спасибо, что ты это доказываешь, не в обиду.
MesoGear   User profile  Video channel
  05.12.2022 04:13
ну все, дело за малым - амв в нейросети
SWS   User profile  Video channel
  05.12.2022 02:48
okhostok, Darksss 73, Что касается графики, не видео а именно графики то для NovelAI и StableDiffusion корпорация Гугл сейчас предоставляет услугу "Колаб". Услуга бесплатна. По ней Гугл дает свои мощности пользователю для генерации изображений. Для видео пока не подходит, получается некоторая каша, но изображения типа:

https://i.imgur.com/AHI6hoO.png
https://i.imgur.com/e1tpHnx.png
https://i.imgur.com/d6cTXzp.png
https://i.imgur.com/JU3OAWh.png

Можно генерировать, с помощью этой услуги, которая бесплатна, даже на утюге. Конечно есть некоторые подводные, например то что генерировать можно лишь несколько часов в день, за особо горячие или неполиткоректные теги в промтах аккаунт Гугл могут забанить, и прочие неявные, но факт остается.
---------
Алсо.

Darksss 73 wrote:
Опытный мейкер всему найдёт применение



Так то не только неопытные AMV мейкеры но уже и крупнейшие AMV сайты юзают в своей жизни и деятельности изображения сгенерированные нейросетками:

https://amvnews.ru/images/contests/AnonCon2022/AnonCon2022-3.png
Darksss 73   User profile
  05.12.2022 02:32
okhostok wrote:

Как минимум Топаз я видел, многие его используют чтобы сделать 4к версию/повысить качество.


Ну с этим то я согласен.(У самого он есть) Но вопрос остаётся так же открытым > на дороговизну.
Для того что-бы интегрироваться во всё это - нужно будет с начало интегрироваться в магаз компьютерной техники.
okhostok   User profile  Video channel
  05.12.2022 02:31
Darksss 73 wrote:
S.A. Robert
Вопрос не в том как это будет использоваться а на какие башляшки?


Как минимум Топаз массово используют чтобы сделать 4к версию/повысить качество.
Darksss 73   User profile
  05.12.2022 02:21
S.A. Robert
Вопрос не в том как это будет использоваться (Опытный мейкер всему найдёт применение) а на какие башляшки?
Так как все эти проги > жрут довольно много производительности = как в процесере, так и в видюхе.
И если какая-то часть мейкеров - потянет такие возможности, то остальные будут делать всё по старинке.
SWS   User profile  Video channel
  05.12.2022 02:20
S.A. Robert,

https://i.imgur.com/iM9ChWd.mp4

Только обязательно посмотри при полном разрешении и со звуком. На тайминге 0,07 - 0,08 глядя на верхнюю часть изображения я кончил. Образно выражаясь. И это ещё делали на простой нейронке.

Вообще ходят слухи что первую нейронку заточенную под видео выкатят к рождеству. Правда не знаю насколько эти слухи надёжны. На форуме "в вопросах незаслуживающих" инфа по нейросеткам слегка устаревшая. Но у меня пока руки не доходят создать тему или вообще там отписаться.

Алсо.
Где то с месяц назад уже генерили подобные арты:
https://i.imgur.com/ms35l2S.png
https://i.imgur.com/EbUvMwC.png
https://i.imgur.com/4LWpp4o.png
https://i.imgur.com/DkAGwav.png

Вчера вот Асок разных:
https://i.imgur.com/O02LKaH.png
https://i.imgur.com/GphkLTN.png
https://i.imgur.com/UsZ2UDp.png

Особо бизнесменистые, скажем так, товарищи уже на Девиант Арте насоздавали платных галерей и продают их страждущим.
S.A. Robert   User profile
  04.12.2022 21:02
Интересно как это будут в амв использовать.

 Интересное на CreaSpace