AMV News

[Centurione]

Forgive me for copy-pasta :D Posted this originally on AMV central.

Hi guys! It's been a while, hope you've got some masterpieces in the making ;)

I kind of don't feel like making AMVs anymore however my brain still feels bad after doing all that masking for my projects so I figured out I could try making a nice tool for that as my Engineering Thesis.

I have signed up to develop a tool which would do masking automatically after you've given it a sample mask in the scene or marked an area which you would like to mask. Pretty much like rotobrush in After Effects but I have an ambition to actually make it work well in most cases, including animations :D

In order for these algorithms to have any chance to work I need a hella big dataset of masked scenes and, as seems logical, I am incapable of producing it on my own.

So here goes my request: if you happened to do some masking for your video and wished to help me out, I would be most grateful if you provided me with your masked scene and your name and surname so that I could mention you in my thesis. The data would be used for that purpose exclusively and wouldn't be shared with absolutely anyone.

If you wished to help me out with my project here are some options on how you can do it:

1) Most conviniently would be providing me with the scene before masking and a scene after masking in a format in which the masked area would be entirely white and the background entirely black.

White means RGB(255,255,255)
Black means RGB(0,0,0) or transparent if encoding format supports it (such as png or transparent avi)

Both the original source and the masked result should have the same resolution. For example if you're sending the original source in 1280x720, the masked result should also have a resolution of 1280x720.

Here is an example of such pair:

Original



Masked




The above option however requires some work from you so I basically accept any format which would make it possible for me to get the result mentioned above on my own in a faster way than masking it out myself, which includes:

2. A project (Vegas or After Effects) with masking done and the source scene.
3. A rendered result mentioned in 1) but with greenscreen/bluescreen/whatever makes it possibly for me to key the color out and information about the source (series, episodes, things like that).


Or, well, whatever makes it possible for me to analyse the source material and create a black-and-white result.

The source doesn't really matter: whether it's animation, live action footage, whatever masked.

Email address: helpcenturione@gmail.com. Please provide me with any possible way to download what you want to share with me.

I know this is not the tiniest thing to ask and I am in my very initial phase of planning my work but since I know it might be hard to get the amount of data needed, I have to start early.

My thesis should be finished by January 2018. If the machine learning and automatic masking doesn't work out how I want it to, I'm going to at least develop the most convinient masking tool there is ;)

Feel free to ask any questions or doubts. Or maybe you know about a similar tool that already exists? I'm only aware of rotobrush and I've been out of hobby for a couple of years ^^'

Thank you for taking your time to read this and I well, if you wish to help me out, I will be moooooost grateful.

[Turbo]

I recommend to add more details how to submit the data you need. I recommend the following:

1) Zip-archive which contains pairs of images with naming <number>.jpg and <number>_mask.png
2) Size of both images must be the same for example 1280x720
3) Format of *_mask.png file. Black pixel RGB(0, 0, 0) - background. White pixel RGB(255, 255, 255) - actual mask.
4) Provide example of such pair

With such rules it would be easier to create full dataset from submissions of different clipmakers.

[Centurione]

[Kroner -AMV-]

I'll help you for sure, u were one of the reason why I'm here editing amvs now so you can count on my noob experience, I'll copy-paste this to the italian forum so maybe you will find some more volunteers

[Minstrel]

Russian translation for Centurione's message.
Перевод текста из заглавного поста:

Всем привет! Давно не виделись, надеюсь, вы работаете над шедеврами)

Мне больше не хочется делать клипы, но до сих пор больно вспоминать, как я резала для них маски. Поэтому подумалось: почему бы не сделать удобный инструмент для этой задачи в качестве дипломной работы инженера.

Я запланировала создать инструмент, который будет автоматически вырезать маски. От вас требуется только показать ему один пример маски в нужной сцене или отметить ту часть кадра, которую вы хотите вырезать. Это похоже на кисть для ротоскопии (rotobrush) в After Effects, но в планах сделать так, чтобы инструмент хорошо работал в большинстве случаев, в том числе и в анимации.

Чтобы этот алгоритм заработал с большей долей вероятности, мне нужна огромная база сцен с масками, и очевидно, что самой мне такую не сделать.
Так что вот моя просьба: если вы делали маски для своего клипа и готовы мне помочь, то я с благодарностью приму сцены с вырезанными масками. Добавьте ваше имя и фамилию, я упомяну их в своей научной работе. Данные будут использованы исключительно для этой цели, и больше не будут распространяться нигде и никогда.
Если вы готовы мне помочь, то вот как это можно сделать:

1) Самый удобный вариант – предоставить сцену до и после вырезания маски в следующем формате: вырезанная часть – полностью белая, фон – полностью черный.

Белый – это RGB(255,255,255)
Черный – это RGB(0,0,0), или же прозрачный слой, если формат кодирования его поддерживает (png, avi с альфа-каналом).

И оригинал, и вариант с вырезанной маской должны быть одного разрешения. К примеру, если оригинальное видео было в формате 1280x720, то и вариант с маской тоже должен иметь разрешение 1280x720.

Вот пример такой пары:

Оригинал

http://i.imgur.com/efznCRp.jpg

Маска

http://i.imgur.com/l1uI8zR.jpg


Такой вариант, однако, требует от вас некоторых усилий, поэтому в целом я готова принять данные в любом формате, если я смогу сделать из них черно-белый результат, описанный выше, и это будет быстрее, чем вырезать маску с нуля. Вы можете прислать:

2. Проект (в Vegas или After Effects), в котором присутствуют вырезанная маска и оригинальная сцена.

3. Отрендеренная сцена как в пункте 1, но с синей/зеленой/любой другой подложкой, из которой можно кеингом вырезать цвет. Нужна также информация об исходной сцене: сериал, номер серии и все такое.


Либо любой другой вариант, который позволит мне проанализировать исходный материал и превратить его в черно-белую картинку.

Неважно, что это будет за исходник: анимация, живое видео – что угодно, лишь бы с масками.

Пишите на почту: helpcenturione@gmail.com. Присылайте любые ссылки на загрузку ваших файлов.
Я понимаю, что это не самая легкая просьба, и я пока на начальной стадии планирования, но приходится начинать пораньше, поскольку уже ясно, что данных нужно будет много. Моя научная работа должна быть готова к январю 2018 года. Если машинное обучение и автоматическое вырезание масок не сработает так, как мне бы того хотелось, то, по крайней мере, должен получиться самый удобный инструмент для масок из возможных

Смело задавайте любые вопросы и критикуйте. Или, может быть, подскажете такие инструменты среди уже существующих? Мне знаком только rotobrush, но я уже несколько лет не занимаюсь своим хобби ^^'. Спасибо, что уделили мне время, и, если получится помочь – буду оооооочень благодарна.

[Centurione]

Thank you Minstrell for translating! And thank you for posting it on the main page! I really appreciate it.

[Weestwoood]

Не буду слишком сильно вдаваться в подробности создания говно-кода...
Могу посоветовать копать в сторону покадровой разбивки видео на картинки "PNG" формата...
Выделение ранее отмеченной области "Черный – это RGB(0,0,0)" - контур Аниме персонажа... и с последующим смещением черной линии по следующим разбитым кадрам. Тем самым не нужно будет создавать огромную базу из масок.



Еще стоит добавить опцию ручного определения цвета контурной линии объекта, для выделения разных контурных цветов выделяемых объектов.

Самое главное, переходя из буфера данных одной картинки к другой оставлять координаты маски для дальнейшего автоматического смещение по Черным линиям и выделения объекта вокруг персонажа, далее назначая прозрачный пиксель "rgba(255, 255, 255 , 0);"

rgba(Red, Green, Blue ,Alpha);
rgba(Красный, Зелёный, Синий ,Значение прозрачности);
Цвета указываются как и в RGB от 0 до 255.
Прозрачность указывается от 0(полностью прозрачно) до 1(непрозрачно).

Далее собираем все картиночки в один файл, пусть тот же "avi с альфа-каналом" и радуемся. В процессе кодирования не стоит удалять ранее разбитые кадры "PNG", а дать возможность в программе вручную подправить линии смещения маски на любой из кадров. (в случае с тяжелыми ЦК картины.)



Удачи в наработках! Тема не цепляет, но и равнодушным не оставляет.

[Minstrel]

Weestwoood, автор не понимает русский, пиши на английском.

[SWS]

Цивилизация дала автору Гугл-переводчик.

[SpaceMan]

Weestwoood
Я думал она хочет использовать depth pass или каналы глубины кадра. Как по мне более математически верный, но и крайне сложный в реализации метод.

https://www.youtube.com/watch?v=Y8ybiwhLhPY

у тебя метод chromakey. Эта шляпа будет жрать пиксели.

[Weestwoood]

Minstrel , хорошо... В следующий раз буду внимательнее....