AMV News
Музыкальные аниме клипы
 
 FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход  

Need your help creating masking tool!

 
Начать новую тему   Ответить на тему    Список форумов AMV News -> General Discussion (in English)
Предыдущая тема :: Следующая тема  
Автор Сообщение
Centurione



Пол: Пол:Жен
Возраст: 28
Новичок
Рега: 29.06.2011
Сообщения: 9
Откуда: PL
Страна: Польша

СообщениеДобавлено: Пн Апр 24, 2017 10:43 pm    Заголовок сообщения: Need your help creating masking tool! Ответить с цитатой

Forgive me for copy-pasta :D Posted this originally on AMV central.

Hi guys! It's been a while, hope you've got some masterpieces in the making ;)

I kind of don't feel like making AMVs anymore however my brain still feels bad after doing all that masking for my projects so I figured out I could try making a nice tool for that as my Engineering Thesis.

I have signed up to develop a tool which would do masking automatically after you've given it a sample mask in the scene or marked an area which you would like to mask. Pretty much like rotobrush in After Effects but I have an ambition to actually make it work well in most cases, including animations :D

In order for these algorithms to have any chance to work I need a hella big dataset of masked scenes and, as seems logical, I am incapable of producing it on my own.

So here goes my request: if you happened to do some masking for your video and wished to help me out, I would be most grateful if you provided me with your masked scene and your name and surname so that I could mention you in my thesis. The data would be used for that purpose exclusively and wouldn't be shared with absolutely anyone.

If you wished to help me out with my project here are some options on how you can do it:

1) Most conviniently would be providing me with the scene before masking and a scene after masking in a format in which the masked area would be entirely white and the background entirely black.

White means RGB(255,255,255)
Black means RGB(0,0,0) or transparent if encoding format supports it (such as png or transparent avi)

Both the original source and the masked result should have the same resolution. For example if you're sending the original source in 1280x720, the masked result should also have a resolution of 1280x720.

Here is an example of such pair:

Original



Masked




The above option however requires some work from you so I basically accept any format which would make it possible for me to get the result mentioned above on my own in a faster way than masking it out myself, which includes:

2. A project (Vegas or After Effects) with masking done and the source scene.
3. A rendered result mentioned in 1) but with greenscreen/bluescreen/whatever makes it possibly for me to key the color out and information about the source (series, episodes, things like that).


Or, well, whatever makes it possible for me to analyse the source material and create a black-and-white result.

The source doesn't really matter: whether it's animation, live action footage, whatever masked.

Email address: helpcenturione@gmail.com. Please provide me with any possible way to download what you want to share with me.

I know this is not the tiniest thing to ask and I am in my very initial phase of planning my work but since I know it might be hard to get the amount of data needed, I have to start early.

My thesis should be finished by January 2018. If the machine learning and automatic masking doesn't work out how I want it to, I'm going to at least develop the most convinient masking tool there is ;)

Feel free to ask any questions or doubts. Or maybe you know about a similar tool that already exists? I'm only aware of rotobrush and I've been out of hobby for a couple of years ^^'

Thank you for taking your time to read this and I well, if you wish to help me out, I will be moooooost grateful.


Последний раз редактировалось: Centurione (Пн Май 08, 2017 12:38 am), всего редактировалось 6 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Youtube
Turbo



Пол: Пол:Муж
Возраст: 42
Администратор
Рега: 15.03.2006
Сообщения: 4303
Откуда: Зеленоград
Страна: Россия

СообщениеДобавлено: Вс Май 07, 2017 4:38 pm    Заголовок сообщения: Ответить с цитатой

I recommend to add more details how to submit the data you need. I recommend the following:

1) Zip-archive which contains pairs of images with naming <number>.jpg and <number>_mask.png
2) Size of both images must be the same for example 1280x720
3) Format of *_mask.png file. Black pixel RGB(0, 0, 0) - background. White pixel RGB(255, 255, 255) - actual mask.
4) Provide example of such pair

With such rules it would be easier to create full dataset from submissions of different clipmakers.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Youtube
Centurione



Пол: Пол:Жен
Возраст: 28
Новичок
Рега: 29.06.2011
Сообщения: 9
Откуда: PL
Страна: Польша

СообщениеДобавлено: Пн Май 08, 2017 12:27 am    Заголовок сообщения: Ответить с цитатой

Turbo писал(а):
I recommend to add more details how to submit the data you need. I recommend the following:

1) Zip-archive which contains pairs of images with naming <number>.jpg and <number>_mask.png
2) Size of both images must be the same for example 1280x720
3) Format of *_mask.png file. Black pixel RGB(0, 0, 0) - background. White pixel RGB(255, 255, 255) - actual mask.
4) Provide example of such pair

With such rules it would be easier to create full dataset from submissions of different clipmakers.


Thanks for suggestions! However I will accept files in video format as well so I will be willing to generate some more samples by editing the videos so I will have to go through them all anyway.

Will edit the post in a minute :)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Youtube
Kroner -AMV-



Пол: Пол:Муж
Возраст: 31
Новичок
Рега: 30.06.2016
Сообщения: 2

Страна: Италия

СообщениеДобавлено: Ср Май 17, 2017 12:53 am    Заголовок сообщения: Ответить с цитатой

I'll help you for sure, u were one of the reason why I'm here editing amvs now so you can count on my noob experience, I'll copy-paste this to the italian forum so maybe you will find some more volunteers Very Happy
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Youtube
Minstrel



Пол: Пол:Жен

Переводчик
Рега: 21.06.2007
Сообщения: 725
Откуда: Odessa
Страна: Украина

СообщениеДобавлено: Сб Май 20, 2017 11:19 pm    Заголовок сообщения: Ответить с цитатой

Russian translation for Centurione's message.
Перевод текста из заглавного поста:

Всем привет! Давно не виделись, надеюсь, вы работаете над шедеврами)

Мне больше не хочется делать клипы, но до сих пор больно вспоминать, как я резала для них маски. Поэтому подумалось: почему бы не сделать удобный инструмент для этой задачи в качестве дипломной работы инженера.

Я запланировала создать инструмент, который будет автоматически вырезать маски. От вас требуется только показать ему один пример маски в нужной сцене или отметить ту часть кадра, которую вы хотите вырезать. Это похоже на кисть для ротоскопии (rotobrush) в After Effects, но в планах сделать так, чтобы инструмент хорошо работал в большинстве случаев, в том числе и в анимации.

Чтобы этот алгоритм заработал с большей долей вероятности, мне нужна огромная база сцен с масками, и очевидно, что самой мне такую не сделать.
Так что вот моя просьба: если вы делали маски для своего клипа и готовы мне помочь, то я с благодарностью приму сцены с вырезанными масками. Добавьте ваше имя и фамилию, я упомяну их в своей научной работе. Данные будут использованы исключительно для этой цели, и больше не будут распространяться нигде и никогда.
Если вы готовы мне помочь, то вот как это можно сделать:

1) Самый удобный вариант – предоставить сцену до и после вырезания маски в следующем формате: вырезанная часть – полностью белая, фон – полностью черный.

Белый – это RGB(255,255,255)
Черный – это RGB(0,0,0), или же прозрачный слой, если формат кодирования его поддерживает (png, avi с альфа-каналом).

И оригинал, и вариант с вырезанной маской должны быть одного разрешения. К примеру, если оригинальное видео было в формате 1280x720, то и вариант с маской тоже должен иметь разрешение 1280x720.

Вот пример такой пары:

Оригинал

http://i.imgur.com/efznCRp.jpg

Маска

http://i.imgur.com/l1uI8zR.jpg


Такой вариант, однако, требует от вас некоторых усилий, поэтому в целом я готова принять данные в любом формате, если я смогу сделать из них черно-белый результат, описанный выше, и это будет быстрее, чем вырезать маску с нуля. Вы можете прислать:

2. Проект (в Vegas или After Effects), в котором присутствуют вырезанная маска и оригинальная сцена.

3. Отрендеренная сцена как в пункте 1, но с синей/зеленой/любой другой подложкой, из которой можно кеингом вырезать цвет. Нужна также информация об исходной сцене: сериал, номер серии и все такое.


Либо любой другой вариант, который позволит мне проанализировать исходный материал и превратить его в черно-белую картинку.

Неважно, что это будет за исходник: анимация, живое видео – что угодно, лишь бы с масками.

Пишите на почту: helpcenturione@gmail.com. Присылайте любые ссылки на загрузку ваших файлов.
Я понимаю, что это не самая легкая просьба, и я пока на начальной стадии планирования, но приходится начинать пораньше, поскольку уже ясно, что данных нужно будет много. Моя научная работа должна быть готова к январю 2018 года. Если машинное обучение и автоматическое вырезание масок не сработает так, как мне бы того хотелось, то, по крайней мере, должен получиться самый удобный инструмент для масок из возможных Wink

Смело задавайте любые вопросы и критикуйте. Или, может быть, подскажете такие инструменты среди уже существующих? Мне знаком только rotobrush, но я уже несколько лет не занимаюсь своим хобби ^^'. Спасибо, что уделили мне время, и, если получится помочь – буду оооооочень благодарна.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Centurione



Пол: Пол:Жен
Возраст: 28
Новичок
Рега: 29.06.2011
Сообщения: 9
Откуда: PL
Страна: Польша

СообщениеДобавлено: Вс Май 21, 2017 1:45 pm    Заголовок сообщения: Ответить с цитатой

Thank you Minstrell for translating! And thank you for posting it on the main page! I really appreciate it.

Kroner -AMV- писал(а):
I'll help you for sure, u were one of the reason why I'm here editing amvs now so you can count on my noob experience, I'll copy-paste this to the italian forum so maybe you will find some more volunteers :D


Thank youuuu! Let it spread!
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Youtube
Weestwoood



Пол: Пол:Муж
Возраст: 32
Прохожий
Рега: 29.01.2013
Сообщения: 40

Страна: ОАЭ

СообщениеДобавлено: Пн Май 22, 2017 12:29 am    Заголовок сообщения: Ответить с цитатой

Не буду слишком сильно вдаваться в подробности создания говно-кода...
Могу посоветовать копать в сторону покадровой разбивки видео на картинки "PNG" формата...
Выделение ранее отмеченной области "Черный – это RGB(0,0,0)" - контур Аниме персонажа... и с последующим смещением черной линии по следующим разбитым кадрам. Тем самым не нужно будет создавать огромную базу из масок.



Еще стоит добавить опцию ручного определения цвета контурной линии объекта, для выделения разных контурных цветов выделяемых объектов.

Самое главное, переходя из буфера данных одной картинки к другой оставлять координаты маски для дальнейшего автоматического смещение по Черным линиям и выделения объекта вокруг персонажа, далее назначая прозрачный пиксель "rgba(255, 255, 255 , 0);"

rgba(Red, Green, Blue ,Alpha);
rgba(Красный, Зелёный, Синий ,Значение прозрачности);
Цвета указываются как и в RGB от 0 до 255.
Прозрачность указывается от 0(полностью прозрачно) до 1(непрозрачно).

Далее собираем все картиночки в один файл, пусть тот же "avi с альфа-каналом" и радуемся. В процессе кодирования не стоит удалять ранее разбитые кадры "PNG", а дать возможность в программе вручную подправить линии смещения маски на любой из кадров. (в случае с тяжелыми ЦК картины.)



Удачи в наработках! Тема не цепляет, но и равнодушным не оставляет.
Wink

_________________
Просто огромное спасибо что мы все дополняем аниме, AMVишками! Когда конец в аниме, у нас в АМВ всё только начинается! Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора Youtube
Minstrel



Пол: Пол:Жен

Переводчик
Рега: 21.06.2007
Сообщения: 725
Откуда: Odessa
Страна: Украина

СообщениеДобавлено: Пн Май 22, 2017 7:35 am    Заголовок сообщения: Ответить с цитатой

Weestwoood, автор не понимает русский, пиши на английском.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
SWS



Пол: Пол:Муж

Местный
Рега: 05.03.2010
Сообщения: 1177
Откуда: Нижний Новгород

СообщениеДобавлено: Пн Май 22, 2017 4:55 pm    Заголовок сообщения: Ответить с цитатой

Цивилизация дала автору Гугл-переводчик.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
SpaceMan



Пол: Пол:Муж
Возраст: 32
Новичок
Рега: 17.05.2017
Сообщения: 24

Страна: Россия

СообщениеДобавлено: Пн Май 22, 2017 7:22 pm    Заголовок сообщения: Ответить с цитатой

Weestwoood
Я думал она хочет использовать depth pass или каналы глубины кадра. Как по мне более математически верный, но и крайне сложный в реализации метод.

https://www.youtube.com/watch?v=Y8ybiwhLhPY

у тебя метод chromakey. Эта шляпа будет жрать пиксели.

Цитата:
Цивилизация дала автору Гугл-переводчик

Цивилизация дала тебе пакеты 3d моделирования...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Weestwoood



Пол: Пол:Муж
Возраст: 32
Прохожий
Рега: 29.01.2013
Сообщения: 40

Страна: ОАЭ

СообщениеДобавлено: Вт Май 23, 2017 12:10 am    Заголовок сообщения: Ответить с цитатой

Minstrel , хорошо... В следующий раз буду внимательнее.... Smile
_________________
Просто огромное спасибо что мы все дополняем аниме, AMVишками! Когда конец в аниме, у нас в АМВ всё только начинается! Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора Youtube
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов AMV News -> General Discussion (in English) Часовой пояс: GMT + 3
Страница 1 из 1

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете добавлять приложения в этом форуме
Вы не можете скачивать файлы в этом форуме