Итак, я полностью ознакомился с этой штукой. Вещь очень крутая. Теперь дам советы и ответы другим людям.
1. На процессоре программа работает очень долго, Вам нужно качать версию, которая умеет работать на видеокарте. У меня разница в скорости около 60 раз (на видеокарте обработка одной картинки занимает 4-9 секунд, на процессоре около 4-9 минут, хотя в новой версии разница уменьшилась и составила 3 раза). Вот ссылка на реализацию waifu2x для Windows, которая использует видеокарту, а не процессор, написана на C++ и использует разные оптимизации:
http://int.main.jp/files/waifu2x-converter_x64_0813.zip. В данный момент версия 0813. Версия здесь важна, т.к. старые версии не использовали видеокарту и оптимизации. Также лучше качать 64-битную версию, т.к. в 32-битной версии есть шанс, что видеокарта не будет использоваться.
Для тех, кто хочет понять, как я нашёл эту ссылку, даю инструкцию:
1) Открыть проект waifu2x на Гитхабе (
https://github.com/nagadomi/waifu2x)
2) Найти и открыть там ссылку "Third-Party" (
https://github.com/nagadomi/waifu2x/wiki/Third-Party)
3) Открыть ссылку "List of waifu2x-derived software" (
http://kourindrug.sakura.ne.jp/waifu2x.html)
4) Найти на странице "waifu2x-converter-cpp", но там их несколько, нужно выбрать тот, который авторством tanakamura (
http://d.hatena.ne.jp/w_o/20150629#1439401739)
5) Крутим страницу вниз, т.к. более новые версии ниже. В данный момент последняя версия — 0813. Соответственно, ссылка на архив будет называться waifu2x-converter_x64_0813.zip
PS. Я не гарантирую, что нет более быстрых реализаций на GPU. На странице
http://kourindrug.sakura.ne.jp/waifu2x.html ещё сказано про реализации waifu2x-opt и waifu2x-caffe, но я не стал их сравнивать (хотя всего скорее они хуже). Также в разных реализациях и версиях качество может слегка отличаться, к примеру, в той версии, что я скинул, качество, по-моему, слегка лучше, чем в главной демке waifu2x.
2. Нужно ли использовать удаление шума? Если шума на картинке нет, то удалять его не нужно, т.к. это только испортит картинку. Если шум на картинке есть, то выбрать уровень удаления шума 1 (обычный). Уровень удаление шума 2 (высокий) вообще почти никогда не рекомендуется использовать, т.к. он портит почти все изображения. Улучшение есть только в редких случаях, когда картинка изначально была очень сильно испорчена.
3. Как обработать видео? Обработка видео делается в тупую: вначале Вам нужно извлечь из видео все кадры, потом обработать их программой, а потом снова склеить в видео. Про это написано на главной странице
https://github.com/nagadomi/waifu2x. Также там есть какие-то инструкции, но я их не проверял. Свою инструкцию не дам, т.к. не занимался этим. От себя добавлю, что обработка 1 кадра 480p на моём ноутбуке занимает около 4 секунд, 24-рёх таких кадров — 96 секунд, одной 25-минутной серии аниме — 40 часов, но треть этого времени вроде уходит на кодирование png. +Это ноутбук, на компьютере дело было бы в несколько раз быстрее.
Также нужно добавить: если исходник изначально некачественный (размытый или со сбитыми линиями), то waifu2x не сможет улучшить качество в 4 раза. Например, такие исходники часто попадаются в dvd-рипах. В этом случае waifu2x выдаёт даже сильно менее качественную картинку, чем NNEDI3 (по крайней мере если не использовать устранение шума, но если устранять шум, то лучше тогда устранить шум с помощью waifu2x, а апскейл сделать с помощью NNEDI3). Но если картинка нормальная (например, BDRip или арт), waifu2x может без проблем улучшить качество в 4 раза, а в некоторых случаях даже до 10 раз. NNEDI3 конечно на такое не способен, он вообще не способен улучшать качество, он просто делает очень хороший апскейл.
Естественно нужно упомянуть ещё одну вещь: если картинка изначально была заапскейлена, имеет смысл вначале сделать даунскейл до исходного состояния, и уже потом прогнать через waifu2x. Причину, я думаю, объяснять не нужно. Естественно, вначале нужно сравнить результат, прежде чем делать это.
4. Как начать обработку с помощью той программы, которую я скинул. Есть несколько способов:
1) Просто запустить install.bat. После этого у Вас в меню "Отправить" на всех файлах будет пункт waifu2x. Это самый простой способ, но он не позволяет настроить ни удаление/неудаление шума, ни коэффициент увеличения картинки, ни выходное имя файла. По умолчанию происходит увеличение картинки в 2 раза, используется режим удаления шума 1 (обычный) и имя файла "mai_" + исходное имя.
2) С помощью ExtendedSendTo. Это скрипт я написал сам. Ссылка на скрипт
http://vk-games.com/files/ExtendedSendTo.zip, там же есть инструкция. Скрипт тоже работает с помощью добавления новых пунктов в меню "Отправить", но даёт намного больше возможностей: один из пунктов позволяет полностью вручную настроить все параметры, а 5 других пунктов являются быстрыми ссылками для самых популярных настроек. Обрабатывать можно сразу много файлов. Инструкция по установке скрипта есть в архиве. В скрипте есть русский, английский и частично японский языки. Я, наверное, сейчас напишу автору программы об этом скрипте, возможно, он включит его в программу в будущих версиях.
3) С помощью консоли. Для обработки служит программа waifu2x-converter_x64.exe. Введите waifu2x-converter_x64.exe --help для того, чтобы получить список поддерживаемых параметров. Данный способ позволяет настроить абсолютно всё, но требует от Вас хорошо разбираться в компьютерах. Waifu2x-converter_x64.exe поддерживает следующие параметры:
--model_dir — папка с моделью преобразования. Укажите полный путь до models_rgb
--mode — режим обработки изображения, noise - только устранение шума, scale - только увеличение размера, noise_scale - и то, и то
--scale_ratio — коэффициент увеличения изображения по каждой из сторон
--noise_level — режим устранения шума, 1 - обычный, 2 - агрессивный. Если Вы не хотите устранять шум, то при вводе --mode scale (только увеличение размера) параметр noise_level будет игнорироваться
-i — входной файл
-o — выходной файл
-h — вывести справку
-j — количество запускаемых одновременно потоков. При работе на видеокарте указывать нет смысла
--block_size — размер блока. Дело в том, что если картинка большая, то программа обрабатывает её не всю сразу, а разбивает на блоки, чтобы использовать меньше оперативной памяти. Указывать это значение нет смысла
--disable-gpu — отключить использование видеокарты. Нет смысла
5. Я провёл сравнение waifu2x с технологией апскейла, которую применяют создатели аниме. Все знают, что аниме рисуется не в 1080p, а в 540p (по крайней мере линии, фоны вроде в 720p), после чего идёт апскейл в 1080p. Так вот, выяснилось, что waifu2x может сделать этот апскейл, выдав результат целых в 2 раза лучше по качеству, чем сейчас выдают производители аниме. Для выяснения я взял исходный кадр в 1080p из аниме Tokyo ESP, уменьшил его в 4 раза, потом прогнал его через waifu2x и в итоге у меня получилась картинка в 2 раза лучше качества, чем была изначально. Вот архив со скриншотами, где это наглядно показано:
http://vk-games.com/files/compareAnimeUpscale.zip (смотреть архив нужно при разрешении не менее 1980x1080). Хотя в некоторых местах картинка наоборот подпорчена (дверная ручка), но понятное дело, что при производстве аниме изображение персонажей и фонов нужно апскейлить отдельно. В общем, я надеюсь, на алгоритм обратят внимание создатели аниме и будут делать более качественный апскейл. Хотя если честно, у меня при просмотре включён фильтр aWarpSharp из ffdshow, он итак улучшает качество, с этим фильтром уже разницы нет (я проверял), но если переходить на монитор 4K, то разница будет.
6. Если выбирать коэффициент апскейла не являющийся степенью двойки, это не ускорит процесс, т.к. если указать, к примеру, 3, на самом деле он сделает 4 и просто в конце сделает даунскейл.
Ну вот и всё, надеюсь, кому-то помог. В заключение скажу, что я мог где-то наврать, т.к. я не спец по waifu2x, я сам узнал о нём 3 дня назад. Можете задавать вопросы. Также если что, я немного знаю японский, если нужно прочитать что-то конкретное по этой теме по-японски — могу прочитать.
