Улучшение графики при помощи нейросети ESRGAN Опции

[kkrf40]

Всем доброго времени суток!

Собственно по сабжу. Я провел пару экспериментов с ESRGAN, и результаты действительно впечатляют.
(пока улучшал модельки юнитов для Civilization 5, хотя она далеко не такая старая как Арканум, но и там результат виден)
Сразу возникла мысль применить это дело к любимой игре.

Есть пара вопросов к более опытным мододелам.
Графика окружающего мира как я понял вся в BMP-шках лежит в townmap, или я что-то пропустил ?

С art файлами насколько я понял из форума не все так просто ибо они многослойные.
Нейросеть с прозрачностью не работает в принципе. Ей подавай JPG PNG
или BMP. PNG можно подсунуть с прозрачностью, но она её грохнет в процессе конвертации.

В любом случае мне нужны BMP-шки в качестве исходников.

Не откажусь и от помощи. Если кто не против свалить в одну кучу все BMP которые можно подвергнуть
обработке и выльет на файлообменник я их пеерконвертирую в HI-RES.
Файлов может быть хоть 10 тыщ.
Процесс идет довольно шустро с CUDA и GTX1080 )

А пока я побаловался со сплешами из арканума.
И вот что вышло:
до https://yadi.sk/d/dnNUQTKzLi-DqQ
после https://yadi.sk/d/JlXYPeU7leFkIw

Или вот еще (разница особенно видна при просмотре на полный экран) https://yadi.sk/d/wetr0cP9yOyhVg

UPD! перегнал в hires все файлы из townmap\crash-site
но столкнулся с проблемой при запихивании их обратно в Arcanum.dat
игра не стартует после этого.
Движок не позволяет загрузить файлы такого объема? (а весить они стали 75 мб вместо 4мб)
В общем нид хелп
файлы тут https://yadi.sk/d/uplVcHrpyzFTZg

Сообщение отредактировал kkrf40 - 11.3.2019, 23:05

[Positiff]

Я провел пару экспериментов с ESRGAN, и результаты действительно впечатляют.
А пока я побаловался со сплешами из арканума. И вот что вышло:
до https://yadi.sk/d/dnNUQTKzLi-DqQ
после https://yadi.sk/d/JlXYPeU7leFkIw

Меня это что-то не впечатлило, от слова совсем. И что это за размытость такая в твоей картинке "до"? В оригинале такого нет! Более того, четкость оригинальной картинки лучше, чем у твоего "после". Так в чем тогда смысл этих твоих улучшений графики?

Графика окружающего мира как я понял вся в BMP-шках лежит в townmap, или я что-то пропустил ?

Ты всё неправильно понял. Там лежат карты локаций окружающего мира. Не зря же папку townmap назвали...

С art файлами насколько я понял из форума не все так просто ибо они многослойные.
Нейросеть с прозрачностью не работает в принципе. Ей подавай JPG PNG или BMP.
PNG можно подсунуть с прозрачностью, но она её грохнет в процессе конвертации.
В любом случае мне нужны BMP-шки в качестве исходников.

На самом деле тут всё проще, чем ты думаешь. Никакой прозрачности в ART файлах нет, там просто в качестве фона используется определённый цвет (обычно синий), который уже движок игры потом заменяет. С помощью многослойности реализованы анимации, но по сути это просто набор нескольких идущих подряд картинок. Кроме того, есть программы (ссылка) для конвертации ART в BMP и обратно, например, ArtView.

Не откажусь и от помощи. Если кто не против свалить в одну кучу все BMP которые можно подвергнуть обработке и выльет на файлообменник я их пеерконвертирую в HI-RES.

Очень сомневаюсь, что найдутся желающие кроме тебя...

UPD! перегнал в hires все файлы из townmap\crash-site, но столкнулся с проблемой при запихивании их обратно в Arcanum.dat, игра не стартует после этого.

А ты чего-то другого ожидал изменив размер файлов с 64x32 на 256x128 ?
Очевидно, что движок ожидает файлы конкретного размера...

[kkrf40]

Меня это что-то не впечатлило, от слова совсем. И что это за размытость такая в твоей картинке "до"? В оригинале такого нет!

в сравнении картинка из оригинальной игры, 100%.
Если смотреть на нее в разрешении 800х600 то мыла не видно.
Но как быть если играешь в FullHD или даже 2560х1440.
Если растянуть оригинальные сплеши во весь экран то и будет то самое мыло.
В hi-res картинке мыла нет. Я именно растягивал ОБЕ картинки во весь экран и далее сравнивал их центральную часть. Результат налицо. В примере с аэропланом особенно хорошо видно. В оригинале хвост аэроплана - сплошное мыло.

Впрочем - на вкус и цвет как говорится.
Кто-то предпочитает в окне играть и щас в 800х600. Почему нет. Каждому свое.
Вот кстати.
Возьмите кто хочет ориг. сплеш и поставьте фоном на рабочий стол. (полагаю у большинства моники 1920х1080)
https://yadi.sk/i/Xj9AXGju4wd_NQ
посмотрите на мыло. посмотрите еще раз )
А теперь поставьте вот это:
https://yadi.sk/d/xJGQGdWB_guX6w

Не благодарите )

Сообщение отредактировал kkrf40 - 12.3.2019, 2:38

[Positiff]

В сравнении картинка из оригинальной игры, 100%. Если смотреть на нее в разрешении 800х600 то мыла не видно.
Но как быть если играешь в 2560х1440. Если растянуть оригинальные сплеши во весь экран то и будет то самое мыло.
В hi-res картинке мыла нет. Я именно растягивал ОБЕ картинки во весь экран и далее сравнивал их центральную часть.
Результат налицо. В примере с аэропланом особенно хорошо видно. В оригинале хвост аэроплана - сплошное мыло.

Теперь ясно. Стоило об этом сразу написать, а не выкладывать размытые картинки без описания что к чему...
Тогда результаты работы нейросети действительно хороши. Но применить их получится только к экранам загрузки и к видеороликам.
Изображения интерфейсов и предметов игры не получится увеличить без изменения зашитых в движке размеров названных объектов.
С этим лучше всего смог бы справиться автор HighRes мода Drog Black Tooth, который раскопал движок в этом направлении лучше всех.
Но он уже почти отошёл от дел и редко выходит на связь. Я ему конечно напишу по этому поводу в скайп, но нет гарантии, что он ответит.
Хотя не так давно он возвращался к работе над своим модом на высокое разрешение, так что можешь попробовать написать ему на rpgcodex.

[kkrf40]

С этим лучше всего смог бы справиться автор HighRes мода Drog Black Tooth, который раскопал движок в этом направлении лучше всех.
Но он уже почти отошёл от дел и редко выходит на связь. Я ему конечно напишу по этому поводу в скайп, но нет гарантии, что он ответит.

Я понял. Да жалко конечно, что с изометрией все не так просто как с 3D играми, в которые подсунуть текстуры большего разрешения как правило не проблема.

Так или иначе, если вдруг кому нужны в hi-res экраны загрузки и заставки из финала игры
могу тут выложить.
Ну а если вдруг получится заставить движок слопать файлы большего размера - то я всегда готов
их преобразовать. Тут глядишь заодно и алгоритмы новые предобученные для ESRGAN выложат.
Проект опенсоурсный, там группа энтузиастов постоянно что-то улучшает.

P. S. если меня долго не будет на форуме, то олдфаги могут писать в асю )) 233-300-565

Сообщение отредактировал kkrf40 - 13.3.2019, 14:24

[Positiff]

Так или иначе, если вдруг кому нужны в hi-res экраны загрузки и заставки из финала игры, могу тут выложить.

Я написал по этому поводу создателям репека Arcanum Multiverse Edition. Думаю им это будет интересно.

Ну а если вдруг получится заставить движок слопать файлы большего размера - то я всегда готов их преобразовать.

Это будет зависеть от того, захочет ли этим заняться Дрог. Ему я тоже написал. Ждём ответы.

Кстати, а ты можешь улучшить разрешение игровых видеороликов? Как мне кажется, это было бы особенно интересно в качестве нового улучшения для мода на высокое разрешение.

[Ather]

Ролики можно также раздраконить на отдельные кадры, прогнать через нейросеть и сшить обратно. Нужен только винчестер побольше.

[kkrf40]

Ролики можно также раздраконить на отдельные кадры, прогнать через нейросеть и сшить обратно. Нужен только винчестер побольше.

Хм... честно признаюсь, в видеомонтаже я профан.
Разбить на JPG это я сделаю, загуглил как.
А вот сшить видео обратно из джпегов сложнее.
это единственный способ. Пока что готовое видео нейросеть улучшать не умеет (хотя я думаю это вопрос времени)

Первая проба не слишком удачная.
То есть да, картинки то получились в 4 раза больше оригинальных. И можно сшить видео в разрешении 3200х2400
Может на выходе при урезании до 1920х1080 получится годная картинка, я хз.

пиксели в ориг. видео настолько большие что нейросети не хватает данных чтобы их все убрать,
дорисовав недостающие части картинки.
Впрочем, тут нужно пробовать разные алгоритмы.
Думаю что проблема решаема.

образцы было-стало
https://yadi.sk/d/7WY9nKcjEd43Jw

Сообщение отредактировал kkrf40 - 16.3.2019, 5:45

[Ather]

На хабре есть статья про эту (или другую нейросеть). Там человек таким образом мульт улучшал. Но я не знаю были ли там написаны инструменты.

Хабр - там какая-то консольная приблуда для этого используется. Я не сильно вчитывался - стараюсь от работы с видео держаться как можно дальше.

[kkrf40]

Хабр - там какая-то консольная приблуда для этого используется.

Спасибо за наводку.
Протестировал. Лучшие результаты дает Let's Enhance.
но он платный. и ладно б. я заплатил 7 баксов. но там лимит 999 фоток.
Этого не хватит для обработки всех роликов.
Вступительный 11 секундный ролик (с выстрелом из револьвера) это 267 кадров.
Попробую пока фотошопом, как автор с хабра.

UPD!
в общем результаты
https://yadi.sk/d/rBBoIVTbp5MQtg

2 пресета ресамплинга из фотошопа, ESRGAN и Let's Enhance.
На мой взгляд лидер однозначно Let's Enhance.

Так или иначе я пока склеил видео в 2560х1920 точек (ибо оригинал 4:3) из того что выдал фотошоп.
(вначале есть дефект рендеринга, но пофиг. это альфа версия)
https://yadi.sk/d/dYR64JnHCgiFgA

Сообщение отредактировал kkrf40 - 16.3.2019, 21:27