Житель Гомеля «оживил» фото Станислава Шабуневского с помощью нейросетей. Посмотрите, что получилось, и почитайте, как это работает

Станислав Придыбайло в 2020-м стал интересоваться обработкой нейросетями старых фото и видео. Сделал цветными фильм «Девчата», Деда Талаша и Якуба Коласа, а недавно «оживил» гомельского архитектора Станислава Шабуневского. Как все это работает, Станислав рассказал «Сильным Новостям».

Станислав родился в Глуске Могилевской области, а учился в гомельском БелГУТе. После пяти лет обучения отработал в государственной транспортной организации и ушел в IBA IT Park — развивать транспортные проекты и управлять ими. В частности, мужчина занимается социальным проектом «Транспорт BY» на позиции product owner. Но поясняет: он не айтишник, не программист, не пишет нейросети, а лишь использует их в своем хобби.

Казалось бы, транспорт очень далек от творчества, но еще в молодости Станислав писал музыку, а вообще интересуется историей. Так и начал заниматься обработкой старых фото.

 Есть всякие демоверсии. Я их нахожу, понимаю, как они работают, а дальше — магия монтажа, фотошопа. Сначала беру исходник, чищу его от царапин и шума, увеличиваю разрешение, колоризую, поправляю цвета, — это все разные нейросети, программы, — отмечает мужчина. — Потом лицо «забрасываю» в нейросеть, которая по чертам пытается немного его реконструировать, а дальше уже в нейросеть, которая по фото подбирает людей и собирает образ этого человека. Дальше возвращаю обратно, работаю над движениями головы, собираю все и монтирую After Effects, чтобы органично шевелилось.

Я начал искать старые видео, связанные с Гомелем, повышать их качество и делать цветными, — рассказывает Станислав.

На его youtube-канале есть видео урока в 1 «Б» классе Гомельской тогда еще школы № 10, празднование Дня Победы в Минске и Гомеле в 1947-м году, кадры оккупационного Гомеля в 1941-м. Недавно Станислав решил «оживить» Станислава Шабуневского. На работу ушло порядка шести часов — на увлечение, конечно, приходится выкраивать время, свободное от работы. Говорит, увидел старое фото архитектора и подумал, что прикольно было бы оживить.

 Фото было очень сильно засвечено в оригинале, сложно было работать. Нейросети так себе колоризуют, я потом в фотошопе дотирал, восстанавливал, докрашивал, ну и цвета менял — перекрашивал пиджак. Цвета костюма я искал по фотографиям Прокудина-Горского, ученого российской империи, который в 19 веке научился делать цветные фото. А какого цвета может быть дом, подсказал админ паблика «В поисках старого Гомеля», — говорит, двери либо голубые, либо зеленые. Я прикинул по оттенкам, что, скорее всего, зеленые. По архитектуре все мне подсказывал он. А музыкальный фон в видео написан нейросетью, поэтому у меня нет проблем по авторским правом.

Станислав подчеркивает, что на историчность обработанный вариант претендовать не может и ждать от него точности не стоит: нейросети работают по своим законам.

— Вообще, чем старее фото и хуже его качество, тем менее предсказуем результат. Как нейросеть работает с лицом? Есть огромная база фото людей. Вы же знаете, что в мире много похожих людей, есть конкурсы двойников. И из этого принципа, что есть огромная база человеческих снимков, можно по каким-то чертам все это собрать. Например, нос от одного человека, уши — от другого. Бывает, такие чудеса выходят! А чтобы получить хорошие результаты из этой нейросети, тоже надо было постараться. Причем, это на этом фото Шабуневского, как рассказал админ «В поисках старого Гомеля», что-то карандашом правил художник, — уточняет Станислав, что и снимок может не полностью отражать, каким был архитектор в жизни. — И не факт, что то, что нарисовано на доме на Кирова, так и было.

Также Станислав Придыбайло обрабатывал фото Дунина-Мартинкевича, Евфросинии Полоцкой, Франциска Скорины, других известных белорусских личностей. Для Гомеля также оживил некоторых членов семьи Паскевичей и Румянцевых.

 Закинул, подправил чуть-чуть, но получилось не очень. Ирина вообще похожа на азиатку, — отмечает Станислав ту самую непредсказуемость работы нейросетей. — Ну, и это же обрабатывалось по картинам, не по фото. Еще пытался делать Франциска Скорину, но тоже вышло страшновато.

Интерес не ограничивается лишь историческими фигурами. Сейчас мужчина работает над генеалогическим древом своей семьи. Собирает информацию о предках, находит старые фото и пытается их восстановить, улучшить.

— Пока я просто собираю информацию. Стараюсь обрабатывать фото так, чтобы не сильно менялась внешность человека, потому что нейросети вносят свои корректировки. Еще хотел заказать исследование у архивистов: если есть информация о родственниках, которые родились до революции, можно их описать, сделать исследование и «копнуть» глубже. Но знакомые археологи советуют все же самому это делать — брать читательский билет и изучать.

Вот найдут записку о предке, армейский листок, напишут, где служил, приложат фото, если оно есть. А то, что у него указано в личном деле, каким он был по характеру, не напишут. А это же интересно. Поэтому лучше самому этим заниматься.

У меня уже есть данные про прадеда и прапрадеда, собирал их по родственникам. Сейчас к некоторым прихожу, сканирую фото, вешаю петличку: «Давай, рассказывай, что и как было!» Хочется собрать данные максимально, — рассказывает Станислав и показывает восстановленные фото предков на телефоне. — Вот родственники по линии деда и бабушки. Видите, нейросеть нарисовала шапку вместо волос — надо править. Это где-то на рубеже XIX и XX веков.

Мне интересно собирать информацию про свой род, узнавать об этих людях. Например, двоюродная сестра бабушки была учительницей и партизанкой, ее расстреляли. Сейчас мы с мамой и сестрой делаем карту мест захоронений предков. Что называется, кто не знает прошлого, не имеет будущего.

Еще житель Гомеля мечтает сделать цветным мультфильм 1951-го года «Ночь перед Рождеством».

 Очень хочу это сделать, но не знаю, хватит ли у меня сил. Хочу почистить полностью этот мультик, а с этим не справится ни одна нейросеть, там очень много шума. Каждый кадр придется обрабатывать руками — я посчитал, что это месяца четыре. Еще нужно будет повысить качество, частоту кадров: сейчас там примерно 15 в секунду, а нейросетью нужно дорисовать до 60-ти в секунду, чтобы герои плавно двигались. Я уже почистил звук, отделил музыку, слова. Должно получиться прикольно. Хочется сделать это для души, мы семьей смотрим этот мультфильм на Новый год.

Хотя такое хобби отнимает много времени, Станислав говорит, оно ему по душе, как и работать с нейросетями.

 Чувствую, в комментариях напишут: «На завод иди работать, после него ничего не захочется». Я тоже когда-то работал на госконторе, получал, как стандартно люди в Гомеле. Но это же интересно — восстановить, посмотреть, как было когда-то, — заключает мужчина.

10.07.2021.

На основе материалов gomel.today : https://gomel.today/2021/07/08/341124.html

Поделиться

Добавить комментарий