Rambler's Top100
 
Статьи
22 января 2019

«DeepHD — это способ показать не самый современный контент в улучшенном качестве»

В 2018 году компания «Яндекс» представила DeepHD — технологию улучшения видео собственной разработки. Чтобы понять ее возможности, «Телеспутник» задал несколько вопросов руководителю службы компьютерного зрения «Яндекса» Александру Крайнову.

Что лежит в основе технологии DeepHD?

Механизм технологии улучшения изображения DeepHD базируется на нейронных сетях. DeepHD основан на классе технологий SuperResolution, который сейчас очень популярен в компьютерном зрении. Каждый год по этой теме выходит множество интересных научных статей. Но примеров использования технологии вне исследовательской среды очень мало.

На каком именно контенте вы обучали свою нейронную сеть?

Текущее решение обучали на трейлерах фильмов. Мультфильмов в обучающей выборке было крайне мало. У нас есть много идей о том, какие эксперименты можно делать с составом обучающей выборки. Можно сказать, что сейчас мы в самом начале пути.

Какой контент, по вашему опыту, лучше всего обрабатывается?

Лучше всего обрабатывается контент, на котором нет шумов и артефактов сжатия. Хоть мы с этим и боремся, но у нейросети есть склонность их усиливать. DeepHD также довольно трудно справляется с мелкими, трудночитаемыми, но важными деталями. Например, с мелким неразборчивым текстом. Но его и нельзя сделать читаемым, нейросеть ведь в действительности не знает, что там было написано, она может только улучшить четкость границ.

Зависит ли результат от кодека, которым был сжат изначальный файл?

Зависит не столько от кодека, сколько от наличия шумов и артефактов. То есть, скорее, от комбинации кодека и его настроек.

Как относитесь к «недоброжелателям», которые считают, что такие алгоритмы нарушают режиссерское построение кадра, например, подсвечивая затемненные на пленке области?

DeepHD меняет изображение не сильнее, чем сжатие кодеком или простое уменьшение разрешения. Просто вектор этого изменения направлен в позитивную сторону. А семантику изображения мы не изменяем. Этому мы уделяем особое внимание. Кадрирование пока тоже не делаем.

Возможно ли на текущем уровне развития технологии увеличение разрешения старого контента до 4К?

Для каких-то видео возможно, для каких-то пока нет. Все зависит от исходного качества. Про сложность сцен пока сложно говорить. Но кажется, что текстуры типа листвы, травы, волос, тканей и так далее нейросети удаются особенно хорошо.

Будете ли реализовывать деинтерлейсинг, выравнивание кадров друг относительно друга и прочую предобработку?

Обязательно будем. Приоритеты нашей разработки будут зависеть от того, какие проблемы окажутся характерны для того контента, с которым нам предстоит иметь дело. То есть того контента, который мы будем показывать на нашей видеоплатформе.

Возможно ли с таким подходом расширение цветового диапазона (HDR)? Будет ли оно применяться?

Возможно. Но пока у него не самый высокий приоритет.

Что планируется делать со звуком? Есть ли возможность аналогичным подходом из обычного стерео сделать 5.1 или даже 7.1?

У меня нет сомнений, что и звук можно улучшать. И перспектив тут множество. Безусловно, придет и его очередь.

Беседовал Алексей Дерик, корреспондент, «Телеспутник»

Полная версия интервью опубликована на портале «Телеспутник »
Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!