Google представил технологию масштабирования фото в 16 раз без потери качества

Google представил технологию, позволяющую повышать разрешение изображения в 16 раз без потери качества. К примеру, фото 32×32 может быть увеличено до 64×64, а затем до 256×256, а фотография 64×64 может быть увеличена до 256×256, а затем до 1024×1024.

Компания опубликовала исследование «Создание высокоточных изображений с использованием моделей диффузии» – CDM.

Google изучает эту концепцию с 2015 года, когда она впервые была предложена. Однако до недавнего времени она уступала методам глубокого обучения – так называемым глубоким генеративным моделям. Компания обнаружила, что результаты нового подхода превосходят все существующие технологии.

В основе нового решения лежит комбинация двух подходов, SR3 (Super-Resolution via Repeated Refinement) и CDM (class-conditional diffusion model). Обе технологии задействуют машинное обучение.

Первая технология создает изображение с высоким разрешением из шума, опираясь на исходную картинку с низким разрешением. Модель обучается методам искажения изображения, а затем алгоритм обращает процесс вспять, постепенно удаляя шум и адаптируя модели денойзера, руководствуясь исходной картинкой с низким разрешением.

В процессе масштабирования используется вторая технология, дополняющая генерируемое изображение высокого разрешения новыми данными. Она обучена на данных ImageNet для создания реалистичных изображений с высоким разрешением. Сначала она генерирует данные с низким разрешением, а затем постепенно повышает разрешение сгенерированного изображения до самого высокого значения.

Источник: Код Дурова