Программирование

В работе проведено исследование методов рендеринга поверхностей на основе трассировки лучей для представлений на базе функций расстояний со знаком. В качестве основных объектов интереса были выбраны время работы алгоритма рендеринга, объем занимаемой памяти, точность представления поверхности, оцениваемая по рендеру с помощью метрики PSNR. Проанализировано 6 различных представлений и 4 алгоритма поиска пересечений. В качестве ускоряющей структуры во всех случаях использовалась иерархия ограничивающих объемов (BVH-деревья). Проведенное сравнение выявило перспективные представления и алгоритмы и показало, что функции расстояний в ряде случаев практически не уступают полигональным моделям по скорости, хотя при этом могут выигрывать по объему потребляемой памяти и представлять поверхность с хорошим уровнем точности.

Применение методов дифференцируемого рендеринга является актуальным на сегодняшний день решением задачи реконструкции геометрии из набора RGB-изображений без задействования дорогостоящего оборудования. Недостатком этого класса методов являются возможные искажения геометрии, возникающие в ходе оптимизации, и высокая вычислительная сложность. Современные методы дифференцируемого рендеринга вычисляют и используют два типа градиентов: градиенты силуэтов и градиенты нормалей. Причиной большинства искажений, возникающих в ходе оптимизации геометрии, являются модификации параметров, связанных с градиентами силуэтов. В работе рассматривается возможность увеличения эффективности методов реконструкции геометрии, основанных на использовании дифференцируемого рендеринга, путем разделения процесса реконструкции на два этапа: инициализации и оптимизации. Первый этап реконструкции предполагает создание визуальной оболочки восстанавливаемого объекта. Выполнение этого этапа позволяет автоматизировать процесс выбора исходной геометрии и начать следующий этап с двумя условиями: силуэты объекта уже восстановлены со всех точек наблюдения, а топологии реконструируемого и истинного объектов эквивалентны. Второй этап представляет собой цикл оптимизации геометрии, основанный на выполнении перечисленных условий. Этот цикл состоит из четырех шагов: рендеринг изображений, вычисление функции потерь, расчет градиентов и оптимизация геометрии. Выполнение условия соответствия контуров исходной и эталонной геометрии позволяет избавиться от необходимости использования градиентов силуэтов. Такое решение позволяет значительно снизить число ошибок, возникающих в ходе оптимизации, а также уменьшить вычислительную сложность метода, благодаря исключению вычисления функции потерь, расчета градиентов и оптимизации параметров, связанных с силуэтами объектов. Проведены тестирование и анализ результатов, показавшие повышение точности реконструкции геометрии при уменьшении разрешения сетки и уменьшении общего времени работы метода в сравнении с аналогичными методами, а также увеличение скорости шагов оптимизации до двух раз.

В данной работе исследуется возможность улучшения качества обработки изображений магнитно-резонансной томографии на основе использования сетей Колмогорова–Арнольда для фильтрации глобальных признаков сверточной нейронной сети. Недавно предложенные модели Колмогорова–Арнольда мотивированы одноименной теоремой из анализа действительного переменного и теории приближений о том, что каждая многомерная непрерывная функция на компакте может быть представлена в виде суперпозиции непрерывных функций одной переменной. Необходимость применения градиентного спуска при обучении накладывает ограничение дифференцируемости на параметризацию таких одномерных функций, так что на практике они часто ищутся в виде линейной комбинации B-сплайнов или других дифференцируемых базисных функций. В настоящем исследовании мы предлагаем метод адаптивного отбора базисных функций самой моделью в ходе обучения из заранее зафиксированной пользователем системы базисов. Предлагаемый подход основан на механизме внимания, успешно применяющемся в трансформерных сетях. В данной работе метод протестирован на задаче улучшения качества изображений магнитно-резонансной томографии на датасете IXI и демонстрирует лучшие средние значения PSNR и TV по тестовому набору данных. Не ограничивая общности, в систему базисных функций были включены: B-сплайны, полиномы Чебышева и функции Эрмита.

Ключевой частью наиболее распространенных методов трассировки лучей является обход/поиск пересечения с иерархической структурой – BVH, описывающей геометрию сцены. В данной работе представлен сравнительный анализ производительности нескольких методов обхода BVH-деревьев на стационарных и мобильных графических процессорах. Мы исследовали BVH-деревья с различной глубиной и количеством дочерних узлов, реализовали несколько алгоритмов обхода со стэком и два различных алгоритма безстэкового обхода; предложили свой вариант безстэкового обхода, более производительный чем существующие в ряде случаев. Предложили свой вариант сжатия BVH-дерева с двумя узлами, теряющий не более 15% производительности. Мы выявили некоторую общую проблему, встречающуюся почти во всех алгоритмах при их реализации на графических процессорах. Мы полагаем, что наш анализ поможет разработчикам аппаратных ускорителей трассировки лучей создавать более экономное аппаратное решение, не ограничиваемое при этом только лишь трассировкой лучей. Если говорить более конкретно, результаты наших экспериментов говорят о том, что можно получить ускорение до 5 раз с помощью изменения механизма работы L2-кэша, причем на стационарных GPU с аппаратным ускорением трассировки лучей это, по-видимому, уже сделано не только в рамках непосредственно механизма аппаратного ускорения трассировки лучей, но и в более общем случае.

С увеличением производительности графических процессоров стало возможным визуализировать с помощью алгоритмов глобального освещения сложные физические явления в режиме реального времени. Одним из таких подходов является применение виртуальных точечных источников света, в котором реализм изображений зависит от количества источников света. Но для большого количества источников света в ранних алгоритмах требовалось создание большого количества карт теней для проверки видимости при виртуальном точечном освещении. Поэтому достичь качественного изображения в реальном времени было проблематично, пока не были разработаны новые методы. Целью представленной работы является создание метода отложенного рендеринга тысячи точечных источников света на основе вокселизированных сцен в реальном масштабе времени. На первом проходе, геометрическом, вычисляется разреженное воксельное восьмеричное дерево. Применяется геометрический буфер, который хранит информацию о местоположении, нормалях и материалах для прямого и непрямого освещения. Затем происходят генерация отражающих карт теней и выборка по значимости, чтобы не проверять каждый тексель. Прямое освещение вычисляется с помощью карт теней, а для косвенного освещения применяется алгоритм марширования лучей для проверки видимости точечных источников света. В целях ускорения вычислений применяется чередующаяся выборка. В результате с использованием предлагаемого метода можно создавать реалистичные изображения сцен с глобальным освещением в реальном времени. С применением графического процессора можно вычислять тысячу точечных источников света в реальном времени и визуализировать полностью динамичные сцены. Однако для глянцевых поверхностей требуется большее количество точечных источников света, чтобы изображения без артефактов точно воспроизводили внешний вид материала.