Разработка и исследование методов навигации интеллектуальных агентов на основе мультимодальных представлений сцен

В рамках семинара будет рассмотрен цикл работ, посвященных разработке мультимодальных представлений сцены для повышения качества навигации интеллектуальных агентов до цели, заданной текстовым описанием. В качестве мультимодальных представлений будут рассмотрены как графы трехмерных сцен, так и последовательности RGB-D наблюдений с соответствующими им бинарными масками целевого объекта.

В цикле работ трехмерные графы сцены используются для повышения качества 3D-детекции цели, также показано, что совместное решение задач сегментации и навигации повышает успешность планирования траектории до целевого объекта end-to-end моделью навигации. Наконец, на семинаре будут рассмотрены методы активной сегментации, повышающие качество построения семантической карты окружающего пространства, которая затем используется для поиска объекта, соответствующего запросу пользователя.