Видео

Нейросеть предсказывает 1 секунду будущего по фотографии

Умение предсказать ближайшее будущее — важный навык для любого человека. Скорости человеческой реакции недостаточно, чтобы в реальном времени реагировать на окружающие события, поэтому мы предсказываем их в постоянном режиме с вероятностью, близкой к 100%. Спортсмены знают, куда полетит мяч. Бизнесмены знают, когда собеседник протянет руку для рукопожатия. Мы предсказываем траекторию автомобилей на дороге и ближайшие действия людей по выражению лица и предмету в руках.

Разработчики научились манипулировать предметами на видеозаписи
Американские разработчики научились манипулировать объектами на видеозаписи. В сообщении пресс-службы Массачусетского Технолгического Института (MIT) отмечается, что метод не требует дополнительного оборудования и для имитации движения предметов использует обычные данные видеопотока.Алгоритм для «правдоподобной манипуляции объектами на видео» был описан Фредом Дюраном (Fredo Durand) и его коллегами в статье, опубликованной журналом Proceedings of ACM: Transactions on Graphics еще в ноябре 2015 г. В ней авторы указывают, что большинство подходов к этой задаче основаны на создании 3D-моделей предметов – задаче сложной и требовательной к ресурсам. В то же время, для вполне правдоподобной имитации движения можно обойтись гораздо более простыми средствами, используя данные самого видеопотока.Многие предметы в естественных условиях слегка – часто незаметно глазу – вибрируют под действием разных внешних факторов, будь то ветер, сквозняк или тряска проезжающих рядом машин. Следы этих колебаний сохраняются на видеозаписях, и ранее Дюран с коллегами научились их распознавать и «усиливать». Они позволяют выделить объект на фоне и оценить частоту и амплитуду колебаний различных его частей, а затем использовать эти данные для эмуляции движений без предварительного 3D-сканирования и построения 3D-модели.