Не работает optical flow

NVIDIA Optical Flow SDK (Page 1 of 4)

You must login or register to post a reply

Posts: 1 to 25 of 85

1 Topic by dlr5668 23-02-2019 00:47:05

• dlr5668
• Beta Tester
• Offline

• Thanks: 145
• Thanks for the post: 1

Topic: NVIDIA Optical Flow SDK

Интересно сравнить вектора движений turing VS pascal VS svp

2 Reply by Chainik 23-02-2019 10:08:48

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

Прикольно. Звучит так, что вполне можно это прикрутить.

> аж 120 фпс в fast пресете 2160p

там как-то не указано, на каком чипе значит, на 2080 ти. а на 2060 сколько?
а на 1660 вообще работает?

> Интересно сравнить вектора движений turing VS pascal VS svp

ну, с не-турингом то нечего там сравнивать, обычные вектора для кодирования h.264/h.265, не для motion flow

===
пошел покупать 2070.

3 Reply by Chainik 23-02-2019 15:57:33

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

Сам спросил — сам ответил:

The NVOFA hardware is supported for all Turing GPUs except TU117

на 1660 должно работать, на 1650 — нет

Скорость — в теории, на 1660 и на 2080 будет работать с одинаковой скоростью ибо сказано:

contain a hardware accelerator for computing optical flow which works independently of graphics/CUDA cores

The performance varies across GPU classes (e.g. Quadro, Tesla), and scales (almost) linearly with the clock speeds

4 Reply by dlr5668 24-02-2019 11:47:05

Re: NVIDIA Optical Flow SDK

Оно разве не тензорные ядра использует ? Если 1660=2080 то это просто отличные новости

5 Reply by Chainik 24-02-2019 12:08:42

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

> Оно разве не тензорные ядра использует ?

получается что нет, там еще какой-то отдельный блок
хотя кто их разберет. может и в 1660 тензорные ядра на самом деле есть

6 Reply by Chainik 25-02-2019 19:37:17

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

железка получена, воткнута в комп, примеры из SDK работают, можно приступать
ожидайте

7 Reply by dlr5668 25-02-2019 21:35:31

Re: NVIDIA Optical Flow SDK

Ух как быстро! Ждем результатов

8 Reply by LordMerlin 26-02-2019 12:16:55

Re: NVIDIA Optical Flow SDK

От это сЭрвис. Браво. Ждемс))

9 Reply by Chainik 06-03-2019 09:35:51

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

Я так понимаю, что RTX больше ни у кого из присутствующих на руках нет?
Тестировать будем как обычно, на пользователях?

10 Reply by MAG79 06-03-2019 11:16:33

• MAG79
• SVP developer
• Offline

• Thanks: 1064

Re: NVIDIA Optical Flow SDK

Самая бюджетная совместимая из доступных — это RTX 2060?

11 Reply by dlr5668 06-03-2019 11:27:20

Re: NVIDIA Optical Flow SDK

из RTX да. А будет ли оно работать на 1660 ?

12 Reply by MAG79 06-03-2019 11:41:31

• MAG79
• SVP developer
• Offline

• Thanks: 1064

Re: NVIDIA Optical Flow SDK

У нас в городе разница в цене не критична:
GTX 1660 Ti — 24 000 руб
RTX 2060 — 28 000 руб

13 Reply by gaunt 06-03-2019 18:17:35

Re: NVIDIA Optical Flow SDK

У нас в городе разница в цене не критична:
GTX 1660 Ti — 24 000 руб
RTX 2060 — 28 000 руб

Ну да, две вместе = телевизор нехилый.

Утопия пока это.

14 Reply by Chainik 06-03-2019 18:53:37

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

15 Reply by dlr5668 06-03-2019 18:57:39

Re: NVIDIA Optical Flow SDK

Если качество прям как у нвидии в буклете будет то это гораздо лучше телика

16 Reply by Chainik 06-03-2019 19:03:24

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

да я уже вижу, что никакой особой магии не получается
в целом, все те же проблемы
Ryzen 7 и по абсолютной скорости как бы не очень проигрывает (понятно что в лоб настройки сравнивать нельзя, блоками 4*4 SVP искать может, но смысла в этом ноль)

17 Reply by gaunt 06-03-2019 20:33:55

Re: NVIDIA Optical Flow SDK

да я уже вижу, что никакой особой магии не получается
в целом, все те же проблемы
Ryzen 7 и по абсолютной скорости как бы не очень проигрывает (понятно что в лоб настройки сравнивать нельзя, блоками 4*4 SVP искать может, но смысла в этом ноль)

Это на олед не видно? Матрица быстрая или на жк смотришь?

18 Reply by Chainik 07-03-2019 06:07:57

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

я пока только на стопкадры смотрю

—-
уже можно и в живую смотреть.

на 1080p вроде нормально смотрится, на первый взгляд
а на 4К вот так «в лоб» оно малоюзабельно
во-1, блоки 4*4 для 4К это перебор, очень сильно артефачит
во-2, производительность для дву-направленного поиска векторов в «качественном» режиме на флажке, по факту её не хватает (2*24 = надо 48 к/с, а тут потолок в идеальных условиях 50 к/с)
наверное тогда придется вектора искать по уменьшенному кадру, что еще делать

19 Reply by Chainik 11-03-2019 12:54:46

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

в 32-битах, совместно с OpenCL на этом же девайсе, все вешается (прямо как CUVID в LAV. совпадение? не думаю. )
придется вообще нафиг запретить для 32-бит (даже если в каком-то особом конфиге, типа OpenCL на одной карте, а NVOF на другой, оно может работать)

20 Reply by dlr5668 11-03-2019 17:58:20 (edited by dlr5668 11-03-2019 17:58:29)

Re: NVIDIA Optical Flow SDK

32 бита только для реклока и нужны (и то можно в мпв аналог сделать)

2070 зажигает и при обучении нейросетей. Хороший вариант (игры, свп, куда вычисления)

21 Reply by James D 11-03-2019 18:39:17 (edited by James D 11-03-2019 18:41:43)

Re: NVIDIA Optical Flow SDK

Chainik, Может проплатите автору reclock, чтоб он создал 64-ю версию спецом под ваш продукт?
А то mpv не сохраняет же таймкод при закрытии, чтобы с него и начать потом просмотр (предустановка SVP) — это минимум из причин, с чего mpv не торт.

22 Reply by Chainik 11-03-2019 18:52:04

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: NVIDIA Optical Flow SDK

> Может проплатите автору reclock, чтоб он создал 64-ю версию спецом под ваш продукт?

я и в 32-битах никогда в жизни его не использовал, и не знаю нафига

> А то mpv не сохраняет же таймкод при закрытии, чтобы с него и начать потом просмотр (предустановка SVP)

save-position-on-quit=no? кстати, можно попробовать убрать, вдруг и так уже будет работать?

23 Reply by James D 11-03-2019 19:56:12 (edited by James D 11-03-2019 19:56:29)

Re: NVIDIA Optical Flow SDK

>>save-position-on-quit=no? кстати, можно попробовать убрать, вдруг и так уже будет работать? smile
То есть если работает сразу, то других подводных камней или проблем со временем не будет? Так-то с виду работает.

P.S. Ну я разогнал в 100Гц для игр, цифра феншуйная (тикрейт серверный и тп). Не буду же я менять каждый раз герцовку в 96 для фильмов (х4) и обратно если можно, чтоб фильм ускорялся с 96 до 100. А Potplayer автосмену режимов монитора в полноэкранном, как у mpc-hc, так и не сделал.

24 Reply by dlr5668 11-03-2019 20:03:11

Re: NVIDIA Optical Flow SDK

save-position-on-quit=yes работает, но скрипт железно запоминает, не поменяешь пресет. В прочем это не проблема

Источник

Глюки по краям кадра и на сменах планов при использовании Optical Flow (Page 1 of 2)

SmoothVideo Project → Эксплуатация SVP → Глюки по краям кадра и на сменах планов при использовании Optical Flow

You must login or register to post a reply

Posts: 1 to 25 of 35

1 Topic by dgrdsv 03-04-2021 15:43:15 (edited by dgrdsv 03-04-2021 15:44:08)

Topic: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Можно ли как-то вылечить вот такие глюки?

Глюк на смене плана:

Глюк на крае кадра (см. на правый край):

Глюки есть, если включить Optical Flow. Без него всё ок.

2 Reply by MAG79 03-04-2021 16:17:20

• MAG79
• SVP developer
• Offline

• Thanks: 1064

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Спасибо за информацию.

Похоже, нужна подстройка чувствительности обнаружения смены сцен.
Нам нужна дополнитльная информация:
1. ссылка именно на этот видео-файл и тайм-код описанной смены сцены.
2. отправить сообщение об ошибке из SVP, тогда мы сможем воспроизвести настройки, которые используются Вами сейчас и настроить чувствительность:
SVP меню Информация > Сообщить о проблеме.

3 Reply by dgrdsv 03-04-2021 16:24:55 (edited by dgrdsv 03-04-2021 16:27:38)

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

> 1. ссылка именно на этот видео-файл и тайм-код описанной смены сцены.

Это два разных фильма, но проблема есть вообще в любых видео, по сути. Просто где-то она менее видна.
Первый кадр отсюда, тайм-код, увы, не скажу, но где-то в последних 15 минутах.
Второй отсюда, 00:05:50 и дальше секунд 10.

> 2. отправить сообщение об ошибке из SVP, тогда мы сможем воспроизвести настройки, которые используются Вами сейчас и настроить чувствительность:

Кстати, с отключенным Optical Flow эта штука тоже есть, но она на порядки менее заметна.

Кстати-2, похожая фигня происходит на всех статичных надписях, даже если фон за ними совершенно не подвижен.
Например, на светлых титрах на черном фоне в конце фильма. У всех букв левый верхний край постоянно подергивается при этом.
Выглядит вот так:

4 Reply by Chainik 03-04-2021 16:56:28

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

ну второе то это от необрезанной черной полосы справа

5 Reply by Chainik 03-04-2021 19:29:22

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

а по первому — придется поработать самостоятельно, у меня все еще нет своей 30хх, и видимо будет нескоро

надо открыть %APPDATA%\SVP4\override.js в Notepad-е, добавить в него строчку:

убедиться что при сохранении изменений в логе SVP появляется
> 22:26:23.716 []: Script: script file changed C:\Users\xxx\AppData\Roaming\SVP4\override.js
запустить видео, наблюдая поведение на смене сцен
если плохо, плавно увеличивать значение, добавляя по 0.1 — 1.1, 1.2, и т.д., после каждого изменения опять проверяя смену сцен
увеличивать именно плавно, нам нужно _минимальное_ значение при котором смены сцен еще ловятся

6 Reply by dgrdsv 04-04-2021 22:20:24

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Сорри за паузу, не было времени.

Строку добавил, но в логе SVP не вижу ничего про «Script».

7 Reply by MAG79 05-04-2021 10:07:00

• MAG79
• SVP developer
• Offline

• Thanks: 1064

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Если смотреть на вкладке Журнал (отрыть по меню Информация > Журнал),
То эта строчка должна появиться в самом верху, сразу после того, как Вы сохраните файл override.js

8 Reply by Chainik 05-04-2021 11:12:36

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

для верности можно просто перезапустить SVP
в итоге всех мероприятий эта циферка должна оказаться в Информация -> Доп. информация -> Последний использованный скрипт:

9 Reply by TechnoStone 07-04-2021 10:37:36 (edited by TechnoStone 07-04-2021 11:13:25)

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

https://i.imgur.com/vxtZril.jpg
вот такое умудрился несколько дней назад поймать и заскриншотить)
RTX 3070, Optical Flow включен

На примере Nekopara (1 серия от анилибрии, 2:50 — https://anilibria.tv/upload/torrents/10228.torrent ), последнее, где видно переход — 3.6, на 3.7 уже не видно. Использовал MPC только для перемотки с шагом в 1 кадр
https://youtu.be/d4-cETv—ok — вот кусок процесса

10 Reply by dgrdsv 07-04-2021 21:04:19

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

Если смотреть на вкладке Журнал (отрыть по меню Информация > Журнал),
То эта строчка должна появиться в самом верху, сразу после того, как Вы сохраните файл override.js

Нету ее там (
Нет ни одной строчки, которая начиналась бы со «Script:»

для верности можно просто перезапустить SVP
в итоге всех мероприятий эта циферка должна оказаться в Информация -> Доп. информация -> Последний использованный скрипт:

Перезапускал уже и SVP, и сам ПК пару раз с того момента, как добавил.
По «Информация -> Доп. информация -> Последний использованный скрипт» нет файла, блокнот предлагает создать новый.

11 Reply by Chainik 07-04-2021 22:03:18

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

я ж специально написал — в Notepad-e
Far как то так файл сохраняет что это событие не ловится. хз почему.

ну блин пока видео не запустить и не появится, да

12 Reply by dgrdsv 07-04-2021 22:14:54

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

В Notepad’е результат тот же.
Я даже попробовал этот файл сделать с нуля сугубо с вот этим override = function() — в логе пусто.

При этом значение в строке меняется. Вот, копирнул после того, как вписал в JS 1.1:

13 Reply by dgrdsv 07-04-2021 22:55:25 (edited by dgrdsv 08-04-2021 07:44:21)

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

В общем, странные глюки внутри статичных планов сходят на нет где-то на 2.3-2.5. Примерно там же становятся минимальными и глюки на сменах сцен.
При этом дергающие буквы всяких титров и зашитых в видео подписей становятся стабильными только где-то на 7.0 — на 5.0 они все еще заметно подергиваются.
Вот это дрожание черных полос по краям кадра сохраняется даже на 7.0, хотя оно появляется существенно реже, чем на 1.0, конечно.

Куда дальше копать?

Я же верно понимаю, что увеличение этого параметра снижает плавность?

14 Reply by Chainik 08-04-2021 09:09:54

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

> Вот это дрожание черных полос по краям кадра сохраняется даже на 7.0

«ну второе то это от необрезанной черной полосы справа»

15 Reply by Chainik 08-04-2021 09:13:41

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

> В общем, странные глюки внутри статичных планов сходят на нет где-то на 2.3-2.5. Примерно там же становятся минимальными и глюки на сменах сцен.

ну вот оно где-то так всегда и работало, просто владельцы 3080/3090 начали жаловаться что у них плавность вообще отключается
поэтому сейчас на 30xx значение по-умолчанию умножается на 0.4, после чего они сказали что «во, так стало хорошо!»

короче, я тогда не знаю что сделать чтоб у всех работало одинаково

16 Reply by dgrdsv 08-04-2021 09:18:42 (edited by dgrdsv 08-04-2021 09:23:06)

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

«ну второе то это от необрезанной черной полосы справа»

И что с этим делать? Без Optical Flow этого нет.
Меня, честно говоря, это дрожание краев достает гораздо сильнее, чем глюки на статичных планах и сменах планов.

> В общем, странные глюки внутри статичных планов сходят на нет где-то на 2.3-2.5. Примерно там же становятся минимальными и глюки на сменах сцен.

ну вот оно где-то так всегда и работало, просто владельцы 3080/3090 начали жаловаться что у них плавность вообще отключается
поэтому сейчас на 30xx значение по-умолчанию умножается на 0.4, после чего они сказали что «во, так стало хорошо!»

короче, я тогда не знаю что сделать чтоб у всех работало одинаково

Я тоже. На мой взгляд, плавность на 2.4 норм. На 5+ уже заметна дискретность кадров становится.
Кстати, у меня никогда не было нареканий на плавность работы SVP на 3080. Но, возможно, это видится иначе на всяких 144Hz и OLED.

17 Reply by Chainik 08-04-2021 09:30:34

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

если сейчас на карте 30хх поставить это число в 2.5 — то получится ровно так же как всегда было на 20хх, а там вроде все хорошо

> Кстати, у меня никогда не было нареканий на плавность работы SVP на 3080.

в этом и загадка.

> И что с этим делать? Без Optical Flow этого нет.

черная полоса на том краю — есть или нет?
она обрезается, или нет?

18 Reply by dgrdsv 08-04-2021 09:38:56

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

черная полоса на том краю — есть или нет?
она обрезается, или нет?

Есть.
Я отключил детект черных полос по краям — уже не помню, почему.
Но проблема в том, что даже если его включить — остаются случаи, когда на краю уже самого видео есть некий темный объект, и он глючит ровно так же, как эти полосы.

И эта штука справа там пляшет в этой сцене туда-сюда через кадр.

19 Reply by Chainik 08-04-2021 09:55:01

• Chainik
• SVP developer
• Offline

• Thanks: 1290

Re: Глюки по краям кадра и на сменах планов при использовании Optical Flow

> остаются случаи, когда на краю уже самого видео есть некий темный объект, и он глючит ровно так же, как эти полосы

ну, тут уж, возможно, ничего не сделаешь

> причем, это на 2.4

эти полосы вообще никак не связаны с этим числом, не надо смешивать два разных вопроса

> И эта штука справа там пляшет в этой сцене туда-сюда через кадр.

пришлите это видео / ссылку на него, посмотрим.

Источник