ПОЛИГРАФ - ФОРУМ

York

$erP

Спасибо!

"Дорогу осилит идущий" (с) Ригведа

СМЕРШ · Зарегистрирован: 22.02.2018 Сообщения: 91

York

Должен сделать сообщение для пользователей алгоритмов Сокол и Out_LIEr, которые используют вопросы управляемой лжи.

Совместно с НШДЛ была проведено испытание алгоритмов Сокол и Out_LUIr на 100 тестах (будут и ещё) ЮТА однотемного скрининга. Один тест был забракован из-за артефактов.

В 87 случаях из 99 показатели Дыхания имели тренд на значимость проверочной темы. (лямбда resp < 0, Resp OL > 0 в 87 случаях) При этом среднее значение показателя детерминированности (эта) равно 0,66 - достаточно высокий показатель, который говорит о наличии факторов/фактора, который приводит к такому тренду в дыхании. На уровне измерений длины линии дыхания это тренд означает, что в существенном большинстве случаев длина линии дыхания на 15 секундном интервале после начала задавания вопроса, на проверочные вопросы короче, чем на вопросы сравнения.

При этом тренд по дыханию противоречит тренду по совокупности остальных каналов (КГР, ФПГ, АД). При исключении из анализа Дыхания алгоритм Сокол даёт заключение о значимости проверочной темы только в 17 случаях, алгоритм OL в 12 случаях, ЭСО в 8 случаях. (При этом результаты Сокола и OL противоречили друг другу только в 2-х случаях). Таким образом фактор, приводящий к обнаруженному тренду по Дыханию, не может быть связан с реальной значимостью /незначимостью проверочной темы. Даже если предположить, что среди 99 опрошенных в примерно половине случаев проверочная тема была реально значима, то такая картина (87 против 12) по Дыханию практически невозможна. Результат точного теста знаков: p-value = 3,4E-15. И предположение о равном количестве значимых и не значимых тем в выборке отвергается без вариантов.

На настоящий момент использовать Дыхание в анализе, посредством алгоритмов, результатов тестов данного формата (с ВУЛ) я не рекомендую. Использование дыхания с алгоритмами будет усиливать обвинительный тренд и увеличивать количество неопределённых исходов, не зависимо от реальной значимости/незначимости проверочной темы.

Был проведён тест Хи2 на однородность результатов алгоритмов на этой выборке (без дыхания). Результат теста Хи2 на однородность – p-value = 0,41, означает, что различие между вероятностями диагностического заключения о значимости, незначимости или результата «нет вывода» в случае алгоритмов Сокол и OL статистически незначимо.

Из результатов алгоритмов на этой выборке были составлены таблицы сопряжённости. Результат точного теста Фишера (двусторонняя альтернатива) – p-value <2,2e-16. Вывод: результаты алгоритмов на одних и тех же полиграммах высоко взаимосвязаны (зависимы). Коэффициент контингенции (при исключении результатов НВ) Ф = 0,893 показывает, что связь между результатами алгоритмов положительная и сильно выраженная. Это означает, что в подавляющем большинстве случаев алгоритмы будут давать одинаковый результат.

Это уже второе подверждение конвергентной валидности алгоритмов Сокол и Out_LIEr, что, учитывая их математическую "неодинаковость", свидетельствует о надёжность получаемых с помощью их результатов.

НОЧУ ДПО СПФИ · Зарегистрирован: 09.11.2013 Сообщения: 206

Прощу прощения. Может немного не в тему, но:
Кто-нибудь может вообще сказать, откуда появился однотемный скрининговый тест с ВУЛ? У многих спрашивал (в т.ч. и у Крэпола в Минске), но ответа так и не получил. Где почитать по нему теоретические обоснования и посмотреть исследования?(желательно первоисточник). Насколько мне известно, это DLST. А это многотемный тест со всеми вытекающими … Если результат положительный – заканчиваем тестирование. Если отрицательный – проводим дополнительные однотемные по каждому вопросу. С точки зрения мотивационно-адаптационной теории предлагаемый однотемный скрининговый тест с ВУЛ вызывает сомнения. Какой мотив лежит в основе ВУЛ? Мотив достижения успеха? Если этот мотив окажется «ниже» мотива избежания наказания – «расстреливать» что ли обследуемого будете?
С уважением, Святослав Жирнов.
ПС: Это не камень в чей-то огород. Я просто хочу разобраться.

York

Святослав Жирнов

Ни на йоту не оспариваю Вашего вопроса, но действительно немного не в тему. Квалифицированно ответить я на него не могу и подозреваю, что может развернуться дискуссия, которая имеет к Соколу касательное, но не прямое отношение. Было бы здорово, если б Ваш вопрос стал отдельной темой.

Я же сделал своё крайнее сообщение, так как несу отвественность перед пользователями алгоритмов, которые используют данный формат теста. И, учитывая, что дисскусия об оценке Дыхания в ВУЛ - это не что - то новое - подобные темы уже были на форуме, полагаю, что результат по дыханию, скорее связан с ними. Полагаю, но не настаиваю, так как для этого у меня, в настоящий момент, не набрано статистики для сравнения разных форматов тестов с ВУЛ-ами.

Так что, если кто-то заинтересован в подобных исследованиях, то присылайте тесты с ВУЛ-ами разных форматов.

Александр Калафати

1. Касательно интервала анализа длины линии дыхания. Сколько раз пробовал - не выходит у меня изменить его с 10 секунд. Только что пробовали с Олегом Щербатых это сделать - 10 секунд и ни в какую. Даже если поставил в настройках 15, то все равно выдаёт информацию с 10 секунд.

2. Интересно посмотреть данные с DLST , записанные на Триумфе. Они уже присланы, от трёх разных специалистов.

York

Александр Калафати

Хм, интересно, спасибо, проверю.

$erP

York

$erP

Нет, эти тесты не имеют подтверждённия результата. Целью было проверить как работают алгоритмы с тестами указанного формата, сравнить их результаты с результатами экспертного счёта. Необходимо было удостовериться в том, что между результатами различных алгоритмов нет статистически значимого расхождения. А если и есть, то определить его степень.

Так как эти тесты с ВУЛ-ами, то я стал смотреть, что происходить с дыханием. И оказалось то, что оказалось, и о чём я сообщил. Для того, что бы не рекомендовать использовать дыхание с алгоритмами в этих тестах нет необходимости в подтверждении результатов тестов. Тут ситуация или-или. Если с дыханием всё правильно - сравнительная длина линий дыхания в ВС и ПВ в основном определяется относительной значимсотью ВС и ПВ, то тогда в этом отношении всё неправильно с тройкой ЭДА, АД, ФПГ. Учитывая, что результат алгоритмов без учёта дыхания более правдоподобен, чем по одному дыханию, то естественно предположить, что тут имеется некий фактор, который определяет подобное поведение длины линии дыхания. И этот фактор не является значимостью (речь идёт не о длине линии на ПВ, а о сравнении ДЛД на ПВ и ВС). О том, что это за фактор, в чём тут причина, я ни чего не говорю.

Так как результат по дыханию достаточно важен, то будет проверно ещё не менее 100 подобных тестов. Так же будет исследована ДЛД в DLST, записанных на Триумфе. Но в случае случайного отбора 100 тестов (репрезентативность выборки), при отсутсвии неучтённых факторов, подобная флуктуация с ДЛД, крайне маловероятна, что показывает результат точного теста знаков.

Александр Калафати

Юрий, спасибо, получилось. Но ууух как неявно это сделано, только через метрику. Совсем неожиданно.

York

Испытания OL на ТЗВ завершены. И теперь можно уже снять с алгоритма ярлычок "бэта". В окончательном релизе в дискриминируюищих распределениях произошли некоторые изменения, поэтому его результаты могут несколько отличатся от бэта и альфа релизов.

Испытания проводились на 179 (77/102) полиграммах тестов проведённых по расскрытым уголовным делам. Все тесты проводились на полиграфе Диана, поэтому испытание OL проводилось в сравнении с СС (ChanceCalc). Информация по СС, наверное, тоже будет интересна полиграфологам. В анализ брались параметры Кирчера без АД, но с ФПГ: Дыхание (10 секунд), КГР, ФПГ.

OL вычисляет оценку вероятности принадлежности наблюдаемой в тесте нормализованной "силы реакции" на ПВ к одному из двух распределений (случайных величин), которые описывают класс причастных и класс непричастных. Таким образом осуществляется классификация полиграмм. На предметном уровне эту оценку вероятности можно интерпретировать как вероятность лжи на ПВ или значимсоти ПВ. Эта вычисляемая величина кратко обозначена как ВЛ.

В СС для каждого стимула вычисляется величина, которая названа создателями алгоритма "Вероятность неслучайности реакции". Очевидно, что это интерпертация вычисляемого занчения на предметном уровне. Что вычисляется СС с точки зрения математики у меня информации нет. Эта величина кратко обозначена ВНР.

На выборке причастных корреляция между значениями ВЛ и ВНП равна 0,816. На выборке непричастных - 0,710. По шкале Чеддока такие значения КК означают сильную положительную связь между ВЛ и ВНР.
Диаграммы рассеяния прилагаю к сообщению.

Для алгоритма проверялись два правила принятия решения. Первое -'>0,75'. Согласно которому при значении ВЛ > 0,75 принимается решение о значимости ПВ, иначе о незначимсоти. Второе правило - ‘<0,5 и >0,9’. Решение "ПВ незначим", если ВЛ < 0,5. Решение "ПВ значим" при ВЛ > 0,9. Иначе результат не определён.

При использовании первого правила OL и СС дают одинаковые результаты (нет статистически значимой разницы)

При использовании правила два результаты OL и СС имеют статистически значимое различие. Чувствительность, специфичность, обшая точность у СС несколько больше чем у OL, но достигается это за счёт в 2,5 раза большего процента неопределённых исходов.

Числовые данные прилагаются в таблицах.

ЮРЬЕВ

Олег

Александр Калафати

Интересно, что в отличие от МКВ ChanceCalc даёт сбалансированный результат и в целом обладает хорошей точностью.