![Список форумов ПОЛИГРАФ - ФОРУМ](templates/subSilver/images/logo_phpBB.gif) |
ПОЛИГРАФ - ФОРУМ Для общения по теме " Детекция лжи "
|
Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Ноя 15, 2022 6:22 pm Заголовок сообщения: |
|
|
CombiCalc можно считать допиленным, испытаным и готовым для эксплуатации. теперь он работает с тестовыми методиками: ТВС, ТЗВ/ТФО, ТПИ. Оценены его характеристики. О результатах испытаний с ТЗВ и ТВС я сообщал выше. Теперь проведены испытания и с ТПИ. Примечательно, что испытания проведены на независимых данных. В том смысле, что полиграммы не только не записаны мной, но и данные с этих полиграмм сняты не мной. Спасибо за это надо сказать Поповичеву С.В. Некоторое время назад он проводил на своих данных - тесте ( Рулетка - ошиб.) "Линейка" - испытания американских алгоритмов и испытание Out_Lier - a.
Вот его результаты:
Алгоритмы ранжируют стимулы теста по "силе реакции", ставя с самой сильной реакцией (по версии алгоритма) на первое место. Результаты OL на этих данных находятся на уровне амер. алгоритмов за исключением PS. На этих же данных я провел испытание обеих версии CC. Версия V1 - это та версия, в которой все физиологические каналы имеют одинаковый вес, V2 - физиологические каналы вносят вклад в решение алгоритма в соотвествии с установленными для них весами. Получилось еще одно убедительное док-во, что не все физиологические каналы одинаково полезны. Вот мои результаты.
Жёлтым цветом выделены ошибки алгоритмов. С Поповичевым С.В. в OL произошло небольшое расхождение в результатах, в одном тесте, но тут это не существенно. Результат СС V2 совпал с результатом OL на этих данных. А вот результаты CC V1 намного хуже и никуда не годятся. Рассхождение результатов СС и OL пользователи уже заметили. Об этом сообщад Виталий Казаков. Я обещал ему, что СС заработает лучшим образом - обещание выполнил). В СППРП Сокол оставил обе версии СС...Пусть будет)
Веса в V2 получены на лаб. тестах с карточками и САТ с именами. Так что нет сомнения, что у СС V2 есть перспективы для уточнения весов и роста точности, по мере накопления данных.
В каждом случае когда СС V2 ошибался, правильный вариант стоял на втором месте, мало отличаясь от стимула на первом месте. Поэтому, уточняя веса, можно получить лучшую точность. _________________ http://skl-ol.ru
Последний раз редактировалось: York (Ср Ноя 16, 2022 12:39 pm), всего редактировалось 1 раз |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
$erP Site Admin
![](images/avatars/81869398943b833e001c28.gif)
Зарегистрирован: 29.06.2005 Сообщения: 7865 Откуда: Москва
|
Добавлено: Ср Ноя 16, 2022 11:55 am Заголовок сообщения: |
|
|
York писал(а): | Некоторое время назад он проводил на своих данных - тесте Рулетка - испытания американских алгоритмов и испытание Out_Lier - a. |
York, небольшая формальная поправка... которая будет особенно важна, если будете что-то публиковать...
"Рулетка" - это из разряда Метод контрольных вопросов
Здесь был тест "Линейка" - это из разряда "Ряды"... _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Ср Ноя 16, 2022 12:36 pm Заголовок сообщения: |
|
|
$erP
Прошу прощения за невнимательность. Конечно же речь идёт о "Линейке". Как жешь я так то ... _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Пн Ноя 21, 2022 12:09 pm Заголовок сообщения: |
|
|
На сайте программы выложена для скачивания СППРП Сокол 1.62:
1. В программу добавлен алгоритм CombiCalc v.2, теперь в СППРП присутвуют две версии этого алгоритма;
2. Добавлен автоматический выбор типа физиологических каналов;
3. Добавлена, работающий в некоторых ситуациях, автоматический выбор тестовой методики и типа теста, автоматический выбор "подавления" первого стимула в ТЗВ;
4. Теперь при работе с данными полиграфа Диана, в базе данных программы сохраняется последовательность стимулов в повторах тестов в том виде, в котором их установил пользователь при вводе данных для их анализа. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Чт Ноя 24, 2022 12:13 am Заголовок сообщения: |
|
|
В ходе вебинара А.Калафати ставился вопрос о том, что результаты алгоритмов на одной и той же полиграмме могут не совпадать. Понятно, что это может вызывает определенное недоумение и непонимание у пользователей. Я писал на эту тему, но не лишне будет повториться:
1. Разные алгоритмы используют разные модели того, что мы называем "реакцией" на вопрос. Это не очевидно, что у того, что мы называем "реакцией" могут быть разные модели. Но это так. По разному можно сравнивать реагирование на сравниваемые стимулы, разные параметры выбирать для сравнения, разные веса придавать этим параметрам и т.д. и т.п. Поэтому нет единственно правильного алгоритма. Есть только такие, которые будут работать более точно. Но какой будет работать более точно сразу не определишь. Определиться с этим можно будет только после того как для обучения алгоритмов будет использована достаточно большая база полиграмм. Насколко большая сказать трудно. Думаю, что в итоге надо не одну тысячу полиграмм, когда уже можно будет сделать окончательный выбор в отношении какого-то алгоритма. Но и то не факт, что только один и будет выбран. Я вот сейчас уже вижу, что более точно будут работать те алгоритмы в которых разные физиолог. каналы будут вносить разный вклад. Впереди тут Полилог и Комбикал. С OL тут еще надо работать - в плане уточнения весовых коэфициентов, у него тут есть потенциал.
Да и ни кто не утверждает, что параметры Кирчера это то на чем можно остановиться.
2. Хорошие алгоритмы на хороших полиграммах должны давать одинаковые результаты. Модели могут быть разные, но разность моделей не должна играть первостепенную роль. И чем более обучены алгоритмы тем менее они должны расходится в своих результатах. Нельзя исключать, что некоторые хорошие алгоритмы в итоге будут давать всегда одинаковые результаты. Например, на некоторых генеральных совокупностях и среденее и медиана совпадают, так и результаты "средних" и "медианных" алгоритмов могут всегда совпадать, если будут обучены на тысячах полиграмм
3. В настоящем времени алгоритмы СППРП Сокола попарно дают расходящиеся результаты в 1-3 случаях на сотню. Это без учета неопределенных результатов. То есть это подсчитано на случаях когда оба алгоритма приняли решение. Это измерено на тех данных которые имеются в настоящее время в нашем распоряжении. Рассхождение в результатах происходит практически всегда в тех случаях, когда разные физиолог. каналы показывают противоположные тренды. Именно в таких ситуациях проявляют себя особенности тех моделей, которые лежат в основе алгоритмов.
Что бы определятся с решением в таких ситуациях был создан Мета-оценщик.
4. Какие бы точные алгоритмы не были, но на некоторых плохих и очень плохих полиграммах они будут сбоить. Если в полиграмме один шум. то никаким алгоритмом из нее полезную информацию не вытащишь. Но сбоить они будут заметно реже оценки глазом. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Ноя 29, 2022 10:58 am Заголовок сообщения: |
|
|
Как неизбежное зло в новой версии обнаружились мелки ошибки, и опять таки "кривое" графическое отображение при масштабировании графики в 125% в Windows. Особенно это касается окон алгоритма CombiCalc.
Обнаруженные ошибки исправлены, "кривая" графика в масштабе 125% исправлена в версии 1.621. Она доступна для скачивания. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вс Янв 15, 2023 8:42 pm Заголовок сообщения: |
|
|
Доступна для скачивания СППРП Сокол 2.621. Основные изменения:
1. Изменён графический интерфейс программы. Теперь главное окно масштабируется произвольным образом и может быть развёрнуто на весь экран;
2. Мета-оценщик можно запустить независимо от остальных алгоритмов. Он сам запустит все алгоритмы и выдаст результат;
3. Внесены изменения в алгоритм Out_Lier МКВ. Теперь он использует многомерное нормальное распределение. Это позволило несколько улучшить его характеристики, и значительно упростить дальнейшую обучаемость алгоритма;
4. Результаты работы алгоритмов теперь представляются в наглядном графическом виде - в виде гистограмм, что позволяет быстро понять какой вклад в решение алгоритма даёт каждый из физиологических каналов и стимулов;
5. Для всех типов полиграфов выводится и сохраняется в базе данных информация об источнике данных;
6. Для полиграфа "Диана" вместе с результатом работы алгоритма выводится список вопросов теста.
![](http://www.ld.eposgroup.ru/forum/files/8_190.jpg) _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Фев 14, 2023 3:36 pm Заголовок сообщения: |
|
|
Выложил результаты (первую часть - для МСИ) по ранжированию реакций. Это то, что зашито в CombiCalc
Летков Ю. В. 2023. Оценка тестов методики скрываемой информации методом ранжирования реакций. PREPRINTS.RU. https://doi.org/10.24108/preprints-3112672 _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Пн Фев 20, 2023 1:40 pm Заголовок сообщения: |
|
|
Сталкиваюсь с тем, что у потенциальных пользователей вызывает затруднение алгоритм установки СППРП. Поэтому ещё раз выкладываю порядок действий. Но, в принципе, если всё-таки необходимо могу помочь с установкой дистанционно. Опыт такой уже есть.
Скачайте программу с сайта www.skl-ol.ru и запустите её. Она попросит указать ей местонахождение файла лицензии для активации. При этом она выведет номер (HID) компьютера, который необходим для изготовления файла лицензии. Его надо скопировать и предать мне любым удобным способом. Можно по электронной почте, можно на форуме - в личке, в телеграмм, в вотсап. Я получив номер (надо ещё Вашу электронную почту), изготовлю файл лицензии о отправлю Вам. Следующий шаг - запустить программу и, нажав кнопку "Найти файл лицензии", указать программе файл лицензии. Она считает его, активируется и в дальнейшем будет работать штатным образом.
Но если необходимо помочь дистанционно с установкой программы - мне труда не составит. Я могу это сделать с использованием программы AnyDesk.
Свою прорграмму для использования в исследовательских целях и в целях преподавания я распространяю бесплатно. Для удобства со мной можно связаться в Телеграмм или Вотсап (+7 999 261 02 82)
ПС Появились сообщения, что программа не запускается с Windows 8.1. Причина не ясна. Дело видимо в несовместимости библиотек. Ошибка пока что не устранена. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Пн Мар 06, 2023 8:02 pm Заголовок сообщения: |
|
|
Для работы с ВУЛ-ми, конкретнее для исключения дыхания в тестах с ВУЛ-ми обучил OL v2. Обучение его представляет из себя вычисление корреляционных матриц. Пишешь программку, заливаешь данные тестов в файл, это файл на вход программки и на выходе матрица. Результат (матрица) зависит только от имеющихся размеченных данных. Данные беруться из базы тестов с известным решением, которую мы, полиграфологи, наполняем сообща.
Ранее работая с OL v2, приметил, что ведущую роль у него играет...неожиданно...ЭДА. И это хорошо наблюдаемо без специальных мер. Такое поведение алгоритма определяется коэффициентами корреляции, которые вычисляются на имеющемcя материале. Коэффициенты корреляции физиологических параметров.
Проверил работу алгоритма на тестах НШДЛ однотемного скрининга. Сравнивал с первой версией алгоритма и с со своим кунг-фу (ЭСО)
Можно видеть, что v2 имеет большую избирательность чем v1. Происходит это за счёт того, что он в большей мере ориентирован на ЭДА и меньше внимания уделяет дыханию. Хотя исключение Дыхания, заметно снижает количество обвинений.
Излагаю это для того, что бы дать рекомендацию пользователям СППРП Сокол v 2.621, в которой Дыхание исключить нельзя. Если используете ВУЛ - ы, то анализируйте тесты с помощью OL. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
Александр Калафати
Зарегистрирован: 12.10.2011 Сообщения: 1852 Откуда: Москва
|
Добавлено: Вт Мар 07, 2023 10:18 am Заголовок сообщения: |
|
|
Юрий поясните, пожалуйста, подробнее. Что за выборка НШДЛ? Там все правдивые, все лживые или как-то еще? В противном случае вообще не ясно. Стало лучше, хуже, также?
Пока видно, что OLv1| ЭСО работают лучше всех. _________________ Быть, а не казаться.
http://polygraph-triumph.ru/ |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Мар 07, 2023 11:11 am Заголовок сообщения: |
|
|
Это выборка тестов однотемного скрининга (с ВУЛ). Эта выборка использовалась для исследования наличия обвинительного уклана в этих тестах, по результатам которой была написана статья Сошников А.П. Летков Ю.В. "Особенности реагирования в канале дыхания в тестах "управляемой" лжи. Проблема дыхания в тестах с вопросами "управляемой" лжи", журнал Детекция лжи №5.
Сколько правдивых, сколько лживых в этой выборке неизвестно. С уверенностью можно говорить, что правдивых больше чем лживых. Сошников А.П. оценивает, что лживых в районе 15%, основываясь на "информации с мест". Что в принципе похоже на правду. Но это очень грубая оценка.
Поэтому смысла сравнивать какой алгоритм работает лучше на этой выборке (включая ЭСО) нет смысла. Тем более, что при исключении дыхания между результатами алгоритмов (включае ЭСО) статистически значимой разницы нет. Что бы обнаружить её необходима выборка большего размера и выборка с известным решением. Вот тогда можно будет сказать, что работает лучше.
А вот, например, без исключения дыхания между результатами v1 и v2 на уровне 0,05 имеется разница (p = 0,02). Вот тут уже можно сказать, что v2 работает лучше, исходя только из того, что количество случаев "нет решения" (оценка вероятности < 0,9) в 1,7 раза меньше, а кол-во случаев "нет значимости" в 1.5 раза больше.
Сообщение я на этом основании и сделал. Пока не выложил следующую версию программы, в которой можно исключать дыхание, для тестов с ВУЛ-ами лучше использовать OL, а не другие алгоритмы.
Относительно ЭСО. Если полагать, что лживых действительно 15%, то ошибка ЭСО в отношении виновных будет почти 50%. А v2 - 13%
Поэтому, как бы, исходя из представленных данных, волноваться за точность v2 не вижу никаких оснований, а даже наоборот )
Из этих данных видно, что результат v2 от дыхания зависит в существенно меньшей мере чем v1. При удалении дыхания на результаты v2 перестали влиять экстремальные значения по дыханию (самый длинный столбик в гистограмме, по сравнению с другими параметрами), поэтому в обвинительных результатах v2 произошли наибольшие изменения (предположительно в лучшую сторону), а не экстремальные результаты по дыханию оказывали малое влияние, поэтому при удалении изменения в НЗ и НВ заметно меньше. На этом примере видно отличие v1 и v2. Но параметры v1 настраиваются исходя из "теоретических предположений" и по существу методом научного тыка. А параметры v2 рассчитываются автоматически на имеющихся размеченных данных. И уточнение параметров v2 представляет из себя менее трудоёмкую процедуру, чем в случае v1. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
Александр Калафати
Зарегистрирован: 12.10.2011 Сообщения: 1852 Откуда: Москва
|
Добавлено: Вт Мар 07, 2023 12:20 pm Заголовок сообщения: |
|
|
Юрий, не надо ничего предполагать. Непонятная выборка. в которой может быть 15 лживых, а может быть и 25. А может быть и 5.
Мне понятно, когда по ней происходит оценка наличия противоречия дыхания другим каналам. Ок.
Но вот дальше... Зачем? _________________ Быть, а не казаться.
http://polygraph-triumph.ru/ |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Мар 07, 2023 12:28 pm Заголовок сообщения: |
|
|
Зачем? Так ведь я вроде написал. Рекомендация пользователям. Тем которые используют ВУЛ и захотят проанализировать их в версии программы 2.621. Напишу её ещё раз. Если анализируете тесты с ВУЛ (особенно, если это "тесты однотемного скрининга"), то используйте для этого OL, а не другие алгоритмы. Потому что их результаты в этих тестах менее правдоподобны (с дыханием) и имеют больший процент неопределённых решений. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
York
![](images/avatars/20884067735c73983312984.png)
Зарегистрирован: 29.09.2010 Сообщения: 2622 Откуда: Вологда
|
Добавлено: Вт Мар 07, 2023 3:26 pm Заголовок сообщения: |
|
|
Сел на беса. Поэтому напишу каким образом ещё можно провести правдоподобную оценку.
От практикующих полиграфологов идут оценки, что лгущих примерно 15%. Эти оценки, конечно грубые. Но будем полагаться на них и предположим, что лгущих не больше половины. Тогда минимальная правдоподобная оценка правдивых это 50%. Короче исходим из того, что 50 на 50. Если б лживых было заметно больше правдивых, то маловероятно, что практикующие полиграфологи давали бы низкий процент лживых -15%.
Посчитаем тогда 95% доверительные интервалы для правдивых для v1 и v2 с дыханием. Имеем:
для v1 - (28 ; 47) - То есть, если доверять v1, то с 95% вероятностью алгоритм будет давать на подобных выборках количество правдивых от 28 до 47. То есть правдивых будет меньше 50.
для v2 - (46 ; 66) c 95% вероятностью алгоритм будет давать на подобных выборках количество правдивых от 46 до 66.
Результат какого алгоритма в большей мере соответствует оценкам практикующих полиграфологов? И оценкам алгоритмов, с исключением дыхания?
Выбор тут ясен. А вот если б имелись бы предварительные оценки того, что лживых больше 50% процентов, то надо было бы сделать выбор в пользу v1. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
![](templates/subSilver/images/spacer.gif) |
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах You cannot attach files in this forum You cannot download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|