Список форумов ПОЛИГРАФ - ФОРУМ ПОЛИГРАФ - ФОРУМ
Для общения по теме " Детекция лжи "
 
  На главную FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Занимательная математика в книге Алексеева-Потемкина "П
На страницу 1, 2  След.
 
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум
Предыдущая тема :: Следующая тема  
Автор Сообщение
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Ср Май 09, 2018 1:05 pm    Заголовок сообщения: Занимательная математика в книге Алексеева-Потемкина "П Ответить с цитатой

Читая книгу Л.Г.Алексеева и Ф.В.Потемкина "Проблемы прикладной психофизиологии" (далее ППП), в главе "Объективные и субъективные факторы в оценке результатов СПФИ" на стр. 239 увидел любопытные данные относительно точности полиграфных выводов в зависимости от количества потенциально лживых и правдивых людей в популяции обследуемых. (видимо, речь идет о т.н. base-rate - "базовом уровне", понятии, ныне известном всем полиграфологам... )

Согласно вычислениям авторов книги в случае, если процент лживых людей в популяции обследуемых составляет 10%, то точность определения лгущих людей составляет 50%. Авторы представляют свои вычисления в наглядной таблице, которую я привожу здесь - см. таблицу "Ситуация 1". И поясняют полученные данные следующими комментариями: "Как видим, процент правильных решений относительно лживых людей 50%, т.е. равносильно случайному угадыванию (подбрасыванию монеты). Это вопиющий факт, на который обращают внимание и тем самым формируют общественное мнение противники применения полиграфа".

Далее авторы развивают свою мысль, указывая на уменьшение точности при уменьшении количества лгущих людей в популяции обследуемых: "Эксперты должны помнить, что при частоте потенциально лживых людей в популяции обследуемых меньше 10%, вероятность правильных выводов эксперта о лживости будет чрезвычайно низкой, даже если самый лучший специалист будет использовать самую совершенную систему классификации".
Данное высказывание авторы также иллюстрируют данными, приведенными ими в таблице "Ситуация 3".

Хочу обратить внимание тех, кто тоже решил все таки почитать данный труд дошел в своем упорстве до данной главы.
Это не правильные данные.
Столь низкие проценты точности в определении лгущих у авторов получились из за того, что они по каким то причинам взяли в расчет данные, изначально перевернутые с ног на голову.

В каждой из таблиц в строке "Вывод = > Неправильно" должны быть поменяны между собой местами "Данные о лжи/Данные о правде".
Тогда представленные числа начинают соответствовать реальной действительности, все дальнейшие расчеты к ним применяются адекватно, данные о количестве выявленных лживых и правдивых проверяемых становятся правильными.

По мне ситуация с данными числами и вычислениями кажется тем более странной до анекдотичности, что их приводят 1) столь опытный полиграфолог 2) кандидат (физико-математических?) наук...

А, может, я и не прав? Может это случай из парадоксально-занимательной математики, к примерам которой от York'a мы уже привыкли?

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Ср Май 09, 2018 3:32 pm    Заголовок сообщения: Ответить с цитатой

Не читал, но уже осуждаю Very Happy

Хотя нет. Посчитал, парадоксов не увидел. Вроде бы все верно.



Описка: 1089 следует читать как 1098 Very Happy


Последний раз редактировалось: York (Ср Май 09, 2018 4:28 pm), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Ср Май 09, 2018 4:10 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
"Как видим, процент правильных решений относительно лживых людей 50%, т.е. равносильно случайному угадыванию (подбрасыванию монеты). Это вопиющий факт, на который обращают внимание и тем самым формируют общественное мнение противники применения полиграфа".


Вычисления верные, но другое дело, что здравомыслящий человек должен отдавать себе отчет в том, что 95% (условно говоря) рассуждений и утверждений в общественной и медийной сфере есть намеренная, либо креативная манипуляции эмоциональным восприятием масс.

Выше приведенное утверждение есть всего лишь вырванные из контекста цифры, с помощью которых, на уровне эмоций - ужас! ужас!все пропало!- пытаются в чем - то убедить весьма восприимчивое ко всякому д....у наше население.

Для того, чтобы составить объективное мнение необходимо рассматривать всю картину в целом и засунуть эмоции и хотелки куда подальше.

В данной ситуации необходимо рассмотреть зависимость процента правильных выводов от частоты лживых субъектов. И окажется, что не все так плохо и безнадежно потому, что ситуации, которые описываются выше не реализуются в тех случаях, когда принимается решение о проведение опроса. А если это типичная ситуация, к примеру - для кадрового отбора (это только к примеру), то использовать полиграф (или только полиграф) нельзя.

Если в Москве тиснут у кого - либо кошелек, то расследование не будет проводиться методом выхватывания с улицы прохожих и опроса их на полиграфе. Даже в Малой Загогулинке расследование , находясь в здравом уме и если не для отчетности, ни кто так проводить не будет. Хотя...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1239
Откуда: Москва

СообщениеДобавлено: Ср Май 09, 2018 10:02 pm    Заголовок сообщения: Ответить с цитатой

Правильная математика. Кстати это обоснование для "последовательных барьеров" в скрининге. Т.к. именно там мы можем столкнуться с такими экстремальными "base rate".
_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Ср Май 09, 2018 11:24 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):

Если в Москве тиснут у кого - либо кошелек, то расследование не будет проводиться методом выхватывания с улицы прохожих и опроса их на полиграфе. Даже в Малой Загогулинке расследование , находясь в здравом уме и если не для отчетности, ни кто так проводить не будет. Хотя...


Хотя был почти (но не совсем) подобный случай в "Малой Загогулинке", случай столь трагичный, что язык не повернется осудить подобный метод. Лично провел месяц там. Кроме меня еще два полиграфолога (работали и одновременно и в разные временные промежутки). Человек 150 - 200 опросили. Люди проявляли понимание и по настоящему добровольно сотрудничали. Подавляющее большинство полиграмм были хорошие. Кроме как у тех людей, которые добровольно отзывались и сообщали полезные сведения, но их отправляли на опрос. И трудно было объяснить человеку почему он пришел с искренним желанием помочь - а его на полиграф. Особенно запомнилась молодая женщина, как потом оказалось ее информация была ключевой. Опрос в вечернее время, дома маленький ребенок, искренне недоумении в чем ее подозревают, если она сама добровольно пришла и сообщила то, что она видела, что по ее мнению могло помочь. Вообщем полиграммы не очень, но так как вероятность ее причастности справедливо можно было оценить ноль целых, ноль десятых на 10 в минус шестой степени отпустил ее поблагодарив за потраченное ею время. Дело было в зимнее время, а весной выяснилось, что преступления не было - произошел несчастный случай, и рассказ этой женщины помог установить истину.
Вообщем ни кто из опрашиваемых не был обвинен полиграфологами. Местные потом рассказывали, что вызывали из Питера (или из Москвы?) то ли мэтра, то ли светило. Перепроверяло светило нас деревянных. Не знаю сколько бабла запуляли, но светило свет на истину не пролило.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 10:16 am    Заголовок сообщения: Ответить с цитатой

Цитата:
Хотя нет. Посчитал, парадоксов не увидел. Вроде бы все верно.
Цитата:
Правильная математика.



Коллеги, не сочтите за труд... поясните... каким образом вы не видите парадоксов? откуда у вас взялась правильная математика?

Вот что видят мои глаза... на примере первой таблицы, Ситуация 1.
Глянем на нее ещё разок.



Начальные условия: взято 1000 человек; "base rate" лгущих 10%; точность теста 90% - ошибка теста 10%.

Проверяем вычисленные из начальных условий данные:

Из общих 1000 человек по "base rate" оказывается 100 заведомо лгущих и 900 заведомо правдивых. Без вопросов.

Из 100 заведомо лгущих в соответствии с 90% точностью теста правильно определяются как лгущие 90 человек. Без вопросов.
Из 100 заведомо лгущих в соответствии с 10% ошибкой теста ошибочно оправдываются... тоже 90 лгущих. Внимание - вопрос.

Не кажется странным? 100 заведомо лгущих никак не может "разложиться" на 90 правильно определенных лгущих и 90 ошибочно оправданных лгущих.

По мне так правильно: 100 заведомо лгущих "раскладывается" на 90 правильно определенных лгущих (90% точности теста) и на 10 ошибочно оправданных лгущих (10% ошибка теста).


Тоже самое про правдивых.

900 заведомо правдивых никак не может "разложиться" на 810 правильно определенных правдивых (в соответствии с 90% точностью теста) и 10 ошибочно обвиненных правдивых (в соответствии с 10% ошибкой теста).

Правильно: 900 заведомо правдивых "раскладывается" на 810 правильно определенных правдивых (90% точность) и 90 ошибочно обвиненных правдивых (10% ошибка теста).

Но тогда и проценты все меняются.

По аналогии те же самые рассуждения для ситуации 3.

Привожу таблицы со своими исправлениями.

Коллеги, не сочтите за труд... поясните... что у меня не правильно в рассуждениях? каким образом у вас взялась правильная математика?

York, Возможно, что на исчезнувшей картинке есть все объяснения... но... как то всё получается очень противоречиво...

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Пн Фев 18, 2019 12:19 pm    Заголовок сообщения: Ответить с цитатой

Ситуация 1

Из 100 лживых правильно определены как лживые 90 человек

Из 900 правдивых правильно определены как правдивые 810 человек.

Из 900 правдивых неправильно определены как лживые 90 человек

Из 100 лживых неправильно определены как правдивые 10 человек

Я уже писал (я, вообще, одни и те же вещи повторяю на форуме многокраьно, наверное, надоел уже Very Happy) что все эти проценты, пропорции это эрзац математика. В конечном итоге она не приведёт к правильному пониманию, а мозги "уделает" будь здоров. Запутает, то есть.

В реальной ситуации из 1000 , практически, такого расклада не будет. Не будет 90 правильно, 810 правильно, 10 и 90 неправильно и т.д. Эти числа - это математические ожидания количества правильно и неправильно определённых.

Правильное математичесоке мышление - это мышление в вероятностной парадигме. При этом не возникает необходимсоти расскладывать людей по ячейкам таблицы, из -за чего немудренно и запутаться.

Кроме того присутствует в нашем деле разнобой в терминологии. В этой табличке - "Валидность решающей системы" - это есть чувствительность и спецфичность, а процент лживых - это умноеженная на 100 априорная вероятность, или частота встречаемости признака (хотя частота и вероятность это не совсем одно и тоже).

В одной из соседних тем я рассылал экселевский файлик. Если в нём в пункте 3 - "3. Расчёт точности определения шпиона на основе "частоты встречаемости признака" (априорной вероятности)" ввести соотвествующие числа то можно получить указанные в табличке решения (только не в процентах). Например для ситуации 1: чвп = 0,1 чм = 0,9 см = 0,9; или чвп = 0,9 чм = 0,9 чвп = 0,9. Тоже самое можно проделать и для ситуации 3.

В этом файлике все расчёты сделаны в правильной парадигме - вероятностной. А вероятностная парадигма, если речь идёт о тестах любой природы - это формула Байеса (опять повторяюсь Very Happy)

В подтверждении слов из книги Алексеева и Потёмкина приведу картинку, которую выложил третьего дня в соседней теме. Эта картинка как раз об этом. Построена на данных ESS, чувствительность, примерно, - 0,66, специфичность - 0,94.



Обратите внимание, что "твориться" в районе АВ = 0,1 (или 10%) - катастрофа!) Можно поиграться и построить подобные полигоны для разных чувствительностей и спецфичностей, но в районе 10% процентов ситуация будет примерно одна и та же (Для реальных условий полиграфного теста, когда чувствительность и специфичность не более 0,95).

Ситуация иная, если чувствительность и специфичность порядка 0,99. Тогда точность теста будет более 0,91 (91%). Например, если иметь тест с чувств и спец = 0,9999, то точность тогда уже будет (для АВ = 0,1) - 0,9991. Но где ж взять тест с такими характеристиками? Как я думаю, если только батарея ТЗВ. Но в реальных условиях это редкость, хотя и не исчезающе малая.

Имея ввиду вышесказанное хотелось бы обратить внимание на то, что какие бы методы не использовали для классификации полиграмм, какие бы соображения для этого не привлекали, например, из психологии, физиологии будь она даже трижды дифференциальной, на самом деле ни чего мы доказать ни кому не можем, если нам неизвестны хотя бы такие характеристики как чувствительность и специфичность. Утверждать иное, ссылаясь на любые науки это значит игнорировать законы математики, которая как известно не только язык науки, но и царица наук Smile

ПС Прощу прощения за тон мой, если он показался недопустимым, но всему виной правота моя в данном случае (и в вопросах процентов и пропорций)... Smile


Последний раз редактировалось: York (Пн Фев 18, 2019 3:59 pm), всего редактировалось 4 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 12:32 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):
Из 100 лживых правильно определены как лживые 90 человек
Из 100 лживых неправильно определены как правдивые 10 человек


Полностью с Вами согласен. Об этом я и говорю. Только с дополнениями.

Столбец "лживые" - это заведомо лживые 100 человек, в нем должны находится только те, кто относится ко лживым. Для этого и написано под "ЛОЖЬ" число 100.

10 человек, определенных неправильно как правдивые из 100 проверенных заведомо лживых, они так и остаются лживыми. От того, что 10 лгущих ошибочно определили в категорию правдивых, они не становятся частью тех 900 человек, которые являются заведомо правдивыми.

Тоже самое про правдивых.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 12:54 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):
В этой табличке - "Валидность решающей системы" - это есть чувствительность и спецфичность

Пусть так... но тогда - тем более...

Чувствительность - это показатель, относящийся только ко лживым.
Это {90 (правильно определенные лгущие)/100 (все лгущие)}.

(1 - Чувствительность должна) должна давать неправильно определенных лгущих, то есть 0,1 от 1 или 10 человек от 100. И вычисляется это всё в одном столбике... а не "взяли отсюда... взяли оттуда"...

Тоже самое относится к специфичности.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1239
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 1:00 pm    Заголовок сообщения: Ответить с цитатой

Сергей Владимирович.
1000 человек
10% АВ даёт 900 человек правдивых и 100 лживых.
90% точность теста (условно 90% для правдивых и 90% для лживых)

Вывод о лжи: 90 из 900 - "неправильная" ложь. 90 из 100- "правильная" ложь. Итого 180 , или 50%.

Вывод о правде: 810 из 900 "правильная" правда и 10 из 100 "непраивльная правда". Итого 820 или 99...

Что не так? Это по табличке.

С Юрием согласен. Это некое ожидание. того что будет.
И получаем чувствительность 50% , избирательность 99% .

Но это ситуация скрининга. И она показывает необходимость проведения следующего теста с теми, кто провалил первый тест.
Там выборка уже будет 50\50.

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Пн Фев 18, 2019 1:04 pm    Заголовок сообщения: Ответить с цитатой

$erP

Сосчитав так, как Вы сосчитали в исправильных Вами таблицах, Вы получили не процент правильных решений после тестирования всей тысячи, не зная кто из них кто, а прцент правильных решений из 100 лживых, и процент правильных решений из 900 правдивых. То есть, Вы получили чувствительность и специфичность. У Вас числа из второй строки из таблицы и из нижней совпадают.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 951
Откуда: Вологда

СообщениеДобавлено: Пн Фев 18, 2019 1:13 pm    Заголовок сообщения: Ответить с цитатой

Цитата:
"Эксперты должны помнить, что при частоте потенциально лживых людей в популяции обследуемых меньше 10%, вероятность правильных выводов эксперта о лживости будет чрезвычайно низкой, даже если самый лучший специалист будет использовать самую совершенную систему классификации".


С точки зрения формальной логики это утверждение ложно. То есть, тут Алексеев и Потёмкин соврамши. Подозреваю почему - вычисляли проценты. Very Happy .

На самом деле
Цитата:
Например, если иметь тест с чувств и спец = 0,9999, то точность тогда уже будет (для АВ = 0,1) - 0,9991


Точность - 0,9991 - это шикарная точность)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 1:18 pm    Заголовок сообщения: Ответить с цитатой

Александр Калафати писал(а):
Вывод о лжи...
Вывод о правде...


Александр, в том то и дело...
Обратите внимание на то, что есть на самом деле... и не заменяйте это в свой голове тем, что Вы привыкли видеть...

Если бы в таблице был "Вывод о лжи" и "Вывод о правде" - все было бы именно так, как пишите Вы и York...

Но в таблице нет "Вывод о лжи..."
В таблице нет "Вывод о правде..."

"Вывод о лжи", "Вывод о правде" - это не одно и тоже что и "Правильный вывод" и "Неправильный вывод".

В таблице есть "Правильный вывод" и "Неправильный вывод". Это другая терминология. Это другой подход. Полиграфолог по результатам тестирования не делает "Правильный вывод" или "Неправильный вывод". Полиграфолог делает вывод "Лжет" или "Правдив". И только потом уже этот вывод проверяется на правильность или не правильность.

Поэтому таблица в терминах "Правильный вывод" - "Неправильный вывод" и заполняется, и рассчитывается отлично от той, что была бы в терминах "Вывод о лжи" - "Вывод о правде".

Правильный вывод относительно 100 лгущих - это 90 человек. Записывается в столбик "ЛОЖЬ".
Неправильный вывод относительно 100 лгущих - это 10 человек. Записывается в столбик "ЛОЖЬ".
В сумме значения столбика из "правильных" и "неправильных" выводы о лжи должны давать 100 человек заведомо лгущих.


Правильный вывод относительно 900 правдивых - это 810 человек. Записывается в столбик "ПРАВДА".
Неправильный вывод относительно 900 правдивых - это 90 человек. Записывается в столбик "ПРАВДА".
В сумме значения столбика "правильные" и "неправильные" выводы о правде должны давать 900 человек заведомо правдивых.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО


Последний раз редактировалось: $erP (Пн Фев 18, 2019 1:24 pm), всего редактировалось 2 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 1:19 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):
То есть, Вы получили чувствительность и специфичность.

Бинго! как было написано в соседней недавно )))

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 6601
Откуда: Москва

СообщениеДобавлено: Пн Фев 18, 2019 1:38 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):
"Эксперты должны помнить, что при частоте потенциально лживых людей в популяции обследуемых меньше 10%, вероятность правильных выводов эксперта о лживости будет чрезвычайно низкой, даже если самый лучший специалист будет использовать самую совершенную систему классификации".

York, никто об этом не спорит... эти вещи прописываются на официальном уровне уже давно...
Вопрос в том, конкретная для данного случая подача материала для иллюстрации правильности общих слов - она в данном случае некорректна.

Та таблица, которую авторы преподносят в своей книге, она в принципе не дает возможности вычислить PPV (положительная предсказательная точность вывода) и NPV (отрицательная предсказательная точность вывода).

Для того, чтобы стало все и правильно, и понятно.. надо немного изменить саму таблицу...
Тогда изменится подход к ее заполнению... и появится возможность вычислить недостающие параметры...

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум Часовой пояс: GMT + 3
На страницу 1, 2  След.
Страница 1 из 2

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
You cannot attach files in this forum
You cannot download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group
Рейтинг@Mail.ru Rambler's Top100