Список форумов ПОЛИГРАФ - ФОРУМ ПОЛИГРАФ - ФОРУМ
Для общения по теме " Детекция лжи "
 
  На главную FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Еще раз про статистическую значимость
На страницу Пред.  1, 2, 3 ... 9, 10, 11, 12, 13, 14  След.
 
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум
Предыдущая тема :: Следующая тема  
Автор Сообщение
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Вс Фев 10, 2019 3:16 pm    Заголовок сообщения: Ответить с цитатой

4) Значения p-value

Для лгущих. Отрицательная граница принятия решения о лгущих выбирается исходя из стремления уменьшить процент правдивых, набирающих такое же количество отрицательных баллов, как и лгущие. Чем "левее" эта граница в балльном выражении, тем меньше % правдивых становится похожими на лгущих.
Поэтому граничный балл для лгущих выбирается из данных нормального распределения правдивых субъектов. -4 балла в качестве граничного выбран потому, что когда проверку проходят правдивые проверяемые, то менее 5% из них набирают -4 балла или меньше.
То есть Pпр (X =< -4) < 0,05, или P(X =< -4|Правдивый) < 0,05.

Для правдивых. Положительная граница принятия решения о правдивости выбирается исходя из стремления уменьшить процент лгущих, набирающих такое же количество положительных баллов, как и правдивые. Чем "правее" эта граница в балльном исчислении, тем меньше % лгущих похожи на правдивых. Поэтому граничный балл для правдивости выбирается из данных нормального распределения лгущих субъектов. +4 балла стали границей принятия решения о правдивости потому, что когда проверку проходят лгущие проверяемые, то менее 5% из них набирают +4 балла или больше.
То есть Pлг (Х >= +4) < 0,05, или P(X >=+4|Лгущий) < 0,05.

Примечание: есть тонкости, например, включение или не включение граничного балла в расчет вероятностей в том или ином случае, но это нюансы.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО


Последний раз редактировалось: $erP (Пн Фев 11, 2019 9:27 am), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Вс Фев 10, 2019 3:20 pm    Заголовок сообщения: Ответить с цитатой

5) Есть некоторые сомнения по ключевым моментам, которые обсуждались в теме ранее.

Исходя из понимания, что полученные данные представляют собой нормальное распределение, я выскажу сомнения относительно корректности следующих рассуждений и выводов, представленных в теме. Я так понимаю, что эти рассуждения и выводы являются обобщающими и определяющими для некоторых участников. Поэтому и требуют более пристального внимания, особой проверки на прочность и отдельного обсуждения. Лишним не будет.




Цитата:
Пусть отсечка, как Вы предложили по нулю. Если результат теста принимает отрицательный балл, то полиграфолог берет за Но - правда. Тогда Но - это статистика теста (балл) принадлежит "синему" распределению. Тогда альфа это "площадь" под синией линией с баллами меньше нуля (заштриховыванная синим и зеленым). Это значение посчитано и равно 0,159. То есть критическая область в этом случае (в случае отрицательного балла) это баллы от 0 до -13. Тогда согласно приведенного определения мощность (вероятность попадания критерия (балла) в критическую область (от 0 до -13) при условии справедливости конкурирующей гипотезы) равна "площади" под зеленой линией. В силу симметричности распределения она равна 1 - 0.159 = 0,841. Тогда согласно определения бета (ошибка второго рода) = 1 - мощность = 1- 0,841= 0,159. Это площадь в области положительных баллов, под зеленой линией (не заштрихованная).


Я долго крутил всякие "колокольчики" и таблицы "2Х2". Исходя из полученного понимания, у меня получается следующая оценка представленных рассуждений и выводов.

Значение 0,159 заштрихованной сине-зеленым штрихом площади под синей линией представляет собой долю тех правдивых, которые получили отрицательный балл от 0 до -13, по отношению ко всем правдивым (1,0): Рпр (Х < 0) = 0,159. Если полагать, что 0 – это граница принятия решения и все правдивые, кто получил менее нуля, обвиняются во лжи, то это значение соответствует понятию альфа, это ложная тревога, это ошибка первого рода. Альфа – это вероятность ложного обвинения правдивого проверяемого и рассчитывается исключительно на данных правдивых проверяемых: альфа – это (все ошибочно обвиненные правдивые)/(все ошибочно обвиненные правдивые + все правильно определенные правдивые).
Мощность в нашем контексте – это способность теста выявлять действительно лгущих. Показатель рассчитывается исключительно на данных лгущих проверяемых: мощность определяется как (все лгущие) – (те лгущие, которые ошибочно были определены как правдивые). Лгущие, которые были ошибочно определены как правдивые, - это бета, это пропуск цели, это ошибка второго рода.

Поэтому высказанная в цитате идея определения мощности как разницы (все лгущие) – (те правдивые, которые получили от 0 и меньше), некорректна… Далее эта некорректность распространяется по горизонтали и по вертикали со всеми остановками…
То, что в приведенном примере получились правильные значения, чистая случайность, обусловленная 1) редчайше-искусственно притянутой за уши симметричностью распределения теста 2RQ и 2) выбором границы принятия решения по 0 баллов. Для данных нереальных условий как раз и получается Рпр (Х < 0) = Рлг (Х >= 0).
Если взять не симметричное распределение, как, например, для 3RQ, и границы принятия решения о лгущих и правдивых отличные от нуля, то Рпр (Х < 0) ≠ Рлг (Х >= 0), и все рассуждения и вычисления перестают соответствовать реальности.

В нормативных таблицах ESS для правдивых приведенная p-value как раз и является бетой… если, конечно, принимать в качестве условия, что на основании указанного балла был (будет) сделан ошибочный вывод оправдания лгущего.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО


Последний раз редактировалось: $erP (Вс Фев 10, 2019 5:24 pm), всего редактировалось 2 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Вс Фев 10, 2019 3:22 pm    Заголовок сообщения: Ответить с цитатой

6) Расчет ошибки «оправдать лгущего» и «обвинить правдивого» применительно к каждому баллу.

Возвращаясь к тем данным, которые представляют разработчики ESS. В качестве ошибки теста разработчики ESS предлагают считать альфа и бета.
Альфа и бета как прогностические показатели относятся к той практической ситуации, когда на проверку приходит заведомо причастный или заведомо не причастный. И нам интересно, насколько применяемый тест даст результаты, соответствующие этой заведомо известной причастности или непричастности. Редкая ситуация в практике, но бывает…
Наиболее часто встречается практическая ситуация, когда заведомо не известно (и непонятно станет ли известно вообще), кто в действительности проходит тест – причастный или не причастный. Поэтому для данной ситуации показатели альфа и бета неприменимы. А применимы другие известные прогностические показатели из разряда «прогностическая ценность диагностического теста»:
1) прогностическая ценность положительного результата. В полиграфном контексте это прогностическая точность вывода о лжи.
Определяется как соотношение (количество правильных выводов о лжи)/(количество всех правильных + ошибочных выводов о лжи).
Соответственно, ошибочность вывода о лжи: (количество ошибочных выводов о лжи)/(количество всех правильных + неправильных выводов о лжи)

2) прогностическая ценность отрицательного результата. В полиграфном контексте это прогностическая ценность вывода о правде.
Определяется как соотношение (количество правильных выводов о правде)/(количество всех правильных + неправильных выводов о правде).
Соответственно, ошибочность вывода о правде: (количество ошибочных выводов о правде)/(количество всех правильных + ошибочных выводов о правде)


Разработчики ESS не указывают эти показатели. Более того, исходя из урезанных нормативных таблиц, которые представляют разработчики ESS, эти показатели вычислить невозможно. По крайней мере для вычисления ошибок теста для конкретных баллов. Но если, уже зная что это нормальное распределение, 1) сначала рассчитать плотность вероятности распределения для лгущих и правдивых, 2) понимать, что по сути это нормированная частота получения того или иного балла лгущим и правдивым... то на основе этих данных можно рассчитать ошибку обвинения правдивого и оправдания лгущего для каждого конкретного балла… И, наверное, это будут уже настоящие точность и ошибочность теста в определении лгущих и правдивых.

У меня получились следующие показатели.

Для теста 2RQ



Т.е. если полиграфолог получил -4 балла ESS и сделал вывод «Лжет», то вероятность ошибки – обвинения правдивого - составляет 21%, а не 4,8% как предлагают считать разработчики ESS.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -9 баллах и меньше.

Если полиграфолог получил +4 балла ESS и сделал вывод «Правдив», то вероятность ошибки – оправдания лгущего – составляет 21%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +9 баллов или больше.

Симметрия в выводах «точность – ошибка» для лгущих и правдивых получается в связи с одинаковыми средними и стандартными отклонениями для теста 2RQ и, как следствие, симметрия в нормальных распределениях лгущих и правдивых.

Для теста 3RQ нет симметрии в нормальных распределениях. Поэтому проценты «точность – ошибка» разные» для лгущих и правдивых.

Для теста 3RQ



Если применив тест 3RQ, полиграфолог получил граничные -4 балла и решил сделать вывод «Лжет», то вероятность ошибиться составляет 24%.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -10 баллах и меньше.
Если полиграфолог получил граничные +5 баллов и решил сделать вывод «Правдив», то вероятность ошибиться составляет 17%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +10 баллов или больше.

По такому принципу можно посчитать и «кумулятивные» ошибки.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО


Последний раз редактировалось: $erP (Пн Фев 11, 2019 9:18 am), всего редактировалось 3 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Вс Фев 10, 2019 3:25 pm    Заголовок сообщения: Ответить с цитатой

Сравнение подходов в оценке ошибок (представленный здесь и от разработчиков ESS) проиллюстрирую на следующем условном примере. Здесь присутствуют уже сравнения «кумулятивных» ошибок.

От отдела по борьбе с организованной преступностью в полиграфный отдел поступило задание проверить 100 человек, среди которых, по данным полиции, определенно 50 человек - это мафия, и 50 человек - это мирные жители.
Анализируя все данные, полученные после проверки тестами 2RQ, начальник отдела полиграфологов увидел, что -4 балла и меньше (-5, -6 и т.д.) набрало 35 человек проверенных.
Сверившись с нормативными таблицами, начальник отдела полиграфологов обоснованно решил, что из группы в 35 человек, набравших -4 балла и меньше:
- какие то 32 человека являются представителями мафии, поскольку мафиози будут определенно лгать о себе, а из лгущих, согласно нормативным данным, 63% набирают -4 балла и менее; 32 человека как раз и составляют 63% от 50 мафиози, которые определенно присутствовали среди проверенных.
- какие то 3 человек являются мирными жителями, поскольку мирные жители не врут, а среди тех, кто отвечает правдиво, согласно нормативным данным только 5% набирают -4 балла и меньше; 3 человек как раз и составляют 5% от 50ти мирных жителей, прошедших полиграф.

Таким образом, в группе из 35 человек, набравших -4 балла и меньше, оказались:
- какие то 32 человека - это мафиози, составляющие 63% от общего числа всех 50ти проверенных полиграфологом мафиози.
- какие-то 3 человека - это мирные жители, составляющие 5% от общего числа всех 50ти проверенных полиграфологом мирных жителей.

Начальник отдела полиграфологов в качестве мафиози назвал полиции всех тех, кто получил "-4" балла и меньше. При этом он попросил представителей полиции обязательно дать ему обратную связь о проценте ошибки после окончательного разбирательства.

Какой процент ошибочного обвинения полиграфологами мирных жителей назвала полиция?

5%, поскольку 5% - это 3 ошибочно обвиненных мирных жителя от всех 50ти проверенных полиграфологами мирных жителей.

9%, поскольку 9% - это 3 ошибочно обвиненных мирных жителя от тех 35 человек, кого начальник отдела полиграфологов назвал мафией.

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО


Последний раз редактировалось: $erP (Пн Фев 11, 2019 6:10 pm), всего редактировалось 4 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Вс Фев 10, 2019 3:26 pm    Заголовок сообщения: Ответить с цитатой

За сим пока всё.
Буду перечитывать, если чего то напутал, скорректируюсь... Если в чем то ошибся – признаюсь...

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пн Фев 11, 2019 11:34 am    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
1) Итак... начало с конца...

Для теста 2RQ.
Если полиграфолог получил -4 балла ESS и сделал вывод «Лжет», то вероятность ошибки – обвинения правдивого - составляет 21%, а не 4,8% как предлагают считать разработчики ESS.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -9 баллах и меньше.

Если полиграфолог получил +4 балла ESS и сделал вывод «Правдив», то вероятность ошибки – оправдания лгущего – составляет 21%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +9 баллов или больше.

Симметрия в выводах «точность – ошибка» для лгущих и правдивых получается в связи с одинаковыми средними и стандартными отклонениями для теста 2RQ.

Для теста 3RQ нет симметрии. Поэтому проценты «точность – ошибка» разные» для лгущих и правдивых.

Для теста 3RQ.
Если применив тест 3RQ, полиграфолог получил граничные -4 балла и решил сделать вывод «Лжет», то вероятность ошибиться составляет 24%.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -10 баллах и меньше.
Если полиграфолог получил граничные +5 баллов и решил сделать вывод «Правдив», то вероятность ошибиться составляет 17%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +10 баллов или больше.


Для того чтобы убедиться в том, что правильно понимаю как вы вычислили те числа, которые находятся в Ваших табличках проделал в Экселе вычисления сам. Результат:

.

Нижняя строка - это ошибка, если человек признан солгавшим. Как видно все числа совпадают с Вашими для 2RQ . Я получил эти числа, взяв из статьи данные о среднем и стандартном отклонении, и, используя формулу для плотности вероятности нормального распределения, вычислил нижнюю строку. Полное совпадение даёт мне все основания полагать, что Вы проделали то же самое и поэтому я могу дать коментарий к тому что проделано таким образом.

"Идеологически" эти числа с полным на то правом можно назвать вероятностью ошибки, а не то что называют вероятностью ошибки создатели ESS.

То есть, действительно: "Если полиграфолог получил -4 балла ESS и сделал вывод «Лжет», то вероятность ошибки – обвинения правдивого - составляет 21%, а не 4,8% как предлагают считать разработчики ESS. "

0,048 это, так называемый создателями ESS, p- value для балла -4, ну никак по природе, по определению своему, не может быть вероятностью ошибки. Собственно говоря, всё в обсуждение в теме и вертелось вокруг этого факта, была предпринята попытка "притянуть" понятийный аппарат математической статистики к ESS, раз уж её создатели используют p- value, но никакого обоснования этому не дали. Мы попытались востановитьь их логику, так сказать, если она была конечно. Но насамом деле это было довольно пустое занятие:

1) p - value, совершенно неверно трактуется её создателями:
2) p - value, как понятие, имеет малый смысл использовать при работе с дискретным распределением. С дискретными распределениями оно поросту не используется так как в нём нет нужды в случае дискретного распределения, а необходимо это понятие только в случае непрерывных распределений. В этом смысле p - value в ESS притянуто за уши, чтобы выдать его за вероятность ошибки. Это "финт ушами" попытались устранить в ESS - M, но получилось ещё намного хуже)))... Хотели как лучше, а получилось как всегда...

Я употребил слово "идеологически" потому что вычисления по форме верные, а вот по содержанию ....

1) использованы данные для среднего и стандартного из статьи, которые приведены в ней с безбожным округлением. Не может быть, в смысле вероятность этого равна нулю, что эти величины вычисленные на реальных данных в точность равны целым числам. То есть, в реальности, если они существуют в реальности, они имеют другие значения. А их изменение в формуле для плотности вероятности в конечном итоге могут привести к весьма заметным отличиям от Вашего конечного результата.

2) Отрадно, что от отрицания Байеса, вы дошли до использования его формулы. Я говорю о той формуле, которую вы использовали для вычисления вероятностей ошибок. Да - это частный случай формулы Байеса - для двух гипотез. и для априорной вероятности в 0,5, которая в этом случае просто сокращается из числителя и знаменателя и поэтому не видна. Бывает и так, что люди пользуются Байесом не подозревая об этом.

Таким образом, ваши вероятности ошибок вычислены правильно, но могут существнно отличаться от реальных значений. Это, конечно, при условии, что существуют реальые распределения баллов, а не нечто, что появилось в результате креативного акта. К сожалению, есть основания подозревать и такие вещи. Кроме того, они справедливы только в условиях 50 на 50.

ПС Не доверяйте фотохостингам! Сохраняйте картинки, или делайте скриншоты!

ППС Не удалил рекламу от картинки (итальянской мебели), так как не исключено, что севйпик удаляет картинки, если сопутствующая реклама была удалена. Не смотря на то, что в оферте этого не сказано.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Вт Фев 12, 2019 6:10 am    Заголовок сообщения: Ответить с цитатой

$erP писал(а):

... неправоту в ранее отстаиваемом мнении, что относительно ESS без разницы «дает корова молоко» или «корова молоко дает». Для ESS это принципиальная разница. И это будет видно.


Если говорить об природе p-value, то она ни как не связаа ни с ESS, ни с каим - либо другим конкретным распределением вероятностей и, соотвественно, в этом смысле между «дает корова молоко» и «корова молоко дает» принципиальная разница имеется всегда.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Вт Фев 12, 2019 7:13 am    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
3) О распределении и формуле.

Цитата:
Распределения далеки от нормального. В хвосте (от -13 до 0) содержится примерно 0,159, в остальной половине, соответственно, примерно 0,841. Должно быть похоже на логнормальное распределение, которое при увеличении диапазона баллов становится похожим на нормальное и т.д. и т.п.

Формул нет и не будет потому, все таблицы это результат численного моделирования на компьютере. Поэтому и полиграфологу саморучно не чего и рассчитывать - нет формул.


Приводимые разработчиками ESS данные – это данные, относящиеся к нормальному распределению. Соответственно, есть формула, и полиграфологи сами могут все рассчитать.

Приводимые разработчиками ESS данные относятся именно к функции нормального распределения, которая представляет собой сумму значений плотности нормального распределения до какого то балла, в пределе давая единицу. Для лгущих все данные делятся пополам по средней, -6 баллов. Для правдивых серединой является +6. В таблицах разработчиков ESS этого не видно, потому что они усеченные. Поэтому по внешнему виду эти данные никоим образом не похожи на данные «колокольчика». Но и к логнормальному распределению эти данные тоже не относятся.

На примере теста 2RQ. Если взять предлагаемые разработчиками ESS значения средних (для лгущих -6 баллов и для правдивых +6 баллов) и стандартного отклонения (для лгущих 6 баллов и для правдивых тоже 6 баллов) и с помощью Excel получить значения функции нормального распределения, но они «тютелька в тютельку» совпадают с теми, что дают разработчики ESS.


Цитата:
В таблицах разработчиков ESS этого не видно, потому что они усеченные. Поэтому по внешнему виду эти данные никоим образом не похожи на данные «колокольчика». Но и к логнормальному распределению эти данные тоже не относятся.


Мне сразу и в голову не пришло, что можно взять и выложить "кусок" распределения, "кусок" таблички, взять и сделать полное округление и даже не указать с какой точностью это сделано. По моему представлению это не соотвествует понятию научной информации. Данные должны представлятся в таком виде, чтобы можно было воспроизвести максимальн точно результаты автора. Поэтому я и приняся гадать, а не похоже ли распределение на логнормальное. Но теперь склоняюсь к тому, что цели дать возможность воспроизвести результаты у авторов ESS не было, а скорее наоборот.

Цитата:
Приводимые разработчиками ESS данные – это данные, относящиеся к нормальному распределению. Соответственно, есть формула, и полиграфологи сами могут все рассчитать.


Создатели ESS как раз ни чего расчитывать полиграфологу и не предлагают, а предлагают смотреть в табличку на то, что они называют р-value. И о том способе расчёта вероятности ошибок, который сделали Вы они речи не ведут совершенно.

Цитата:
Приводимые разработчиками ESS данные относятся именно к функции нормального распределения, которая представляет собой сумму значений плотности нормального распределения до какого то балла, в пределе давая единицу.


Вот тут надо выразить принципиальное несогласие. Эти данные не имеют отношение к нормальному распределению. Нормальное распределение - это распределение непрерывной случайной величины. Вероятностое распределение баллов - это дискретная случайная величина и принципиально не может быть распределена нормально. Иметь распределение похожее, близкое в точках своего определния к нормальному - может. На самом деле используя среднее и дисперсию определённых на реальных данных, а затем подставляя их в формулу плотности нормального распределения мы апроксимируем вероятностное распределение баллов плотностью вероятности нормального.



Почему дискретное распределение баллов можно апроксимировать плотностью вероятности нормального расрпеделения? Потому, что механизм возникновения этих случайных величин - баллов и нормально распределённой, одинаков. И то и другое являются суммой случайных величин. Только балл - это сумма ограниченного числа дискретных случайных величин, а нормально распределённая случайная величина- это сумма бесконечного количества непрерывных случайных величин.

Наилучшим образом вероятностное распределение баллов апроксимируется нормальным вблизи своего среднего значения, а в хвостах - гораздо хуже. Соотвественно и вычисленные в хвостах вероятности ошибок будут существенно отличатся от реальных.

Но есть другой способ вычислить теоретичесоке распределение баллов более естественный и подходящий нежели делать апроксимацию нормальным.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Вт Фев 12, 2019 7:33 am    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
4) Значения p-value

Для лгущих. Отрицательная граница принятия решения о лгущих выбирается исходя из стремления уменьшить процент правдивых, набирающих такое же количество отрицательных баллов, как и лгущие. Чем "левее" эта граница в балльном выражении, тем меньше % правдивых становится похожими на лгущих.
Поэтому граничный балл для лгущих выбирается из данных нормального распределения правдивых субъектов. -4 балла в качестве граничного выбран потому, что когда проверку проходят правдивые проверяемые, то менее 5% из них набирают -4 балла или меньше.
То есть Pпр (X =< -4) < 0,05, или P(X =< -4|Правдивый) < 0,05.

Для правдивых. Положительная граница принятия решения о правдивости выбирается исходя из стремления уменьшить процент лгущих, набирающих такое же количество положительных баллов, как и правдивые. Чем "правее" эта граница в балльном исчислении, тем меньше % лгущих похожи на правдивых. Поэтому граничный балл для правдивости выбирается из данных нормального распределения лгущих субъектов. +4 балла стали границей принятия решения о правдивости потому, что когда проверку проходят лгущие проверяемые, то менее 5% из них набирают +4 балла или больше.
То есть Pлг (Х >= +4) < 0,05, или P(X >=+4|Лгущий) < 0,05.

Примечание: есть тонкости, например, включение или не включение граничного балла в расчет вероятностей в том или ином случае, но это нюансы.


Не вижу никаких расхождений с тем, что говорилось выше. Объяснение логики создателей ESS своими словами, без привлечения понятий математической статистики. Объясняя так незачем и привлекать понятия p - value. Повторюсь ещё раз: В теме была сделана попытка привлечь понятия математической статистики для объяснения ESS.

Кстатика, логика оисанная Вами вполне годная для классификации опрашиваемых на лживых и правдивых, но при этом используемые числа не являются вероятностями ошибок.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Ср Фев 13, 2019 12:21 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
5) Есть некоторые сомнения по ключевым моментам, которые обсуждались в теме ранее.

Исходя из понимания, что полученные данные представляют собой нормальное распределение, я выскажу сомнения относительно корректности следующих рассуждений и выводов, представленных в теме. Я так понимаю, что эти рассуждения и выводы являются обобщающими и определяющими для некоторых участников. Поэтому и требуют более пристального внимания, особой проверки на прочность и отдельного обсуждения. Лишним не будет.




Цитата:
Пусть отсечка, как Вы предложили по нулю. Если результат теста принимает отрицательный балл, то полиграфолог берет за Но - правда. Тогда Но - это статистика теста (балл) принадлежит "синему" распределению. Тогда альфа это "площадь" под синией линией с баллами меньше нуля (заштриховыванная синим и зеленым). Это значение посчитано и равно 0,159. То есть критическая область в этом случае (в случае отрицательного балла) это баллы от 0 до -13. Тогда согласно приведенного определения мощность (вероятность попадания критерия (балла) в критическую область (от 0 до -13) при условии справедливости конкурирующей гипотезы) равна "площади" под зеленой линией. В силу симметричности распределения она равна 1 - 0.159 = 0,841. Тогда согласно определения бета (ошибка второго рода) = 1 - мощность = 1- 0,841= 0,159. Это площадь в области положительных баллов, под зеленой линией (не заштрихованная).


Я долго крутил всякие "колокольчики" и таблицы "2Х2". Исходя из полученного понимания, у меня получается следующая оценка представленных рассуждений и выводов.

Значение 0,159 заштрихованной сине-зеленым штрихом площади под синей линией представляет собой долю тех правдивых, которые получили отрицательный балл от 0 до -13, по отношению ко всем правдивым (1,0): Рпр (Х < 0) = 0,159. Если полагать, что 0 – это граница принятия решения и все правдивые, кто получил менее нуля, обвиняются во лжи, то это значение соответствует понятию альфа, это ложная тревога, это ошибка первого рода. Альфа – это вероятность ложного обвинения правдивого проверяемого и рассчитывается исключительно на данных правдивых проверяемых: альфа – это (все ошибочно обвиненные правдивые)/(все ошибочно обвиненные правдивые + все правильно определенные правдивые).
Мощность в нашем контексте – это способность теста выявлять действительно лгущих. Показатель рассчитывается исключительно на данных лгущих проверяемых: мощность определяется как (все лгущие) – (те лгущие, которые ошибочно были определены как правдивые). Лгущие, которые были ошибочно определены как правдивые, - это бета, это пропуск цели, это ошибка второго рода.

Поэтому высказанная в цитате идея определения мощности как разницы (все лгущие) – (те правдивые, которые получили от 0 и меньше), некорректна… Далее эта некорректность распространяется по горизонтали и по вертикали со всеми остановками…
То, что в приведенном примере получились правильные значения, чистая случайность, обусловленная 1) редчайше-искусственно притянутой за уши симметричностью распределения теста 2RQ и 2) выбором границы принятия решения по 0 баллов. Для данных нереальных условий как раз и получается Рпр (Х < 0) = Рлг (Х >= 0).
Если взять не симметричное распределение, как, например, для 3RQ, и границы принятия решения о лгущих и правдивых отличные от нуля, то Рпр (Х < 0) ≠ Рлг (Х >= 0), и все рассуждения и вычисления перестают соответствовать реальности.

В нормативных таблицах ESS для правдивых приведенная p-value как раз и является бетой… если, конечно, принимать в качестве условия, что на основании указанного балла был (будет) сделан ошибочный вывод оправдания лгущего.


Цитата:
Поэтому высказанная в цитате идея определения мощности как разницы (все лгущие) – (те правдивые, которые получили от 0 и меньше), некорректна… Далее эта некорректность распространяется по горизонтали и по вертикали со всеми остановками…


Я долго не мог въехать, что же я сделал не так. А потом дошло))) С чего Вы взяли, что я высказал такую идею? Я такого тектса не писал, и такими идеями не фонтанирую)

Я же написал:
Цитата:
В силу симметричности распределения она равна 1 - 0.159 = 0,841


Сославшись на некорректность моего утверждения, которого я не делал Вы написали:
Цитата:

То, что в приведенном примере получились правильные значения, чистая случайность, обусловленная 1) редчайше-искусственно притянутой за уши симметричностью распределения теста 2RQ и 2) выбором границы принятия решения по 0 баллов. Для данных нереальных условий как раз и получается Рпр (Х < 0) = Рлг (Х >= 0).
Если взять не симметричное распределение, как, например, для 3RQ, и границы принятия решения о лгущих и правдивых отличные от нуля, то Рпр (Х < 0) ≠ Рлг (Х >= 0), и все рассуждения и вычисления перестают соответствовать реальности.


Но признаю свою вину в том, что не акцентировал на этом внимание и не подчернул, что в случае несимметричности распределений вычитаемые числа не совпадали бы, как и результаты вычислений.

Кстати, по поводу притянутой за уши симметричности. Я кончно не знаю и утверждать ни чего не могу, но если это симметричность установлена на корректно полученных данных, то почему и нет?
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Ср Фев 13, 2019 4:02 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):

... неправоту в ранее отстаиваемом мнении, что относительно ESS без разницы «дает корова молоко» или «корова молоко дает». Для ESS это принципиальная разница. И это будет видно.


Если говорить о природе p-value, то она ни как не связаа ни с ESS, ни с каим - либо другим конкретным распределением вероятностей и, соотвественно, в этом смысле между «дает корова молоко» и «корова молоко дает» принципиальная разница имеется всегда.[/quote]


Последний раз редактировалось: York (Ср Фев 13, 2019 4:35 pm), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Ср Фев 13, 2019 4:35 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
6) Расчет ошибки «оправдать лгущего» и «обвинить правдивого» применительно к каждому баллу.

Возвращаясь к тем данным, которые представляют разработчики ESS. В качестве ошибки теста разработчики ESS предлагают считать альфа и бета.
Цитата:
Альфа и бета как прогностические показатели относятся к той практической ситуации, когда на проверку приходит заведомо причастный или заведомо не причастный. И нам интересно, насколько применяемый тест даст результаты, соответствующие этой заведомо известной причастности или непричастности. Редкая ситуация в практике, но бывает…

Наиболее часто встречается практическая ситуация, когда заведомо не известно (и непонятно станет ли известно вообще), кто в действительности проходит тест – причастный или не причастный. Поэтому для данной ситуации показатели альфа и бета неприменимы. А применимы другие известные прогностические показатели из разряда «прогностическая ценность диагностического теста»:
1) прогностическая ценность положительного результата. В полиграфном контексте это прогностическая точность вывода о лжи.
Определяется как соотношение (количество правильных выводов о лжи)/(количество всех правильных + ошибочных выводов о лжи).
Соответственно, ошибочность вывода о лжи: (количество ошибочных выводов о лжи)/(количество всех правильных + неправильных выводов о лжи)

2) прогностическая ценность отрицательного результата. В полиграфном контексте это прогностическая ценность вывода о правде.
Определяется как соотношение (количество правильных выводов о правде)/(количество всех правильных + неправильных выводов о правде).
Соответственно, ошибочность вывода о правде: (количество ошибочных выводов о правде)/(количество всех правильных + ошибочных выводов о правде)


Разработчики ESS не указывают эти показатели. Более того, исходя из урезанных нормативных таблиц, которые представляют разработчики ESS, эти показатели вычислить невозможно. По крайней мере для вычисления ошибок теста для конкретных баллов. Но если, уже зная что это нормальное распределение, 1) сначала рассчитать плотность вероятности распределения для лгущих и правдивых, 2) понимать, что по сути это нормированная частота получения того или иного балла лгущим и правдивым... то на основе этих данных можно рассчитать ошибку обвинения правдивого и оправдания лгущего для каждого конкретного балла… И, наверное, это будут уже настоящие точность и ошибочность теста в определении лгущих и правдивых.

У меня получились следующие показатели.

Для теста 2RQ



Т.е. если полиграфолог получил -4 балла ESS и сделал вывод «Лжет», то вероятность ошибки – обвинения правдивого - составляет 21%, а не 4,8% как предлагают считать разработчики ESS.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -9 баллах и меньше.

Если полиграфолог получил +4 балла ESS и сделал вывод «Правдив», то вероятность ошибки – оправдания лгущего – составляет 21%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +9 баллов или больше.

Симметрия в выводах «точность – ошибка» для лгущих и правдивых получается в связи с одинаковыми средними и стандартными отклонениями для теста 2RQ и, как следствие, симметрия в нормальных распределениях лгущих и правдивых.

Для теста 3RQ нет симметрии в нормальных распределениях. Поэтому проценты «точность – ошибка» разные» для лгущих и правдивых.

Для теста 3RQ



Если применив тест 3RQ, полиграфолог получил граничные -4 балла и решил сделать вывод «Лжет», то вероятность ошибиться составляет 24%.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -10 баллах и меньше.
Если полиграфолог получил граничные +5 баллов и решил сделать вывод «Правдив», то вероятность ошибиться составляет 17%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +10 баллов или больше.

По такому принципу можно посчитать и «кумулятивные» ошибки.


Цитата:
Альфа и бета как прогностические показатели относятся к той практической ситуации, когда на проверку приходит заведомо причастный или заведомо не причастный. И нам интересно, насколько применяемый тест даст результаты, соответствующие этой заведомо известной причастности или непричастности. Редкая ситуация в практике, но бывает…


Совершенно согласен.

Цитата:
А применимы другие известные прогностические показатели из разряда «прогностическая ценность диагностического теста»:
1) прогностическая ценность положительного результата. В полиграфном контексте это прогностическая точность вывода о лжи.
Определяется как соотношение (количество правильных выводов о лжи)/(количество всех правильных + ошибочных выводов о лжи).
Соответственно, ошибочность вывода о лжи: (количество ошибочных выводов о лжи)/(количество всех правильных + неправильных выводов о лжи)

2) прогностическая ценность отрицательного результата. В полиграфном контексте это прогностическая ценность вывода о правде.
Определяется как соотношение (количество правильных выводов о правде)/(количество всех правильных + неправильных выводов о правде).
Соответственно, ошибочность вывода о правде: (количество ошибочных выводов о правде)/(количество всех правильных + ошибочных выводов о правде)

Разработчики ESS не указывают эти показатели. Более того, исходя из урезанных нормативных таблиц, которые представляют разработчики ESS, эти показатели вычислить невозможно. По крайней мере для вычисления ошибок теста для конкретных баллов. Но если, уже зная что это нормальное распределение, 1) сначала рассчитать плотность вероятности распределения для лгущих и правдивых, 2) понимать, что по сути это нормированная частота получения того или иного балла лгущим и правдивым... то на основе этих данных можно рассчитать ошибку обвинения правдивого и оправдания лгущего для каждого конкретного балла… И, наверное, это будут уже настоящие точность и ошибочность теста в определении лгущих и правдивых.


Вернулись к Байесу в ситуации 50 на 50.

Цитата:

азработчики ESS не указывают эти показатели. Более того, исходя из урезанных нормативных таблиц, которые представляют разработчики ESS, эти показатели вычислить невозможно. По крайней мере для вычисления ошибок теста для конкретных баллов. Но если, уже зная что это нормальное распределение, 1) сначала рассчитать плотность вероятности распределения для лгущих и правдивых, 2) понимать, что по сути это нормированная частота получения того или иного балла лгущим и правдивым... то на основе этих данных можно рассчитать ошибку обвинения правдивого и оправдания лгущего для каждого конкретного балла… И, наверное, это будут уже настоящие точность и ошибочность теста в определении лгущих и правдивых.


Из полученных данных, статистик, можно составить ммного различных комбинаций, формул, но не каждая комбинация чисел есть вероятность. Точность и ошибочность в контесте обсуждения - это вероятности. Вероятность - это математический объект заданный определением и свойствами. Чтобы не писать "наверное" надо показать (доказать), что предсавленные комбинации это действительно вероятности, а не что - то похожее на вероятность. И это не сложно. Это сразу же следует из теоремы Байеса. Если говорить о вышеприведённых формулах, то они получаются сразу же из формулы Байеса при априорной вероятности 0,5 (например, среди ста человек - 50 бандиты,а 50 непричастные). И этим самым то, что это вероятность показывается(доказывается) корректным образом. Строгим, а не интуитивным образом.

Цитата:

Т.е. если полиграфолог получил -4 балла ESS и сделал вывод «Лжет», то вероятность ошибки – обвинения правдивого - составляет 21%, а не 4,8% как предлагают считать разработчики ESS.
Для того, чтобы не превысить уровень ошибки обвинения правдивого в 5%, полиграфолог должен принимать решение «лжет» на -9 баллах и меньше.

Если полиграфолог получил +4 балла ESS и сделал вывод «Правдив», то вероятность ошибки – оправдания лгущего – составляет 21%.
Для того, чтобы не превысить уровень ошибки в 5% оправдания лгущего, полиграфолог должен принимать решения о «Правде» при наборе +9 баллов или больше.


Повторюсь. Если подойти к вопросу строго, то сразу станет ясно, что эти эти вероятности справедливы в ситуации 50 на 50.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Ср Фев 13, 2019 7:17 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
Сравнение подходов в оценке ошибок (представленный здесь и от разработчиков ESS) проиллюстрирую на следующем условном примере. Здесь присутствуют уже сравнения «кумулятивных» ошибок.

От отдела по борьбе с организованной преступностью в полиграфный отдел поступило задание проверить 100 человек, среди которых, по данным полиции, определенно 50 человек - это мафия, и 50 человек - это мирные жители.
Анализируя все данные, полученные после проверки тестами 2RQ, начальник отдела полиграфологов увидел, что -4 балла и меньше (-5, -6 и т.д.) набрало 35 человек проверенных.
Сверившись с нормативными таблицами, начальник отдела полиграфологов обоснованно решил, что из группы в 35 человек, набравших -4 балла и меньше:
- какие то 32 человека являются представителями мафии, поскольку мафиози будут определенно лгать о себе, а из лгущих, согласно нормативным данным, 63% набирают -4 балла и менее; 32 человека как раз и составляют 63% от 50 мафиози, которые определенно присутствовали среди проверенных.
- какие то 3 человек являются мирными жителями, поскольку мирные жители не врут, а среди тех, кто отвечает правдиво, согласно нормативным данным только 5% набирают -4 балла и меньше; 3 человек как раз и составляют 5% от 50ти мирных жителей, прошедших полиграф.

Таким образом, в группе из 35 человек, набравших -4 балла и меньше, оказались:
- какие то 32 человека - это мафиози, составляющие 63% от общего числа всех 50ти проверенных полиграфологом мафиози.
- какие-то 3 человека - это мирные жители, составляющие 5% от общего числа всех 50ти проверенных полиграфологом мирных жителей.

Начальник отдела полиграфологов в качестве мафиози назвал полиции всех тех, кто получил "-4" балла и меньше. При этом он попросил представителей полиции обязательно дать ему обратную связь о проценте ошибки после окончательного разбирательства.

Какой процент ошибочного обвинения полиграфологами мирных жителей назвала полиция?

5%, поскольку 5% - это 3 ошибочно обвиненных мирных жителя от всех 50ти проверенных полиграфологами мирных жителей.

9%, поскольку 9% - это 3 ошибочно обвиненных мирных жителя от тех 35 человек, кого начальник отдела полиграфологов назвал мафией.


А что делать начальнику отдела полиграфологов если, например, задание на 58 человек, из которых 15 мафиози и 43 мирных жителя?

Цитата:

Начальник отдела полиграфологов в качестве мафиози назвал полиции всех тех, кто получил "-4" балла и меньше. При этом он попросил представителей полиции обязательно дать ему обратную связь о проценте ошибки после окончательного разбирательства.

Какой процент ошибочного обвинения полиграфологами мирных жителей назвала полиция?

5%, поскольку 5% - это 3 ошибочно обвиненных мирных жителя от всех 50ти проверенных полиграфологами мирных жителей.

9%, поскольку 9% - это 3 ошибочно обвиненных мирных жителя от тех 35 человек, кого начальник отдела полиграфологов назвал мафией.


Ошибочно обвинёнными могут оказаться и 0 и 1 и 2 и 3 и 4 и 5 и т.д.

Например, на данных ESS для 2RQ вероятность, что из 35 обвинённых человек 5 ложно обвинены, равна примерно 0,12 или 12%.

3 ложно обвинённых это математическое ожидание.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Фев 15, 2019 1:14 pm    Заголовок сообщения: Ответить с цитатой

Теперь уже, думаю, можно рассмотреть зависимость ошибки теста от априрной вероятности. Например. если из ста человек 50 мафиози и 50 граждане, то АВ - 0,5. Если из ста 10 или 20 или 30 и т.д мафиози, то АВ 0,1 или 0,2 или 0,3 и т.д.

Расчёт сделан аппроксимацией плотностью нормального распределения с параметрами: стандартное отклонение 6, среднее + 6 и - 6; для трёх повторов 2RQ; суммирование проводилось от -24 до -4 включительно.



Небольшое замечание: сумиировать надо обязательно от крайнего балла иначе результат будет сильно искажён.

В ситуации 50 на 50 ошибка обвинения примерно 0,08. При АВ = 0,2 уже 0,25. При АВ = 0,1 ошибка 0,43, т.е. один тест это уже гадание на кофейной гуще. Понятно, что при АВ = 0 (мафиози нет, все обычные люди) ошибка будет 100%, а при АВ = 1 (все мафиози) ошибка - 0.

Из расчётных данных можно увидеть (если постараться) что чувствительность 2RQ - 0,6607 (до 4 знака), специфичность (как (количество обычных людей получивших балл -3 и более)/(общее количество обычных людей) ) - 0,9435.

Так как результат полиграфного теста отличается от медицинского , например, наличием варианта "нет мнения" то спецфичность надо понимать в вышеприведённом смысле (либо делать вывод формулы ТОШ с учётом третьего варианта)


Последний раз редактировалось: York (Пт Фев 15, 2019 8:21 pm), всего редактировалось 3 раз(а)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Пт Фев 15, 2019 7:49 pm    Заголовок сообщения: Ответить с цитатой

Какая шкала , что обозначает?
_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3 ... 9, 10, 11, 12, 13, 14  След.
Страница 10 из 14

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
You cannot attach files in this forum
You cannot download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group
Рейтинг@Mail.ru Rambler's Top100