Список форумов ПОЛИГРАФ - ФОРУМ ПОЛИГРАФ - ФОРУМ
Для общения по теме " Детекция лжи "
 
  На главную FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Еще раз про статистическую значимость
На страницу Пред.  1, 2, 3 ... 7, 8, 9 ... 12, 13, 14  След.
 
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум
Предыдущая тема :: Следующая тема  
Автор Сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Чт Мар 01, 2018 4:28 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
Коллеги, а зачем вы ограничиваетесь рамками -13...+13 баллов? только потому что так написано у самих разработчиков? Коллеги, все мы знаем, что со стороны виднее...

Ведь понятно же... что теоретически... по принципу "а если... а вдруг..." 2RQ тест может получить любой балл от -40 до +40... то есть вероятность получить какой то определенный балл по тесту составляет 1/81...


Вы используете равномерное распределение. А оно - колокол. Для каждого теста, и для каждого теста и соответствующего количества предъявлений - свой колокол. Чем больше п. вопросов в тесте и больше количество предъявлений тем больше колокол Smile . Получить оценки параметры этого колокола можно только экспериментальным путем. Или Бутстрэпом набустрэпить.

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Чт Мар 01, 2018 6:21 pm    Заголовок сообщения: Ответить с цитатой

Юрий! Спасибо!
Вот тут очень интересные последствия имеются. Именно для оценки точности теста и вычисления ошибки.
Фактически надо очень аккуратно подходит к анализу P(Ho). Ведь каждое подозрительное обстоятельство в деле фактически повышает P(Но), а значит если мы хотим получить результат с той же точностью, то баллов в тесте человек должен набрать больше. Я въехал! Спасибо!

P(Но)P(>=+5|Ho) = P(>=+5)P(Ho|>=+5)

P(Ho|>=+5) = (P(Но)P(>=+5|Ho) )/ P(>=+5)

Главное, что это сумма вероятностей того, что лгущий человек получит +5 и более. P(Ho|>=+5) = P(Ho|=+5)+P(Ho|=+6)+P(Ho|=+7)...P(Ho|=+24)

Теперь я понял о чем Вы говорили - вероятность того, что лжец получит +5 и более это НЕ тоже самое, что вероятность того +5 и более значит, что человек лжец.

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Чт Мар 01, 2018 8:18 pm    Заголовок сообщения: Ответить с цитатой

Александр Калафати писал(а):
...

P(Но)P(>=+5|Ho) = P(>=+5)P(Ho|>=+5)

P(Ho|>=+5) = (P(Но)P(>=+5|Ho) )/ P(>=+5)

...

Теперь я понял о чем Вы говорили - вероятность того, что лжец получит +5 и более это НЕ тоже самое, что вероятность того +5 и более значит, что человек лжец.


Точно! Бинго!

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Мар 02, 2018 10:57 am    Заголовок сообщения: Ответить с цитатой

Исходя из выше обозначенного понимания, что такое p - value ESS можно, в принципе, попробовать, восстановить распределения использованные в ESS. Для чего? Для понимания и получения ответов, которые задаются по поводу ESS.

Для таблички из этой ветки

P(>=+5|Ho) = P(=+5|Ho)+P(=+6|Ho)+P(=+7|Ho)...P(=+13|Ho)

Отсюда:

P(>=+5|Ho) = P(=+5|Ho)+P(>=+6|Ho)

P(>=+5|Ho) = 0.033 P(>=+6|Ho) = 0,023

P(=+5|Ho) = 0,033 - 0,023 = 0,010

Делаем так для каждого балла и получаем хвосты распределений (колоколов)


Видим, что распределения строго симметричны и в этом смысле совпадают. Можно смело говорить о том, что пик колокола причастных симметричен пику колокола не причастных. То есть модуль среднего балла причастных и непричастных одинаков. Одинаковы и сигмы для причастных и непричастных. Как я понял ровно это и сообщается в статьях Александра. Распределения далеки от нормального. В хвосте (от -13 до 0) содержится примерно 0,159, в остальной половине, соответственно, примерно 0,841. Должно быть похоже на логнормальное распределение, которое при увеличении диапазона баллов становится похожим на нормальное и т.д. и т.п.

Все говорит о том, что представление о том, как получено p - value в ESS верно. Похоже, что с ESS все понятно.

_________________
http://skl-ol.ru


Последний раз редактировалось: York (Пт Мар 02, 2018 12:14 pm), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Пт Мар 02, 2018 11:15 am    Заголовок сообщения: Ответить с цитатой

Юрий, что понятно?
Выводы можете огласить?)

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Мар 02, 2018 11:45 am    Заголовок сообщения: Ответить с цитатой

Понятно, что в ESS нет ни каких "хитрых" формул. Нет ни каких "космологических соображений", которые привлекли для вычисления p - value. Сделано все просто. Взяты какого- то объема реальные выборки. Одна с точно лживыми, другая с точно правдивыми. Построили полигон частот баллов (или, с некоторыми оговорками, распределение вероятностей баллов). Bootstrap использовали для уточнения оценок и для моделирования ситуаций когда тесты предъявляются неоднократно. Для каждого теста и каждого количества предъявлений смоделировали распределение частот для причастных и для непричастных, которые и являются p - value. Если балл, в результате теста, отрицательный, то Ho - человек солгал и p - value из распределения непричастных. Если балл положительный Ho - человек правдив и p - value из распределения обманщиков.

Как формулируется Но:

если результат теста отрицательный балл Ho - суммарный балл извлечен из ген. совокупности (распределения баллов) причастных; Н1 - соответственно, непричастных.

если результат теста положительный балл то все ровно наоборот.

То есть все также старая добрая задача бинарной классификации.

Формул нет и не будет потому, все таблицы это результат численного моделирования на компьютере. Поэтому и полиграфологу саморучно не чего и рассчитывать - нет формул.

Вот такое представление у меня сформировалось на основе статей, определения p - value, теоремы об умножении вероятностей, и таблички. Я не сомневаюсь, что оно, за исключением некоторых, быть может, нюансов - верно.

З.Ы. Про точность теста и отмену Байеса, это либо "маркетинг", либо заблуждение.

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
e2e4



Зарегистрирован: 11.09.2010
Сообщения: 143

СообщениеДобавлено: Пт Мар 02, 2018 6:28 pm    Заголовок сообщения: Ответить с цитатой

вот этот поворот Very Happy
_________________
...Остап не баловал своих противников разнообразием дебютов...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Мар 02, 2018 7:47 pm    Заголовок сообщения: Ответить с цитатой

Продолжая "убивать" время (надеюсь, что с пользой для отечественной полиграфологии))) взял среднее и сигму lдля правдивых (для лжецов все тоже самое) из статьи, которые соотвествуют табличке:



Построил на их основе и основе нормального распределения теоретическое распределение для хвостика частот баллов правдивых:



Красный хвостик - это хвостик полученный из таблички p - value. Синим -теоретическое распределение. Как видно хвостики хорошо совпадают Very Happy

Это-ж-ж-ж- не спроста... Даные из таблички с p - value и данные о параметрах распределения баллов из статьи. И такое хорошее совпадение хвостиков!

Как еще подоказывать? Хи квадрат разве что употребить? Правда чистоты не будет. Неизвестно как округлялись данные в табличке. Среднее и сигма точно безбожно округлены до целых...

_________________
http://skl-ol.ru


Последний раз редактировалось: York (Пт Мар 02, 2018 9:32 pm), всего редактировалось 1 раз
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
AVM



Зарегистрирован: 08.02.2006
Сообщения: 2868
Откуда: Российская Федерация

СообщениеДобавлено: Пт Мар 02, 2018 8:00 pm    Заголовок сообщения: Ответить с цитатой

Я рад,что все хорошо закончилось! ( Пошел выкупать полиграф из ломбарда....)
_________________
С уважением,
Алексей.
t.me/dreamsanddreaming
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail
e2e4



Зарегистрирован: 11.09.2010
Сообщения: 143

СообщениеДобавлено: Сб Мар 03, 2018 8:41 am    Заголовок сообщения: Ответить с цитатой

York писал(а):

Это-ж-ж-ж- не спроста... Даные из таблички с p - value и данные о параметрах распределения баллов из статьи. И такое хорошее совпадение хвостиков!



Т.е. ошибка первого рода и ошибка воторого рода равны, а мощность около 80% ?

_________________
...Остап не баловал своих противников разнообразием дебютов...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 03, 2018 11:44 am    Заголовок сообщения: Ответить с цитатой

e2e4

Если говорить чувствительности и специфичности тестов, то они равны так как распределения из таблички симметричны.

Если говорить об ошибках в отношении статистических гипотез, то ESS предлагает выбрать альфу самостоятельно. Альфа и будет определять ошибку первого рода - отвергнуть Но, если она верна. Чтобы определить мощность надо знать распределения все целиком, ту части, где вершины колоколов. При этом мощность зависит от выбранной альфы.Но, видимо, в американских судах про мощность и ошибку второго рода не спрашивают, поэтому таблички с р - value даются в усеченном виде, а отдельных вроде как нет.

З.Ы. Первое не равно второму.

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
e2e4



Зарегистрирован: 11.09.2010
Сообщения: 143

СообщениеДобавлено: Сб Мар 03, 2018 1:28 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):
e2e4

Если говорить чувствительности и специфичности тестов, то они равны так как распределения из таблички симметричны.


Что-то не пойму. Согласно http://www.medstatistic.ru/articles/glantz.pdf (начало 6-й главы) чувствительность = power = 1 - бетта

если мы имеем два колокола, симметричных относительно оси Y, то вертикальные линии проходящие через отсечки, будут отсекать альфу и бету от разных соответсвующих колоколов. Верно?

когда выше спросил про альфу и бету, я спрашивал из предположения, что ось Y и есть отсечка между альфой и бетой. Согласен, не корректно. Но даже в таком случае, если ориентироваться на синюю линию, чувствительность должна составлять около 80%.

_________________
...Остап не баловал своих противников разнообразием дебютов...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 03, 2018 1:34 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):

ESS создавалась как раз для того, чтобы уйти от использования Байесовской статистики.. уйти от бесконечных "а если... а вдруг...", которыми можно заклевать мозг до посинения...
ESS - эмпирическая система... она создавалась с использованием "параметрического" ("частотного") подхода... в основу которого был заложен массив данных проведенных тестирований...

"Как ни странно, самым простым способом решения этой проблемы оказался следующий: не применять Байесовскую статистику, а заменить ее использованием "параметрической статистики, особенно если учесть, что с ее помощью можно было уверенно отвечать на все научные вопросы, сформулированные в начале моей лекции" (Р.Нельсон, П-С., т3, стр. 281, сохранено оригинальное выделение текста).

Ну, правда... зачем делать сложным, то что проще простого? Зачем гадать на Байесовской кофейной гуще, если есть наработанный эмпирический материал?
Разумеется, недостатки есть... есть много непонятного... но это уже совсем другая плоскость изучения...


"а если... а вдруг...", которыми можно заклевать мозг до посинения... "

Чтобы жизнь не клевала мозг, можно поступить как страус и засунуть голову в песок. Жизнь начнет клевать, пардон- те, в тыл - не побрезгует. Встает вопрос личного выбора.

Попробую написать еще один, так намазываемый, длинный и спорный комментарий. Трудновато изложить словами, примерами то что содержится в одной теореме. Начну из далека.

Как работает параметрическая статистика? Проводится эксперимент, извлекается выборка. Проверяется, что данные извлечены из ген. совокупности имеющей конкретное вероятностное распределения случайной величины, значение, которой определяется. Имеется одно распределение и данные извлечены из него или нет. Если нет - то неважно из какой другой ген. совокупности, неважно с какими параметрами.

В случае полиграфе имеется имеется две ген. совокупности. Надо сделать выбор между ними.

Как проверяют нулевую гипотезу? Из тех данных, что получены в эксперименте, вычисляют значение некоторой случайной величины, вероятностное распределение, которой заранее известно, эту величину называют статистикой. И далее проверяют, не приняла ли статистика слишком экстремальное значение, наблюдать которое в соответствии с ее распределением маловероятно. Если приняла - то Но отвергается, по сути, на всякий случай, что чаще всего и верно. И так как распределение и его параметры статистики известно, например, колокол нормального распределения, то и p - value уже все посчитаны (в случае непрерывного распределения это площадь хвоста, отсекаемого значением статистики).

Какие данные имеет и использует полиграфолог в случае ESS? Баллы по каналам, которые он суммирует и получает суммарный балл. Так вот суммарный был и есть статистика, на основе которой проверяется Но. Других статистик просто нет! Как видно из выше написанного, что бы проверить Но надо знать распределение статистики - суммарного балла. Для этого берется группа точно причастных тестируется и получается распределение баллов причастных, аналогично для непричастных. Вот от этих распределений создатели ESS "путем нарезки хвостов" и создали таблички с p - value. Теперь посмотрим, что нам говорит математическая теорема о произведении вероятностей и определение p - value:

P(Ho)P(>=Score|Ho) = P(>=Score)P(Ho|>=Score) =>

P(Ho|>=Score) = P(Ho)P(>=Score|Ho)/P(>=Score)

, где dв общем случае, Score = ..,-13, - 12... -1, 0, +1, .....+13...

Из формулы недвусмысленно видно, что после теста, когда получен определенный Score, не зависимо от того как его получили, то есть в какой системе обсчета, вероятность справедливости нулевой гипотезы зависит от безусловной вероятности справедливости Но, которая не зависит от полиграфолога, полиграфа, теста, и системы обсчета.

Что бы опровергнуть какое - либо утверждение достаточно привести пример, который его опровергает.

Утверждение: "используйте ESS и забудьте про Байеса и априорную вероятность".

Пример: Возьмем тысячу правдивых и предложим полиграфологу протестировать их, используя ESS. Мы можем и сказать ему, что все правдивы, но вывод надо делать строго с правилами ESS. Так как количество опрашиваемых очень велико, почти наверняка, найдется хотя бы один (а скорее не один) опрашиваемый, который заработает отрицательный балл, такой, что по правилам ESS будет признан солгавшим. Полиграфолог будет знать, что человек ему отвечал правдиво, но будет вынужден дать заключение, что солгал. При этом назвав значение p - value, к примеру, равное 0,001 вероятностью ошибки. Но все в том, числе и он, будут знать, что вероятность ошибки равна 1. Противоречие!

Я понимаю, что можно сказать: ну и что такого? подумаешь 0,001, один? Какая разница? Ошибка то была только с одним, двумя,...пятью...

Дело в том, что математика строгая наука. Не может быть неправильно чуть - чуть, или да подумаешь... В математике, либо верно - либо неверно.

Что бы с получить строгий результат, в соответствии с математическими законами, в этом случае, так как P(Ho) = 0

P(Ho|>=Score) = P(Ho)P(>=Score|Ho)/P(>=Score) = 0*P(>=Score|Ho)/P(>=Score) = 0

должно сказать, что вероятность того, что опрашиваемый лжет, какой бы при этом Score, не был равно нулю. и при этом полиграфолог не допустит ни одной ошибки.

В некоторых областях "корова дает молоко" и "дает корова молоко" означают совершенно разные вещи и можно засунув голову в ESS уберечься от мозгоклюйства, но при этом есть риск, однажды, получить хорошего пинка в корму... Хотя в случае полиграфа риск не велик..

Напишу крайний (по крайней мере на сегодняVery Happy ) раз: с помощью p - value можно определять границы принятия решений, но нельзя называть p - value вероятностью ошибки теста, потому что это не правда!

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 03, 2018 2:27 pm    Заголовок сообщения: Ответить с цитатой

e2e4 писал(а):
York писал(а):
e2e4

Если говорить чувствительности и специфичности тестов, то они равны так как распределения из таблички симметричны.


Что-то не пойму. Согласно http://www.medstatistic.ru/articles/glantz.pdf (начало 6-й главы) чувствительность = power = 1 - бетта


Исходя из соображений симметрии нет ни каких оснований думать, что тест будет чаще ошибаться в отношении , например, правдивых, чем в отношении неправедных. Ровно и наоборот.

e2e4 писал(а):

если мы имеем два колокола, симметричных относительно оси Y, то вертикальные линии проходящие через отсечки, будут отсекать альфу и бету от разных соответсвующих колоколов. Верно?

когда выше спросил про альфу и бету, я спрашивал из предположения, что ось Y и есть отсечка между альфой и бетой. Согласен, не корректно. Но даже в таком случае, если ориентироваться на синюю линию, чувствительность должна составлять около 80%.

[/quote]

Может быть мощность равна около 80%?

"Мощностью критерия называют вероятность попадания критерия называют попадание критерия в критическую область при условии, что справедлива конкурирующая гипотеза."

Гурман стр. 287.

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 03, 2018 2:28 pm    Заголовок сообщения: Ответить с цитатой

[quote="York"]
e2e4 писал(а):
York писал(а):
e2e4

Если говорить чувствительности и специфичности тестов, то они равны так как распределения из таблички симметричны.


Что-то не пойму. Согласно http://www.medstatistic.ru/articles/glantz.pdf (начало 6-й главы) чувствительность = power = 1 - бетта


Исходя из соображений симметрии нет ни каких оснований думать, что тест будет чаще ошибаться в отношении , например, правдивых, чем в отношении неправедных. Ровно и наоборот.

e2e4 писал(а):

если мы имеем два колокола, симметричных относительно оси Y, то вертикальные линии проходящие через отсечки, будут отсекать альфу и бету от разных соответсвующих колоколов. Верно?

когда выше спросил про альфу и бету, я спрашивал из предположения, что ось Y и есть отсечка между альфой и бетой. Согласен, не корректно. Но даже в таком случае, если ориентироваться на синюю линию, чувствительность должна составлять около 80%.



Может быть мощность равна около 80%?

"Мощностью критерия называют вероятность попадания критерия называют попадание критерия в критическую область при условии, что справедлива конкурирующая гипотеза."

Гурман стр. 287.

_________________
http://skl-ol.ru
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3 ... 7, 8, 9 ... 12, 13, 14  След.
Страница 8 из 14

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
You cannot attach files in this forum
You cannot download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group
Рейтинг@Mail.ru Rambler's Top100