 |
ПОЛИГРАФ - ФОРУМ
Для общения по теме " Детекция лжи "
|
| Предыдущая тема :: Следующая тема |
| Автор |
Сообщение |
$erP
Site Admin
Зарегистрирован: 29.06.2005
Сообщения: 7864
Откуда: Москва
|
 Добавлено: Ср Ноя 14, 2012 9:14 am Заголовок сообщения: PolyScore: Глюк в обсчете? |
 |
|
Наткнулся на странный обсчет со стороны полискора, как-то все наперекосяк.
На явно "непричастной" полиграмме_1, реакции на релевантные вопросы полискор посчитал действительно "непричастными", но итоговый вывод из "непричастных" реакций сделал обвинительный.
А из первой и второй раздельно "причастных", по его мнению, полиграмм сделал общий оправдательный вывод.
Обсчет первого предъявления.
Обсчет второго предъявления.
Обсчет первого и второго предъявления.
_________________
Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
| Вернуться к началу |
|
 |
ABP
Зарегистрирован: 28.09.2005
Сообщения: 145
Откуда: г. Москва
|
| Добавлено: Сб Ноя 17, 2012 4:02 pm Заголовок сообщения: |
|
|
$erP писал: | Цитата: | | Наткнулся на странный обсчет со стороны полискора, как-то все наперекосяк. |
Сережа, ты просто НЕПРАВИЛЬНО применяешь PolyScore. Если так делают и все остальные пользователи Лафа, которые так и не отреагировали на твой вопрос, то ситуация выглядит печальной. Дело в том, что PolyScore-обсчет В ПРИНЦИПЕ, нельзя применять к отдельным полиграммам. Результаты могут быть «ошарашивающими», но, главное, невалидными. PolyScore применяется только к тесту в целом, то есть одновременно не менее чем к трем полиграммам. Для корректного анализа требуется не менее 8 проверочных вопросов.
Чтобы не быть голословным, сошлюсь на слова разработчиков этого алгоритма - Джона Харриса и Дейла Олсена. Кажется, эта информация должна присутствовать во всех руководствах по применению данной программы. По-крайней мере, раньше так было всегда.
Пример:
PolyScore imposes the following chart collection requirements:
- Proper use of the software is required for accurate results.
- Only OVERAL test result should be used to reach a conclusion.
- Record at least three (3) charts for Zone and MGQT format and four (4) charts for Bi-Zone.
А это про твой формат вопросника:
Many examiners employ a Bi-zone question sequence and ask if they can use PolyScore to evaluate the results. This test is similar to the Zone, but does not use the third relevant question. Since PolyScore has not been designed to score this type of test, we cannot assure its accuracy. PolyScore needs at least EIGHT relevant questions.
| Цитата: | | На явно "непричастной" полиграмме_1, реакции на релевантные вопросы полискор посчитал действительно "непричастными", но итоговый вывод из "непричастных" реакций сделал обвинительный. |
Не следует также искать логику в единичных оценках, которые дает PolyScore. В отличие от других компьютерных систем обсчета, таких как Ютовская СPS в Стоелтинге, OSS-3, Identify и даже, если хотите, ChanceCalc, этот алгоритм не воспроизводит логику работы специалиста-полиграфолога, пользующегося традиционными критериями оценки.
The computerized evaluation system differs FUNDAMENTALLY from systems used by human examiners. These two methods of chart evaluation use different scoring criteria and weight the channels differently. The algorithm does not mimic traditional chart interpretation. PolyScore processes information from the charts in a way which is different from the traditional method and on occasion will be DIFFERENT from your scores.
PolyScore разработан на основе так называемой прецедентной экспертной системы с использованием обширной структурированной обучающей выборки, и оперирует только ей понятными параметрами. Например, к числу информативных, среди прочих, эта система относит такие параметры, как:
- Upper Respiration 80th Percentile
- Blood Volume Derivative 75th Percentile
Нормальным языком объяснить, что собой представляют эти параметры очень сложно, а уж оценивать их экспертно просто невозможно.
С уважением,
АВР |
|
| Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010
Сообщения: 2616
Откуда: Вологда
|
| Добавлено: Вс Ноя 18, 2012 3:34 pm Заголовок сообщения: |
|
|
| ABP писал(а): | ... Дело в том, что PolyScore-обсчет В ПРИНЦИПЕ, нельзя применять к отдельным полиграммам. Результаты могут быть «ошарашивающими», но, главное, невалидными. PolyScore применяется только к тесту в целом, то есть одновременно не менее чем к трем полиграммам. Для корректного анализа требуется не менее 8 проверочных вопросов...
|
Почему в таком случае прграмма дает заключение о вероятности ложности(правдивости) ответа опрашиваемого по одному тесту (предъявлению), а не требует для корректного заключения не менее 4 тестов (предъявлений)?
Получается, что программа запутывает полиграфолога (вводит в заблуждение)? |
|
| Вернуться к началу |
|
|
Дойчев
Зарегистрирован: 18.12.2006
Сообщения: 1469
Откуда: Новосибирск
|
| Добавлено: Пн Ноя 19, 2012 5:10 am Заголовок сообщения: |
|
|
Программа не может "запутать" полиграфолога, который должен знать, что по одному предъявлению каких-либо окончательных выводов делать нельзя. Ощутить тенденцию в реагировании по анализам "от предъявления к предъявлению" можно, но окончательный вывод - не менее чем по трем!
OSS, кстати, отказывается считать менее трех предъявлений.
_________________
А мы все ставим каверзный ответ
И не находим нужного вопроса... |
|
| Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010
Сообщения: 2616
Откуда: Вологда
|
| Добавлено: Пн Ноя 19, 2012 8:07 am Заголовок сообщения: Re: PolyScore: Глюк в обсчете? |
|
|
А какая тенденция ощущается в заключениях программы в приведенном примере? (я не про глазки)
| $erP писал(а): |
На явно "непричастной" полиграмме_1, реакции на релевантные вопросы полискор посчитал действительно "непричастными", но итоговый вывод из "непричастных" реакций сделал обвинительный.
А из первой и второй раздельно "причастных", по его мнению, полиграмм сделал общий оправдательный вывод.
|
Если, что-то делать в принципе нельзя, но программа делает, то наверное чуть-чуть, но можно?  (это и запутывает)
| Дойчев писал(а): |
...OSS, кстати, отказывается считать менее трех предъявлений.
|
Запутывает логика принятия решения программой- на каждый вопрос по отдельности вероятность ложности ответа черезвычайно мала, а на оба вопроса в совокупности вероятность ложности ответа черезвычайно высока. Вероятность ложности ответа по каждому предъявлению теста в отдельности черезвычайно высока, а в совокупности вероятность ложности ответа черезвычайно мала.
Либо используемую логику надо доводить до пользователя во всех подробностях, либо исключить доведение промежуточных результатов до пользователя дабы не вводить в искушение и не пробуждать дъявола сомнения.  |
|
| Вернуться к началу |
|
|
Игорь Петрович
Зарегистрирован: 10.01.2007
Сообщения: 867
Откуда: Киев
|
| Добавлено: Пн Ноя 19, 2012 1:24 pm Заголовок сообщения: |
|
|
Если по американским стандартам решения принимаются только на основании компьютерного обсчета, то понятно почему столько критики, а тем более в принятии судами выводов полиграфного тестирования. Если непонятна логика принятия программой решения, то как ее можно вообще вопринимать как объективную. Ручной обсчет в большинстве случаев более уверенный.
_________________
Вы даже не подозреваете сколько интересного о вас знают те, о существовании которых вы даже не догадываетесь ;) Украинское бюро психофизиологических исследований и безопасности. www.spfi.com.ua |
|
| Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010
Сообщения: 2616
Откуда: Вологда
|
| Добавлено: Пн Ноя 19, 2012 1:24 pm Заголовок сообщения: |
|
|
Приведенные полиграммы напомнили мне случай. Опрашиваю даму. Дал два предъявления теста. Реагирование "идеально непричастное" в обоих предъявлениях. Я "из вредности" собираюсь сделать третье предъявление. Мадам выражает озабоченность, что опрос затягивается на время большее, чем она располагает. Я отвечаю, что мол это не прихоть, таковы требования методики и следователь мол не примет у меня результат если нарушу методику- придется все по новой. Дама соглашается. Я делаю третье предъявление и опачкии... в третьем предъявлении "идеально причастное" реагирование. Очевидно, в сознание мадам вклинился следователь и попортил полиграммы. Я понял, что допустил ошибку и прекратил опрос.
Последний раз редактировалось: York (Пн Ноя 19, 2012 11:05 pm), всего редактировалось 1 раз |
|
| Вернуться к началу |
|
|
kartes
Зарегистрирован: 11.04.2011
Сообщения: 66
Откуда: Москва
|
| Добавлено: Пн Ноя 19, 2012 9:30 pm Заголовок сообщения: |
|
|
_________________
Не стоит спорить с идиотом, ибо опустишься до его уровня, а там он задавит тебя опытом. |
|
| Вернуться к началу |
|
|
$erP
Site Admin
Зарегистрирован: 29.06.2005
Сообщения: 7864
Откуда: Москва
|
| Добавлено: Ср Ноя 21, 2012 1:12 pm Заголовок сообщения: |
|
|
| ABP писал(а): | | Сережа, ты просто НЕПРАВИЛЬНО применяешь PolyScore. |
Александр, как всегда, большое спасибо за представленные разъяснения и участие в обсуждении темы.
Вместе с тем, следует отметить, что представленный пример никоим образом не относится к иллюстрации ПРИМЕНЕНИЯ PolyScore. Особенно мной. Или кем-то еще.
ПРИМЕНЕНИЕ PolyScore - это ориентировка на вывод по результатам всего проведенного теста. В данном же случае ни всего теста, ни вывода по его результатам здесь нет.
В данном случае был предложен фрагмент из анализа результатов тестирования с помощью PolyScore, который своей противоречивостью ставил целью заставить задуматься о том, как происходит такая оценка, как может происходить соединение отдельных составляющих анализа полиграмм в единое целое и насколько безоглядно ему можно было бы довериться.
Свою цель материал достиг. Но, особенно с учетом твоих комментариев, больше оставил вопросов, чем дал ответов.
Ведь совершенно очевидно, что разработчики, предоставив возможность анализировать с помощью PolyScore отдельные полиграммы, декларируют, что и к одной полиграмме применима общая логика формул и расчетов. И разница в анализе одной полиграммы и четырех полиграмм - это лишь разница в конечной валидности и надежности PolyScore.
Если же применительно к одной отдельной полиграмме PolyScore использует один алгоритм оценки, заведомо не обеспечивающий даже близко достоверный вывод, а точный алгоритм начинает подключаться только тогда, когда в анализ берется 3 или 4 полиграммы, то надо было сразу заявить, что базовые логические принципы типа "от частного к общему" вообще никуда не годятся. И зачем тогда давать возможность "посмотреть" на обсчет одной-двух полиграмм? Для примера совершено верно здесь уже отмечено - OSS не дает результатов для менее чем 3-х предъявлений теста. И все тут.
_________________
Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
| Вернуться к началу |
|
|
ABP
Зарегистрирован: 28.09.2005
Сообщения: 145
Откуда: г. Москва
|
| Добавлено: Чт Ноя 22, 2012 10:01 pm Заголовок сообщения: |
|
|
| Цитата: | | Получается, что программа запутывает полиграфолога (вводит в заблуждение)? |
| Цитата: | | совершенно очевидно, что разработчики, предоставив возможность анализировать с помощью PolyScore отдельные полиграммы, декларируют, что и к одной полиграмме применима общая логика формул и расчетов. |
Каждый инструмент предназначен только для той цели, для которой он был создан. Что здесь непонятно? В среде федеральных полиграфологов в США всегда существовал действующий и ныне стандарт, в соответствии с которым любое тестирование на полиграфе должно проходить независимую оценку другим полиграфологом, на принимавшем участие в проведении исходного тестирования. Учитывая масштабы применения полиграфа в федеральных ведомствах США, становится понятно, что даже такое, на первый взгляд, элементарное мероприятие, как независимая оценка полиграмм, сопряжено с большими организационными, временными и финансовыми затратами. Особенно остро проблема проведения независимой экспертизы имеет место при использовании полиграфа в экстремальных условиях – в ходе военных действий, в интересах разведки, при выездных расследованиях и т.д.
Поэтому в 1989 году, как только появились первые компьютерные полиграфы, Институт полиграфа Минобороны США принял решение о разработке компьютерного варианта независимой оценки результатов тестирования на полиграфе, которая получила на внутреннем сленге название «второе мнение» (second opinion). Соответствующий заказ был размещен в Лаборатории прикладной физики университета им. Джона Хопкинса, в ее лучшем подразделении – Департаменте стратегических исследований, который всегда привлекается Минобороны и НАСА для разработки самых сложных и важных проектов. Соответствующее участие в финансировании создания нового алгоритма приняло и ЦРУ. Именно так в начале 90-х появился PolyScore, единственной целью которого была независимая оценка полиграмм и принятие решения по результатам тестирования, выполненного полиграфологом-человеком. Эта система не создавалась для исследовательских целей и не предназначалась для изучения тенденций изменения реакций тестируемого от полиграммы к полиграмме. Только оценка результатов теста в целом, причем не из любопытства, а в интересах обеспечения национальной безопасности. Это последнее обстоятельство всегда подчеркивалось, поэтому у федеральных полиграфологов и мысли не возникало использовать PolyScore по какому-либо иному назначению.
Более того, данный алгоритм разрабатывался только для двух наиболее широко применяемых форматов тестов – федерального Зонового (ZCT) и Модифициорованного теста основных вопросов (MGQT), каждый из которых требует получения не менее трех полиграмм (ту часть программы, которая оценивает Тест пика напряжения, пока не рассматриваем). Поэтому разработчики всегда подчеркивали, что НЕ ГАРАНТИРУЮТ валидную работу алгоритма PolyScore с другими форматами – Бэкстера, Марси, Артера, Матте, Гордона и др. (эти «др.» включают и все форматы российского происхождения). Все это всегда говорилось четко и откровенно. Поэтому не понятно, какие еще претензии можно предъявлять к разработчикам PolyScore? С поставленной перед ними задачей они справились неплохо.
Рекомендую всем пользователям полиграфа Lafayette и алгоритма PolyScore внимательно отнестись к приведенной выше информации.
АВР
P.S.
| Цитата: | | Если по американским стандартам решения принимаются только на основании компьютерного обсчета, |
Этот тезис совершенно не соответствует действительности. Не понятно, откуда и для чего появляется такая информация? |
|
| Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010
Сообщения: 2616
Откуда: Вологда
|
| Добавлено: Чт Ноя 22, 2012 10:47 pm Заголовок сообщения: |
|
|
Значит все другое только вручную. Теперь понятно.
_________________
http://skl-ol.ru |
|
| Вернуться к началу |
|
|
Дойчев
Зарегистрирован: 18.12.2006
Сообщения: 1469
Откуда: Новосибирск
|
| Добавлено: Пт Ноя 23, 2012 5:48 am Заголовок сообщения: |
|
|
| ABP писал(а): | | ...Эта система ... не предназначалась для изучения тенденций изменения реакций тестируемого от полиграммы к полиграмме |
Так как это "в мою сторону", поясню. "Гибкость" Lafayette в том числе и в том, что можно менять порядок вопросов в ходе предъявления теста. Если я, например, при скрининговом обследовании в первом предъявлении "глазом" увидел чуть более значимую реакцию на какой-то стимул, да и еще "промежуточный" PolyScore показывает мне "туда же", я иногда при следующем предъявлении перед таким стимулом ставлю "зеленый" вопрос и у меня получается нечто вроде "микрозоны", результат которой - дополнительная полезная информация для итоговой оценки. Не знаю, насколько такой "приемчик" корректен теоретически, но в работе помогает практически... 
_________________
А мы все ставим каверзный ответ
И не находим нужного вопроса... |
|
| Вернуться к началу |
|
|
ЮРЬЕВ
Зарегистрирован: 18.04.2006
Сообщения: 3434
Откуда: Краснодар
|
| Добавлено: Пт Ноя 23, 2012 7:43 am Заголовок сообщения: |
|
|
| ABP писал(а): | | единственной целью которого была независимая оценка полиграмм и принятие решения по результатам тестирования, выполненного полиграфологом-человеком. |
Правильно я понял, что PolyScore заменил независимую оценку "другим полиграфологом, не принимавшим участие в проведении исходного тестирования"?
Т.е., если выводы PolyScore не совпадают с выводами полиграфолога, проводившего исходное тестирование, этот полиграфолог в случае "внутреннего" не согласия с выводами PolyScore, должен или принять выводы PolyScore как второго эксперта (и выдать "правильный" непротиворечивый результат для поддержания своего реноме), или все же не согласиться с ними и признать, что провел два часа тестирования впустую?
Если так, то разве это не подталкивает полиграфолога периодически (наедине с самим собой и безликим, но столь "авторитетным" алгоритмом) соглашаться с выводами "второго независимого эксперта" PolyScore, даже если внутренне он считает свои собственные выводы более правильными и обоснованными? |
|
| Вернуться к началу |
|
|
ABP
Зарегистрирован: 28.09.2005
Сообщения: 145
Откуда: г. Москва
|
| Добавлено: Вс Ноя 25, 2012 11:02 pm Заголовок сообщения: |
|
|
| Цитата: | Правильно я понял, что PolyScore заменил независимую оценку "другим полиграфологом, не принимавшим участие в проведении исходного тестирования"?
Т.е., если выводы PolyScore не совпадают с выводами полиграфолога, проводившего исходное тестирование, этот полиграфолог в случае "внутреннего" не согласия с выводами PolyScore, должен или принять выводы PolyScore как второго эксперта (и выдать "правильный" непротиворечивый результат для поддержания своего реноме), или все же не согласиться с ними и признать, что провел два часа тестирования впустую?
Если так, то разве это не подталкивает полиграфолога периодически (наедине с самим собой и безликим, но столь "авторитетным" алгоритмом) соглашаться с выводами "второго независимого эксперта" PolyScore, даже если внутренне он считает свои собственные выводы более правильными и обоснованными? |
Уважаемый Юрьев!
Вам лично когда-нибудь приходилось работать в экстремальных условиях, а именно, в ситуации катастрофического дефицита времени и при колоссальной ответственности за принимаемое решение? В ситуации, когда посоветоваться не с кем, а решение нужно принять немедленно? Никого нет рядом. Единственный помощник – это компьютер, которому ты доверяешь. Но решение все равно принимаешь ты сам. Это не лирика. Это практика работы некоторых полиграфологов. Поэтому не надо упрощать ситуацию.
АВР |
|
| Вернуться к началу |
|
|
ABP
Зарегистрирован: 28.09.2005
Сообщения: 145
Откуда: г. Москва
|
| Добавлено: Вс Ноя 25, 2012 11:31 pm Заголовок сообщения: |
|
|
| Цитата: | | Так как это "в мою сторону", поясню. "Гибкость" Lafayette в том числе и в том, что можно менять порядок вопросов в ходе предъявления теста. Если я, например, при скрининговом обследовании в первом предъявлении "глазом" увидел чуть более значимую реакцию на какой-то стимул, да и еще "промежуточный" PolyScore показывает мне "туда же", я иногда при следующем предъявлении перед таким стимулом ставлю "зеленый" вопрос и у меня получается нечто вроде "микрозоны", результат которой - дополнительная полезная информация для итоговой оценки. Не знаю, насколько такой "приемчик" корректен теоретически, но в работе помогает практически... |
Дорогой Дойчев!
Если я Вас правильно понимаю, то Вы, имея ввиду скрининг, все делаете правильно. Та часть алгоритма PolyScore, которая специально предназначена для оценки множества вариантов формата тестов «пика напряжения», фактически достаточно точно оценивает относительную силу реакций в анализируемом (скрининговом) ряду. Этот блок программы работает великолепно, но он не имеет никакого отношения к оценке результатов тестирования с использованием вопросов сравнения, о которых шла речь выше.
С почтением,
АВР |
|
| Вернуться к началу |
|
|
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
You cannot attach files in this forum
You cannot download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Поиск
Пользователи
Группы
Регистрация
Профиль
Войти и проверить личные сообщения
Вход
