|
ПОЛИГРАФ - ФОРУМ Для общения по теме " Детекция лжи "
|
Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
Владимир (Питер)
Зарегистрирован: 07.11.2006 Сообщения: 1041 Откуда: С. Петербург
|
Добавлено: Пт Июн 10, 2022 3:07 pm Заголовок сообщения: |
|
|
Юрий, совсем запутал
иной раз действительно думаешь, что лучшее враг хорошего |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Пт Июн 10, 2022 3:23 pm Заголовок сообщения: |
|
|
Владимир (Питер) писал(а): | Юрий, совсем запутал
иной раз действительно думаешь, что лучшее враг хорошего |
Владимир, а в чём запутал? Мета-алгоритм достаточно обычная штука в анализе данных. В полиграфологии американцы этого наверное не делали. Это да. Вот в ПО Лафайета много разных алгоритмов, а мета-оценщика вроеде нет.
И если там нет мета-щценщика, то они никого не запутывают? А у нас пояаился, то сразу и запутываем?
Мета-оцещик может помочь принять решение, когда алгоритмы "смотрят" в разные стороны (плохая физиология). И главное, что он обладает лучшими характеристиками чем каждый алгоритм в отдельности.
И прямо говря, лучшими характеристиками чем человек-оценщик. Хотя я не нисколько не покушаюсь на "святой грааль". Окончательная отвественность за принятие решения вс1-таки лежит на человеке.
Вот пример помощи от мета-оценщика. Полиграмма с КРИС-а
Все алгоритмы СППРП смотрят в одну сторону - в обвинение. Но каждый из них недотагивает до границы принятия решения. Т.е. каждый даёт inc. А вот оба мета-оценщика принимают решение о лжи. И решение это правильное. Жулик врал. А принимают они его на сонове результатов алгоритмов. Один уже факт того, что они "смотрят в одну сторону" говрит о многом.
ПС На этом экране для алгоритмов не используются пороги принятия решений (для алгоритмов, для мета-щценщиков используются). Например если алгоритм вычисляет, что вероятность значимости больше 50%, то пишется "Диагностировна значимость" и выделяется красным цветом. _________________ http://skl-ol.ru
Последний раз редактировалось: York (Пт Июн 10, 2022 7:04 pm), всего редактировалось 3 раз(а) |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Пт Июн 10, 2022 4:11 pm Заголовок сообщения: |
|
|
Владимир (Питер)
Может быть запутывает то, что в реальности разные алгоритмы могут выдать противоположные результаты?
С точки зрения менеджмента, маркетинга, и рекламинга такие вещи говорить, конечно, нежелательно. Но в реальности, увы, всё не так как в рекламе.
Попытаюсь объяснить на примере совершенно простого объекта - монетки . У неё самая простая вероятностная модель - 50/50. Но эта модель соответствует идеалной монете, каковых не существует в природе. У качественных монет правильная модель близка к 50/50, но всё-таки отличается. А если нам попадётся плохая монета, то предсказания в отношении её на основе модели 50/50 дадут плохой результат. Что бы его улучшить мы можем взять другую модель. Например 30/70. И о чудо! Наши предсказания стали точнее!
А теперь нам дали другую монету. Мы используем в отношении неё модель 30/70 и нащи предсказания снова плохие потому, что эта модель плохо соотвествует новой монетке. Тогда мы берём модель 70/30 и снова предсказания улучшаются. А дальше нам каждый раз случайным образом дают какую-то из двух этих монет и просят делать предсказания.
Можно в этом случае делать предсказания только на основе одной какой-то модели. Но если мы "соорудим" мета-предсказатель на основе этих двух моделей, то почти наверняка качество пресказаний улучшится по сравнению с использованием одной какой-то модели.
Тут конечно нет прямой аналогии с классификацией полиграмм, но в целом "довольно близко к тексту" _________________ http://skl-ol.ru
Последний раз редактировалось: York (Пт Июн 10, 2022 7:07 pm), всего редактировалось 3 раз(а) |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Пт Июн 10, 2022 6:56 pm Заголовок сообщения: |
|
|
Владимир (Питер)
Я про мета-алгоритмы говорил ещё на Сочинской конференции в прошлом году. Говорил зачем, почему и что это одна из моих целей. Но похоже, что люди запомнили разве, что "курицу", и вряд ли что-то ещё
Может быть пример с монеткой не совсем понятен. Приведу пример, который давал на конференции. На картинке условное реагирование, которое может встретиться как у правдивого так и у лживого.
Если алгоритм предусматривает сравнение ПВ с левым КВ, например Сокол, алгоритм будет свидетельствовать в пользу обмана. А алгоритм в котором предусматривается сравнение ПВ с КВ с наибольшей реакцией будет свидетельствовать в пользу правдивости.
И главное то, что в каких-то случаях и первый и второй алгоритмы будут ошибаться. И это не зависимо от того автоматический ли это алгоритм, или экспертный. Задача же мета-алгоритма состоит в том. что бы учитывая известные особенности каждого из алгоритмов всё-таки направить решение в правильную сторону. Или по-крайней мере уберечь от неправильного решения (inc)/
На этом примере может показаться, что мета-алгоритм должен увеличивать количество результатов "нет решения". Но это только кажкться. Фактически мета-алгоитм уменьшает минимизирует количество "нет решения". _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Пт Июн 10, 2022 9:46 pm Заголовок сообщения: |
|
|
York писал(а): |
Владимир, а в чём запутал? Мета-алгоритм достаточно обычная штука в анализе данных. В полиграфологии американцы этого наверное не делали. Это да. Вот в ПО Лафайета много разных алгоритмов, а мета-оценщика вроеде нет.
|
И что бы не показаться голословным
Цитата: |
Мета-алгоритм
Мета-алгоритм - это метод объединения других алгоритмов. Идея заключается в том, чтобы объединить опыт нескольких экспертов, чтобы получить окончательное заключение, аналогичное нашему голосованию. Метод продвижения является наиболее часто используемым методом в задачах классификации. Он изучает несколько классификаторов, изменяя вес обучающих выборок, и линейно объединяет эти классификаторы
|
Цитата вот отсюда
Глава 7 «Практика машинного обучения» - мета-алгоритм AdaBoost
Владимир! Если я не распутал то, что умудрился запутать в твоём восприятии, отпишись, пожалуйста, поясни. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
Владимир (Питер)
Зарегистрирован: 07.11.2006 Сообщения: 1041 Откуда: С. Петербург
|
Добавлено: Пн Июн 20, 2022 3:12 pm Заголовок сообщения: |
|
|
Юра, теперь все понятно ))
действительно как-то пролетела мимо меня твоя та картинка в Сочи |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Вт Июн 21, 2022 10:20 pm Заголовок сообщения: |
|
|
Сделал сравнительный обзор результатов алгоритмов на различных выборках. Там, например, есть такие строки
Цитата: |
Результаты алгоритмов на выборке с Манжетой значительно лучше, чем на выборке с ФПГ. F-метрика заметно больше, а показатель «нет решения» примерно в два раза меньше. Это подтверждает утверждение о том, что ФПГ обладает худшими дискриминационными свойствами по сравнению с Манжетой. Вместе с тем результаты алгоритмов на российской выборке с Манжетой остаются хуже, чем на американской выборке. Особенности это касается показателей «нет решения».
|
В основном там табицы с числами и выводы из этих чисел. Обзор, как и некоторые другие материалы, можно найти перейдя по ссылке Новости сайта СППРП Сокол _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
$erP Site Admin
Зарегистрирован: 29.06.2005 Сообщения: 7865 Откуда: Москва
|
Добавлено: Ср Июн 22, 2022 8:53 am Заголовок сообщения: |
|
|
York писал(а): | Результаты алгоритмов на выборке с Манжетой значительно лучше, чем на выборке с ФПГ. F-метрика заметно больше, а показатель «нет решения» примерно в два раза меньше. Это подтверждает утверждение о том, что ФПГ обладает худшими дискриминационными свойствами по сравнению с Манжетой. Вместе с тем результаты алгоритмов на российской выборке с Манжетой остаются хуже, чем на американской выборке. Особенности это касается показателей «нет решения». |
York, видимо, для полной корректности нужно понимать, что данные выводы "лучше - хуже" основаны не на оценке ФПГ вообще, а только одного определённого параметра, измеренного одним определённым образом... да? _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Ср Июн 22, 2022 9:43 am Заголовок сообщения: |
|
|
$erP
Выводы "лучше-хуже" в обзоре сделаны на основе результатов алгоритмов на выборках полиграмм. Основными параметрами при этом выступают F-метрика (по существу это точность алгоритма на выборке, её правильнее использовать для несбалансированных выборок - это когда количество лживых/правдивых в выборке не одинаково) и параметр inc (нет решения).
В выборку с одной ФПГ включались все полиграммы при записи которых, Манжета не использовалась. И те полиграммы где использовалась и Манжета и ФПГ, но манжета не включалась в анализ алгоритмов.
В выборку с одной Манжетой включались все полиграммы при записи которых Манжета использовалась, но не ФПГ. И те полиграммы где использовались и Манжета и ФПГ, но ФПГ в анализ не бралась.
В случае первой выборки полученные значение F - метрики у всех алгоритмов заметно меньше, чем в случае второй выборки. А количество результатов "нет решения" в два раза больше. При таком результате можно не тратить время на стат тесты. Разница в два раза не может быть не значимой статистически, при таких размерах выборок.
Кроме того использовалась и третья выборка в которую брались те же полиграммы, но и с Манжетой и с ФПГ. У этой выборки полученные значения F-метрик увеличились, а "нет решения" уменьшились относительно первой выборки. Т.е. использование Манжеты привело к повышению дискриминационной эффективности алгоритмов.
Материл я назвал "сравнительным обзором результатов алгоритмов на различных выборках". Но можно сделать всё строже. Взять ровно одни и те же полиграммы: с Манжетой и ФПГ, и исключая их, провести сравнение результатов с определением статистической значимости _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
$erP Site Admin
Зарегистрирован: 29.06.2005 Сообщения: 7865 Откуда: Москва
|
Добавлено: Ср Июн 22, 2022 9:52 am Заголовок сообщения: |
|
|
York, честно говоря, не совсем понимаю, что такое F-метрика, которая выступает основными параметрами...
В ФПГ измеряли то что? Прям сразу F-метрику? или сначала какой-то ФПГшный параметр, а потом применительно к нему использовали F-метрику? _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Ср Июн 22, 2022 10:27 am Заголовок сообщения: |
|
|
$erP
F- метрика это мера точности алгоритма классификации. Как и Accuracy. Но F в лучшей мере отражает точность алгоритма, если выборки несбалансированы. F-метрика вычисляется на основе результатов алгоритма на выборке, как например чкствительность, специфичность, точность и т.д. Чем больше F лучше алгоритм отработал. Максимум F это единица.
В ФПГ измерялся спазм, который в виде конкретных значений подавался на вход алгоитмов, как, например, и амплитуда КГР.
В выборке полиграмм полученных на КРИС-е в качестве показателя ФПГ измерялась длина линии ФПГ.
Если кратко, то вывод - эффективнсть алгоритмов классификации полиграмм при использовании Манжеты выше, чем при использовании только ФПГ.
ПС F-мера это незнакомый "зверь" для полиграфологов, он используется в анализе данных, в задачах классификации. Он не страшный, он белый и пушистый. _________________ http://skl-ol.ru
Последний раз редактировалось: York (Ср Июн 22, 2022 10:32 am), всего редактировалось 1 раз |
|
Вернуться к началу |
|
|
$erP Site Admin
Зарегистрирован: 29.06.2005 Сообщения: 7865 Откуда: Москва
|
Добавлено: Ср Июн 22, 2022 10:32 am Заголовок сообщения: |
|
|
York писал(а): | В ФПГ измерялся спазм, который в виде конкретных значений подавался на вход алгоитмов |
Да... вот это я и имел в виду.
Хотя теперь своим дополнением озадачили... York писал(а): | В выборке полиграмм полученных на КРИС-е в качестве показателя ФПГ измерялась длина линии ФПГ. |
То есть Вы, в итоге, смешали "спазм" одной выборки и ДЛ другой выборки? _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Ср Июн 22, 2022 10:39 am Заголовок сообщения: |
|
|
$erP
Нет, не смешивал. КРИС - овская выборка "выступала отдельно". В общую выборку из 374 полиграмм, она не входит. Хотя есть мысль, используя её, сравнить ДЛ ФПГ и спазм, посмотреть есть ли статистически значимая разница между этими параметрами для целей классификации. И если нет, то включить КРИС-овскую выборку в "общий зачёт", наравне со спазмом. _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Вт Июн 28, 2022 11:15 am Заголовок сообщения: |
|
|
Господа полиграфологи! Же не манж па сис жур...Подайте разработчику алгоритмов...
Учу Вектор и ПолиЛог работать с ТЗВ. У меня есть выборки ТЗВ с известным решением с ложью и правдой (ограниченного размера). Есть огромное количество САТ с именами. Но эти выборки без Манжеты, только с ФПГ. Есть некоторое количестово (небольшое) САТ-ов с фамилиями, именами, карточками с Манжетой. Но нет ТЗВ с правдой и манжетой.
Требуются ТЗВ с известным решением с Манжетой. Можно в виде САТ-ов. Но вот с правдой надо полевые ТЗВ с Манжетой. У полицейских полиграфологов такого добра должно быть в избытке. Но они не отсвечивают в реале, живут в мире АППГ и отчётов, приказов, распоряжений и указаний. И хотя пару раз они "выходили на связь". но сейчас пропали с радаров. Может прочтут эти строки и снова "всплывут"
_________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2619 Откуда: Вологда
|
Добавлено: Чт Июл 21, 2022 9:41 pm Заголовок сообщения: |
|
|
Выложил для скачивания версию 1.51 Из нового в ней алгоритм ПолиЛог и Мета-оценщик. Инструкцию как рабаотать с мета-оценщиком тут
Инструкция к 1.51 _________________ http://skl-ol.ru |
|
Вернуться к началу |
|
|
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах You cannot attach files in this forum You cannot download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|