|
ПОЛИГРАФ - ФОРУМ Для общения по теме " Детекция лжи "
|
Предыдущая тема :: Следующая тема |
Автор |
Сообщение |
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Пн Ноя 27, 2023 8:14 pm Заголовок сообщения: |
|
|
В ПО Полиграфа Диана данные теста сохраняются в файл, но в данных не сохраняется порядок следования вопросов в повторах тестов. Это обстоятельство доставляет определённое неудобство, вынуждая пользователей СППРП выставлять последовательность вопросов. Выполняя пожелания пользователей, с целью упростить анализ данных в программе выпущена версия 2.635 СППРП Сокол.
1. Теперь программа распознает тип загружаемого теста из файла и автоматически выставляет последовательность Пв и Кв в повторах теста так, как это предусмотрено в шаблоне теста в ПО полиграфа. Теперь, если порядок следования вопросов теста не меняли специально, выставлять порядок при загрузке файла в СППРП не надо
К шаблонам тестов в ПО Дианы (ЮТА, ЮТА (м) 4пв, 3Пв) добавлены два шаблона для тестов РУлетка и LEPET
2. Теперь в тестах типа DLST программа распознает один и тот же вопрос, если в вопросах совпадает более 70% слов. То есть, если изменен порядок слов, или присутствует ошибка в слове, программа определит вопрос как один и тот же, если не нарушено условие 70%.
3. Вопросы тестов теперь выводятся и в режиме анализа многотемного теста _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Вс Дек 03, 2023 2:07 pm Заголовок сообщения: |
|
|
Обнаружилось, что представители НШДЛ уже (а может и всегда) формулу лежащую в основе ChanceCalc - a не скрывают. А раз так то нет никаких этических препятствие у тому, что бы подробно объяснить как выводится формула Ликкена с помощью приципа включений-исключений (самый простой, легкий и понятный способ). А тем самым полностью закрыть гельштад порождённый вот этими этими темами
Д. Ликкен и ранжирование
Про GKT, ТФО и POT
Формула Ликкена
Формулу которую не утаивают представители НШДЛ можно сразу же получить из формулы Ликкена. Она расчитывает де факто p-value на распределении вероятностей общего суммарного ранга, распределение это рассчитывается по формуле Ликкена. Ещё там немножко о связи этих формул и знаменитого квантового Бозе-Эйнштейна )
Летков Ю. В. 2023. Формула Ликкена. PREPRINTS.RU. https://doi.org/10.24108/preprints-3112880
Летков Ю. В. 2023. Формула Ликкена. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
$erP Site Admin
Зарегистрирован: 29.06.2005 Сообщения: 7867 Откуда: Москва
|
Добавлено: Вс Дек 03, 2023 6:50 pm Заголовок сообщения: |
|
|
York писал(а): | Обнаружилось, что представители НШДЛ уже (а может и всегда) формулу лежащую в основе ChanceCalc - a не скрывают. А |
Любопытно...
И где представители НШДЛ представили общественности на нескрываемое обозрение формулу, лежащую в основе ChanceCalc? _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Вс Дек 03, 2023 6:53 pm Заголовок сообщения: |
|
|
$erP писал(а): | York писал(а): | Обнаружилось, что представители НШДЛ уже (а может и всегда) формулу лежащую в основе ChanceCalc - a не скрывают. А |
Любопытно...
И где представители НШДЛ представили общественности на нескрываемое обозрение формулу, лежащую в основе ChanceCalc? |
В следующем номере "Деткции лжи" _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
$erP Site Admin
Зарегистрирован: 29.06.2005 Сообщения: 7867 Откуда: Москва
|
Добавлено: Пн Дек 04, 2023 5:34 pm Заголовок сообщения: |
|
|
Интрига... _________________ Мое почтение... $erP
................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Чт Янв 25, 2024 1:09 pm Заголовок сообщения: |
|
|
Всем коллегам, которые в 2023 году присылали полиграммы с известным решением огромное спасибо! Особое спасибо Володе Колесникову и его команде из Питера! Ребята вы стахановцы в мире полиграфологов, выдаёте на гора алмазы полиграмм! Новые полиграммы позволяют работать с алгоритмами и развивать их далее. Количество полиграмм имеет значение. Для обучению и повышения точности алгоритмов желательно иметь тысячи полиграмм...Это конечно мечта )
В 2023 году появилось два новых алгоритма. Назвал их Тензор и Правдоруб. Тензор - это производная от Вектора и работает получше предка (на имеющихся данных). В основе Правдоруба лежит алгоритм машинного обучения под названием "Случайный лес" (отсюда и название появилось)
Цитата: | Метод случайного леса (англ. random forest) — алгоритм машинного обучения, предложенный Лео Брейманом[1][2] и Адель Катлер[en], заключающийся в использовании ансамбля решающих деревьев. Алгоритм сочетает в себе две основные идеи: метод бэггинга Бреймана и метод случайных подпространств[en], предложенный Тин Кам Хо[en]. Алгоритм применяется для задач классификации, регрессии и кластеризации. Основная идея заключается в использовании большого ансамбля решающих деревьев, каждое из которых само по себе даёт очень невысокое качество классификации, но за счёт их большого количества результат получается хорошим. |
Для справки
Цитата: | Машинное обучение (англ. machine learning, ML) — класс методов искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счёт применения решений множества сходных задач. |
Среди обывателей СМИ распиарили нейросети как искусственный интеллект, а в реале это только один из классов алгоритмов искусственного интеллекта.
Вот для Правдоруба желательно как можно больше полиграмм - он очень хорошо обучается
Полиграммы присланные полиграфологами в 2023 году позволили проверить все алгоритмы на независимой выборке - на полиграммах на которых алгоритмы точно не обучались. Более старые полиграммы в той или иной мере участвовали в обучении. И например из-за особенностей обучения Правдоруба невозможно указать на каких полиграммах он обучался, так как его обучение проводилось на рандомных "кусках" полиграмм. Весь массив "кусков" делился 50 на 50 на обучающую и тестовую выборку.
На рисунке результаты алгоритмов на трёх выборках. Третья выборка - это независимые выборка за 2023 год. На старых полиграммах Правдоруб показал выдающиеся результаты. Например, на выборке из USA он не допустил ни одной ошибки. Но так как эти полиграммы своими частями участвовали в обучении, то надо было обязательно проверить его работу на независимой выборке. На неё он конечно не показал такой же точности, но тем не менее он показал наилучший результат по доле правильно классифицированных полиграмм при минимально совершенных ошибках.
В независимую выборку вошли 85 полиграмм, прошедшие цензурирование, с четырьмя каналами Дыхание/ЭДА/Манжета/ФПГ.
Ранжирование производилось по доле правильно классифицированных полиграмм, при совпадении рейтингов алгоритмы ранжировались по доле ошибок (чем меньше ошибок, тем лучше).
Наибольшая доля правильно классифицированных полиграмм с минимальной долей ошибок у Правдоруба. 2 – е место ПолиЛог, 3 - е OL второй версии.
Два алгоритма на 6 и 7 местах исключены из следующей версии СППРП.
Надеюсь, что вскором времени количество новых полиграмм в выборке будет доведено до 100 и можно будет включить их в обучение. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Пт Фев 16, 2024 10:15 pm Заголовок сообщения: |
|
|
Доступна новая версия СППРП "Сокол" 3.636 с новым алгоритмом на основе машинного обучения Правдоруб/truth-teller
Изменения
1. Программа запоминает размер главного окна. При запуске открывается с теми размерами с которыми была закрыта.
2. В окне для выбора данных полиграфа Триумф, для удобства восприятия, добавлена цветовая разметка типов вопросов
3. Для пользователей полиграфа Диана добавлена возможность добавлять/удалять собственные шаблоны тестов. Шаблоны тестов в СППРП различаются количеством Пв и Вс стимулов, количеством предъявлений теста, и последовательностью стимулов в предъявлениях
4. Добавлены два новых алгоритма "Правдоруб" (Сλtt) и "Тензор" (СλТ). Оба алгоритма имеют своими "предками" алгоритмы Сокол и Вектор. В основе "Правдоруб" - а лежит алгоритм машинного обучения "Случайный лес" (англ. Random Forest). Машинное обучение это раздел такой компьютерной науки как "Искусственный интеллект".
"Правдоруб" обучался на отобранных случайным образом 50% имеющихся метрических данных тестов с известным решением. На имеющихся данных (50% обучающая выборка и 50% тестовая выборка) "Правдоруб" показал наилучшие результаты в сравнении с остальными алгоритмами СППРП. На случайной выборке российских полиграмм он выдал ошибочный результат в трёх случаях, при трёх неопределённых результатах, иначе 94 правильных результата из 100. На американской выборке он не допустил ни одной ошибки при двух неопределённых результатах.
На новой выборке российских полиграмм 2023 года (в обучении алгоритмов не участвовала) "Правдоруб" выдал наибольшее количество правильных решений - 84%, при минимальном количестве неопределённых результатов - 8%
5. Обучен новый мета оценщик. На выборке 2023 года он показал отличные результаты: 87% правильных решений, 7 % неопределённых результатов, 6% ошибочных решений. Положительная предсказательная ценность 96 % - это оценка на выборке вероятности того, что ОЛ действительно лгал, при условии, что алгоритм выдал решение "Диагностирована ложь". Отрицательная прогностическая ценность 94% - это оценка на выборке того, что ОЛ действительно правдив, если алгоритм выдал решение "Диагностирована правда".
6. Теперь в версии 3.636 с исключенным дыханием работают три алгоритма (не считая CombiCalc v2): OL, "Правдоруб" и "Тензор". Поэтому появилась возможность обучить мета оценщик на этих трёх алгоритмах, для случая исключенного дыхания. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Пт Фев 16, 2024 10:20 pm Заголовок сообщения: |
|
|
Алгоритм случайного леса (Random Forest) — универсальный алгоритм машинного обучения, суть которого состоит в использовании ансамбля решающих деревьев. Само по себе решающее дерево предоставляет крайне невысокое качество классификации, но из-за большого их количества результат значительно улучшается. Также это один из немногих алгоритмов, который можно использовать в абсолютном большинстве задач.
Дерево решений — метод автоматического анализа больших массивов данных. Это эффективный инструмент интеллектуального анализа данных и предсказательной аналитики. Он помогает в решении задач по классификации и регрессии.
Дерево решений представляет собой иерархическую древовидную структуру, состоящую из правила вида «Если …, то ...». За счет обучающего множества правила генерируются автоматически в процессе обучения.
В отличие от нейронных сетей, деревья как аналитические модели проще, потому что правила генерируются на естественном языке: например, «Если реклама привела 1000 клиентов, то она настроена хорошо».
Правила генерируются за счет обобщения множества отдельных наблюдений (обучающих примеров), описывающих предметную область. Поэтому их называют индуктивными правилами, а сам процесс обучения — индукцией деревьев решений. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Пн Мар 18, 2024 1:32 pm Заголовок сообщения: |
|
|
Сделал телеграмм канал для пользователей программы
Алгоритмы Сокола
Выложил в нем подробную справку по последней версии программы и видеоинструкции. Там же можно обращаться ко мне с вопросами по любому пункуту. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Сб Июл 20, 2024 12:46 pm Заголовок сообщения: |
|
|
Выложена версия СППРП Сокол 3.637
Добавлены
1. Для пользователей ПО Диана возможность загружать метрические данные в СППРП Сокол сразу из файла формата docx, который формируется в ПО Дианы. Теперь нет необходимости сохранять данные в файл формата html
2. Алгоритм поиска выбросов в метрических данных для ТВС
Стоимость программы, начиная с версии 3.637 5000 руб. (при приобретении одной лицензии вторая на другой компьютер бесплатно).
Для пользователей, которые приобретали лицензию на предыдущие версии программы, версия 3.637 доступна бесплатно, но придётся получить новый файл лицензии. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Сб Ноя 23, 2024 1:59 pm Заголовок сообщения: |
|
|
Выпущена версия СППРП "Сокол" 3.638
1. Существенные изменения в графическом интерфейсе. Улучшено отображение элементов программы при масштабировании экрана 125%.
2. Исправлены некоторые небольшие ошибки, в том числе а некорректная работа программы с тестами типа DLST и DLDT с использованием алгоритма
"Сокол" в режиме МТТ (многотемный тест)
3. Изменен алгоритм работы программы с тестами типа DLST и DLDT, с одинаковыми вопросами. Теперь программа распознает одинаковые вопросы на стадии загрузки данных, и производит раскраску комбобоксов. Удалить один из вопросов можно одним щелчком мыши. Работа и анализ DLST стали намного удобнее
4. Внедрён алгоритм группового анализа теста
5. Добавлена функция "Контроль качества" контрольных вопросов
6. Появилась возможность выводить гистограммы алгоритма Combi Calc совместно с вопросами теста в отдельном окне
7. Включена возможность скрыть результаты (вероятности) алгоритмов, если они не дотягивают до порога принятия решения (до 90% достоверности)
8. В окне результатов метаоценщика можно отключить вывод результатов других алгоритмов
9. Обеспечена работа программы с тестами, обозначениями типов вопросов, с файлами docx, которые генерирует ПО Диана 8
10. Внедрена технология drag&drop _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
|
Вернуться к началу |
|
|
York
Зарегистрирован: 29.09.2010 Сообщения: 2651 Откуда: Вологда
|
Добавлено: Ср Янв 08, 2025 11:15 am Заголовок сообщения: |
|
|
Провел обучение алгоритмов с кросс-валидацией на последних данных. Можно ознакомиться с результатами. Много чисел. Можно посмотреть только на результаты Мета оценщика. Там чисел не много. Наибольший интерес для полиграфологов должны представлять три показателя: Нет решения, ППЦ и ОПЦ
2025. О точности алгоритмов СППРП "Сокол"
Пару слов по поводу Мета оценщика. зачем все это и столько разных алгоритмов. Ну главное это для того, что бы из имеющихся данных вытянут максимум полезной информации. Из тех данных, что имеются. А ведь имеющиеся данные весьма разнородны. Разные тесты, с разным количеством проверочных и контрольных вопросв, с разным количеством предъявлений, с разным количеством использованных физиологических каналов. Так что если собрать пусть и несколько сотен таких полиграмм, при упорядочивании они распадаются всего лишь на десятки...
Имеется в математике теорема Кондорсе "о жюри присяжных".
Если каждый член жюри присяжных имеет независимое мнение, и если вероятность правильного решения члена жюри больше 0.5, то тогда вероятность правильного решения присяжных в целом возрастает с увеличением количества членов жюри и стремится к единице.
Есть такой эффект как "мудрость толпы"
Фрэнсис Гальтон в 1906 году посетил рынок, где проводилась некая лотерея для крестьян. Их собралось около 800 человек, и они пытались угадать вес быка, который стоял перед ними. Бык весил 1198 фунтов. Ни один крестьянин не угадал точный вес быка, но Гальтон посчитать среднее от их предсказаний, и получим 1197 фунтов - почти точное значение веса.
Вот так и в СППРП "Сокол" комитет алгоритмов показывает лучшую точность, чем каждый из алгоритмов в отдельности. И для мета оценщика не надо заботится о количестве пв, кв, предъявлений, и каналов. _________________ http://skl-ol.ru
https://t.me/skl_ol |
|
Вернуться к началу |
|
|
|
|
Вы не можете начинать темы Вы не можете отвечать на сообщения Вы не можете редактировать свои сообщения Вы не можете удалять свои сообщения Вы не можете голосовать в опросах You cannot attach files in this forum You cannot download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|