Список форумов ПОЛИГРАФ - ФОРУМ ПОЛИГРАФ - ФОРУМ
Для общения по теме " Детекция лжи "
 
  На главную FAQFAQ   ПоискПоиск   ПользователиПользователи   ГруппыГруппы   РегистрацияРегистрация 
 ПрофильПрофиль   Войти и проверить личные сообщенияВойти и проверить личные сообщения   ВходВход 

Еще раз про статистическую значимость
На страницу Пред.  1, 2, 3 ... 11, 12, 13, 14  След.
 
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум
Предыдущая тема :: Следующая тема  
Автор Сообщение
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Ср Фев 27, 2019 11:04 pm    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
Да... теперь понятно... спасибо за разъяснения...
В принципе, да... так должно и быть... Если у нас есть в качестве образца квадрат, то при увеличении случайных точек, его заполняющих, они в своей совокупности и нарисуют квадрат...
Только заполнение квадрата случайными точками служит цели - для измерения площади какой то вписанной в него сложной фигуры (вместо круга может быть кленовый лист)... и чем больше точек - тем точнее измеряемая площадь...

А в соответствии с данными Вами разъяснениям получается, что монтекарловская генерация баллов ESS на основе имеющихся реальных баллов - это аналогично заполнению квадрата случайными точками просто так... именно для заполнения... а не для вычисления чего то более сложного...

Уже прям вот захотел было тоже помонтекарлить свои данные - алгоритм то генерации прост - да стало понятно, что именно в "классическом" варианте это действительно не имеет смысла...


Вы совершенно чётко сформулировали результат обсуждения. Методом Монте - Карло решаются разнообразные вычислительные задачи. Собственно это раздел и теорвера и вычислительной математики.

Кроме того bootstarp - генерацию выборок из имеющейся, используют для построения доверительных интервалов. Математику (доказательную) процесса сейчас помню смутно, как- нибудь на досуге надо бы поинтересоваться.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Чт Фев 28, 2019 11:34 am    Заголовок сообщения: Ответить с цитатой

$erP писал(а):
Я так понимаю, что основная мода на bootstarp в полиграфном исследовании пошла вот отсюда...
Теперь, когда понятно, что это такое и зачем, можно попытаться разобраться...


Ко всему, что делают американцы надо относиться очень критично. Их работы содержать замечательные сюр...призы.

Например, в одной из статей точный комбинаторный расчёт проверяли методом Монте - Карло. Зачем? Какой смысл в этом? Отсутствие ошибки в подобном расчёте проверяется элементарным суммированием, что проделать легко вручную, и лицизрением графического представления расчёта. Или они допускали, что результат Монте - Карло разойдётся с точным комбинаторным расчётом? Это просто смешно. Вообщем, это действие бессмысленное, разве, что придаёт дополнительныё вес статье благодаря эффекту "Wow! It's Cool!".

Другое просто смешное действие это

Цитата:

"Поскольку полевые проверки PDD оцениваются в целых числах, а не в действительных числах, нормативные параметры были усечены до целых чисел"


mean и std - числа по природе своей являются действительными числами, первое вычисляется суммированием и последующим делением полученной суммы на число слагаемых. Это дробное число! std да -к вообще получают путём извлечения корня квадратного! Но, блин, так как баллы это целые числа мы mean и std "кастрируем".

Тут приходит на ум такое сравнение: Так как в нашем офисе все работники чернокожие, а вы длинный и белый, то мы вам отрубим голову, чтобы вы хоть в этом не отличались от негров.

Это было ьы смешно, если б не было печально...

И это только верхушка айсберга.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Мар 01, 2019 12:16 pm    Заголовок сообщения: Ответить с цитатой

York писал(а):

Кроме того bootstarp - генерацию выборок из имеющейся, используют для построения доверительных интервалов. Математику (доказательную) процесса сейчас помню смутно, как- нибудь на досуге надо бы поинтересоваться.


Посмотрел старые записи - освежил память, доказательств не увидел. Одини предположения основанные на том, что полученная выборка "хорошая". Bootstarp позволяет не делать ни каких предположений о распределении, что актуально для полиграф. исследований и получить при этом доверительный интервал для интересующей статистики (допустим среднего балла ген. совокупности). Это конечно важно, но должно непременно соблюдаться условие, что выборка "хорошая", что на все 100 гарантировать невозможно, тем более, если её объём недостаточно велик. Если выборка достаточно большая, то велика вероятность того, что статистика ген. совокупности покрывается доверительным интервалом, который выдаст bootstarp.

В этом смысле бутстрепить смысл имеется).

Подчеркну специально --- нет смысла бутсрепить, чтобы получить точечную оценку статистики, а получить довер. интервал - есть.

Для полиграф исследований, не менее интерересен вариант использования bootstarp для сравнения двух выборок (принадлежность к одной ген. совокупности). Например, можно сравнить две выбоки, которые были получены разными полиграфологами, либо одним в разное время.

Для получения улучшенных точечных оценок какой - либо статистики можно воспользоваться таким неклассическим приёмом как jackknife, хотя это уже скорее не Монте - Карло.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Пт Мар 01, 2019 10:56 pm    Заголовок сообщения: Ответить с цитатой

Smile И небольшая задачка перед сном на пошевелить мозгами - успокоить нервы

Какя известная константа вычисляется с помощью Метода - Карло (извинюсь, не смотрю, что пишу - с помощью метода Монте - Карло))), на картинке, что мы расматривали ранее? И главное - как это делается?

Smile
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Пт Мар 01, 2019 11:39 pm    Заголовок сообщения: Ответить с цитатой

Ну, тут есть посдказка - число Пи. А вычисляется , скорее всего через через площадь сектора.
_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 02, 2019 12:11 am    Заголовок сообщения: Ответить с цитатой

Ответ верный, но не полный. Если мы узнали площадь сектора, то как найти чило Pi?
Smile

И ещё - глядя на рисунок можно сказать сколько на него попало точек не подсчитывая их кол - во.

ПС
Спрашиваю только для того, чтобы коллеги имели возможность прочувствовать суть и мощь обсуждаемого метода.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Сб Мар 02, 2019 12:32 am    Заголовок сообщения: Ответить с цитатой

Ну, по условием, ПИ - это соотношение между длинной окружности и её радиусом. В примере - можно вычислить через соотношение между количеством точек попавших в круг (площадь круга) и вне круга.
_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Сб Мар 02, 2019 1:37 am    Заголовок сообщения: Ответить с цитатой

в данной статье подробно разбирается то, как построили распределение OOS3 методом Монте - Карло.

Авторы упоминают про проблемы выборок. Их репрезентативность.
OSS3 построено на соотношениях значений R к С. Полагаю, что данная статья позволит оценить понимание Нельсона. [/img]

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 02, 2019 10:20 am    Заголовок сообщения: Ответить с цитатой

стр. 190

Цитата:
Data are
The new algorithm uses the mean
comparison value as suggested by Elaad
(1999), and is similar to previous OSS
versions in its use of a two-distribution
Gaussian model that was described by
Barland (1985). This is in contrast to the
single distribution bootstrap algorithm of
Honts and Devitt (1992), and the single
distribution permutation model of MacLaren
and Krapohl (2003). The new algorithm
differed substantially from previous versions
in its use of standardized values, weighted
averaging, and the use of Bootstrap
resampling to train normative data for feature
standardization, and the two distributions of
truthful and deceptive decision norms (see
Krapohl, Stern & Bronkema, 2002, for an
introduction to probability and distribution
models as these concepts apply to polygraph
scoring.) .


Гугло перевод

Цитата:
Данные
Новый алгоритм использует среднее
значение сравнения, предложенное Elaad
(1999), и похож на предыдущий OSS
версии в его использовании двух-дистрибутив
Гауссова модель, которая была описана
Барланд (1985). Это в отличие от
Алгоритм начальной загрузки
Хонц и Девитт (1992) и сингл
модель перестановки распределения Макларена
и Краполь (2003). Новый алгоритм
существенно отличался от предыдущих версий
в использовании стандартизированных значений, взвешенных
усреднение и использование Bootstrap
повторная выборка для обучения нормативных данных для функции
стандартизация, и два распределения
правдивые и вводящие в заблуждение нормы принятия решений (см.
Krapohl, Stern & Bronkema, 2002, для
введение в вероятность и распределение
модели, как эти понятия применяются к полиграфу
скоринг.)



Цитата:
Data are
further transformed by standardizing all
values for each component, using normative
parameters that were obtained through
bootstrap training


Цитата:
Данные
дальнейшее преобразование путем стандартизации всех
значения для каждого компонента, используя нормативное
параметры, полученные с помощью
bootstrap training



Цитата:
Variability will always be observed in a sample
or population, and it is assumed that some
degree of randomness will always be present.
As a result, test developers are always
concerned about the representativeness of a
sampling distribution, and the biasing effect of
even small departures from normality. The
classical solution to problems of normality
and representativeness is to construct
numerous sampling distributions from which
to calculate the sample parameters, and then
use the distribution of sampling distributions
as more robust population estimates than
could be obtained from a single sample.
Modern alternatives to the challenges of
constructing numerous sampling distributions
involve the use of computer intensive models
to gain maximum value from each sampling
distribution.
Bootstrapping involves the construction of an empirical bootstrap distribution of
resampled sets, with replacement, from the
sample data. Resampling is the equivalent of
pulling a number at random from a hat after
shaking, or randomizing, those numbers and
then returning each number to the hat and
then re-shaking or re-randomizing the
numbers before selecting each subsequent
number. This process is repeated
continuously to create a resampled
distribution of size equal to the sample from
which each random selection is drawn. The
process of constructing resampled
distributions is then repeated numerous times
to construct a bootstrap distribution of
resampled distributions. With each random
case selection, the probability of selecting a
case from within the normal range is dictated
by the law of large numbers and the central
limit theorem, which tell us that if we
completed this process a large number of
times, our parameter estimates will regress
towards the mean of the population
represented by the sample.
Bootstrapping can be employed in
nonparametric and empirical distribution
models and does not depend on normally
distributed data. Bootstrapping does assume
that sample data are representative of the
population, and bootstrapping will not correct
for sampling problems. Bootstrap
distributions are found to be normally
distributed when the underlying sample orpopulation data are normally distributed.
Bootstrapping methods can therefore provide
robust population estimates for use in
parametric statistics, and can also be used to
evaluate data for normality.


яндекс перевод

Цитата:
население, на котором будет использоваться тест.
Изменчивость всегда будет наблюдаться в выборке
или население, и предполагается, что некоторые
степень случайности всегда будет присутствовать.
В результате разработчики тестов всегда
обеспокоены представительности
Распределение выборки и эффект смещения
даже небольшие отклонения от нормы. Тот
классическое решение задач нормальности
и репрезентативности построить
многочисленные выборочные распределения, из которых
рассчитать параметры выборки, а затем
используйте распределение выборочное распределение
как более надежные оценки населения, чем
смогл быть получено от одиночного образца.
Современные альтернативы вызовам
построение многочисленных выборочных распределений
использование компьютерных интенсивных моделей
получить максимальное значение от каждого забора
распределение.
Bootstrapping включает в себя построение эмпирического Bootstrap распределения
пересчитанные наборы, с заменой, от
выборочные данные. Пересчет-это эквивалент
вытягивание числа наугад из шляпы после
встряхивание или рандомизация этих чисел и
после этого возвращающ каждый номер к шляпе и
затем снова тряска или повторной рандомизации
номера перед выбором каждого последующего
число. Этот процесс повторяется
непрерывно создавать пересчитанный
распределение размера, равного выборке из
который рисуется каждый случайный выбор. Тот
процесс построения пересчитан
дистрибутивы повторяется много раз
построить bootstrap-распределение
пересчитанные распределения.
С каждым случайным
выбор случая, вероятность выбора a
случай из пределах нормы диктует
по закону больших чисел и центральная
предельная теорема, которая говорит нам, что если мы
завершил этот процесс большое количество
времена, наши оценки параметра регрессируют
к среднему населению
представлено образцом.

Bootstrapping можно использовать внутри
непараметрическое и эмпирическое распределение
модели и не зависит от обычно
распределенные данные. Загрузчик не считать
что данные по образца репрезентивны
население и начальная загрузка не будут корректными
для проблем выборки. Начальная загрузка
дистрибутивы оказываются обычно
распределенных при базовой выборке данных orpopulation нормально распределены.
Поэтому загрузчик методы могут дать
надежные оценки населения для использования в
параметрическая статистика, а также может использоваться для
оценка данных на нормальность.


С точностью до гугло(яндекс) перевода понял, что они генерируют выборки с целью усреденеия получаемых с них статистик (mеат и std), что получаемые значения будут близки к значениям ген. совокупности.

Синим выделил алгоритм бутсрепа, он полностью аналогичен тому, что я описал выше. Я просто дал геометрическое его толкование как болеенаглядное и понятное.

А вот то, что красным это интересно. Про закон больших чисел это верно, но вот регересируют к "среднему населению" - это я так понимаю сходятся к статистикам ген. совокупности?

Если это так и если это традиционный bootstrap, то это не правда. Это ошибка. Они сходятся к статистикам материнской выборки. Выше я наглядно это показал путём компьютерного моделирования. Для десяти миллионов итераций это видно прекрасно, а вот для 10 000 как описано в статье это зрительно не увидеть и можно ошибочно решить, что сходится всё будет к ген. совокупности.

Хотя тут нужен абсолютно точный перевод...
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 02, 2019 10:20 am    Заголовок сообщения: Ответить с цитатой

Вот сгенрировал выборки с 10 000 итераций




Зрительно есть различия в распределениях. И числовые оценки отличаются уже вов тором знаке. Можно решить, что материнская выборка хорошо представляет ген. совокупность, а поэтому усреднённые параметры будут близки к параметрам ген. совокупности. Повторюсь: они будут близки к параметрам материнской выборки.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Сб Мар 02, 2019 10:53 am    Заголовок сообщения: Ответить с цитатой

Насколько я понял, они делают

The process of constructing resampled distributions is then repeated numerous times to construct a bootstrap distribution of resampled distributions. With each random case selection, the probability of selecting a case from within the normal range is dictated by the law of large numbers and the central limit theorem, which tell us that if we completed this process a large number of times, our parameter estimates will regress towards the mean of the population represented by the sample.


Процесс построения пересчитанных распределений затем многократно повторяется для построения bootstrap распределения пересчитанных распределений. При каждом случайном выборе вероятность выбора случая из нормального диапазона продиктована законом больших чисел и центральной предельной теоремой, которые говорят нам, что если мы завершим этот процесс большое количество раз, наши оценки параметров регрессируют к среднему значению популяции, представленной выборкой.

Т.е. они создавали базу из 10 000 выборок по 292 случая. А потом стали создавать распределение значений выборок. Если это о чём-то говорит.


Вот тут они говорят об имеющейся проблеме, которую Вы обозначили:

Bootstrapping can be employed in nonparametric and empirical distribution models and does not depend on normally distributed data. Bootstrapping does assume that sample data are representative of the population, and bootstrapping will not correct for sampling problems. Bootstrap distributions are found to be normally distributed when the underlying sample or population data are normally distributed.

Bootstrapping может использоваться в непараметрических и эмпирических моделях распределения и не зависит от нормально распределенных данных. Bootstrapping предполагает, что данные выборки являются репрезентативными и bootstrapping не исправит проблемы выборки. Bootstrapping распределения обычно нормально распределяется тогда, когда базовая выборка распределяется нормально.


Кривая выборка будет влиять на полученный результат.

P.S. Если убирать знаки "перехода на следующую строку" в тексте, то тот же Яндекс переводчик переводит вполне сносно. Я его практически не исправляю.

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
Александр Калафати



Зарегистрирован: 12.10.2011
Сообщения: 1852
Откуда: Москва

СообщениеДобавлено: Сб Мар 02, 2019 10:57 am    Заголовок сообщения: Ответить с цитатой

Т.е. я насколько понял - у Вас 4 выборки по 10 000 итераций.

А они делали 10 000 выборок по распределению 292 случаев...


We created 10,000 resampled sets of size equivalent to the OSS development sample of confirmed ZCT cases (N=292).

Мы создали 10 000 пересчитанных выборок по размеру эквивалентных выборке полученной для OSS для подтвержденных случаев ZCT (N=292).

_________________
Быть, а не казаться.
http://polygraph-triumph.ru/
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 02, 2019 11:19 am    Заголовок сообщения: Ответить с цитатой

Александр Калафати писал(а):


Процесс построения пересчитанных распределений затем многократно повторяется для построения bootstrap распределения пересчитанных распределений. При каждом случайном выборе вероятность выбора случая из нормального диапазона продиктована законом больших чисел и центральной предельной теоремой, которые говорят нам, что если мы завершим этот процесс большое количество раз, наши оценки параметров регрессируют к среднему значению популяции, представленной выборкой.


Значит я всё правильно понял. Они говорят, что статистики будут сходится к статистикам ген совокупности. Это не так. Для сгенерированых выборок материнская является генеральной совокупностью - наичистейшей воды ген. совокупностью, поэтому все их статистики будут сходится к ней. А уж если её статичтики близки к ген. совокупности то тогда да они будут близки и к статистикам ген. совокупности. Но мы то этого не будем знать! Если б мы заранее знали, что мат. совокупность "хороша собою", то этого уже было бы достатосно, чтобы не бутстрепить, потому, что бутсреп может ухудшить точечные оценки статистик.

Александр Калафати писал(а):

Вот тут они говорят об имеющейся проблеме, которую Вы обозначили:


Bootstrapping может использоваться в непараметрических и эмпирических моделях распределения и не зависит от нормально распределенных данных. Bootstrapping предполагает, что данные выборки являются репрезентативными и bootstrapping не исправит проблемы выборки. Bootstrapping распределения обычно нормально распределяется тогда, когда базовая выборка распределяется нормально.

Кривая выборка будет влиять на полученный результат.


Если они понимают проблему кривой выборки то следующий логический шаг (вывод) - бутсрепить с целью получения точечных оценок не имеет смысла, так как получив их мы не можем сказать, что они близки к параметрам ген. совокупности. Даже в том случае, если мат. совокупность "хорошая"(чего мы, собсвенно говоря, не знаем и не можем знать заранее)
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
$erP
Site Admin


Зарегистрирован: 29.06.2005
Сообщения: 7851
Откуда: Москва

СообщениеДобавлено: Сб Мар 02, 2019 11:24 am    Заголовок сообщения: Ответить с цитатой

York писал(а):
Ответ верный, но не полный. Если мы узнали площадь сектора, то как найти чило Pi?


Александр Калафати писал(а):
Ну, по условием, ПИ - это соотношение между длинной окружности и её радиусом. В примере - можно вычислить через соотношение между количеством точек попавших в круг (площадь круга) и вне круга.


Нереально посчитать вручную количество точек внутри круга и за кругом. Тяжело, но реально посчитать количество точек на окружности и на радиусе.

Зная, что

пи = L/2R
L и R заменяем количеством точек, лежащих на окружности N(O) и радиусе... n(R)

С учетом того, что у нас в данном случае четверть окружности, получаем...

пи = N(0,25O)/2n(R)

_________________
Мое почтение... $erP

................................... ЛЕГКО СОЛГАТЬ ТЯЖЕЛО
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
York



Зарегистрирован: 29.09.2010
Сообщения: 2600
Откуда: Вологда

СообщениеДобавлено: Сб Мар 02, 2019 11:33 am    Заголовок сообщения: Ответить с цитатой

Александр Калафати писал(а):
Т.е. я насколько понял - у Вас 4 выборки по 10 000 итераций.

А они делали 10 000 выборок по распределению 292 случаев...


We created 10,000 resampled sets of size equivalent to the OSS development sample of confirmed ZCT cases (N=292).

Мы создали 10 000 пересчитанных выборок по размеру эквивалентных выборке полученной для OSS для подтвержденных случаев ZCT (N=292).


А вот это как раз случай когда "корова даёт молоко" и "молоко даёт корова" - одно и тоже.

Можно всё это проделать - построить десять тысячь выборок (у меня N = 394)/ У каждой выборки зафиксировать статистику, например, средний балл. Этот средний балл - это будет нерпрерывная случайная величина имеющая нормальное распределение и мат. ожидание (среднее значение) равное среднему материнской выборки, а не геню совокупности.

Придётся видимо "убить время" и на это Very Happy

Представте себе числовую прямую и наней мысленно отметье точку - значение мат. ожидания (среднее значение) балла. Затем отметье на этой же числовой прямой точку - средний балл реальной выборки. Эта точка может оказаться как слева так и справа от мат. ожидания. Для определённости - слева. Побутсрепим как "велят" американцы. Получим третью точку - среднее занчение средних значений балла 10 000 сгенерированых выборок. Эта третья точка может оказаться как слева так и справа от среднего балла реальной выборки. Если она окажется справа, то она будет ближе к матю ожиданию - и будет лучшей оценкой, а если слева - только ухудшит оценку. Но мы то не сможем сказать, что произошло так как заранее не знаем как расположены относительно друг друга точки мат. ожидания и среднего реальной выборки.
Вернуться к началу
Посмотреть профиль Отправить личное сообщение Отправить e-mail Посетить сайт автора
Показать сообщения:   
Начать новую тему   Ответить на тему    Список форумов ПОЛИГРАФ - ФОРУМ -> Общий форум Часовой пояс: GMT + 3
На страницу Пред.  1, 2, 3 ... 11, 12, 13, 14  След.
Страница 12 из 14

 
Перейти:  
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
You cannot attach files in this forum
You cannot download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group
Рейтинг@Mail.ru Rambler's Top100