Mic (mi_b) wrote,
Mic
mi_b

дискриминация, Сочи и калибровка

Народ тут пишет, что предсказание где будет зимняя олимпиада 2014 на бирже пари InTrade "оказалось абсолютно неверным", потому что фаворит котировался на 24%, а победил Сочи с 12%.

В чем тут ошибка? Для вероятностых предсказаний есть две меры качества предсказания - калибровка и дискриминация. Дискриминация меряет, насколько хорошо предсказание отделяет победителей от проигравших, калибровка меряет, насколько правильно в среднем оценены частоты. Предказание, что правильная монета выпадет решкой с вероятностью 1/2 имеет идеальную калибровку, но никакую дискриминацию. Предсказание, что лошадь-фаворит придет первой в забеге с вероятностью 9,999,999/10,000,000 может иметь неплохую дискриминацию, но наверняка скверную калибровку. Хороший эксперт должен иметь неплохую дискриминацию, а если у него есть ошибки в калибровке, то это несложно поправить пользователю предсказания. А вот биржа предсказаний обычно имеет хорошие и дискриминацию и калибровку - иначе на ней легко делать деньги, инсайдерам на ошибках с дискриминацией, неленивым людям на серийных событиях с ошибками в калибровке.

Если InTrade дает хорошую калибровку, то фаворит с 24% должен побеждать лишь в четверти случаев - так что удивительно не что фаворит проиграл, а что это "случается в последнее время не так уж часто." ;)


Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 5 comments