Над Индией пронесся ураган, в половине страны нет электричества, Интернета не будет минимум 15 дней .
Это к вопросу о всемирном обсчете лайв-рейтингов .
mickey: Над Индией пронесся ураган, в половине страны нет электричества, Интернета не будет минимум 15 дней .
Это к вопросу о всемирном обсчете лайв-рейтингов .
Вот, именно! Гладко было на бумаге, да забыли про овраги!...
остров Мэн: корреляция между порядковым номером участника и итоговым местов - 0,67.
Интересно, рейтинг объясняет чуть меньше половины итоговых результатов
leshkastar: остров Мэн: корреляция между порядковым номером участника и итоговым местов - 0,67.
Интересно, рейтинг объясняет чуть меньше половины итоговых результатов
Сто раз говорили: рейтинг не может ничего объяснять. Игроки крайне редко (можно считать, никогда) не выстраиваются строго по рейтингу. Но именно рейтинг в значительно большей степени соответствует их практической силе, чем результат оттдельно взятого турнира.
Спросим себя: что, Ван Хао сильнее Карлсена? или Алексеенко сильнее Грищука? а, может, Паравян сильнее Карякина? Видит сильнее Ананда? Рахманов сильнее Со? Ни на один из этих вопросов (кроме, может быть, второго) ни один относительно нормальный человек не ответит утвердительно.
А, может быть, это утверждение справедливо прямо сейчас? не вообще, а на данный момент. Ну давайте сейчас проведем матч между Карлсеном и Ваном, или между Со и Рахмановым. На кого поставите? то-то же.
Проведено прекрасное, динамичное, интересное соревнование. Его результаты, безусловно, достойны анализа, могут быть сделаны опрелеоенные выводы - но только не такие, какие я перечислил выше. И в качестве отбора оно пригодно с большими оговорками.
Приволок пустую железную бочку и давай стучать по ней дубиной. Получается громко, но никого эта "музыка" почему-то не впечатляет.
Короткое замечание RoxyS звучит гораздо осмысленнее:
Живые люди играют все-таки
В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
(Ну, там могут быть специфические оговорки типа "не одинаковое железо" и т.п., но все-таки?)
Почитатель: В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
Безусловно, случаются, поскольку иное означало бы, что их создатели после предыдущего турнира сидели сложа руки.
Я вам даже больше скажу: в соревнованиях компьютерных программ случается, что приходит некто с рейтингом 2000 (назовем его Альфазеро) и надирает задницу всем. В соревнованиях людей (несмотря на постоянные ламентации fso и иже с ним - мол, "а что, если...") такого не бывает, и быть не может. Поэтому пресловутый негандикапный отбор не имеет смысла.
Ukrfan
Я согласен, что рейтинг хорошо отражает практическую силу. Однако рейтинг предсказывает результаты турнира с определенной погрешностью. Если бы рейтинг коррелировал с результатом турнира на 0.1-0.2, то можно было бы задаваться вопросом – это рейтинг фуфло или турнир не по шахматам.
Жаль, что фактор «все люди» нельзя разделить на факторы «сила игры в этом турнире была непривычно высокой/низкой», «у шахматиста Х в этом турнире была высокая/низкая мотивация», «тот то использовал турнирную стратегию», «случайный шум», "неправильные допы".
Слово «объясняет» я использовал в следующем смысле. Я часто видел, что если параметры А и В коррелируют и В было позже А, то авторы пишут о том, что А объясняет столько-то процентов дисперсии B. Это неправильно?
RoxyS
Точного измерителя уровня мотивации нету. Но иногда можно посмотреть, насколько этот фактор вмешивается в "объективную действительность". Например, деньги - наиболее универсальная мотивация. Соответственно, можно посмотреть, насколько различается корряляция между рейтинговым номером и итоговым результатов в зависимости от денежного вознаграждения. Понятно, что денежное вознаграждение влияет и на средний рейтинг участников, и это тоже придется учитывать, но тем не менее.
Мне кажется, что ошибки имеют разную природу. Проигрыш Карслена Топалову из-за флага , ход 4...Кре7? или 18...Cd5? от Howell - это очень разные ошибки, которые понимать и интерпретировать тоже лучше постараться по-разному.
leshkastar: Ukrfan
Я согласен, что рейтинг хорошо отражает практическую силу. Однако рейтинг предсказывает результаты турнира с определенной погрешностью. Если бы рейтинг коррелировал с результатом турнира на 0.1-0.2, то можно было бы задаваться вопросом – это рейтинг фуфло или турнир не по шахматам.
Жаль, что фактор «все люди» нельзя разделить на факторы «сила игры в этом турнире была непривычно высокой/низкой», «у шахматиста Х в этом турнире была высокая/низкая мотивация», «тот то использовал турнирную стратегию», «случайный шум», "неправильные допы".
Слово «объясняет» я использовал в следующем смысле. Я часто видел, что если параметры А и В коррелируют и В было позже А, то авторы пишут о том, что А объясняет столько-то процентов дисперсии B. Это неправильно?
Я понимаю, что "жаль", иначе вы могли бы предсказывать результаты турниров с уровнем "бог". Я уже неоднократно объяснял, что практическая сила спортсмена - как измеряемая (в случае легкоатлетов, пловцов, штангистов), так и вычисляемая (в тех видах спорта, где учитываются результаты партий, матчей, турниров) - только один из многих факторов, влияющих на результат конкретной партии, забега, матча. Все их учесть невозможно, но если мы знаем спортсмена очень хорошо и обладаем инсайдерской информацией - у нас, конечно, больше шансов.
Спортсмен плохо спал этой ночью (причины могут быть опять же, разными); спортсмен отравился несвежей рыбой; у спортсмена болит голова; у спортсменки "те" дни; спортсмен узнал, что его девушка залетела; спортсмен разругался с тренером - все это влияющие факторы. На результат отдельной партии могут влиять также факторы взаимоотношений с конкретным соперником. Например: спортсмен боится этого соперника, как огня, или, напротив, он с ним в прекрасных отношениях и обычно играет вничью. Все эти факторы надо а) знать (что малореально, если вы не отец и не тренер спортсмена); б) оценить их влияние в данном конкретном случае. Это очень сложная работа, которая поддаётся (в некоторой степени) экспертной оценке, но математически не формализуется.
Теперь взглянем на проблему с другой стороны: что нам даёт результат конкретной партии (или даже турнира), если на них, кроме практической силы, влияет столько разных факторов? да почти ничего. Нам нужны усредненные данные, в которых влияние всех этих (и других) факторов учтено в меньшей степени, которые больше соответствуют действительной силе игрока. А это:
- либо рейтинг(где учтены все результаты, но, возможно, им не придан адекватный вес);
- либо цикл соревнований за значимый период, где учтены, во-первых, прежде всего важные турниры, во-вторых, успехи в них ранжированы по значимости.
Отдельно же взятый турнир, как бы увлекателен он ни был, и как бы болелам ни хотелось, чтобы все решалось "здесь и сейчас", для важных целей, вроде отбора, не годится (о всяческих нокаутах и говорить нечего).
Спасибо, Ukrfan, было интересно услышать ваше мнение.
Из ваших примеров я понял, что вы считаете "уровень игры" постоянной величиной, если бы удалось исключить все "нешахматные" факторы. Грубо говоря, что не может быть такого: шахматист А играет на уровне 2000 в 90% процентах случаях, и на уровне 2200 в 10% случаях, если исключить посторонние факторы. Это интересно в контексте проблемы измерений вообще (которые постоянно варьируются, даже при измерении чувствительности к сенсорным сигналам).
Об оптимальном формате я ничего не говорил, идея проводить для отбора серию турниров мне кажется хорошей.
leshkastar: Спасибо, Ukrfan, было интересно услышать ваше мнение.
Из ваших примеров я понял, что вы считаете "уровень игры" постоянной величиной, если бы удалось исключить все "нешахматные" факторы.
Нет, почему же. Величина эта переменная, но график ее (в идеальном мире) не менялся бы случайным образом. Он бы сначала рос, причем не обязательно гладко: вот, например, человек научился инрать в шахматы, ему показали ходы, правила увзятия фигур, простейшую стратегию. Скачок? Скачок. Потом папа подарил книгу Майзелиса - снова скачок. Потом пошел в шахматную секцию. Потом папа напрягся, и отдал сына Чучелову или к Карту. Потом купил компьютер. Это шахматные факторы, или нешахматные?
Грубо говоря, что не может быть такого: шахматист А играет на уровне 2000 в 90% процентах случаях, и на уровне 2200 в 10% случаях, если исключить посторонние факторы.
Такого точно не может быть. Но исключить-то мы их не можем. Поэтому играть шахматист в этот день может и на 2200, если он с дикого бодуна, или у него почечный криз. А вот сила его - она по-прежнему при нём, хотя какую-то часть нейронов дикий запой может и нарушить.
В общем, это уже впрос, скорее, философский.
Это интересно в контексте проблемы измерений вообще (которые постоянно варьируются, даже при измерении чувствительности к сенсорным сигналам).
Измерение силы и сама сила - это, понятное дело, не одно и то же.
Об оптимальном формате я ничего не говорил, идея проводить для отбора серию турниров мне кажется хорошей.
Спасибо. Как-то даже странно вести в этом треде спокойную беседу, без взаимных нападок.
Мне кажется, что ошибки имеют разную природу. Проигрыш Карслена Топалову из-за флага , ход 4...Кре7? или 18...Cd5? от Howell - это очень разные ошибки, которые понимать и интерпретировать тоже лучше постараться по-разному.
leshkastar,
возможно следует выделить системные ошибки (недостаток шахматных знаний) и случайные (просмотр, зевок).
Почитатель: Приволок пустую железную бочку и давай стучать по ней дубиной. Получается громко, но никого эта "музыка" почему-то не впечатляет.
Короткое замечание RoxyS звучит гораздо осмысленнее:
Живые люди играют все-таки
В этой связи любопытно узнать у специалистов: много ли встречается расхождений между итоговым турнирным положением и исходными рейтингами в соревнованиях компьютерных программ?
(Ну, там могут быть специфические оговорки типа "не одинаковое железо" и т.п., но все-таки?)
Это смотря откуда эти "исходные рейтинги" выдрать, вообще говоря.
Т.к. у шахматных программ нет никакого централизованного рейтинга, то и, вообще говоря, и говорить о том, что, мол, сыграли не по рейтингу, достаточно сложно.
Бывают, конечно, апсеты, когда в финал турнира проходит не 2 лучшие программы, но бывает куда реже, чем у людей, во-первых, потому что программы не зависят от настроения, здоровья и прочего, да и сама их природа позволяет в отборочной стадии наиграть не 10 игр, а хоть 100 или 1000. Из примеров - 10 сезон TCEC, где в финал не попал Stockfish, и 16, где в финал не попала Leela, каждый из которых, пожалуй, был наиболее сильной программой тогда. В остальном обычно играет топ-1 против топ 2-3 (отрыв между ними зачастую совсем небольшой, поэтому кто пройдёт - тут как повезёт. Против какого-нибудь топ-7 матчей финальных не бывает толком, но это потому, что топ-7 в мире шахматных движков отстаёт от топ-1 куда больше, чем топ-7 людей от Карлсена, вот недавно делали бонусный матч Stockfish-Komodo, топ-1 против топ-5 (топ-2 среди не-нейросетевых движков), который закончился со счётом +45-3=52, что как бы намекает на разрыв ).
А про альфазиро пример неудачный, т.к. это, простите, уровень "у нас новый бегун, он бегает 100 метров за 8 секунд, вот запись пробега его на первых 7 метрах, но на соревнования он ездить не будет" - ни в одном даже полуофициальном соревновании А0 так и не поучаствовал, поэтому, хоть он, пожалуй, и был объективно несколько сильнее, чем всё, что тогда было, но это отыграли где-то в течение полугода.
Почему я говорю "несколько сильнее" - потому что 30-100 эло отрыва (а скорее даже 30, потому что никто толком не тестирует шахматные движки на игру со стартовой позиции, это прилично, но не так уж и много для движков. Примерно полгода работы или около того.
Меня тут заинтересовала задача рейтингов. Заинтерсовал момент циклов (9-24-46631), который не может быть описан одним рейтингом, но по ходу дела возник вопрос. Рассмотрим некую изолированную группу игроков, допустим, человек сто, играющих между собой. Давайте продположим, что это состоявшиеся игроки уже достигшие примерно стационарного рейтинга. Скажем, рейтинг игрока флуктуирует вокруг 2600 уже лет пять и будет дальше флуктуировать точно так же. В каждой партии суммарный рейтинг соперников сохраняется, знчит и средний рейтинг этой группы тоже неизменен. Но поскольку задача вероятностная, и каждый игрок (не говоря уже о его рейтинге) совершает случайные блуждания, ширина этого распределения растёт. Но тогда и максимум этого распределения должен расти, а мы вроде бы этого не наблюдаем. Почему?
Конечно, можно сказать, что смотреть надо на больших интервалах времён, поскольку шахматисты играют достаточно редко, и в клубе 2700 в начале восьмидесятых было несколько человек, а сейчас их вон сколько. Но обычно это связывают с усилением шахматных программ, с которыми люди много работали и стали играть лучше.
На самом деле, тут есть тонкость, как раз связанная с возможным отличием понятий рейтинга и силы игры, о чём мы не раз спорили на примере Корчного. Если в результате такой диффузии некий шахматист ушёл сильно наверх, то мы говорим, что его рейтинг "завышен". То есть, начинаем различать это число и силу игры, говорим, что он "не играет на свой рейтинг". В такой ситуации возникает дрифт обратно к его изначальному рейтингу. Возможно в этом дело, симуляции действительно показывают выход ширины распределения на стационар.
Ничего совершенно не понимаю в теме. Но иногда глупый или "детский" вопрос может немного развернуть взгляд на проблему.
А что если взглянуть на систему не как на абстрактную силу шахматиста, а как нетранзитивную игру? Камень-ножницы- бумага ( или физическая модель на 3 участка, соединенных тремя водяными клапанами Теслы, где вода движется в основном в одном направлении- в системе Штейн-Таль- Корчной).
Если на старте у трех игроков есть выбор из однообразного набора "кубиков с нетранзитивными навыками", то каждый игрок, заполняя свой лимит ячеек и даже потом перезаменяя некоторые элементы, всегда упрется в некоторрый математический предел типа 68 на 32, который не преодолеть.
.
.
Но иногда глупый или "детский" вопрос может немного развернуть взгляд на проблему.