Pinnacle … Pinnacle против FiveThirtyEight: сравнение успешности прогнозов

Коэффициенты букмекера в сущности представляют собой прямой прогноз, указывающий на вероятность наступления различных исходов для спортивного события. Если они выражены в десятичном представлении, вам необходимо просто инвертировать число и вы получите процентное выражение вероятности наступления соответствующего исхода (хотя вам и придется еще немного поработать для устранения маржи букмекера). Коэффициенты 2,50, например (в этом случае маржа уже была вычтена), предполагают вероятность исхода, равную 1/2,50, 0,4 или же 40 %.

Впрочем, букмекер тоже может ошибаться. Благодаря ошибкам букмекеров у их клиентов появляется возможность найти ожидаемую ценность и получить прибыль в долгосрочной перспективе. Читателям этой статьи, впрочем, должно быть уже известно, что по моему мнению, ошибки Pinnacle (по крайней мере – для рынка ставок на футбольные матчи) распределены случайным образом, и в общей картине дел коэффициенты этого букмекера достаточно достоверно отображают действительные шансы на исходы событий. В этом контексте лучшим вариантом для выбора остаются коэффициенты линии закрытия, которые, помимо прочего, могут быть использованы для предсказания того, какую прибыльность стоит ожидать игроку.

Тем не менее существуют и другие группы прогнозистов, предлагающие собственные предсказания исходов футбольных матчей. Одной из таких широко известных групп является платформа Fivethirtyeight.com – публикующий прогнозы политических, экономических и спортивных событий блог, который был создан американским статистиком, бывшим игроком в покер и автором книги Сигнал и шум Нейтом Сильвером. Нейт сделал свое имя благодаря успешным предсказанием исходов президентских выборов в США для 49 из 50 штатов в 2008 г., а четыре года спустя ему удалось предсказать результаты для всех 50 штатов.

С точки зрения поклонника спорта или размещающего ставки игрока, прогнозы FiveThirtyEight на исходы матчей особенно полезны, так как они указывают конкретные значения вероятностей для победы хозяев, победы гостей и ничейного исхода. Выполнив инверсию этих значений, мы можем моментально выяснить предполагаемые справедливые коэффициенты. Цель любого игрока, отыскивающего ценные ставки, заключается в нахождении справедливых коэффициентов, которые более точно отражают вероятность исхода, чем коэффициенты букмекера. Если у игрока есть такая возможность, то ему всего лишь нужно размещать ставки с коэффициентами букмекера в тот момент времени, когда они имеют более высокое значение. И если игроку удается получать прибыль в долгосрочной перспективе, то это верный признак его умения рассчитывать более точные коэффициенты, чем их предлагает букмекер. Эту статью я написал в сотрудничестве с @PlusEVAnalytics, и в ней мы вместе попытаемся понять, сможет ли FiveThirtyEight выступить в подходящей для нас роли.

Прогностическая модель для футбольных матчей от FiveThirtyEight

Платформа FiveThirtyEight впервые опубликовала прогноз на исход футбольного матча в январе 2017 г., хотя их база данных с результатами содержит записи, датированные августом 2016 г. Методология авторов этого блога основывается на использовании изначально разработанной Нейтом Сильвером «существенно измененной версии индекса силы футбольной команды (SPI) от ESPN». В этой модели используется показатель ожидаемых голов (или же xG) и результаты анализа статистического распределения Пуассона, исходя из которых генерируется матрица возможных исходов матча, позволяющая рассчитать вероятности победы хозяев, победы гостей и ничейного результата.

Авторы FiveThirtyEight считают, что их прогнозы для футбольных матчей весьма хороши, а их рекомендации куда более ценны, чем попытка угадать результат без применения навыков. Я не могу не согласиться с этими утверждениями, но могут ли их прогнозы оказаться точнее предполагаемых вероятностей от компании Pinnacle? Давайте узнаем ответ на этот вопрос.

Могут ли прогнозы FiveThirtyEight приносить прибыль?

Изучив базу данных с историей коэффициентов линии закрытия компании Pinnacle, а также рассмотрев открытые для исследования предполагаемые вероятности платформы FiveThirtyEight, я составил выборку из 16 635 сыгранных в период с 12 августа 2016 г. до 31 марта 2019 г. матчей различных европейских футбольных лиг и сравнил 49 905 пар коэффициентов для победы хозяев, победы гостей и ничейного результата.

В 20 093 случаях коэффициенты линии закрытия Pinnacle были выше, чем предполагаемые FiveThirtyEight вероятности. Средняя величина, на которую эти коэффициенты (со средним значением 4,12) оказывались в сравнении выше, составляла 16,2 % – это означает, что если бы мы пожелали размещать ставки одинакового размера с предложенными коэффициентами, нам бы удалось получить прибыль в размере 16,2 %, исходя из предположения, что в среднем коэффициенты FiveThirtyEight являются точным или эффективным представлением «справедливых» коэффициентов. На самом же деле, эти коэффициенты продемонстрировали убытки, равные –6,0 %, что даже хуже, чем убытки величиной в –4,3 % для размещенных со всеми 49 905 коэффициентами ставок (хотя разница и не настолько важна статистически).

На первой из приведенных ниже диаграмм продемонстрировано, как предполагаемые коэффициенты FiveThirtyEight не справились с задачей предсказания действительных доходов от размещения ставок с коэффициентами линии закрытия Pinnacle. Если мы разделим коэффициенты линии закрытия Pinnacle на предполагаемые коэффициенты FiveThirtyEight, то получим значение ожидаемой прибыли для выбранной ставки (с учетом предположения, что коэффициенты FiveThirtyEight являются эффективными).

Давайте сгруппируем ставки в соответствии с инкрементальным увеличением ожидаемой прибыли (с шагом в 0,01): можно заметить, что ожидаемая прибыль вовсе не коррелирует с действительной прибылью от ставок. Вне зависимости от соотношения коэффициентов линии закрытия Pinnacle и предполагаемых коэффициентов FiveThirtyEight средняя прибыль остается отрицательной и составляет –6 %. Похоже, что по сравнению с коэффициентами линии закрытия Pinnacle коэффициенты FiveThirtyEight вовсе не содержат ценности прогностического характера.

Что изменится, если мы рассмотрим ситуацию с противоположного ракурса? На этот раз давайте предположим, что в качестве букмекера выступает FiveThirtyEight, а Pinnacle предлагает лишь прогностическую модель. Для измерения ожидаемой прибыли будем использовать отношение коэффициентов FiveThirtyEight к справедливым коэффициентам линии закрытия Pinnacle (без учета маржи).

Размещение ставок с «коэффициентами» FiveThirtyEight для 25 557 случаев, в которых они превосходят справедливые коэффициенты линии закрытия Pinnacle, предлагает действительную прибыль в 15,5 %, что очень близко к усредненному преимуществу, величина которого составляет 15,9 % (усредненные коэффициенты равны 4,49). Диаграмма разброса подтверждает сильную корреляцию между ожидаемой и действительной прибылями для этой инвертированной гипотезы. Наклон линии тренда существует практически в единственном экземпляре и проходит через начальную точку (см. уравнение y = mx + c на диаграмме), свидетельствуя о том, что высокоэффективными (в среднем) являются именно коэффициенты линии закрытия Pinnacle, а не коэффициенты FiveThirtyEight.

Яблоки и апельсины

Когда я опубликовал эти изыскания в своей ленте Твиттера в апреле, мне справедливо указали на то, что мы сравниваем яблоки с апельсинами. Прогностические вероятности FiveThirtyEight рассчитываются до начала соревнований, а итоговая оценка вероятности публикуется еще до того, как завершается предпоследний матч команды. До рассматриваемого матча пройдет еще не один день. И степень точности опубликованных прогнозов целиком и полностью зависит от имеющейся на момент их формирования информации.

Коэффициенты линии закрытия Pinnacle, напротив, отражают в себе всю информацию, доступную на рынке до момента начала самого матча. В этих коэффициентах будут учитываться такие факторы, как травмы игроков, изменения состава команд, погодные условия и состояние поля – все те вещи, которые платформа FiveThirtyEight не сможет и не станет учитывать.

Для того чтобы сделать абсолютно честное сравнение прогностической модели с коэффициентами линии закрытия Pinnacle, нам понадобилось бы убедить авторов FiveThirtyEight рассчитывать и публиковать прогнозы в одно и то же время с Pinnacle, т. е. прямо перед началом матча. Но этого, конечно же, не произойдет. В качестве альтернативного варианта мы могли бы использовать коэффициенты Pinnacle, опубликованные одновременно с прогнозами FiveThirtyEight для соответствующего матча. К несчастью, у меня нет данных по коэффициентам Pinnacle с временными метками, и даже если бы мне удалось их найти, я думаю, что опубликованные коэффициенты линии открытия Pinnacle все равно появляются позже, чем итоговые публикации прогнозов FiveThirtyEight.

Даже с учетом всего вышесказанного использование коэффициентов линии открытия Pinnacle потенциально способно предложить более честное сравнение моделей, чем использование коэффициентов линии закрытия – давайте рассмотрим полученные результаты. В 18 952 случаях коэффициенты линии открытия Pinnacle были выше, чем коэффициенты FiveThirtyEight (среднее значение: 3,97), усредненное преимущество составляло 14,2 %. Этим случаям соответствовали убытки, равные –4,1 %, что существено лучше (но неважно со статистической точки зрения), чем равные –4,4 % убытки при размещении ставок со всеми 49 905 коэффициентами. Как и раньше, здесь мы практически не наблюдаем корреляции между ожидаемой и действительной прибылью.

Если же мы повторим сравнение моделей в инверсии (используя коэффициенты линии открытия Pinnacle в качестве «истинных»), то уровень корреляции окажется куда выше – не настолько точным, как для коэффициентов линии закрытия, но все же близким к равенству. Размещение ставок с «коэффициентами» FiveThirtyEight для 25 775 случаев, в которых они превосходят справедливые коэффициенты Pinnacle, предлагает действительную прибыль в 12,8 %, что снова сравнительно близко к усредненному преимуществу, величина которого составляет 14,8 % (усредненные коэффициенты равны 4,54).

Сигнал и шум

После публикации данных о коэффициентах линии открытия @PlusEVAnalytics, мой соавтор для этой статьи, отметил: «Если вы действительно задаетесь вопросом, обладают ли прогнозы FiveThirtyEight превосходством над коэффициентами Pinnacle, то ответ будет очевидным».

Возможно, именно этот вопрос нас и интересует, и тогда изученные нами данные говорят сами за себя. Пожалуй, прогностические возможности FiveThirtyEight с точки зрения информативности уступают коэффициентам Pinnacle, как из-за разницы во времени публикации, так и по той причине, что правильное формирование коэффициентов является основой бизнес-модели Pinnacle, а блог FiveThirtyEight существует просто для развлечения. Заработок авторов FiveThirtyEight не зависит от их прогнозов или, по крайней мере, не зависит от прогнозов напрямую. Справедливости ради, стоит также упомянуть, что авторы FiveThirtyEight и не задаются целью формировать свои прогнозы так, чтобы они были пригодны к использованию при размещении ставок.

Тем не менее автор @PlusEVAnalytics предложил интересный мысленный эксперимент. Объединив обе прогностические модели, можно попытаться создать третью модель, эффективность которой будет превышать отдельно взятые коэффициенты Pinnacle – так мы сможем подтвердить или опровергнуть наличие в прогнозах FiveThirtyEight некоторых полезных данных, которые могли бы дополнить полезные данные, содержащиеся в коэффициентах Pinnacle.

До этого момента наш анализ сводился к выбору одного из двух вариантов – какая из двух прогностических моделей является более точным источником информации? Полученные ответы были как исчерпывающими, так и предсказуемыми. Давайте добавим немного интриги и переформулируем вопрос нашего исследования:

Пусть «итоговая» вероятность любого рассматриваемого исхода = Z * (вероятность наступления этого исхода по версии FiveThirtyEight) + (1 – Z) * (вероятность наступления этого исхода по версии Pinnacle) для каждого Z, значение которого соответствует условию 0 ≤ Z ≤ 1.

Какое значение Z позволит максимизировать прогностическую ценность «итоговых» вероятностей?

Эта модель будет достаточно гибкой для возможности расчета «итоговых» вероятностей на основе прогнозов, принадлежащих исключительно FiveThirtyEight (если мы примем Z = 1), исключительно Pinnacle (если Z = 0) или на основе любого промежуточного варианта (если Z попадает в диапазон между 0 и 1).

Как же нам определить оптимальное значение Z? Существует несколько возможных вариантов, но мы будем использовать оценивание методом максимального правдоподобия (MLE). Целью MLE является нахождение значений одного или нескольких неизвестных параметров, наилучшим образом «подходящих» к набору изучаемых данных. Но как мы измерим степень того, насколько нам «подходит» найденное значение? Эта задача решается сравнением зависящей от значения неизвестного параметра степени правдоподобия наблюдаемых нами значений и того, что мы уже наблюдали ранее.

Сформированная нами выше модель обладает единственным параметром: Z. Любое из значений Z позволит нам рассчитать для каждого матча в этом наборе данных комплект «итоговых» вероятностей победы хозяев, ничейного результата или победы гостей, зависящих от именно этого значения Z. Для каждого матча степень правдоподобия наблюдаемых значений в соответствии с тем, что мы уже наблюдали, станет нашей «итоговой» вероятностью победы хозяев, ничейного результата или победы гостей, если результатом матча стали победа хозяев, ничейный результат или победа гостей соответственно. Например, рассмотрим ситуацию для вероятностей победы хозяев, ничейного результата и победы гостей, соответственно равных 0,5, 0,3 и 0,2: если результатом матча будет ничья, то степень правдоподобия наблюдаемых данных для того, что мы уже наблюдали, равна 0,3.

Так как отдельные матчи являются независимыми событиями, степень правдоподобия для набора исходов, идентичного наблюдаемым ранее исходам, будет равняться произведению степеней правдоподобия для каждого отдельно взятого матча. Максимизация этого произведения станет той целью, для которой мы будем пытаться скорректировать значение Z.

К сожалению, произведение 16 635 вероятностей бесконечно мало – можете попытаться представить себе ставку из 16 635 ставок. Таким образом, перед нами возникает проблема вычисления точного значения при расчете MLE с использованием таких инструментов, как Excel: программные ограничения не позволяют рассчитать малые значения ниже определенного порога, ведь все, что оказывается меньше этого ограничения, округляется до нуля.

Для того чтобы обойти эту проблему, мы можем попытаться максимизировать логарифм степени правдоподобия. Так как абсолютное значение степени правдоподобия нерелевантно для процедуры расчета MLE (единственное, что для нас важно, это характер изменения степени правдоподобия в зависимости от корректировки параметров), максимизация логарифма степени правдоподобия будет математически эквивалентна необходимой нам операции.

Помимо того, что мы будем брать логарифмы итоговых вероятностей исходов матча, вместо произведения мы будем рассчитывать суммулогарифмов степеней правдоподобия. Выполнение этой аналитической процедуры на имеющемся наборе данных даст нам описанные далее результаты.

• В случае использования коэффициентов линии закрытия Pinnacle логарифм степени правдоподобия достигает максимума при Z = 0. Другими словами, прогнозы FiveThirtyEight не привносят никакого оптимизирующего влияния в модель составления «итоговых» прогнозов, если рассматриваются только прогнозы FiveThirtyEight и Pinnacle.
• В случае использования коэффициентов линии открытия Pinnacle логарифм степени правдоподобия достигает максимума при Z = 0,04. Таким образом, эффективность «итоговой» модели примерно на 4 % зависит от данных FiveThirtyEight.

«Коллективные» модели

Из полученных результатов нас куда сильнее должен интересовать второй. Если необходимо выбрать только один источник данных, то линия открытия Pinnacle обладает прогностической ценностью, которая объективно в значительной мере превышает ценность прогнозов FiveThirtyEight. Но есть один нюанс…

Взвешенное среднее значение из комбинации 4 % от прогнозов FiveThirtyEight и 96 % от коэффициентов линии открытия Pinnacle обладает более высокой прогностической ценностью, чем прогнозы любой из обеих сторон по отдельности!

Какая ценность заложена в этом результате для размещающих ставки игроков? На практическом уровне – не такая уж и весомая. Четыре процента – это слишком малая для применения величина, и, кроме того, она может обладать незначительным статистическим характером. Но что было бы, если бы мы выбрали большее значение Z? И как изменилось бы положение дел, если бы вместо двух прогнозов у нас было бы куда большее число предсказаний, каждое с собственным значением Z? Мы столкнулись с проявлением вариации теории «коллективного мнения», согласно которой комбинация из отдельных прогнозов может оказаться более ценной, чем один отдельно взятый прогноз, обладающий наивысшей ценностью.

В сущности, именно благодаря действию этой теории коэффициенты Pinnacle и оказываются такими точными (в среднем). Значения для линий задаются наиболее информированными и профессиональными трейдерами. Кроме того, они позволяют вступить в игру и другим проницательным игрокам, а не отказывают им в участии – такие игроки выступают в качестве вспомогательного источника информации для корректировки значений линий, благодаря чему коэффициенты становятся еще более точными. Коэффициенты линии закрытия Pinnacle в своей сущности представляют «коллективные прогностические модели» и отражают «итоговые» значения вероятностей. Пожалуй, именно по этой причине у FiveThirtyEight не было никаких шансов выиграть в этой гонке.

JOSEPH BUCHDAHL