回収率130%超の競馬予測AI「Mamba」の思考に迫る

議論・討論

1: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:10:54.47 ID:pLDK7XUV0
https://dmv.nico/ja/articles/keiba_ai_mamba_article/

Dwango Media Villageの孝橋です。 昨年DMVでは競馬予測AI「Mamba」を開発し、2回の競馬予測AIプロジェクトを実施しました。

1つ目は2018年3月から6月まで、ニコニコ生放送で「人工知能募金」という公式番組を放送し実際に馬券を購入しました。 ユーザーから動物愛護団体への募金を集め、それと同額をドワンゴが用意して競馬で運用し、その利益も募金するという内容でした。 本運用の3ヶ月間で回収率135%、テスト期間を含めた4ヶ月間でも回収率100%を超える好成績を納めました。
競馬予測AIプロジェクト「人工知能募金 -あなたの募金を増やします-」結果発表 競馬予測AI「Mamba」の本運用期間の回収率は135.13% 寄付総額は倍増の107万4090円
http://dwango.co.jp/pi/ns/2018/0628/index3.html

2つ目は2018年10月から12月まで「Mamba 2nd Season」という、ユーザーの買い目をMambaが評価するWebサービスを運用し、Mambaの買い目を投票締切の数分前に公開しました。 プロジェクトの約3ヶ月間での回収率は約131.7%と、再び好成績を収めることができました。
競馬予測AIプロジェクト 第2シーズン 結果発表 第1シーズンを超える成績を達成 AI「Mamba」の平均回収率131.7%、合計収支プラス約730万円
http://dwango.co.jp/pi/ns/2019/0116/index.html
今回は、Mambaがどのように競馬を予測しているか簡単に説明したあと、ニコニコ生放送でも放送された2018年の有馬記念を例に、Mambaが実際にどのような計算を行ったかを公開したいと思います。

2: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:11:29.14 ID:pLDK7XUV0
競馬予測プログラムの難しさ

競馬は、落馬や故障、不利、馬のやる気や体調の良し悪しなど予測が困難な事象が多く発生します。 また、馬が全力で1km以上走ったあとの、ほんの数cmの差を争うスポーツですから、予測精度の向上には本質的に限界があり、百発百中とはいきません。

(表1)Mambaの予測した1番勝ちそうな馬と、実際の1番人気の馬の単勝的中率と回収率
https://i.imgur.com/QDhDVFo.jpg

テストデータセット(中央競馬の2017年7月~2018年6月の全レース)で、Mambaが各レースの「最も1着になる確率が高い」と予測した馬の単勝馬券を購入し続けたとき、その的中率は約31.9%、回収率は79.3%でした。(表1)

同期間において、1番人気の的中率は約31.6%、回収率は75.7%でした。 したがって、この集計方法では、Mambaは1番人気よりも0.3ポイント的中精度が高いと言えます。 年間のレース数は3500ほどですので、1番人気より年間で約10回多く的中したということですが、圧倒的な差があるとは言い切れません。
回収率も、1番人気を購入し続けた場合よりも3.6ポイント高いものの、概ね単勝馬券の控除を引いた払戻率に収束しています。 多くの人が様々なデータを用い、優れた予想を行った結果形成されるオッズは精度が高く、各馬券の的中確率をおおよそ言い当てていると考えられます。

しかし、競馬AIの目的を「当てること」ではなく「儲けること」と設定した場合、アプローチは異なったものになります。 やみくもに勝利確率の高いものを選ぶのではなく、予測確率とオッズを比較し、期待値が高い馬券を購入することで、的中率は低くとも長期的には収支をプラスにすることが出来ると考えています。
そこで、Mambaは全ての馬券の発現確率を独自手法で推定し、その確率にオッズを掛けて得られる期待値を元に馬券を選んでいます。 各馬券の的中確率の推定手法については今の所非公開とさせていただきます。

3: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:12:02.69 ID:pLDK7XUV0
期待値閾値の設定

(表2)投資シミュレーション結果(芝・単勝)
(図1)各期待値閾値における購入金額・払戻金額と収支の関係(芝・単勝)
https://i.imgur.com/sfgqYoI.jpg

表2および図1はMamba 2nd Seasonの為に行った、テストデータセットの芝レース全1675Rの単勝馬券での投資シミュレーションの結果の一部です。 閾値を0.1刻みで設定して、それぞれの閾値以上と評価された馬券を全て購入したらどうなるかを集計しています。

たとえば、表2の期待値が1.0以上の列を見ると、1675Rのうち期待値が1.0以上の馬が少なくとも1頭いたレースは1560Rあり、4383頭の馬が該当しました。 各買い目の購入金額は、5分前のオッズで払戻金額が10万円になるように設定しました。
4386点で合計購入金額はおよそ4414万円なので、1点あたりの購入金額は約1万円です。 つまり、この群では、平均するとオッズが10倍程度の馬を買っていることが分かります。 450回的中しましたが、回収率は100%に及びませんでした。

期待値1.0の馬券を買う時、理論的には回収率が100%になってほしいのですが、多くの場合100%を下回ります。 これには二つの理由が考えられます。 一つ目は、確率推定に誤差があること、二つ目は、購入判断を行ったあとにオッズが更に変動する可能性があることです。

この投資シミュレーションでは、5分前のオッズで購入の判断と購入金額を決め、的中した場合は確定オッズで払戻を受けたと想定して計算しています。 これは、Mamba 2nd Seasonの実際の環境を再現しています。
450回的中させたら合計払戻金額4500万円になってほしいのですが、実際は4176万円に留まっています。 購入してから7.3%ほどオッズが下がっている計算になるので、5分前の時点で期待値がちょうど1の馬券は、確定までの間にオッズが下がり、結果的に期待値が1を下回ってしまうのです。

4: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:12:25.32 ID:pLDK7XUV0
(図2)投資シミュレーション結果(芝・単勝)
https://i.imgur.com/zQsWeE2.jpg

Mamba 2nd Seasonでは、3連単の馬券の払戻金額を50万円、その他の馬券の払戻金額を10万円に設定していました。 図2は、同プロジェクトでMambaが的中した3連単以外の馬券の払戻金額のヒストグラムです。
平均値は91,840円、中央値は92,460円でしたから、シミュレーション通り8%前後オッズが下がっている計算になります。 更に言えば、複勝とワイドの馬券は下限オッズを使って期待値を計算していますし、購入金額は切り上げていたので(たとえば、オッズが300倍の場合は400円購入する)締切寸前のオッズの低下は更に大きいと言えます。

このように、シミュレーションでは可能な限り本番と同じ環境を再現し、オッズが多少下がっても十分に利益を生むような購入ルールを模索する必要があります。

5: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:12:49.83 ID:pLDK7XUV0
2018年有馬記念でのMambaの買い目算出の思考

2018年12月23日に行われた有馬記念で、Mambaが購入した馬券は15-12-13の三連単一点を100円だけでした。 何故こうなったかというと、これ以外の全ての馬券は定めた購入条件を満たさなかったという他ないのですが、ここで敢えて、何も買わなかった単勝馬券の予測確率を見てみましょう。

(表3)有馬記念の予測確率
https://i.imgur.com/4s9k5QR.jpg

Mambaが最も勝率が高いと予測したのは12番のレイデオロで、その確率は40.61%でした。 オッズは2.2倍ですから、期待値は約0.89ということになります。

次に勝率が高いと予測したのは2番人気14番キセキでしたが、その確率は10.91%、約9回に1回勝利すると予測していることになります。 Mambaが参照した同馬の5分前のオッズは5.9倍でしたから、これでは割に合わないという判断に至りました。

特筆すべき点は1番オジュウチョウサンで、オッズは3番人気に対してMambaは11番手評価とやや厳し目の評価を与えました。 障害転向や平地転向の予想が得意だという方も少ないと思いますが、過去のデータが少なくMambaも得意ではありません。 それでも、過去に平地転向した馬の成績などを参考に、このメンバーだと勝利はやや難しいと判断したのだろうと推測します。

また、15番シュヴァルグランに、9番人気に対して5番手の評価を与えました。 昨年の有馬記念でも3着、他にも多くの重賞レースで安定した好走実績がありますから、9番人気は「美味しい」という判断だったのでしょう。
単勝期待値も16頭の中で1番でした。 しかし、有馬記念のレース条件では、単勝馬券の購入閾値は期待値が1.4以上としていたため、購入に至るほどではありませんでした。 つまり、シュヴァルグランの場合、オッズが26.1倍以上であれば期待値が1.4以上となり購入したところ、2.1倍足りないという判断に至りました。

6: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:13:10.96 ID:pLDK7XUV0
まとめ

以上がMambaの簡単な説明となります。 確率を計算して期待値が高いものを買うという方法は一般的で、特に目新しさはありません。 Mambaは機械学習技術を用いて、既存の予想手法よりも正確に各馬券の確率を求められるようになりました。

特に人工知能募金から番組をよくご覧になって頂いた方はよくご存知だと思いますが、MambaはG1レースを筆頭にメインレースの購入を控える傾向があります。
大きなレースでは、多くの人が長い時間をかけて渾身の予想をするわけですから、今のMambaの予測精度ではそのような大きなレースには付け入る隙がないのだろうというのが私の考察です。 今後更に馬券購入者の予測精度が上がると、全ての馬券に確率通りのオッズがつくことになり、Mambaの「見」はもっと増えるかもしれません。

付録 条件別成績
最終成績
https://dmv.nico/assets/img/articles/keiba_ai_mamba/stats.png
成績のグラフ
https://dmv.nico/assets/img/articles/keiba_ai_mamba/graph.jpg
月別成績
https://dmv.nico/assets/img/articles/keiba_ai_mamba/month.png
トラック別成績
https://dmv.nico/assets/img/articles/keiba_ai_mamba/track.png
競馬場別成績
https://dmv.nico/assets/img/articles/keiba_ai_mamba/course.png
馬券種別成績
https://dmv.nico/assets/img/articles/keiba_ai_mamba/bet_type.png

9: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:20:31.14 ID:aJ728GPB0
的中馬券のオッズが下がるわけだなあ

11: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:21:54.69 ID:GggClrMo0
まじでまんばちゃんは半端ねえからな

買い方も穴の選び方も馬の評価度外視する買い方やからなw割りと勉強になる

12: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:22:10.29 ID:O2yDGC6T0
こう言うのを開発して金持ちとか投資家に売るってビジネス流行ったりしないのかな

13: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:23:31.84 ID:pLDK7XUV0
全購入馬券と払い戻しの記録はこちら
https://mamba.jinkochinobokin.nicovideo.jp/result/

15: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:29:12.78 ID:9rMoFXO70
締切直前の大量投票ってやっぱりこれが原因なのかな
オッズ的に妙味のある組み合わせだけを大量購入する

16: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:30:10.84 ID:f2oZTbR90
まあそのうち回収率は下がるけどな

17: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:33:30.05 ID:9rMoFXO70
レースによって購入金額が全く違うのな
1レースで数百円の時もあれば20万以上買ってることもある
均等投資ならここまで回収率は高くならないはず

18: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:34:32.29 ID:f2oZTbR90
それとたしか有馬記念の日はひとつも当たらなかったよなw

20: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:38:41.52 ID:O2yDGC6T0
仕組み上かなり穴党っぽいからな
勝率1%でオッズ150倍の馬は喜んで買うってことだろ?

21: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:40:54.05 ID:shf/4OdP0
10分前オッズと5分前オッズを比較して下がった目だけ買えば儲かる?間に合わない?

23: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:48:10.79 ID:pLDK7XUV0
>>21
2期は実際に買ってない
1期は買ってた

1期は買い目決定を30分前くらいにしてて、それを元に現地で馬券購入してた
ただし買い目を視聴者とかに発表するのは締め切り後、レース前で真似出来ないようにしてた

2期は精度上げるために買い目決定を締め切り直前にしたから仕組み上実際に買えない
PATはなんかの法律に引っかかって使えないらしい
ただし買い目は締め切り直前に発表してたから理論上真似出来るが点数多いから全て真似するのは人間には無理

38: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:05:18.99 ID:shf/4OdP0
>>23
なるほど
あと勝率を踏まえて複勝率も考えると場合分けのパターンが一気に増えると思うんだけどそこまでプログラムされてるの?

40: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:07:32.95 ID:pLDK7XUV0
>>38
そこまでは発表されてないから分からんね
単純に勝率高い馬は2着3着になる確率高いって考えてるのか他のファクター考えてるのか

22: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:44:30.92 ID:5ygurZIm0
たった数カ月の回収率でイキってるの草生える

24: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:48:13.99 ID:AlNH2GLD0
囲碁や将棋と違って自分の中でシミュレーションして学習することができないからAIとは言えないな
単なる統計ソフト

25: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:48:38.57 ID:R77abA390
皆がマンバの指示通り買うようになれば、どんどん回収率も落ちて行くのでは?

26: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:52:43.32 ID:a8i89YhS0
>>25
もちろんそう
オッズはそういう物だし
このソフトって本当に検証された動画とか後出しじゃない証拠ある?

29: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:55:28.32 ID:pLDK7XUV0
>>26
いやTwitterで毎回ツイートしてるよ
1期は全部ニコ生で生放送してたし
タイムシフトまだ残ってるかは分からん

27: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:54:07.29 ID:1JefRzjc0
マンバの買い目はギリギリまで晒されないよ

28: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:54:39.32 ID:a8i89YhS0
ていうかこのスレがステマ臭い

31: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:57:07.64 ID:a8i89YhS0
なるほど
やっぱりまだ開発者のステマの領域か
別に煽る訳じゃないけどしっかりここで先出しして結果出せ!

32: 名無しさん@実況で競馬板アウト 2019/01/18(金) 12:59:13.91 ID:pLDK7XUV0
>>31
レース前に買い目発表してるのはここで見れるよ
https://twitter.com/keiba_ai_mamba
https://twitter.com/5chan_nel (5ch newer account)

35: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:00:57.88 ID:a8i89YhS0
>>32
だからそういうの後出しって言うから
ステマはいい加減邪魔
本物なら応援したいからここで先出しの結果出せ
今週末からやれ

39: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:06:00.44 ID:pLDK7XUV0
>>35
まぁじきに3期もやるんじゃないかな
そん時にTwitter追ってみればいいんじゃない?

37: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:03:05.77 ID:Yt+zu1i/0
キャンキャン言うてるアナログジジイは一生負け組なんだろうな

41: 名無しさん@実況で競馬板アウト 2019/01/18(金) 13:11:51.17 ID:lrt3EAHJ0
マンバの予想にのって600円が7万円になったことがある。
またやってほしい。

引用元: ・回収率130%超の競馬予測AI「Mamba」の思考に迫る

相互RSS


議論・討論

Posted by 競馬まとめざんまい