2015年12月、ponanzaが将棋倶楽部24に参戦し、69勝無敗の結果を残しました。ponanzaは同年11月の電王トーナメント優勝ソフトであり、今回、参戦したのは「特に問題がなければ来年の電王戦でそのまま使うもの」だそうです（「将棋倶楽部24に参戦してみた」参照）。ponanzaは2013年5月にも参戦しており、その際には92勝5敗で、将棋倶楽部24におけるレートは最高で3453に達しています。今回は最終レートで3455と前回の最高値を上回る値を記録しました。全ての棋譜は以下から見ることができます。
将棋倶楽部24におけるレートはイロレーティングを簡易化したものであり、近似値を算出していると考えることができます。イロレーティングについては以下の解説記事をご覧ください。
ただし、将棋倶楽部24においては「少なくとも一方が2600以上で400を超えた差がある相手との対局」の場合には「指導対局扱い」となってレートが変動しないため、トップ層よりも400以上高い突出した参加者がいる場合にはレートの算出ができなくなってしまっています（http://www.shogidojo.com/dojo/rating/を参照）。基本的にそのような参加者は想定外ということなのでしょう。
そもそも全勝で負けがない参加者の場合には、本来のイロレーティングでもレートを決定することはできません。もちろん、初期値を設定すれば、レート改善の式によってレートを計算すること自体はできるわけですが、その結果は完全に初期値に依存しており、収束した値にはなりません。負けていない参加者は勝率100%ということなので、無理やりレートを算出しようとすると発散してしまうということです。
それでは、69連勝のponanzaのレートはどのように推定したらよいのでしょうか？ 統計学では、ponanzaのレートをある値だと仮定した時に69連勝する確率を算出して、それが十分に小さい（有意水準以下）なら、その仮定（帰無仮説）はダメだったと考えます。
69連勝する確率を算出する際には、ponanzaのレートの仮定値の他に、モデルを設定する必要があります。記録をそのまま用いると、以下の「詳細モデル」になります。
以下に69連勝する確率の計算結果を示します。黒線が「詳細モデル」の結果で、青点線が「簡易モデル」の結果です。
有意水準を5%とすると、「詳細モデル」の場合、ponanzaの仮定レートが3519より小さいと有意水準の5%を下回ってしまうので、ponanzaのレートは3519以上だと推定することができます。同様に、「簡易モデル」の場合は3483以上だと推定されます。いずれにしても、5%の有意水準では大体3500以上ということになります。上限値については、全勝であるため、2015年12月の記録からは推定することはできません。
それでは、2013年5月の記録ではどうなるでしょうか？ この時には92勝5敗ですので、最も確率が高くなるレートが存在するはずです。
計算した確率を以下に示します。黒線が「詳細モデル」の結果で、青点線が「簡易モデル」（平均レートは3041.75）の結果です。確率の値が小さいのは勝敗の並び順まで再現するように確率を計算しているためです。値の絶対的な大きさではなく、仮定レート毎の相対的な大きさ（つまりグラフの形）に注目してください。
確率が最も高くなるのは、「詳細モデル」の場合、ponanzaのレートが3567の時であり、このレートが統計学的に最も尤もらしい推定値（最尤値）ということになります。同様に、「簡易モデル」の場合、最尤値は3548になり、この値は平均レート（3041.75）と記録勝率（92/97）からイロレーティングの式で算出したレート推定値と一致しています。ただし、グラフの形状が鋭いピーク状ではなく、緩やかな山状になっているため、推定レートには幅があることが分かります。
上限と下限を推定するために、「簡易モデル」を用いて、92勝5敗以上の結果を得る確率（黒線）と92勝5敗以下の結果を得る確率（赤線）を算出したのが、以下の図です。
有意水準を5%とすると、2013年5月のponanzaのレートは3414以上、3713以下と推定されます。大雑把にまとめると、3550から±150の範囲内ということです。
ここからは非常にざっくりとした話になりますが、コンピュータ将棋対局場floodgateの記録を参考にすると、2013年5月から2015年12月の間のponanzaのレート上昇は、ハード分を含めて、200程度ではないかと推測されます。この推測に基づくと、2015年12月参戦時のレートは3750から±150の範囲内程度であったのではないかと思われます。この推測は、3500以上という今回の参戦結果に基づく推定と矛盾しません。
2015年12月以前の将棋倶楽部24の人間参加者の最高レートは3312（2012年12月29日）でした。イロレーティング（K = 16）の標準偏差は40弱ですので、長期に安定するレートを考えると3200程度が最高であったと考えられます。それを鑑みると、今回のponanzaのレート推定値は突出した数字であるという事が分かります。さらに、使用時間の改善やハード増強の余地を残していることを考えると、我々アマチュアの視点では、もう完全に別世界の存在になっている感じがします。
将棋倶楽部24におけるレートはイロレーティングを簡易化したものであり、近似値を算出していると考えることができます。イロレーティングについては以下の解説記事をご覧ください。
ただし、将棋倶楽部24においては「少なくとも一方が2600以上で400を超えた差がある相手との対局」の場合には「指導対局扱い」となってレートが変動しないため、トップ層よりも400以上高い突出した参加者がいる場合にはレートの算出ができなくなってしまっています（http://www.shogidojo.com/dojo/rating/を参照）。基本的にそのような参加者は想定外ということなのでしょう。
そもそも全勝で負けがない参加者の場合には、本来のイロレーティングでもレートを決定することはできません。もちろん、初期値を設定すれば、レート改善の式によってレートを計算すること自体はできるわけですが、その結果は完全に初期値に依存しており、収束した値にはなりません。負けていない参加者は勝率100%ということなので、無理やりレートを算出しようとすると発散してしまうということです。
それでは、69連勝のponanzaのレートはどのように推定したらよいのでしょうか？ 統計学では、ponanzaのレートをある値だと仮定した時に69連勝する確率を算出して、それが十分に小さい（有意水準以下）なら、その仮定（帰無仮説）はダメだったと考えます。
69連勝する確率を算出する際には、ponanzaのレートの仮定値の他に、モデルを設定する必要があります。記録をそのまま用いると、以下の「詳細モデル」になります。
- レート差と勝率との関係はイロレーティングの式で決まるとする。
- 対局相手のレートは棋譜に記載されている値とする。
- レート差と勝率との関係はイロレーティングの式で決まるとする。
- 対局相手のレートには全て平均値（2941.35）を用いる。
以下に69連勝する確率の計算結果を示します。黒線が「詳細モデル」の結果で、青点線が「簡易モデル」の結果です。
有意水準を5%とすると、「詳細モデル」の場合、ponanzaの仮定レートが3519より小さいと有意水準の5%を下回ってしまうので、ponanzaのレートは3519以上だと推定することができます。同様に、「簡易モデル」の場合は3483以上だと推定されます。いずれにしても、5%の有意水準では大体3500以上ということになります。上限値については、全勝であるため、2015年12月の記録からは推定することはできません。
それでは、2013年5月の記録ではどうなるでしょうか？ この時には92勝5敗ですので、最も確率が高くなるレートが存在するはずです。
計算した確率を以下に示します。黒線が「詳細モデル」の結果で、青点線が「簡易モデル」（平均レートは3041.75）の結果です。確率の値が小さいのは勝敗の並び順まで再現するように確率を計算しているためです。値の絶対的な大きさではなく、仮定レート毎の相対的な大きさ（つまりグラフの形）に注目してください。
確率が最も高くなるのは、「詳細モデル」の場合、ponanzaのレートが3567の時であり、このレートが統計学的に最も尤もらしい推定値（最尤値）ということになります。同様に、「簡易モデル」の場合、最尤値は3548になり、この値は平均レート（3041.75）と記録勝率（92/97）からイロレーティングの式で算出したレート推定値と一致しています。ただし、グラフの形状が鋭いピーク状ではなく、緩やかな山状になっているため、推定レートには幅があることが分かります。
上限と下限を推定するために、「簡易モデル」を用いて、92勝5敗以上の結果を得る確率（黒線）と92勝5敗以下の結果を得る確率（赤線）を算出したのが、以下の図です。
有意水準を5%とすると、2013年5月のponanzaのレートは3414以上、3713以下と推定されます。大雑把にまとめると、3550から±150の範囲内ということです。
ここからは非常にざっくりとした話になりますが、コンピュータ将棋対局場floodgateの記録を参考にすると、2013年5月から2015年12月の間のponanzaのレート上昇は、ハード分を含めて、200程度ではないかと推測されます。この推測に基づくと、2015年12月参戦時のレートは3750から±150の範囲内程度であったのではないかと思われます。この推測は、3500以上という今回の参戦結果に基づく推定と矛盾しません。
2015年12月以前の将棋倶楽部24の人間参加者の最高レートは3312（2012年12月29日）でした。イロレーティング（K = 16）の標準偏差は40弱ですので、長期に安定するレートを考えると3200程度が最高であったと考えられます。それを鑑みると、今回のponanzaのレート推定値は突出した数字であるという事が分かります。さらに、使用時間の改善やハード増強の余地を残していることを考えると、我々アマチュアの視点では、もう完全に別世界の存在になっている感じがします。
