コンピュータ将棋基礎情報研究所

コンピュータ将棋に関する基礎的な情報を収集し、分析し、発表する所です。英語名称はLaboratory for Fundamental Information on Computer Shogi (LFICS)。

2017年01月

floodgate棋譜集レートの最尤法との比較一覧(2012~2016年版)」の記事において、「うさぴょんの育ての親」様から「名前を変えないまま中身が変わっているモノ」がレート推定に大きな影響を与えているのではないかというご指摘がありました。

特に2016年はソフトのレート上昇が著しかった時期であり、世界コンピュータ将棋選手権があった前期と電王トーナメントがあった後期とでは「中身」のレートが大きく変わっている可能性があります。結果的に、レート推定に大きな系統誤差が生じていても不思議ではありません。

そこで、2016年版のfloodgate棋譜集の棋譜を前期(1~6月)と後期(7~12月)に分けて、それぞれ前回と同じ方法で最尤法によるレート推定を行いました。

結果は記事の最後にまとめてあります。表記は前回のものと基本的に同じです。

半期に分けて処理を行った結果、全体的に前期のレートは減少し、後期のレートは増加しました。これは「中身が変わっているモノ」の影響だと思われます。

さて、前回の記事における「うさぴょんの育ての親」様のコメントの主旨は、「usapyon2_slave_USEAVX_FX9590_8t」よりも明らかに強い(レート250弱上の)「usapyon2dash-withBUG」のレート推定値が低く出ているのが“謎”だということでした。

2つのソフトの推定結果は、

  • 「usapyon2_slave_USEAVX_FX9590_8t」(前回:3353 ± 27、今回:3345 ± 27)
  • 「usapyon2dash-withBUG」(前回:3208 ± 59、今回:3217 ± 59)

ですので、どうやら「中身が変わっているモノ」の影響は小さいようです。ソフトの相性の問題か、本当に運が悪かった/良かっただけか、それとも何か他に要因があるのか、この件については未だに“謎”のままです。

-------------------

  • 表記

レート順位. 名前: 2016年版推定値 -> 半期での推定値 ±標準不確かさ (回数)

-------------------

  • 2016年1~6月版
  1. jsus                            : 3545 -> 3534 ± 24
  2. atsm                            : 3554 -> 3526 ± 60
  3. GameoverZeus                    : 3561 -> 3518 ± 72
  4. yomita_dynamic_margin           : 3498 -> 3489 ± 50
  5. Gikou-5820k                     : 3537 -> 3465 ± 48
  6. SILENT_MAJORITY_6950XEE         : 3500 -> 3443 ± 62
  7. nozomi_i7-4790                  : 3437 -> 3432 ± 61
  8. UP2S                            : 3437 -> 3427 ± 40
  9. ANSM                            : 3432 -> 3423 ± 19
 10. Adad                            : 3436 -> 3414 ± 33
 11. ajiva                           : 3416 -> 3407 ± 54
 12. Tomabechi                       : 3445 -> 3400 ± 31
 13. komasan                         : 3413 -> 3397 ± 25
 14. Gikou-980X                      : 3435 -> 3387 ± 44
 15. SILENT_MAJORITY_6700K           : 3440 -> 3385 ± 37
 16. Apery_5820K                     : 3388 -> 3384 ± 52
 17. ponderman                       : 3391 -> 3359 ± 52
 18. dm                              : 3367 -> 3357 ± 23
 19. Titanda_L                       : 3372 -> 3354 ± 19
 20. SILENT_WHALE                    : 3368 -> 3354 ± 55
 21. SILENT_MAJORITY_4770K           : 3368 -> 3352 ± 80
 22. LL                              : 3358 -> 3349 ± 36
 23. moonlight_ray_04                : 3358 -> 3348 ± 39
 24. usapyon2_slave_USEAVX_FX9590_8t : 3353 -> 3345 ± 27
 25. sinbo                           : 3384 -> 3331 ± 60
 26. QWERTY                          : 3334 -> 3323 ± 31
 27. yomita_i7-6700HQ                : 3329 -> 3322 ± 73
 28. TAKUYA                          : 3314 -> 3305 ± 44
 29. Gikou_2016_i7-3517U             : 3367 -> 3295 ± 58
 30. TvT                             : 3298 -> 3288 ± 43
 31. GoneuraOu_i7-4770K              : 3295 -> 3285 ± 28
 32. SILENT_MAJORITY_i7-3517U        : 3324 -> 3271 ± 43
 33. SILENT_MAJORITY_i7-4510U        : 3381 -> 3265 ± 56
 34. Gekisashi_X5590_7c              : 3275 -> 3262 ± 44
 35. KBTIT                           : 3266 -> 3258 ± 53
 36. yygiko-2c                       : 3308 -> 3254 ± 34
 37. gpsfish_XeonX5680_12c_bid       : 3262 -> 3253 ± 15
 38. AperyTwig_FX9590                : 3245 -> 3238 ± 61
 39. apery_twig_sdt3_duo3.2_oc       : 3245 -> 3238 ± 32
 40. Bonafish_0.42                   : 3233 -> 3237 ± 64
 41. yomita_6c                       : 3242 -> 3234 ± 32
 42. nozomi_4790K                    : 3260 -> 3221 ± 47
 43. SM-i5-5200u                     : 3246 -> 3213 ± 52
 44. gikou-i5-5200u                  : 3257 -> 3204 ± 40
 45. Gikou_i3_5010U                  : 3227 -> 3191 ± 59
 46. Apery_Twig_i7-4510U             : 3192 -> 3184 ± 23
 47. sayapery_4c_4790K               : 3165 -> 3159 ± 32
 48. YaneuraOu_classic-tce_4790K     : 3166 -> 3138 ± 54
 49. yocvp13mk2                      : 3121 -> 3117 ± 48
 50. gpsfish_0414                    : 3115 -> 3110 ± 44
 51. CRAZYKING                       : 3117 -> 3110 ± 26
 52. Apery_WCSC26_i7-3517U           : 3113 -> 3094 ± 42
 53. Tsukajumi                       : 3090 -> 3084 ± 42
 54. nanoTwig_FX9590_4.7GHz          : 3084 -> 3078 ± 14
 55. nanopery_FX9590_4.7GHz_4t       : 3076 -> 3076 ± 32
 56. max                             : 3081 -> 3076 ± 50
 57. nanopery_FX9590_4.7GHz_test     : 3080 -> 3076 ± 22
 58. YssF_6t_x1                      : 3058 -> 3054 ± 35
 59. smmpv-1c                        : 3078 -> 3049 ± 39
 60. Gekisashi_X5590_1c              : 3052 -> 3048 ± 55
 61. komadoku_plus_kkp_6c            : 3054 -> 3040 ± 39
 62. Gikou32_z8300tablet-4c          : 3056 -> 3033 ± 49
 63. GradientWind                    : 3014 -> 3014 ± 60
 64. Celsius_0.2.2                   : 3015 -> 3010 ± 44
 65. apery-wcsc26-1c                 : 2996 -> 2994 ± 59
 66. usapyon2_slave_TWIG             : 3000 -> 2994 ± 39
 67. NanohaWCSC26                    : 2989 -> 2985 ± 59
 68. BrilliantDisguise               : 2983 -> 2981 ± 44
 69. att                             : 2976 -> 2975 ± 59
 70. WeddingSong                     : 2971 -> 2971 ± 58
 71. YaneClaTce_i5                   : 2965 -> 2946 ± 37
 72. kosotto                         : 2958 -> 2939 ± 36
 73. GravityJet                      : 2936 -> 2936 ± 63
 74. SolitaryWave                    : 2933 -> 2932 ± 53
 75. Apery32_tmmod_z8300-4c          : 2927 -> 2923 ± 22
 76. TelegraphRoad                   : 2918 -> 2918 ± 47
 77. HurricaneVolt                   : 2913 -> 2914 ± 43
 78. Rolling                         : 2905 -> 2907 ± 53
 79. Saya_chan_WCSC25ver             : 2892 -> 2892 ± 47
 80. Apery32_tmmod_3735F-4thread     : 2886 -> 2884 ± 16
 81. gpsfish_8n8c                    : 2871 -> 2868 ± 28
 82. SensitiveTraining               : 2846 -> 2846 ± 45
 83. KifuWarabe                      : 2831 -> 2842 ± 22
 84. Starbound                       : 2819 -> 2816 ± 12
 85. TMOQ_64bit                      : 2807 -> 2807 ± 52
 86. Starwheel                       : 2817 -> 2804 ± 48
 87. gpsfish_normal_1c               : 2800 -> 2800 ±  0
 88. usapyon2_slave_TWIG_1t          : 2801 -> 2799 ± 31
 89. bonanza6.0                      : 2775 -> 2786 ± 56
 90. Gift                            : 2765 -> 2759 ± 58
 91. Celsius0.2.0                    : 2770 -> 2757 ± 49
 92. Ydebug185                       : 2772 -> 2749 ± 19
 93. nanoha_test                     : 2744 -> 2746 ± 43
 94. celery1_YCT                     : 2732 -> 2737 ± 53
 95. OkaraManju                      : 2749 -> 2717 ± 51
 96. KifuWarabe_NotePC               : 2704 -> 2707 ± 27
 97. orange2_AWS-t2.micro_YClassicTce: 2698 -> 2702 ± 46
 98. MeijinCobra_WCSC26              : 2683 -> 2685 ± 52
 99. 6.0bookKai_4700MQ-4cHT4t        : 2672 -> 2673 ± 30
100. Celsius0.0.9                    : 2648 -> 2643 ± 56
101. Okara20XX                       : 2586 -> 2576 ± 53
102. KifuWarabe_i7_WCSC26            : 2544 -> 2551 ± 19
103. orange_AWS-t2.micro_GPSfish     : 2439 -> 2457 ± 52
104. Bonanza6.0_1c_X                 : 2413 -> 2426 ± 62
105. hima_for_miryoku                : 2378 -> 2398 ± 29
106. gps_l                           : 2330 -> 2364 ± 16
107. YSS                             : 2226 -> 2252 ± 47
108. komadoku_only_6c                :      -> 2204 ±105
109. STIGMATA                        :      -> 2182 ± 93
110. YaneuraOu-nano-plusV164a        :      -> 2144 ±151 (992)
111. piyo_lv6_iphone6s               : 1975 -> 2004 ±106 (966)

-------------------

  • 2016年7~12月版
  1. ukamuse_SDT4_2697v4_36c      : 4131 -> 4172 ±160 (627)
  2. SM_newEval_test              : 3847 -> 3965 ±116 (991)
  3. YaneuraOu_Kai_6950X          : 3644 -> 3900 ±134 (902)
  4. MAJO-1.2_AG1.13_6950X        : 3822 -> 3882 ±159 (993)
  5. MAJO_160824_6950X            : 3829 -> 3829 ±117 (889)
  6. METEORA                      : 3659 -> 3796 ± 91
  7. Gikou_6950XEE                : 3671 -> 3788 ± 89
  8. Azul_abnormalOu              : 3650 -> 3773 ± 58
  9. MAJO_1.2_161007_6700HQ       : 3727 -> 3735 ±115
 10. Apery_Cus_6950XEE            : 3704 -> 3734 ±121 (900)
 11. ukamuse_6700K                : 3684 -> 3714 ±113 (999)
 12. Renovate                     : 3613 -> 3706 ± 77
 13. Bonanza_6.1.2_core2duo_test  : 3558 -> 3682 ± 57
 14. hamu                         : 3588 -> 3680 ± 69
 15. Aqours                       : 3564 -> 3653 ± 88
 16. YaneuraOuSimple              : 3526 -> 3640 ± 69
 17. MAJO_6700HQ_160917           : 3588 -> 3624 ± 74
 18. ukamuse_2c                   : 3582 -> 3612 ±122 (888)
 19. Gikou_6700K                  : 3548 -> 3586 ± 54
 20. SILENT_HIRAOKA_20160803_2700K: 3515 -> 3580 ± 71
 21. YaneuraOu_Xeon_E5_2698_v4_40c: 3533 -> 3564 ±168 (969)
 22. SILENT_MAJORITY_i7-4510U     : 3381 -> 3548 ± 60
 23. May                          : 3464 -> 3520 ± 51
 24. SILENT_HIRAOKA_20160917_2700K: 3468 -> 3514 ± 74
 25. SILENT_HIRAOKA_20160930_2700K: 3464 -> 3500 ± 65
 26. SILENT_MAJORITY_Kai-3517U    : 3399 -> 3482 ± 69
 27. Yomita_1.83_6700HQ           : 3437 -> 3474 ±117 (969)
 28. Apery-160908_6700HQ          : 3351 -> 3459 ±105
 29. gikou_win_20160606_i7-2600K  : 3372 -> 3450 ± 71
 30. Apery-160917_6700HQ          : 3345 -> 3414 ± 74
 31. SILENT_MAJORITY_2c           : 3328 -> 3400 ± 56
 32. Titanda_L                    : 3372 -> 3394 ±168 (999)
 33. Yomita_SDT4_6700HQ           : 3378 -> 3394 ± 81
 34. Apery_Kai_1.67-3517U         : 3324 -> 3360 ± 90
 35. nozomi_i5                    : 3321 -> 3352 ± 61
 36. yanetest                     : 3298 -> 3349 ± 30
 37. Celsius                      : 3326 -> 3318 ± 55
 38. 2c_Rtest_G                   : 3255 -> 3294 ± 45
 39. Gikou_AperyEvalMix_i5-3317U  : 3227 -> 3270 ± 71
 40. Gikou_AperyEvalMix_SurfacePro: 3174 -> 3244 ± 76
 41. usapyon2dash-withBUG         : 3208 -> 3217 ± 59
 42. nozomi_i7-4510U              : 3169 -> 3199 ± 42
 43. Gikou_20160606_1c            : 3135 -> 3177 ± 42
 44. NanohaSDT4                   : 3110 -> 3112 ± 51
 45. Apery_WCSC26_0911_1c         : 3056 -> 3081 ± 42
 46. Gc_at_Cortex-A53_4c          : 3070 -> 3080 ± 37
 47. test_cortex-A53_4c           : 3063 -> 3070 ± 66
 48. 6sec_1c_Rtest_G              : 3024 -> 3047 ± 36
 49. ShootingStar                 : 2973 -> 2978 ± 51
 50. Gikou_20160606_1c_3s         : 2883 -> 2894 ± 31
 51. G_512_Cortex-A7_2c           : 2878 -> 2892 ± 34
 52. Gc_Test_Cortex-A7_2c         : 2835 -> 2837 ± 15
 53. gpsfish_normal_1c            : 2800 -> 2800 ±  0
 54. Blunder_6700HQ               : 2648 -> 2644 ± 60
 55. KifuWarabe_i7_WCSC26         : 2544 -> 2581 ± 39
 56. Saya_chan0107-4iMYU          : 2568 -> 2549 ± 42
 57. aggressor                    : 2450 -> 2418 ± 31
 58. Gikou_deth10                 : 2449 -> 2411 ± 40
 59. BonanzaFeliz0.0MYU           : 2425 -> 2395 ± 35
 60. s1510009                     : 2376 -> 2346 ± 62
 61. gps_l                        : 2330 -> 2294 ± 17

-------------------

floodgate棋譜集(2012~2016年版)のレート推定を最尤法を用いて計算し直しました。最尤法については「最尤法によるレート推定と不確かさ」の解説記事をご覧ください。floodgate棋譜集については以下の資料記事をご参照ください。

上記資料中のイロレーティング平均値と最尤法による推定値とを同じデータを用いて比較した結果を以下に示します。標準不確かさ(※)は1000回のシミュレーション(モンテカルロ法)による見積もりです。ただし、末尾の括弧内に数字(シミュレーション回数)が記載されている者は、シミュレーション中に全勝/全敗により推定値が出ない場合があった者であり、その分だけ回数が減少しています(この場合、その者の標準不確かさは過小評価されており、あまり信用できません)。

※ もし正規分布なら、求めたい値が「±標準不確かさ」の範囲内にある確率が約68%、2倍の範囲内にある確率が約95%、3倍の範囲内にある確率が約99.7%になります。

-------------------

  • 表記
レート順位. 名前: イロレーティング平均値 -> 最尤法による推定値 ±標準不確かさ (回数)

-------------------

  • 2012年版
  1. PonanzaCluster          : 3147 -> 3132 ± 40
  2. Bonanza_expt            : 3097 -> 3084 ± 62
  3. gin                     : 2986 -> 2974 ± 42
  4. HotJupiter              : 2984 -> 2973 ± 48
  5. gpsshogi_expt           : 2969 -> 2956 ± 46
  6. FJ                      : 2963 -> 2951 ± 52
  7. ponanza-990XEE          : 2954 -> 2939 ± 13
  8. co-danaka-kun           : 2936 -> 2922 ± 19
  9. gpsfish_4c              : 2926 -> 2916 ± 28
 10. B_2500K_4c              : 2927 -> 2915 ± 36
 11. LL                      : 2925 -> 2914 ± 17
 12. Keep_firmness1.2        : 2924 -> 2914 ± 54
 13. Revolver                : 2923 -> 2912 ± 60
 14. ponanza_4c              : 2922 -> 2909 ± 27
 15. PuppetMaster            : 2913 -> 2902 ± 15
 16. ttkn_eval110528_2630QM  : 2910 -> 2899 ± 23
 17. tsutsukana_2630QM       : 2900 -> 2887 ± 13
 18. Keep_achieve            : 2894 -> 2882 ± 22
 19. gps_f                   : 2877 -> 2866 ± 51
 20. bona6_1s                : 2877 -> 2865 ± 35
 21. hamu                    : 2868 -> 2857 ± 25
 22. masana                  : 2862 -> 2851 ± 35
 23. llcf                    : 2863 -> 2851 ± 44
 24. Apery_2700K_4c          : 2859 -> 2847 ± 21
 25. BlunderXX-GPW2012       : 2857 -> 2846 ± 31
 26. zaku                    : 2852 -> 2840 ± 39
 27. test_0.15               : 2844 -> 2833 ± 31
 28. Keep_firmness1.3        : 2841 -> 2830 ± 14
 29. Keep_expect             : 2839 -> 2827 ± 29
 30. nop                     : 2829 -> 2819 ± 27
 31. ske48                   : 2830 -> 2819 ± 22
 32. Keep_exceed             : 2827 -> 2817 ± 43
 33. ZELDA                   : 2824 -> 2813 ± 46
 34. futyagin                : 2823 -> 2813 ± 41
 35. bona_Sinob              : 2824 -> 2813 ± 24
 36. hunter                  : 2822 -> 2811 ± 44
 37. Keep_firmness           : 2820 -> 2808 ± 27
 38. Keep_firmness1.4        : 2815 -> 2804 ± 13
 39. bona_Sinobu             : 2802 -> 2792 ± 15
 40. ph945-4c                : 2799 -> 2788 ± 39
 41. LePenseur               : 2797 -> 2787 ± 21
 42. Titanda_L               : 2781 -> 2772 ±  9
 43. Shueso                  : 2783 -> 2771 ± 16
 44. Shueso_2c               : 2779 -> 2770 ± 16
 45. vcc                     : 2781 -> 2768 ± 18
 46. G_2500K_4c              : 2778 -> 2767 ± 42
 47. BlunderXX-2820QM        : 2776 -> 2765 ± 18
 48. Gekisashi_X5590_1c      : 2772 -> 2762 ± 10
 49. i7-2600_8T_bona_Ver6.0  : 2771 -> 2761 ± 46
 50. sinbo                   : 2768 -> 2757 ± 42
 51. stockfish               : 2766 -> 2757 ± 39
 52. ZERO                    : 2762 -> 2751 ± 21
 53. ph945-2c                : 2755 -> 2746 ± 35
 54. floodgate-900-0.ki      : 2748 -> 2738 ± 51
 55. XXX                     : 2745 -> 2734 ± 34
 56. jkt48                   : 2730 -> 2721 ± 34
 57. YssL980X_6c             : 2725 -> 2715 ± 31
 58. momotamaE               : 2714 -> 2705 ± 30
 59. YssOpMJ_3c_x2           : 2705 -> 2696 ± 38
 60. Phantom                 : 2705 -> 2696 ± 31
 61. bns6a                   : 2699 -> 2690 ± 41
 62. bns6b                   : 2698 -> 2689 ± 40
 63. MDK                     : 2696 -> 2687 ± 28
 64. YssOpMJ_1c_x2           : 2693 -> 2683 ± 48
 65. apacci                  : 2680 -> 2671 ± 32
 66. bona_hitagi             : 2675 -> 2667 ± 22
 67. Bonanza                 : 2645 -> 2638 ±  9
 68. BlunderXX_Q6700_2c      : 2643 -> 2635 ± 22
 69. BlunderXX-WCSC22        : 2631 -> 2624 ± 50
 70. bona_karen              : 2616 -> 2608 ± 50
 71. MK-shogi                : 2601 -> 2594 ± 20
 72. BlunderXX_Opteron250_2c : 2598 -> 2592 ± 30
 73. Ibala_mayaka            : 2590 -> 2584 ± 15
 74. inu                     : 2581 -> 2574 ± 33
 75. Bonanza6.0-Q6700-2c     : 2581 -> 2574 ± 28
 76. poor                    : 2577 -> 2569 ±  9
 77. penguin                 : 2572 -> 2563 ± 16
 78. test0.01                : 2571 -> 2562 ± 31
 79. YssL980X_1c             : 2563 -> 2555 ± 36
 80. YssL540_1c              : 2554 -> 2547 ± 17
 81. Bonanza6.0-Opteron250-2c: 2542 -> 2535 ± 21
 82. gps_                    : 2540 -> 2534 ±  9
 83. Apery                   : 2541 -> 2532 ± 16
 84. Keep                    : 2532 -> 2526 ± 13
 85. inuinu                  : 2500 -> 2492 ± 32
 86. gps_l                   : 2488 -> 2481 ±  6
 87. BlunderXX_4c            : 2477 -> 2471 ±  6
 88. nikohima_human          : 2453 -> 2449 ± 33
 89. bona6_3s                : 2421 -> 2415 ± 54
 90. misairu                 : 2417 -> 2412 ± 50
 91. bona6_1000k             : 2414 -> 2409 ± 25
 92. Sunfish1.23_X6t         : 2394 -> 2389 ± 19
 93. kakusan_hadouhou        : 2382 -> 2377 ± 31
 94. kato                    : 2377 -> 2374 ± 47
 95. mumu_jam_nana           : 2365 -> 2361 ± 29
 96. YssL_1000k              : 2360 -> 2357 ± 21
 97. sakurapyon-0.027-gmo    : 2351 -> 2347 ± 25
 98. bona6.0_norm            : 2350 -> 2347 ± 16
 99. kaziking                : 2347 -> 2343 ± 36
100. sakurapyon-2012-029     : 2346 -> 2342 ± 24
101. BlunderXX-r4193_4c      : 2347 -> 2342 ± 23
102. Sunfish1.28a            : 2343 -> 2340 ± 32
103. sakurapyon-2012-0.027kpp: 2344 -> 2339 ± 22
104. sakurapyon-2012-0.025kpp: 2337 -> 2333 ± 22
105. Sunfish1.30             : 2329 -> 2326 ± 45
106. sakurapyon-onamae       : 2331 -> 2325 ± 20
107. chienowa                : 2319 -> 2315 ± 50
108. bingo                   : 2313 -> 2313 ±  7
109. YSS                     : 2295 -> 2294 ± 14
110. bono                    : 2282 -> 2281 ± 37
111. sakurapyon-2012-0.022kpp: 2267 -> 2265 ± 14
112. BlunderXX-r4184_4c      : 2256 -> 2254 ± 39
113. kuma_w_bona6            : 2242 -> 2239 ± 25
114. sakurapyon-2012-0.019kpp: 2239 -> 2237 ± 44
115. Sunfish1.20_X6t         : 2226 -> 2223 ± 16
116. simk_test               : 2219 -> 2218 ± 14
117. mumu                    : 2216 -> 2216 ± 10
118. freedom                 : 2217 -> 2215 ± 36
119. BlunderXX-Test_4c       : 2214 -> 2213 ± 22
120. kuma2_test              : 2207 -> 2204 ± 14
121. sakurapyon-2012-0.021kpp: 2205 -> 2204 ± 26
122. rico                    : 2185 -> 2185 ± 32
123. simk_0307               : 2184 -> 2183 ± 29
124. Kakinoki-Test           : 2179 -> 2180 ±  9
125. mu3a                    : 2180 -> 2179 ± 30
126. sakurapyon-2012-0.015kpp: 2176 -> 2174 ± 11
127. kuma_bona6              : 2172 -> 2170 ± 46
128. Apery_WCSC22            : 2168 -> 2167 ± 31
129. human                   : 2158 -> 2157 ± 42
130. gps_normal              : 2150 -> 2150 ±  0
131. h3gyogun                : 2139 -> 2139 ± 19
132. kuma2_l                 : 2139 -> 2138 ± 32
133. sakurapyon-2012-0.017kpp: 2129 -> 2128 ± 52
134. Kakinoki-Z              : 2124 -> 2124 ±  7
135. mumu2                   : 2111 -> 2113 ± 22
136. stdd6                   : 2098 -> 2098 ± 21
137. mcts                    : 2084 -> 2086 ±  9
138. kuma_wcs22              : 2072 -> 2073 ± 36
139. YssL_100k               : 2064 -> 2065 ± 29
140. 1300d6                  : 2057 -> 2057 ± 23
141. BlunderXX-r4167_4c      : 2054 -> 2054 ± 46
142. NanohaForWCSC22         : 2054 -> 2053 ± 58
143. sakurapyon-2012-0.014kpp: 2052 -> 2051 ±106 (953)
144. NanohaWCSC21USI         : 1980 -> 1982 ± 34
145. Selene_c1_relpos        : 1953 -> 1954 ± 86

-------------------

  • 2013年版
  1. ponanza_expt                : 3286 -> 3267 ± 34
  2. gpsshogi_expt               : 3246 -> 3230 ± 38
  3. ponanza-990XEE              : 3226 -> 3208 ± 10
  4. gpsfish_x5680               : 3213 -> 3196 ± 17
  5. NineDayFever_XeonE5-2690_16c: 3208 -> 3192 ± 10
  6. Gekisashi_X5590_7c          : 3210 -> 3191 ± 12
  7. maybe_tomorrow              : 3200 -> 3181 ± 16
  8. tsutsukana_1303p2           : 3184 -> 3167 ± 34
  9. gpsfish_xeon5470            : 3180 -> 3162 ± 67
 10. gpsfish_6c                  : 3168 -> 3152 ± 26
 11. TEST-fne                    : 3166 -> 3149 ± 45
 12. gpsfish_XeonX5680_12c       : 3162 -> 3146 ± 31
 13. PuppetMaster                : 3150 -> 3134 ± 10
 14. tsutsukana_1303p3           : 3133 -> 3117 ± 17
 15. gpsfish_12c                 : 3123 -> 3108 ± 35
 16. YssF_6t_x1                  : 3123 -> 3108 ± 22
 17. gpsfish_980X_4G             : 3121 -> 3106 ± 33
 18. BlunderXX_XPS850_4C         : 3111 -> 3095 ± 38
 19. BlunderXX-WCSC23            : 3106 -> 3090 ± 19
 20. gps_f_testbook              : 3090 -> 3076 ± 15
 21. Next                        : 3086 -> 3072 ± 29
 22. ttkn_eval130807_2630QM      : 3087 -> 3071 ± 19
 23. gps_f                       : 3075 -> 3060 ± 22
 24. Apery_3930K_6c              : 3069 -> 3055 ± 25
 25. Apery_WCSC23_3930K_4.3GHz_6c: 3062 -> 3047 ± 24
 26. Titanda_L                   : 3052 -> 3037 ±  9
 27. PuppetMaster_XeonE5-2450_8c : 3051 -> 3036 ± 71
 28. Revolution                  : 3050 -> 3035 ± 42
 29. Real_Madrid                 : 3047 -> 3032 ± 56
 30. Blunder_WCSC23_4670_4C      : 3043 -> 3029 ± 48
 31. Apery_2700K_4c              : 3040 -> 3024 ± 15
 32. ttkn_eval110528_2630QM      : 3038 -> 3024 ± 43
 33. amatyan                     : 3034 -> 3021 ± 14
 34. test_0.15                   : 3028 -> 3015 ± 17
 35. Shueso                      : 3030 -> 3015 ± 38
 36. MCZ                         : 3029 -> 3015 ± 48
 37. jidaiokure                  : 3022 -> 3006 ± 17
 38. Mark.07                     : 3015 -> 3001 ± 49
 39. Selene_test_2c              : 3009 -> 2995 ± 43
 40. test2013                    : 3007 -> 2994 ± 52
 41. hamu                        : 3001 -> 2987 ± 53
 42. Apery_fv.bin_2700K_4c       : 3001 -> 2987 ± 36
 43. Bona6_miya2009_4670_4c      : 2989 -> 2975 ± 43
 44. Deep_Impact                 : 2989 -> 2974 ± 38
 45. Momoiro_Clover_Z            : 2988 -> 2974 ± 16
 46. Bonanza6.0_4670_4c          : 2962 -> 2950 ± 51
 47. gpsfish_cygwin_4c           : 2961 -> 2947 ± 42
 48. Gekisashi_X5590_1c          : 2960 -> 2944 ± 10
 49. bona6_12c                   : 2955 -> 2942 ± 22
 50. JOKER                       : 2944 -> 2930 ± 26
 51. Bona6_Taikou_4670_4C        : 2930 -> 2917 ± 41
 52. Theseus                     : 2929 -> 2916 ± 26
 53. FC_Barcelona                : 2928 -> 2915 ± 49
 54. Momoiro_Clover              : 2928 -> 2914 ± 40
 55. Keep_firmness1.5            : 2924 -> 2910 ± 18
 56. Mark.11                     : 2922 -> 2909 ± 45
 57. Keep_firmness1.4            : 2919 -> 2906 ± 19
 58. Shueso_2c                   : 2908 -> 2896 ± 18
 59. Asclepios                   : 2903 -> 2891 ± 20
 60. Sfoley                      : 2895 -> 2882 ± 46
 61. Apollo                      : 2891 -> 2880 ± 20
 62. Hades                       : 2889 -> 2876 ± 20
 63. Zeus                        : 2891 -> 2876 ± 21
 64. testb002                    : 2885 -> 2872 ± 40
 65. Apollon                     : 2875 -> 2862 ± 21
 66. TestWhale3                  : 2872 -> 2860 ± 36
 67. bicycle_man_725             : 2864 -> 2852 ± 24
 68. Jupiter                     : 2856 -> 2846 ± 22
 69. Poseidon                    : 2857 -> 2846 ± 21
 70. kumamon                     : 2856 -> 2844 ± 44
 71. Bona6_Ibisya_4670_4C        : 2855 -> 2842 ± 44
 72. SanagiMan_PM                : 2846 -> 2835 ± 34
 73. TestWhale4                  : 2813 -> 2802 ± 42
 74. bonatest01                  : 2807 -> 2795 ± 22
 75. luminos                     : 2803 -> 2792 ± 43
 76. Selene_test_1c              : 2799 -> 2787 ± 29
 77. BlunderXX_Q6700_2c          : 2790 -> 2780 ±  7
 78. Soho_Amano                  : 2787 -> 2776 ± 30
 79. patience_corei5_4c          : 2785 -> 2773 ± 30
 80. test_test                   : 2784 -> 2772 ± 38
 81. YssFish540_2c               : 2782 -> 2771 ± 45
 82. gpsfish_1c                  : 2758 -> 2747 ± 50
 83. Hime_1c_kpp_test            : 2757 -> 2746 ± 18
 84. Flummi                      : 2737 -> 2726 ± 14
 85. pbona_4c                    : 2734 -> 2724 ± 57
 86. BlunderXX_4c                : 2720 -> 2708 ±  8
 87. Hime_1c_kpp                 : 2690 -> 2680 ± 28
 88. Bonanza6.0-Opteron250-2c    : 2690 -> 2679 ±  7
 89. Ibala_mayaka                : 2676 -> 2668 ± 22
 90. McKee                       : 2658 -> 2651 ± 17
 91. YssL540_1c                  : 2657 -> 2649 ± 21
 92. kato2                       : 2653 -> 2645 ± 11
 93. unagi                       : 2634 -> 2627 ± 17
 94. Hime_7s_kpp                 : 2634 -> 2627 ± 48
 95. ponyo                       : 2634 -> 2626 ± 10
 96. bona_k8_9550_1c             : 2631 -> 2624 ± 21
 97. nayuta                      : 2630 -> 2623 ± 40
 98. bona0.0                     : 2618 -> 2613 ± 18
 99. D-doragon                   : 2607 -> 2598 ± 44
100. bona6.0_norm                : 2596 -> 2589 ± 10
101. kuma2_test_1c               : 2580 -> 2573 ± 30
102. kato                        : 2568 -> 2562 ± 16
103. gps_l                       : 2559 -> 2553 ±  6
104. kuma2_test_nomate_1c        : 2541 -> 2533 ± 35
105. usiusi                      : 2532 -> 2527 ± 33
106. Bonanza6.0_Fusion_2C        : 2518 -> 2511 ± 22
107. kuma2.1_test                : 2513 -> 2506 ± 32
108. kumabona6_1c_gcc            : 2507 -> 2501 ± 40
109. kuma2_test                  : 2501 -> 2496 ± 25
110. Hime_3s_kpp                 : 2493 -> 2485 ± 44
111. human                       : 2486 -> 2478 ± 24
112. btest                       : 2474 -> 2466 ± 16
113. it94_sdp23_2chkihu          : 2371 -> 2366 ± 26
114. kuma2_l                     : 2361 -> 2356 ± 34
115. sakurapyon_4G               : 2349 -> 2346 ±  6
116. it9_sdp2_2chkihu            : 2341 -> 2336 ± 31
117. intel_human                 : 2304 -> 2302 ± 27
118. YSS                         : 2305 -> 2301 ± 23
119. ktest                       : 2298 -> 2295 ± 19
120. sakurapyon_2013             : 2299 -> 2294 ± 10
121. YssL_1000k                  : 2294 -> 2291 ± 28
122. kuma2_l_1c                  : 2285 -> 2282 ± 37
123. Hime_kpp_3s                 : 2278 -> 2274 ± 35
124. freedom                     : 2273 -> 2269 ± 30
125. black_mamuru                : 2254 -> 2250 ± 31
126. Kakinoki-Z                  : 2242 -> 2238 ±  9
127. neokdr                      : 2237 -> 2236 ± 24
128. it5_sdp2_2chkihu            : 2229 -> 2226 ± 27
129. frenzy-floodgate            : 2205 -> 2202 ± 20
130. Sunfish3-trial19            : 2203 -> 2201 ± 29
131. sakurapyon_dti              : 2176 -> 2177 ±  7
132. rgm_008                     : 2155 -> 2156 ± 15
133. Sunfish3-trial24            : 2157 -> 2154 ±  8
134. gps_normal                  : 2150 -> 2150 ±  0
135. it5_sdp2_wdoor2012          : 2138 -> 2138 ± 24
136. rgm_009                     : 2133 -> 2132 ± 22
137. sakurapyon-2012-032         : 2130 -> 2128 ± 46
138. it5_sdp2_wd201306           : 2130 -> 2128 ± 49
139. vps_mc2                     : 2116 -> 2116 ± 14
140. YssL_100k                   : 2116 -> 2115 ± 28
141. rgm_005                     : 2111 -> 2110 ± 26
142. sakurapyon_test             : 2091 -> 2090 ± 13
143. Sunfish3-trial17            : 2084 -> 2083 ± 49
144. Sunfish3-trial12            : 2062 -> 2063 ± 40
145. Sunfish3-trial11            : 2034 -> 2033 ± 66
146. kuma2_test_l                : 2027 -> 2026 ± 19
147. Sunfish3-trial10            : 2009 -> 2008 ± 71
148. NanohaWCSC22                : 1970 -> 1971 ± 63

-------------------

  • 2014年版
  1. AWAKE_i7_5960X_8c           : 3546 -> 3525 ± 35
  2. Test3                       : 3426 -> 3407 ± 59
  3. Test                        : 3424 -> 3404 ± 28
  4. NineDayFever_XeonE5-2690_16c: 3408 -> 3389 ± 13
  5. ponanza_expt                : 3400 -> 3381 ± 36
  6. ponanza-990XEE              : 3367 -> 3348 ± 16
  7. Apery_5960X_8c              : 3316 -> 3299 ± 49
  8. gpsf_u                      : 3304 -> 3287 ± 53
  9. ZAKO                        : 3293 -> 3277 ± 45
 10. gpsfish_XeonX5680_12c       : 3289 -> 3272 ± 11
 11. Ponax1.01_4930_6c           : 3287 -> 3270 ± 55
 12. tatakinopasso               : 3269 -> 3252 ± 46
 13. gpsf_r2837_4770_4c          : 3265 -> 3249 ± 58
 14. AWAKE_i7_2620M_2c           : 3265 -> 3248 ± 21
 15. GPSFish-WCSC24              : 3258 -> 3242 ± 23
 16. Charlotte                   : 3247 -> 3229 ± 35
 17. Onax18.0                    : 3235 -> 3221 ± 32
 18. gasg                        : 3229 -> 3212 ± 49
 19. Apery_3930K_6c              : 3221 -> 3206 ± 41
 20. guts                        : 3219 -> 3203 ± 44
 21. ponax_i7_3770               : 3216 -> 3200 ± 23
 22. CrazyKing                   : 3212 -> 3195 ± 14
 23. Apery_2700K_4c              : 3207 -> 3193 ± 20
 24. xuohk                       : 3197 -> 3182 ± 48
 25. Apery_WCSC24_3930K_6c       : 3195 -> 3181 ± 27
 26. luminos                     : 3171 -> 3156 ± 33
 27. ttkn_eval130807_2630QM      : 3168 -> 3154 ± 21
 28. pona2600                    : 3161 -> 3146 ± 34
 29. sss3                        : 3160 -> 3145 ± 54
 30. gpsfish_XeonX5470_8c        : 3148 -> 3134 ± 45
 31. YssF_6t_x1                  : 3146 -> 3133 ± 25
 32. JimmieVaughan               : 3131 -> 3116 ± 44
 33. Titanda_L                   : 3128 -> 3114 ± 11
 34. gpsfish                     : 3128 -> 3114 ± 40
 35. hamu                        : 3089 -> 3076 ± 45
 36. Gekisashi_X5590_1c          : 3076 -> 3065 ± 17
 37. Bonanza611_4770K_4c         : 3071 -> 3057 ± 43
 38. bona6.0_4c                  : 3064 -> 3051 ± 63
 39. bonanza_fin                 : 3054 -> 3041 ± 50
 40. GPSfish021_r2896_4C         : 3050 -> 3036 ± 55
 41. Acanetti_2c                 : 3049 -> 3035 ± 65
 42. SVD                         : 3048 -> 3034 ± 39
 43. Bona6.11_4670_4c            : 3042 -> 3028 ± 51
 44. Bona6.11_Taikou_4670_4C     : 3014 -> 3000 ± 46
 45. Bonanza6.1.1_3770_4c        : 3004 -> 2991 ± 46
 46. nozomi_i7-4790              : 3001 -> 2988 ± 47
 47. sinbo                       : 2998 -> 2986 ± 37
 48. tamako                      : 2995 -> 2981 ± 52
 49. SecondLine                  : 2991 -> 2978 ± 34
 50. Hilarity                    : 2988 -> 2976 ± 65
 51. b68c                        : 2986 -> 2973 ± 41
 52. gpsfish_cygwin              : 2981 -> 2968 ± 46
 53. b65960x8cu1410              : 2970 -> 2956 ± 43
 54. BlunderXX_XPS850_4C         : 2963 -> 2949 ± 50
 55. SmallChange                 : 2959 -> 2947 ± 39
 56. gpsfishone_win              : 2958 -> 2945 ± 38
 57. CrazyPiece                  : 2948 -> 2934 ± 40
 58. KeepTheF                    : 2946 -> 2934 ± 16
 59. polaris                     : 2936 -> 2923 ± 57
 60. Ellefar_2c                  : 2935 -> 2921 ± 38
 61. SlowTrain                   : 2924 -> 2913 ± 59
 62. benkei_houshi               : 2924 -> 2912 ± 49
 63. Mao                         : 2922 -> 2911 ± 37
 64. Bonanza6.0_2697v2_12c       : 2920 -> 2909 ± 46
 65. Bonanza6.0_2697v2_24c       : 2922 -> 2908 ± 44
 66. Asclepios                   : 2915 -> 2904 ± 20
 67. YssW3680_1t_x12             : 2914 -> 2902 ± 41
 68. Desolation                  : 2901 -> 2890 ± 41
 69. shogiisukideathnote         : 2900 -> 2887 ± 51
 70. Apollo                      : 2896 -> 2885 ± 18
 71. Jupiter                     : 2894 -> 2881 ± 20
 72. gpsfish_normal_1c           : 2891 -> 2879 ± 16
 73. Flummi3                     : 2891 -> 2879 ± 48
 74. Poseidon                    : 2888 -> 2875 ± 15
 75. Bona6_miya2009_4670_4c      : 2887 -> 2874 ± 18
 76. Hades                       : 2887 -> 2873 ± 17
 77. Nanoha24a                   : 2883 -> 2870 ± 42
 78. Apollon                     : 2879 -> 2868 ± 19
 79. Tambourine                  : 2873 -> 2861 ± 36
 80. Crossroads                  : 2872 -> 2860 ± 50
 81. Subterranean                : 2869 -> 2858 ± 41
 82. Zeus                        : 2860 -> 2850 ± 17
 83. Soho_Amano                  : 2853 -> 2842 ± 43
 84. Lazybones                   : 2850 -> 2840 ± 51
 85. Pretender                   : 2849 -> 2838 ± 60
 86. Tombstone                   : 2843 -> 2832 ± 44
 87. Theseus                     : 2836 -> 2824 ± 19
 88. Freewheeling                : 2829 -> 2818 ± 35
 89. Skateaway                   : 2822 -> 2811 ± 50
 90. 6.0bookKai_4700MQ-4cHT4t    : 2813 -> 2802 ± 27
 91. Revisited                   : 2804 -> 2794 ± 41
 92. Changing                    : 2801 -> 2790 ± 32
 93. gps810patras                : 2778 -> 2768 ± 41
 94. Nanoha24a_1t                : 2757 -> 2746 ± 23
 95. Flummi2                     : 2756 -> 2745 ± 10
 96. test_t_dti                  : 2754 -> 2744 ± 41
 97. Bringing                    : 2748 -> 2737 ± 45
 98. Flummi                      : 2737 -> 2727 ± 13
 99. frenzy-floodgate            : 2736 -> 2726 ± 35
100. kato2                       : 2733 -> 2722 ± 10
101. bps                         : 2723 -> 2713 ± 21
102. bps_2                       : 2722 -> 2711 ± 23
103. bpsf_0                      : 2718 -> 2707 ± 21
104. Pledging                    : 2713 -> 2704 ± 35
105. Watchtower                  : 2712 -> 2702 ± 40
106. gpsfish1c_dfgd_human        : 2710 -> 2701 ± 31
107. bonanza6.0                  : 2703 -> 2694 ± 12
108. flummi2                     : 2697 -> 2686 ± 13
109. nozomi_dev140828_i7-2620M   : 2696 -> 2686 ± 46
110. nozomi_dev140906_i7-2620M   : 2687 -> 2679 ± 22
111. Bonanza6.0-Opteron250-2c    : 2664 -> 2653 ± 12
112. AnotherSide                 : 2627 -> 2619 ± 54
113. tubasa_human                : 2621 -> 2612 ± 38
114. Bonanza6.0_1c_bookR4        : 2576 -> 2568 ± 48
115. Bonanza6.0_Fusion_2C        : 2560 -> 2553 ± 42
116. gps_l                       : 2554 -> 2545 ±  8
117. GPSShogi_AMD_C-60_2c        : 2548 -> 2540 ± 14
118. Bonanza6.0_1c_X             : 2513 -> 2506 ± 28
119. SlashingSilverSnow0.2_G-T56N: 2496 -> 2490 ± 45
120. Lightning_Silph             : 2494 -> 2487 ± 38
121. himawari                    : 2479 -> 2473 ± 24
122. SlashingSilverSnow_G-T56N   : 2466 -> 2463 ± 19
123. SlashingSilverSnow0.3_G-T56N: 2425 -> 2420 ± 42
124. sakurapyon_4G               : 2343 -> 2338 ±  9
125. sakurapyon_vps              : 2315 -> 2309 ±  8
126. freedom                     : 2304 -> 2300 ± 49
127. YSS                         : 2288 -> 2283 ± 50
128. Kakinoki-Z                  : 2226 -> 2223 ±  6
129. Bonanza_6.0_RPi             : 2207 -> 2204 ± 12
130. bonanza_on_RaspberryPi      : 2161 -> 2161 ± 15
131. gps_normal                  : 2150 -> 2150 ±  0
132. rgm_009                     : 2145 -> 2143 ± 30
133. YssL_100k                   : 2066 -> 2066 ± 64

-------------------

  • 2015年版
  1. Gikou_20151122              : 3596 -> 3588 ± 57
  2. ponanza-990XEE              : 3500 -> 3491 ± 29
  3. NineDayFever_XeonE5-2690_16c: 3479 -> 3471 ± 28
  4. Apery_Twig_i7-5820K         : 3458 -> 3452 ± 57
  5. Apery_Twig_test             : 3423 -> 3416 ± 42
  6. Apery_Twig_4790K_test1      : 3373 -> 3367 ± 63
  7. UUDNK                       : 3327 -> 3320 ± 79
  8. Bonafish_0.42               : 3324 -> 3318 ± 31
  9. AWAKE_i7_5960X_8c           : 3314 -> 3308 ± 48
 10. XZV                         : 3301 -> 3296 ± 79 (997)
 11. Apery_i7-5820               : 3298 -> 3293 ± 23
 12. Bonafish_0.41               : 3298 -> 3292 ± 35
 13. icecream                    : 3291 -> 3285 ± 51
 14. Apery_5960X_8c              : 3289 -> 3284 ± 48
 15. vibgyor                     : 3272 -> 3267 ± 52
 16. UNKO                        : 3269 -> 3264 ± 36
 17. HGDKJ                       : 3257 -> 3250 ± 55
 18. tanukiclang-1c              : 3247 -> 3242 ± 40
 19. TDA                         : 3241 -> 3235 ± 35
 20. ycas                        : 3238 -> 3232 ± 20
 21. vibes                       : 3231 -> 3227 ± 27
 22. hydrangea                   : 3231 -> 3226 ± 41
 23. Apery_i7-4790k_4c           : 3229 -> 3223 ± 29
 24. gpsfish_XeonX5680_12c       : 3219 -> 3216 ± 12
 25. AUJK                        : 3196 -> 3191 ± 28
 26. gpsfish_XeonX5680_12c_bid   : 3194 -> 3190 ± 10
 27. AperyWCSC25_test1           : 3188 -> 3184 ± 41
 28. tEStB                       : 3188 -> 3184 ± 46
 29. PXW                         : 3180 -> 3177 ± 25
 30. CrazyKing                   : 3169 -> 3165 ± 36
 31. gpsfish_Corei7-4771_4c      : 3169 -> 3165 ± 39
 32. gpsfish_mini                : 3157 -> 3154 ± 16
 33. sandra                      : 3154 -> 3151 ± 36
 34. Apery_sse4.1msvc_8c         : 3150 -> 3146 ± 48
 35. Titanda_L                   : 3146 -> 3144 ± 15
 36. SRS                         : 3136 -> 3132 ± 50
 37. Apery_20151016              : 3129 -> 3125 ± 19
 38. Apery_i5-4670               : 3124 -> 3120 ± 22
 39. 7610_W                      : 3121 -> 3118 ± 41
 40. Bonafish_0.38               : 3121 -> 3118 ± 33
 41. Apery_WCSC25_sse42_980X     : 3120 -> 3117 ± 35
 42. Bonafish_0.39               : 3118 -> 3115 ± 19
 43. Apery_WCSC25_2c             : 3111 -> 3109 ± 42
 44. DELETE                      : 3110 -> 3106 ± 41
 45. ApeTw_Rand                  : 3095 -> 3092 ± 51
 46. sinbo                       : 3092 -> 3088 ± 25
 47. PonaX                       : 3080 -> 3076 ± 49
 48. tanuki-_5500U               : 3066 -> 3064 ± 14
 49. nanopery_FX9590_4.7GHz_test : 3064 -> 3061 ± 24
 50. YssF_6t_x1                  : 3060 -> 3058 ± 37
 51. ana                         : 3062 -> 3058 ± 44
 52. stap5                       : 3057 -> 3053 ± 18
 53. 38GINApery_Twig             : 3052 -> 3050 ± 53
 54. CRAZYKING                   : 3046 -> 3044 ± 16
 55. apery-twig-1c               : 3041 -> 3038 ± 40
 56. Apery_20150909_i7-2600K     : 3039 -> 3036 ± 25
 57. nozomi_i7-4790              : 3014 -> 3012 ± 20
 58. Apery_WCSC25_i73770r        : 3006 -> 3004 ± 42
 59. Apery2015327-i73770r        : 3005 -> 3002 ± 29
 60. asukaren_2c                 : 2998 -> 2998 ± 19
 61. 38GINAutoApery3             : 2989 -> 2987 ± 33
 62. Soho_Amano                  : 2984 -> 2982 ± 28
 63. Saya_chan_0.1.2.3           : 2972 -> 2971 ± 48
 64. 38GINAutoApery2             : 2969 -> 2966 ± 32
 65. apery-1c-head               : 2962 -> 2960 ± 47
 66. apery_1c                    : 2961 -> 2959 ± 28
 67. BlunderXX_test1             : 2934 -> 2932 ± 31
 68. Saya_chan_0.1.0.6_test      : 2927 -> 2925 ± 38
 69. Apery_20150909_i7-2860QM    : 2925 -> 2924 ± 23
 70. maple_wise0.04              : 2908 -> 2906 ± 31
 71. sayapery_1c_test1           : 2897 -> 2898 ± 31
 72. Saya_chan0.0.9.8            : 2898 -> 2896 ± 36
 73. maple_wise0.08              : 2894 -> 2893 ± 32
 74. gpsfm-1c                    : 2891 -> 2890 ± 38
 75. ForestTrap_test6            : 2886 -> 2885 ± 34
 76. Alban_Heruin                : 2870 -> 2869 ± 46
 77. ForestTrap_test3            : 2866 -> 2864 ± 32
 78. ForestTrap_test8            : 2857 -> 2857 ± 41
 79. Foxglove                    : 2855 -> 2855 ± 29
 80. Saya_Test0.9                : 2855 -> 2854 ± 25
 81. Achilles                    : 2838 -> 2838 ± 31
 82. boNanoha                    : 2820 -> 2819 ± 36
 83. grow                        : 2819 -> 2818 ± 37
 84. hima_test2                  : 2817 -> 2817 ± 47
 85. Ocean                       : 2817 -> 2817 ± 30
 86. suzuran                     : 2809 -> 2811 ± 22
 87. sonic                       : 2801 -> 2801 ± 26
 88. gpsfish_normal_1c           : 2800 -> 2800 ±  0
 89. apery_32bit_z3735f_2c       : 2790 -> 2791 ± 40
 90. ponax-tab                   : 2788 -> 2788 ± 38
 91. saya-1c                     : 2784 -> 2784 ± 34
 92. saya-1c_0.1.11              : 2778 -> 2779 ± 30
 93. hikari_i7-4790              : 2762 -> 2763 ± 41
 94. Nanoha_PhenomII_3GHz        : 2757 -> 2758 ± 45
 95. Apery-tab                   : 2736 -> 2738 ± 44
 96. nanopery_FX9590_4.7GHz      : 2728 -> 2730 ± 41
 97. misaka_10032                : 2717 -> 2718 ± 45
 98. bps                         : 2701 -> 2702 ± 40
 99. Kingfish                    : 2693 -> 2696 ± 10
100. SlowTurning                 : 2679 -> 2681 ± 29
101. Janie                       : 2677 -> 2680 ± 42
102. Basement                    : 2670 -> 2671 ± 18
103. kato2                       : 2666 -> 2669 ± 14
104. apery-1c-mpv25              : 2667 -> 2669 ± 48
105. 6.0bookKai_4700MQ-4cHT4t    : 2666 -> 2666 ± 17
106. ElectroMasterLv3            : 2662 -> 2664 ± 52
107. Cherry                      : 2660 -> 2663 ± 27
108. Teardrops                   : 2654 -> 2656 ± 52
109. NewMorning                  : 2649 -> 2654 ±  8
110. molidae                     : 2647 -> 2649 ± 62
111. Saya_chan                   : 2646 -> 2649 ± 39
112. damn                        : 2640 -> 2642 ± 38
113. eric                        : 2637 -> 2641 ± 31
114. Himawari                    : 2636 -> 2638 ± 49
115. Yss_8.8sec                  : 2634 -> 2637 ± 57
116. Febrie                      : 2632 -> 2633 ± 67
117. AperyWCSC25_1000k           : 2615 -> 2620 ± 28
118. flummi2                     : 2611 -> 2615 ± 14
119. chap                        : 2608 -> 2611 ± 41
120. Skyline                     : 2603 -> 2607 ± 41
121. ElectroMasterLv4            : 2590 -> 2592 ± 45
122. hima_test                   : 2584 -> 2587 ± 62
123. bonanza6.0                  : 2576 -> 2579 ± 22
124. fool                        : 2574 -> 2576 ± 34
125. Breeze                      : 2543 -> 2546 ± 27
126. yakumi_test1                : 2540 -> 2543 ± 50
127. BonanzaTF1000k              : 2536 -> 2541 ± 35
128. nanohamini_4c               : 2528 -> 2530 ± 58
129. Yss1000k                    : 2526 -> 2529 ± 21
130. undertaker                  : 2509 -> 2514 ± 76
131. apery-1c-dp5                : 2483 -> 2489 ± 34
132. sunfish_expr                : 2468 -> 2472 ± 32
133. Bonanzakai                  : 2465 -> 2468 ± 95 (996)
134. test_t_dti                  : 2455 -> 2461 ± 38
135. ddd                         : 2455 -> 2459 ± 22
136. Bonanza6.0_1c_X             : 2449 -> 2455 ± 25
137. acop                        : 2442 -> 2447 ± 12
138. gps_l                       : 2432 -> 2436 ± 13
139. Okara20XX                   : 2413 -> 2418 ± 53
140. nanoha-mini-PhenomII3GHz    : 2405 -> 2411 ± 69
141. bona6_1000k                 : 2353 -> 2359 ± 29
142. Bonanza6.0_1c_system        : 2346 -> 2353 ± 76
143. NeverGiveUp                 : 2314 -> 2321 ± 43
144. Elsa                        : 2280 -> 2287 ± 62
145. Bonanza6.0_1c_systern       : 2278 -> 2285 ± 61
146. NeverGiveUp_expt            : 2271 -> 2278 ± 65
147. freedom                     : 2209 -> 2216 ± 58
148. Apery_i7-3770               : 2205 -> 2214 ± 74
149. nanohanano                  : 2197 -> 2205 ± 74
150. Apery_depth8                : 2175 -> 2183 ± 55
151. Sunfish3_vps                : 2170 -> 2178 ± 16
152. Bonanzaweak                 : 2160 -> 2168 ±113 (969)
153. nanohamini_1c               : 2144 -> 2152 ± 74
154. Kakinoki-Z                  : 2140 -> 2148 ± 48
155. budou                       : 2112 -> 2121 ± 43
156. Yss300k                     : 2052 -> 2059 ± 88
157. Bonanzaweak3                : 2009 -> 2018 ± 98 (868)
158. Apery_depth7                : 2004 -> 2013 ± 69
159. Apery_depth6                : 1941 -> 1951 ± 89 (998)

-------------------

  • 2016年版
  1. ukamuse_SDT4_2697v4_36c         : 4137 -> 4131 ±121 (653)
  2. SM_newEval_test                 : 3855 -> 3847 ±100 (998)
  3. MAJO_160824_6950X               : 3837 -> 3829 ±109 (889)
  4. MAJO-1.2_AG1.13_6950X           : 3828 -> 3822 ±124 (996)
  5. MAJO_1.2_161007_6700HQ          : 3733 -> 3727 ±109 (999)
  6. Apery_Cus_6950XEE               : 3709 -> 3704 ±124 (900)
  7. ukamuse_6700K                   : 3691 -> 3684 ±111
  8. Gikou_6950XEE                   : 3680 -> 3671 ± 60
  9. METEORA                         : 3668 -> 3659 ± 74
 10. Azul_abnormalOu                 : 3657 -> 3650 ± 39
 11. YaneuraOu_Kai_6950X             : 3653 -> 3644 ±109 (997)
 12. Renovate                        : 3621 -> 3613 ± 62
 13. hamu                            : 3595 -> 3588 ± 51
 14. MAJO_6700HQ_160917              : 3594 -> 3588 ± 68
 15. ukamuse_2c                      : 3588 -> 3582 ±114 (892)
 16. Aqours                          : 3570 -> 3564 ± 81
 17. GameoverZeus                    : 3568 -> 3561 ± 70
 18. Bonanza_6.1.2_core2duo_test     : 3567 -> 3558 ± 38
 19. atsm                            : 3560 -> 3554 ± 58
 20. Gikou_6700K                     : 3554 -> 3548 ± 47
 21. jsus                            : 3555 -> 3545 ± 23
 22. Gikou-5820k                     : 3546 -> 3537 ± 39
 23. YaneuraOu_Xeon_E5_2698_v4_40c   : 3541 -> 3533 ±125 (973)
 24. YaneuraOuSimple                 : 3534 -> 3526 ± 59
 25. SILENT_HIRAOKA_20160803_2700K   : 3522 -> 3515 ± 53
 26. SILENT_MAJORITY_6950XEE         : 3507 -> 3500 ± 55
 27. yomita_dynamic_margin           : 3507 -> 3498 ± 48
 28. SILENT_HIRAOKA_20160917_2700K   : 3474 -> 3468 ± 71
 29. May                             : 3471 -> 3464 ± 44
 30. SILENT_HIRAOKA_20160930_2700K   : 3470 -> 3464 ± 61
 31. Nozomi_6950XEE                  : 3453 -> 3447 ± 68
 32. Tomabechi                       : 3453 -> 3445 ± 29
 33. SILENT_MAJORITY_6700K           : 3446 -> 3440 ± 33
 34. Yomita_1.83_6700HQ              : 3443 -> 3437 ±118 (962)
 35. nozomi_i7-4790                  : 3443 -> 3437 ± 48
 36. UP2S                            : 3445 -> 3437 ± 42
 37. Adad                            : 3444 -> 3436 ± 31
 38. Gikou-980X                      : 3443 -> 3435 ± 37
 39. ANSM                            : 3441 -> 3432 ± 19
 40. ajiva                           : 3424 -> 3416 ± 52
 41. komasan                         : 3422 -> 3413 ± 23
 42. SILENT_MAJORITY_Kai-3517U       : 3405 -> 3399 ± 61
 43. ponderman                       : 3397 -> 3391 ± 49
 44. Apery_5820K                     : 3395 -> 3388 ± 50
 45. sinbo                           : 3390 -> 3384 ± 47
 46. SILENT_MAJORITY_i7-4510U        : 3387 -> 3381 ± 36
 47. Yomita_SDT4_6700HQ              : 3383 -> 3378 ± 82
 48. gikou_win_20160606_i7-2600K     : 3378 -> 3372 ± 57
 49. Titanda_L                       : 3381 -> 3372 ± 19
 50. SILENT_WHALE                    : 3373 -> 3368 ± 53
 51. SILENT_MAJORITY_4770K           : 3373 -> 3368 ± 83
 52. Gikou_2016_i7-3517U             : 3373 -> 3367 ± 47
 53. dm                              : 3374 -> 3367 ± 22
 54. LL                              : 3364 -> 3358 ± 35
 55. moonlight_ray_04                : 3364 -> 3358 ± 39
 56. usapyon2_slave_USEAVX_FX9590_8t : 3361 -> 3353 ± 27
 57. Apery_WC26_6950XEE              : 3359 -> 3353 ± 60
 58. Apery-160908_6700HQ             : 3356 -> 3351 ± 86
 59. Apery-160917_6700HQ             : 3350 -> 3345 ± 68
 60. YaneuraOu-2016-Mid_6950X        : 3347 -> 3342 ± 59
 61. SM-980X                         : 3341 -> 3335 ± 45
 62. QWERTY                          : 3342 -> 3334 ± 32
 63. yomita_i7-6700HQ                : 3335 -> 3329 ± 69
 64. SILENT_MAJORITY_2c              : 3333 -> 3328 ± 48
 65. Celsius                         : 3330 -> 3326 ± 46
 66. Apery_Kai_1.67-3517U            : 3330 -> 3324 ± 77
 67. SILENT_MAJORITY_i7-3517U        : 3330 -> 3324 ± 35
 68. nozomi_i5                       : 3326 -> 3321 ± 56
 69. TAKUYA                          : 3321 -> 3314 ± 42
 70. yygiko-2c                       : 3314 -> 3308 ± 30
 71. yanetest                        : 3301 -> 3298 ± 24
 72. TvT                             : 3304 -> 3298 ± 42
 73. GoneuraOu_i7-4770K              : 3301 -> 3295 ± 29
 74. Gikou_20160606_i7-4510U         : 3286 -> 3281 ± 71
 75. Gekisashi_X5590_7c              : 3280 -> 3275 ± 43
 76. KBTIT                           : 3271 -> 3266 ± 51
 77. gpsfish_XeonX5680_12c_bid       : 3268 -> 3262 ± 15
 78. nozomi_4790K                    : 3264 -> 3260 ± 48
 79. gikou-i5-5200u                  : 3261 -> 3257 ± 36
 80. 2c_Rtest_G                      : 3258 -> 3255 ± 40
 81. SM-i5-5200u                     : 3250 -> 3246 ± 51
 82. AperyTwig_FX9590                : 3249 -> 3245 ± 60
 83. apery_twig_sdt3_duo3.2_oc       : 3250 -> 3245 ± 31
 84. yomita_6c                       : 3248 -> 3242 ± 32
 85. Apery_twig_i7_6700K             : 3239 -> 3234 ± 52
 86. Bonafish_0.42                   : 3237 -> 3233 ± 61
 87. Gikou_AperyEvalMix_i5-3317U     : 3231 -> 3227 ± 70
 88. Gikou_i3_5010U                  : 3230 -> 3227 ± 53
 89. usapyon2dash-withBUG            : 3212 -> 3208 ± 59
 90. Apery_Twig_i7-4510U             : 3197 -> 3192 ± 22
 91. Gikou_AperyEvalMix_SurfacePro   : 3177 -> 3174 ± 71
 92. nozomi_i7-4510U                 : 3173 -> 3169 ± 40
 93. YaneuraOu_classic-tce_4790K     : 3169 -> 3166 ± 50
 94. sayapery_4c_4790K               : 3168 -> 3165 ± 32
 95. Gikou_20160606_1c               : 3137 -> 3135 ± 38
 96. yocvp13mk2                      : 3125 -> 3121 ± 46
 97. CRAZYKING                       : 3119 -> 3117 ± 24
 98. gpsfish_0414                    : 3118 -> 3115 ± 44
 99. Apery_WCSC26_i7-3517U           : 3117 -> 3113 ± 45
100. NanohaSDT4                      : 3113 -> 3110 ± 49
101. Tsukajumi                       : 3094 -> 3090 ± 43
102. nanoTwig_FX9590_4.7GHz          : 3087 -> 3084 ± 14
103. max                             : 3085 -> 3081 ± 51
104. nanopery_FX9590_4.7GHz_test     : 3083 -> 3080 ± 21
105. smmpv-1c                        : 3082 -> 3078 ± 39
106. nanopery_FX9590_4.7GHz_4t       : 3079 -> 3076 ± 32
107. Gc_at_Cortex-A53_4c             : 3074 -> 3070 ± 34
108. test_cortex-A53_4c              : 3065 -> 3063 ± 63
109. YssF_6t_x1                      : 3059 -> 3058 ± 35
110. Gikou32_z8300tablet-4c          : 3060 -> 3056 ± 50
111. Apery_WCSC26_0911_1c            : 3060 -> 3056 ± 39
112. komadoku_plus_kkp_6c            : 3057 -> 3054 ± 38
113. Gekisashi_X5590_1c              : 3055 -> 3052 ± 53
114. 6sec_1c_Rtest_G                 : 3027 -> 3024 ± 33
115. Celsius_0.2.2                   : 3018 -> 3015 ± 45
116. GradientWind                    : 3017 -> 3014 ± 59
117. usapyon2_slave_TWIG             : 3003 -> 3000 ± 40
118. apery-wcsc26-1c                 : 2997 -> 2996 ± 60
119. NanohaWCSC26                    : 2991 -> 2989 ± 57
120. BrilliantDisguise               : 2987 -> 2983 ± 45
121. att                             : 2978 -> 2976 ± 59
122. ShootingStar                    : 2974 -> 2973 ± 51
123. WeddingSong                     : 2972 -> 2971 ± 60
124. YaneClaTce_i5                   : 2966 -> 2965 ± 39
125. kosotto                         : 2959 -> 2958 ± 36
126. GravityJet                      : 2938 -> 2936 ± 61
127. SolitaryWave                    : 2935 -> 2933 ± 55
128. Apery32_tmmod_z8300-4c          : 2930 -> 2927 ± 22
129. TelegraphRoad                   : 2919 -> 2918 ± 47
130. HurricaneVolt                   : 2914 -> 2913 ± 46
131. Rolling                         : 2906 -> 2905 ± 52
132. Saya_chan_WCSC25ver             : 2894 -> 2892 ± 50
133. Apery32_tmmod_3735F-4thread     : 2887 -> 2886 ± 16
134. Gikou_20160606_1c_3s            : 2884 -> 2883 ± 31
135. G_512_Cortex-A7_2c              : 2878 -> 2878 ± 33
136. gpsfish_8n8c                    : 2870 -> 2871 ± 30
137. SensitiveTraining               : 2846 -> 2846 ± 45
138. Gc_Test_Cortex-A7_2c            : 2834 -> 2835 ± 14
139. KifuWarabe                      : 2832 -> 2831 ± 22
140. Starbound                       : 2818 -> 2819 ± 12
141. Starwheel                       : 2816 -> 2817 ± 48
142. TMOQ_64bit                      : 2807 -> 2807 ± 52
143. usapyon2_slave_TWIG_1t          : 2800 -> 2801 ± 32
144. gpsfish_normal_1c               : 2800 -> 2800 ±  0
145. bonanza6.0                      : 2776 -> 2775 ± 57
146. Ydebug185                       : 2772 -> 2772 ± 18
147. Celsius0.2.0                    : 2770 -> 2770 ± 48
148. Gift                            : 2765 -> 2765 ± 54
149. OkaraManju                      : 2747 -> 2749 ± 45
150. nanoha_test                     : 2743 -> 2744 ± 43
151. celery1_YCT                     : 2731 -> 2732 ± 56
152. KifuWarabe_NotePC               : 2702 -> 2704 ± 27
153. orange2_AWS-t2.micro_YClassicTce: 2695 -> 2698 ± 46
154. MeijinCobra_WCSC26              : 2682 -> 2683 ± 53
155. 6.0bookKai_4700MQ-4cHT4t        : 2672 -> 2672 ± 30
156. Blunder_6700HQ                  : 2647 -> 2648 ± 58
157. Celsius0.0.9                    : 2645 -> 2648 ± 59
158. Okara20XX                       : 2584 -> 2586 ± 56
159. Saya_chan0107-4iMYU             : 2564 -> 2568 ± 39
160. KifuWarabe_i7_WCSC26            : 2543 -> 2544 ± 17
161. aggressor                       : 2444 -> 2450 ± 30
162. Gikou_deth10                    : 2445 -> 2449 ± 35
163. orange_AWS-t2.micro_GPSfish     : 2435 -> 2439 ± 52
164. BonanzaFeliz0.0MYU              : 2420 -> 2425 ± 33
165. Bonanza6.0_1c_X                 : 2408 -> 2413 ± 50
166. hima_for_miryoku                : 2373 -> 2378 ± 28
167. s1510009                        : 2372 -> 2376 ± 58
168. Bonanza6.0_1c_systern           : 2343 -> 2350 ± 65
169. gps_l                           : 2323 -> 2330 ± 12
170. YSS                             : 2219 -> 2226 ± 47
171. piyo_lv6_iphone6s               : 1967 -> 1975 ±104 (959)

-------------------

通常、対局結果は時系列のデータリストとして記録されます。「いついつにAがBに勝った」というようなデータが逐次的に記録されていくわけです(※大会等では「第1回戦の記録」というような同時刻扱いのデータも出てきます)。

この対局結果のデータリストから棋力を推測しようというのがイロレーティングの理論でした。イロレーティングについては以下の記事をご参照ください。

イロレーティングでは、逐次的に勝者のレートを上げ、敗者のレートを下げることで均衡点を探すということをします。対局数が少ない時にはレートを適切に測ることはできませんが、対局数が多ければ、レートは均衡点の周りを一定の標準偏差で揺れ動くことになります。

この手法は簡単でありながら、時系列のデータにも自然に対応しており、棋力のなだらかな変化も均衡点の推移として反映することができるという優れた手法です。その一方で、均衡点をどのように見積もればいいのかが明確ではないこと、均衡点の見積もりに多数のデータが必要であり、また不確かさの評価が明確ではないこと、レート上限/下限の境界付近において偏りが発生すること等の問題点もあります。

ベイズ統計を用いると、いくつかの仮定の下で、もう少し洗練された手法に改良することができますが、同時に、仕組みが複雑になってしまいます。この手法の洗練さ(信頼性とはまた別)と簡単さとのトレードオフは悩ましいところです。結局のところ、データの量が限られている以上は小手先で対処できることは限られており、よほど有力な仮説がなければ、データ量を増やす(つまり対局数を増やしたり、勝敗以外の棋譜データを活用したりする)のが一番ということになります。

これらの問題は、全て時系列データの逐次処理に由来するものです。すでに記録されている一定期間の対局結果を“時系列を無視して”処理する場合には、古典的な統計手法が有効になります(静的レーティングシステムという)。その一つが最尤法です。今回は、この手法について技術的に解説したいと思います。

最初に、歴史的な背景と用語について少し触れておきます。今回の最尤法を用いたレート推定の方法は、Bradley-Terry模型(1952)が最初だと言われています。Bradley-Terry模型の勝率式は、書き換えると、イロレーティングの勝率仮定に一致します。「イロレーティング」という用語は厳密には時系列データを逐次的に処理する手順を含めた総括的なものであり、静的レーティングシステムにおける最尤法による推定模型は「Bradley-Terry模型」というのが正確です。ただし、この用語は専門的であり、一般には通じない可能性が極めて高いため、「イロレーティングを最尤法で」と言っても問題ないかと思います(専門家に怒られないという保証はありませんが)。また、最尤法はベイズ統計で定式化することもできるため、ベイズ統計による静的レーティング(静的ベイジアンELO)であると主張する人もいます。

静的レーティングシステムにおいては、“時系列を無視する”ため、その期間内の全ての対局者のレートが一定であると仮定されており、その全てのレートを同時に推定することになります。これは期間内に大きくレートが変わった者がいる場合には誤差が発生するということを意味しており、特にfloodgateで中身が変わったという場合には注意が必要です(※このような仮定に由来する系統誤差は後述の不確かさの見積もりでは評価不能)。推定時にレート変更の情報があれば、対局者名を変更したり、外れデータとして弾いたりすることもできますが、実際には情報がないことがほとんどであり、対処は困難です。

原理的にレートは相対値であるため、誰かを基準者としてレートの数値を固定し、そこからの相対値を推定します。平均を基準値にしたい場合には、最初に基準者を決めてレートを推定してから、最後に平均が基準値になる様に全体の値をシフトします。基準者は、なるべく中間的な実力で多数の対局者と多く対局している者が向いています。

イロレーティングと同様に、最尤法においてもレートが求まらない対局者が発生することがあります。具体的には、「基準者と対局している者、また、その者と対局している者、また、その者と対局している者、……」という関係集団に含まれていない者、また、関係集団内でも集団内で全勝/全敗の者のレートは算出することができません。推定時には、事前にレート算出が可能であるかを確認して、算出可能者のみの対局に絞って計算する必要があります。

ここでは時系列は考えないため、対局結果は「A対B:何勝何敗」という対局組み合わせ毎のデータリストにまとめることができます。また、ここでは簡単のために引き分けは考えません。引き分けは、取り除くか、0.5勝0.5敗に換算するかというような事前処理が行われているものとします。

最尤法の原理は「データを再現する確率(尤もらしさ)が最大になるように変数(レート)を決める」ということです。ここで、確率を計算する際に仮定/模型が必要になります。仮定/模型の妥当性は、この手法の範囲内では分かりません(※データ量が多い場合には、無作為に選んだ一部のデータを推定に使わずに取っておき、推定結果とそのデータとの整合性から“予言性”を確かめるといった程度の確認なら可能です)。

イロレーティングの勝率仮定(Bradley-Terry模型)においては、確率Pは、

\[P = \prod_{(i, j)} \left[ \frac{1}{1 + 10^{- (R(i) - R(j)) / 400}} \right]^{w(i, j)} \left[ \frac{1}{1 + 10^{- (R(j) - R(i)) / 400}} \right]^{l(i, j)}\]

のように与えられます。ここで、(i, j)は対局組み合わせ、w(i, j)はその対局組み合わせにおけるiの勝ち数、l(i, j)はiの負け数、R(i)はiのレートを表しています。レートの差の部分にさらに相性のレート補正項を入れて(例えば、「R(i) - R(j) + A(i, j)」のように)、補正項のレート変数も含めて、同時に推定するようなこともできますが、変数を増やした分だけ、必要なデータの量も増えますので、豊潤にデータがない限りはお勧めできません。

この確率Pは非常に小さな値になってしまうため、直接的に取り扱わずに自然対数にして取り扱います。すなわち、

\[\ln{P} = - \sum_{(i, j)} \left[ w(i, j) \ln[1 + 10^{- (R(i) - R(j)) / 400}] + l(i, j) \ln[1 + 10^{- (R(j) - R(i)) / 400}] \right]\]

を最大化すればよいわけです。最大値では、変数(レート)に対する偏微分である

\[\frac{\partial{\ln{P}}}{\partial{R(k)}} = \frac{\ln{10}}{400} \sum_{(i, j)} (\delta_{k, i} - \delta_{k, j}) \left[ \frac{w(i, j)}{1 + 10^{(R(i) - R(j)) / 400}} - \frac{l(i, j)}{1 + 10^{(R(j) - R(i)) / 400}} \right]\]

がkに依らずに全て0となります。ここで、クロネッカーのデルタ記号

\[\delta_{i, j} = 0 ~(i = j) ~~\text{or}~~ 1 ~(i \ne j)\]

を使いました。

多変数関数の最大化は、最急降下法や共役勾配法等で、簡単に数値計算することができます。一般的には、非線形連立方程式を解くよりも、最大化の方が簡単です。また、元の関数の符号を反転させれば、最大化は最小化になりますので、最大化と最小化は同じ問題になります。多変数関数の最小化は、拘束条件(ラグランジュ法による正則化)を除けば、ボナンザ式の機械学習と同じですので、結局、最尤法は機械学習と同じことをやればいいということになります。計算の際に必要な初期値は、基準者等に対する勝率から適当に与えれば、よほど変なデータでない限りは上手くいきます。

さて、これで最尤法を用いてレート推定ができるようになったわけですが、推定の結果はどれくらい確か/不確かなのでしょうか?

SF的に微妙に異なる平行世界を考えると、棋力(レートの真の値)や対局組み合わせ、対局数が同じであっても、対局結果(w(i, j)とl(i, j)の割合)は確率的にばらつきます。対局結果が異なれば、当然、最尤法によるレートの推定値も変わってきます。つまり、本来はレートの推定値というのは確率的にばらつくものであり、1つの推定値はサイコロを振って偶々出た値の1つに過ぎないと言えます。このような場合、ばらつきの大きさ(不確かさ)を評価して、誤差の目安とします。特に、ばらつきの標準偏差は「標準不確かさ」と呼ばれ、推定値に付記されることが多いものです(※)。

※ 近年の測定論では、推定値(最確値)と標準不確かさを一揃えにして測定値として定義します。系統誤差が無視できる(と仮定する)場合には「標準不確かさ」は「標準誤差」と一致します。

もし仮に、レートの真値が存在し、また、イロレーティングの勝率仮定が正しいとするならば、対局結果をシミュレートすることで、標準不確かさを見積もることができます。ただし、「レートの真値」は分からないものであるため、推定値に近い(誤差が小さい)と仮定して、真値の代わりに推定値で代用します。これは理論的には誤差の高次の項を無視することに対応しています。

最尤法における標準不確かさの評価方法には、計算時に追加する仮定に応じて、いくつかの種類があります(ヘッセ行列の逆行列を用いた方法など)。一般的に、仮定を増やすほど、また、専門的な手法であるほど、計算量が少なくて済みます。

今回の目的においては計算量はあまり重要ではないと思われますので、ここでは、最も仮定が少なく、最も汎用的な(最尤法以外でも使える)手法である「(不確かさ評価における)モンテカルロ法」を紹介します。この手法は、精密測定の分野でも最近よく用いられているものです(模型の造りは異なりますが)。

方法は簡単であり、「レートの真値を推定値で近似して、疑似乱数を用いて対局をシミュレートし、その結果から対応する(平行世界の)推定値を計算することで推定値のばらつきを統計的に評価する」というだけです(つまり“力業”)。大体100~1000回くらい実行すれば、標準不確かさを大よそ見積もることができます。

この方法では、単純計算では推定値の見積もりの100~1000倍の計算量が必要になりますが、実際には、初期値に推定値を与えれば大抵は収束が速いこと、推定値の計算時よりも最大化計算の許容精度をかなり大きく取ってよいこと、並列化が容易であること等から、そこまでの時間はかかりません。

計算上の注意点としては、標準不確かさを評価する際に、元の推定値からの標準偏差ではなく、平均からの標準偏差を見積もるということがあります。一般的に、最尤法の推定値は、分布が偏っている可能性がある(不偏とは限らない)ため、平均とは一致しません。特にイロレーティングの場合には、レートの上限/下限の境界付近で偏りが生じやすくなっています。この偏りを考慮すると、この計算で知りたいのは不確かさ(ばらつきの大きさ)ですので、平均からの標準偏差を見積もる方が適切であるということになります。

以上、今回は、最尤法を用いてレートの推定値と標準不確かさを見積もる方法を解説しました。時系列や逐次処理に拘らなければ、最尤法のような枯れた古典手法が有効になります。目の前の問題の前提を少し変えることで古典手法に落とし込むというのは、レート推定に限らす、一般的に有力な技法です。

手数と投了 7:floodgateにおける投了手数 改」では、floodgate棋譜集における投了手数の詳細を解析し、平均手数(読みの類似度)とレートとの関係を論じました。ここでは、さらに詳細に対局者毎に関係を整理してみたいと思います。

具体的には、floodgate棋譜集(2012~2016年版)から30手以上230手以下の投了決着棋譜に限定し、さらにレート差200以内で勝ち数と負け数が共に50以上ある対局者の組み合わせを選出しました。floodgate棋譜集については以下をご参照ください。

各組合せにおける平均手数Tから、読みの類似度Yを

\[Y = \frac{T - M}{M}\]

と定義します。ここで、Mは平均手数の平均に対応する量ですが、以下では、

\[M = 130\]

としています。また、平均手数Tは、勝ち棋譜と負け棋譜で別々に算出して、その算術平均を取ることで勝率補正を行っています(参照:「floodgateにおける手数とレート差:棋士との違いは?」)。この定義では、Yの値が正で大きい程、読みが類似しているということになり、負の値になると平均よりも読みが異なっているということになります。

誤差の目安としては、1局の標準偏差を約30手とすると、対局数nの標準誤差SEは

\[\text{SE} = \frac{30}{z \sqrt{n}} \approx \frac{0.23}{\sqrt{n}} \]

程度と見積もれます。100局なら0.023程度で、1000局なら0.007程度です。ただし、平均手数は投了設定に依存するため、読みの類似度としては投了設定が系統誤差を生むことがあり、注意が必要になります。

該当する対局者の組み合わせ毎に、対局者の平均レートと読みの類似度Yとの関係を表示したのが下図です。棋譜集の年毎に点の色を変えています。また、オレンジ色の線と点は、それぞれレート500刻み区間の平均値を表しています。

mr-ruijido

上図を見ると、対局者毎に分けて表示を行っても、全体的な傾向としては、「手数と投了 7:floodgateにおける投了手数 改」の記事の結果と同様の構造を示していることが分かります。

さらに、詳細な対局者リストを記事の最後に付記します。

リストを眺めると、2013年版の「amatyan」と「Titanda_L」の組み合わせは突出して類似度が高く、同じソフトを動かしていたのではないかと推測されます。その他の類似度の高い組み合わせは、名前を見る限り、別のソフト同士の組み合わせが多く、平均手数が長いからと言って必ずしも同一ソフトとは認定できないことが分かります。

一方で、類似度の低い組み合わせを見ると、名前から同じソフトだと思われる組み合わせはほとんど見つからず、平均手数が短い場合には同一ソフトではないだろうということは言えるかもしれません。

ただし、所々に解釈が難しい結果があります。

例えば、2012年の「gps_l (171) - gps_ (277)」は名前からしてgps同士の対局ですが、類似度は-0.072とやや低くなっています。対局数も多いので偶然とも考えづらく、「gps_」は従来のgpsとは異なる動作をしていたのではないかと考えられます。勝敗毎に類似度の内訳を見てみると、「gps_」が負けた時に-0.116と非常に低い値になっているため(※レート上位者が負ける時は本来は手数が伸びる傾向がある)、「gps_」の投了設定が低くなっていたか、予想外の進行で負けるような何かがプログラムにあったのだと思われます。

また、2013年の「gps_l (148) - bona6.0_norm (176)」は-0.097、2014年の「gps_l (128) - bonanza6.0 (365)」は-0.130と低い類似度になっていますが、一方で、2013年の「gps_l (493) - Bonanza6.0-Opteron250-2c (1032)」は+0.071、2014年の「gps_l (113) - Bonanza6.0-Opteron250-2c (229)」は+0.058と正の類似度になっており、もしどちらも「gps_l」とBonanza6.0との対局だとすると、整合的ではありません。これも勝敗毎の内訳を見てみると、Bonanza6.0側が勝った場合には大きな差はなく、負けた場合にのみ平均40手程度の大きな差がついています。もしかすると「bona6.0_norm」「bonanza6.0」の投了設定が非常に低く設定されていたのかもしれません。

また、2013年の「BlunderXX_4c (231) - BlunderXX_Q6700_2c 348)」は同じソフト同士の対局だと思われますが、類似度は+0.003と高くありません。こちらは勝敗毎の内訳を見ても不自然なところはないため、BlunderXX自体の自己対局における平均手数が短いか、両者共に投了設定を低くしていたかのどちらかだと思われます。

この辺は、平均手数しか見ていないことの限界でしょう。

以上、今回は、floodgate棋譜集(2012~2016年版)から、平均手数(読みの類似度)とレートとの関係を対局者毎に整理しました。結果として、投了設定等の系統誤差により機能していないと思われるデータも散見されるものの、全体的には平均手数から読みの類似度が推測できることが確認できました。

-------------------

付記:floodgateにおける読みの類似度リスト(2012~2016年版)

読みの類似度: 低レート対局者 (勝利数) - 高レート対局者 (勝利数)

2012年

  • 平均レート2500以下
+0.121:         gps_normal ( 51) -                simk_test ( 82)
+0.107:               mcts (269) -               gps_normal (327)
+0.098:         gps_normal (195) - sakurapyon-2012-0.015kpp (281)
+0.066:         gps_normal (125) -                     mumu (172)
+0.061:         Kakinoki-Z (358) -               gps_normal (510)
+0.060:         gps_normal ( 57) - sakurapyon-2012-0.022kpp (134)
+0.057:         gps_normal (195) -            Kakinoki-Test (183)
+0.054:                YSS ( 55) -                    bingo ( 53)
+0.046:         gps_normal ( 67) -               kuma2_test (119)
+0.041:      Kakinoki-Test ( 51) -                simk_test ( 56)
+0.021:               mumu ( 55) -                    bingo ( 58)
+0.020:         Kakinoki-Z ( 78) -                     mumu ( 68)
+0.019:              bingo (147) -                    gps_l (524)
+0.016:         Kakinoki-Z (142) -            Kakinoki-Test (159)
+0.012:         gps_normal (203) -                    bingo (408)
+0.003:              bingo (210) -             BlunderXX_4c (248)
-0.003:      Kakinoki-Test ( 65) -                    bingo (108)
-0.005:       BlunderXX_4c (676) -                    gps_l (589)
-0.028:         Kakinoki-Z ( 55) -               kuma2_test ( 95)
-0.073:         gps_normal ( 51) -          Sunfish1.20_X6t ( 69)
  • 平均レート2500~3000
+0.127:      co-danaka-kun ( 61) -           ponanza-990XEE ( 75)
+0.009:          Titanda_L ( 69) -             PuppetMaster (135)
+0.002:   BlunderXX-2820QM ( 64) -                Titanda_L ( 53)
-0.027:          Titanda_L (136) -         Keep_firmness1.4 (168)
-0.050:          Titanda_L (112) -         Keep_firmness1.3 (136)
-0.054:              gps_l (102) -                     Keep (130)
-0.055:   BlunderXX-2820QM ( 50) -         Keep_firmness1.3 ( 78)
-0.057: Gekisashi_X5590_1c ( 50) -         Keep_firmness1.3 ( 94)
-0.059:              gps_l (215) -                  Bonanza (454)
-0.069: Gekisashi_X5590_1c ( 63) -                Titanda_L ( 73)
-0.072:              gps_l (171) -                     gps_ (277)
-0.073: Gekisashi_X5590_1c ( 88) -              bona_Sinobu (113)
-0.133:              gps_l (203) -                     poor (352)
-0.148:       BlunderXX_4c (114) -                     gps_ (122)
-0.186:               poor (154) -                  Bonanza (204)
-0.210:       BlunderXX_4c ( 57) -                     poor (180)

2013年

  • 平均レート2500以下
+0.133:                   gps_normal (141) -                      rgm_008 (128)
+0.112:                      vps_mc2 (106) -                   gps_normal (119)
+0.102:                   gps_normal (328) -             Sunfish3-trial24 (427)
+0.079:                      rgm_009 ( 65) -                   gps_normal ( 79)
+0.070:                   gps_normal (278) -                   Kakinoki-Z (318)
+0.053:                   gps_normal (453) -               sakurapyon_dti (727)
+0.053:                   gps_normal (138) -              sakurapyon_2013 (301)
+0.036:               sakurapyon_dti (157) -                sakurapyon_4G (659)
+0.030:                   gps_normal (300) -                sakurapyon_4G (922)
+0.025:              sakurapyon_test ( 91) -                   gps_normal (200)
-0.002:             Sunfish3-trial24 ( 67) -                sakurapyon_4G (292)
-0.009:                   Kakinoki-Z ( 70) -              sakurapyon_2013 ( 89)
-0.012:             Sunfish3-trial24 ( 55) -              sakurapyon_2013 (176)
-0.015:             Sunfish3-trial24 (252) -               sakurapyon_dti (269)
-0.024:                      rgm_008 ( 62) -                sakurapyon_4G (148)
-0.044:                      vps_mc2 ( 75) -               sakurapyon_dti (123)
  • 平均レート2500~3000
+0.071:                        gps_l (493) -    Bonanza6.0-Opteron250-2c (1032)
+0.068:                        ponyo (117) -    Bonanza6.0-Opteron250-2c ( 177)
+0.032:     Bonanza6.0-Opteron250-2c (461) -          BlunderXX_Q6700_2c ( 766)
+0.032:     Bonanza6.0-Opteron250-2c (226) -                BlunderXX_4c ( 289)
+0.017:                        gps_l (138) -                       ponyo ( 213)
+0.007:                        kato2 ( 65) -    Bonanza6.0-Opteron250-2c (  87)
+0.003:                 BlunderXX_4c (231) -          BlunderXX_Q6700_2c ( 348)
+0.002:                        gps_l (179) -                BlunderXX_4c ( 400)
-0.019:                        ponyo ( 65) -          BlunderXX_Q6700_2c ( 122)
-0.020:                        ponyo (126) -                BlunderXX_4c ( 181)
-0.022:                        gps_l (130) -                       kato2 ( 169)
-0.025:           BlunderXX_Q6700_2c (142) -          Gekisashi_X5590_1c ( 277)
-0.059:     Bonanza6.0-Opteron250-2c ( 71) -                      Flummi ( 113)
-0.077:                        kato2 ( 93) -          BlunderXX_Q6700_2c ( 211)
-0.078:                        kato2 ( 67) -                BlunderXX_4c (  79)
-0.097:                        gps_l (148) -                bona6.0_norm ( 176)
  • 平均レート3000以上
+0.219:                      amatyan ( 59) -                    Titanda_L (103)
+0.156:                    Titanda_L (151) -               ponanza-990XEE (411)
+0.111:                      amatyan ( 52) - NineDayFever_XeonE5-2690_16c (129)
+0.107:                   jidaiokure ( 53) -                    Titanda_L ( 76)
+0.098:           Gekisashi_X5590_7c (103) -               ponanza-990XEE (100)
+0.085:                 PuppetMaster (137) -               ponanza-990XEE (120)
+0.083:                    Titanda_L (254) - NineDayFever_XeonE5-2690_16c (566)
+0.067:               gps_f_testbook ( 73) -                 PuppetMaster ( 90)
+0.067: NineDayFever_XeonE5-2690_16c (172) -               ponanza-990XEE (217)
+0.019:                 PuppetMaster (120) -               maybe_tomorrow (161)
+0.014:            tsutsukana_1303p3 ( 52) - NineDayFever_XeonE5-2690_16c ( 73)
+0.003:                 PuppetMaster (206) -           Gekisashi_X5590_7c (252)
-0.005:           Gekisashi_X5590_1c (192) -                 PuppetMaster (430)
-0.006: NineDayFever_XeonE5-2690_16c ( 92) -                gpsfish_x5680 ( 90)
-0.070:             BlunderXX-WCSC23 ( 64) -                gpsfish_x5680 (103)

2014年

  • 平均レート2500以下
+0.103:               gps_normal (121) -             Bonanza_6.0_RPi ( 204)
+0.065:               gps_normal (842) -                  Kakinoki-Z (1183)
+0.059:               gps_normal (233) -              sakurapyon_vps ( 672)
+0.046:               gps_normal (152) -               sakurapyon_4G ( 458)
+0.034:               gps_normal (121) -      bonanza_on_RaspberryPi ( 153)
+0.020:               Kakinoki-Z (279) -              sakurapyon_vps ( 384)
+0.008:               Kakinoki-Z (116) -               sakurapyon_4G ( 246)
-0.016:          Bonanza_6.0_RPi (105) -                  Kakinoki-Z ( 129)
-0.032:          Bonanza_6.0_RPi ( 67) -              sakurapyon_vps ( 125)
  • 平均レート2500~3000
+0.068:     GPSShogi_AMD_C-60_2c ( 95) -                        gps_l ( 67)
+0.058:                    gps_l (113) -     Bonanza6.0-Opteron250-2c (229)
-0.033:                    gps_l (179) -                        kato2 (471)
-0.068: Bonanza6.0-Opteron250-2c ( 69) -                      Flummi2 (168)
-0.087:        gpsfish_normal_1c ( 62) -                     KeepTheF ( 96)
-0.093:                  flummi2 ( 79) -                        kato2 (136)
-0.099:                    gps_l ( 64) -                      flummi2 (217)
-0.107:                    gps_l (123) -                       Flummi (272)
-0.128:                    kato2 ( 81) -                      Flummi2 (112)
-0.130:                    gps_l (128) -                   bonanza6.0 (365)
  • 平均レート3000以上
+0.160:        AWAKE_i7_2620M_2c (121) -        gpsfish_XeonX5680_12c ( 97)
+0.132:    gpsfish_XeonX5680_12c ( 69) -               ponanza-990XEE (128)
+0.130:                Titanda_L ( 70) -               Apery_2700K_4c ( 77)
+0.128:                Titanda_L (253) -        gpsfish_XeonX5680_12c (870)
+0.105:            ponax_i7_3770 ( 54) -        gpsfish_XeonX5680_12c ( 66)
+0.089:    gpsfish_XeonX5680_12c ( 77) - NineDayFever_XeonE5-2690_16c (277)
+0.052:                CrazyKing (135) -        gpsfish_XeonX5680_12c (220)
+0.039:                Titanda_L (101) -                    CrazyKing (142)
-0.035:                CrazyKing ( 60) - NineDayFever_XeonE5-2690_16c (158)

2015年

  • 平均レート2500以下
+0.060:                      acop ( 69) -                       ddd ( 58)
  • 平均レート2500~3000
+0.051:                NewMorning (123) -                  Kingfish (136)
-0.059:                     kato2 ( 90) -         gpsfish_normal_1c (238)
-0.060:         gpsfish_normal_1c ( 61) -                   suzuran ( 65)
-0.069:                NewMorning (322) -         gpsfish_normal_1c (683)
-0.071:                  Kingfish (182) -         gpsfish_normal_1c (298)
-0.110:                     gps_l ( 87) -                   flummi2 (233)
-0.120:                   flummi2 ( 51) -                     kato2 ( 72)
  • 平均レート3000以上
+0.134:                     stap5 ( 63) - gpsfish_XeonX5680_12c_bid (130)
+0.113: gpsfish_XeonX5680_12c_bid ( 87) -                      ycas ( 78)
+0.104:             tanuki-_5500U ( 97) - gpsfish_XeonX5680_12c_bid (157)
+0.099:                 Titanda_L ( 64) -     gpsfish_XeonX5680_12c (109)
+0.093: gpsfish_XeonX5680_12c_bid ( 58) -                      AUJK ( 61)
+0.092:                 Titanda_L ( 54) -              gpsfish_mini ( 65)
+0.081: gpsfish_XeonX5680_12c_bid ( 68) -             Apery_i7-5820 (136)
+0.077:            Apery_20151016 ( 53) - gpsfish_XeonX5680_12c_bid ( 60)

2016年

  • 平均レート2500以下
+0.008:                     gps_l ( 50) -                   aggressor (104)
  • 平均レート2500~3000
+0.019:         gpsfish_normal_1c (170) -        Gc_Test_Cortex-A7_2c (249)
+0.006:                 Starbound ( 59) - Apery32_tmmod_3735F-4thread (109)
-0.013:                 Ydebug185 ( 72) -           gpsfish_normal_1c ( 60)
-0.017:         gpsfish_normal_1c (200) -                   Starbound (207)
-0.097:         gpsfish_normal_1c (103) - Apery32_tmmod_3735F-4thread (151)
  • 平均レート3000以上
+0.116:    nanoTwig_FX9590_4.7GHz ( 94) -   gpsfish_XeonX5680_12c_bid (177)
+0.111: gpsfish_XeonX5680_12c_bid ( 72) -                        ANSM (164)

ブログ開始時に最初に立ち上げた本シリーズですが、思いの外、長期連載になってしまいました。

手数という簡単な情報も、調べていくと様々な将棋の性質と関係していることが分かり、話が拡がると同時に、少しずつ理解が深まってきた感じがします。

最初の「手数と投了 2:棋士の投了手数」では、棋士棋譜集の手数分布について整理しました。特に、外れデータや規格化について、注意深く議論を行いました。

続いて、「手数と投了 3:棋士の未投了率における長手数テールと冪乗則」では、棋士棋譜集の手数分布の長手数部分に冪乗則が現れることを示しました。この原因は未だに謎です。256手ルールだと長手数部分は消えてしまうため、コンピュータ将棋での検証も容易ではないと思われます。

次に、「手数と投了 4:floodgateにおける投了手数」では、floodgate棋譜集の手数分布を整理して、棋士棋譜集との平均手数の違いを明らかにしました。しかしながら、floodgateの平均手数は今後も大きく変わりそうです。

また、「手数と投了 5:自己対局における投了手数」では、BonanzaとAperyの自己対局棋譜における平均手数を解析し、自己対局においては平均手数が大幅に上昇することを示しました。また同時に、思考時間の増加により、平均手数が伸びるという傾向も示しました。

さらに、「手数と投了 6:様々な連続対局における投了手数」では、BonanzaとAperyの様々な連続対局における平均手数を解析し、平均手数が読みの類似性を反映していることを明らかにしました。

この新たな知見に基づき、「手数と投了 7:floodgateにおける投了手数 改」では、改めてfloodgate棋譜集の平均手数の詳細を再解析し、平均手数とレートとの間の詳細な関係構造を明らかにしました。

手数については、まだまだ他に論点もあるでしょうし、また、本シリーズから派生したコラム記事も多数ありますが、区切りもいいところですので、本シリーズは一旦ここで締めたいと思います。

なお、当初予定していた投了条件の評価値閾値の話は、評価値と勝率との関係から議論した方がよいと思い直しましたので、改めて別のところで論じたいと思います。

このページのトップヘ