Computer Chess Club Archives


Search

Terms

Messages

Subject: Re: Opinions? A Crafty experiment...

Author: Uri Blass

Date: 13:33:13 05/26/04

Go up one level in this thread


On May 26, 2004 at 16:27:13, Dann Corbit wrote:

>On May 26, 2004 at 05:16:05, José Carlos wrote:
>
>>  This is an interesting point. I had never thought at it that way. So basically
>>you say "faster implies more data and more randomness, and that probably levels
>>out at some point". So an interesting experiment would be: try 1000 games at G1,
>>100 games at G30 and 10 games at G120. The % of w/d/l should somehow be similar.
>>Of course the numbers should be calculated in a more elaborated way, I just made
>>them up, but that's the idea. Do you know how to do the calculations (my
>>mathematical background is not enough)?
>>  Or we could do the other way, this is, run 1000 games at G1. Then start a
>>match at G30 (with at least n games) until results are similiar in % to the
>>first match. Then do the same with G120.
>>  What do you think?
>
>G/1
>(Sample sub-match):
>[Event "Computer chess game"]
>[Site "MWMCKEE"]
>[Date "2001.07.20"]
>[Round "1"]
>[White "Zephyr-061"]
>[Black "ZChess-120"]
>[Result "0-1"]
>[TimeControl "60"]
>
>1. d4 d5 2. c4 c6 3. Nf3 Nf6 4. e3 Bf5 5. Bd3 e6 6. Nc3 Bg6 7. O-O Nbd7 8.
>b3 Bb4 9. Bb2 Bxd3 10. Qxd3 O-O 11. a3 Bxc3 12. Bxc3 Qb6 13. cxd5 Nxd5 14.
>Bd2 Qc7 15. Ra2 Qd6 16. e4 Ne7 17. Bc3 Rfd8 18. Qe3 a5 19. Re1 Ng6 20. Qg5
>b6 21. a4 h6 22. Qe3 Ra7 23. g3 Rb7 24. Qc1 Rc7 25. Ree2 Nf6 26. Nd2 Qd7
>27. Nc4 Rb7 28. Qc2 Ne7 29. Qd2 Ng6 30. Qe3 Ng4 31. Qf3 Nf6 32. Qg2 Qe7 33.
>Qf1 Ne8 34. Qc1 Qc7 35. Kh1 Qb8 36. Nb2 Rbd7 37. Kg1 Qb7 38. Qe3 Nf6 39.
>Nc4 c5
>{Black wins on time} 0-1
>
>[Event "Computer chess game"]
>[Site "MWMCKEE"]
>[Date "2001.07.20"]
>[Round "2"]
>[White "ZChess-120"]
>[Black "Zephyr-061"]
>[Result "1-0"]
>[TimeControl "60"]
>
>1. e4 c6 2. d4 d5 3. e5 Bf5 4. Nc3 e6 5. g4 Bg6 6. Nge2 Bb4 7. h4 Be4 8.
>Rh3 f5 9. Nf4 Kf7 10. g5 Bxc3+ 11. Rxc3 c5 12. Qh5+ g6 13. Nxg6 Kg7 14.
>Nxh8 Kxh8 15. g6 Qd7 16. gxh7 Qxh7 17. Qxh7+ Kxh7 18. f3 Bxf3 19. Rxf3 Nc6
>20. dxc5 Nxe5 21. Rb3 Nf6 22. Bf4 Ned7 23. Rxb7
>{Black resigns} 1-0
>
>Output from  24652 (finished) games:
>
>    Program                    Elo    +   -   Games   Score   Av.Op.  Draws
>  1 Delfi 1.0                : 2948    0   0    12   100.0 %   2348    0.0 %
>  2 Comet B.35               : 2854    0 345    36    97.2 %   2254    5.6 %
>  3 TCBishop                 : 2812    0   0    34   100.0 %   2212    0.0 %
>  4 Delfi 1.01               : 2799   70 407    40    95.0 %   2287    0.0 %
>  5 Phalanx                  : 2782    0   0    38   100.0 %   2182    0.0 %
>  6 WBQueen                  : 2782    0   0    38   100.0 %   2182    0.0 %
>  7 Yace 0.99.01             : 2775    0   0    32   100.0 %   2175    0.0 %
>  8 Tao44                    : 2770    0   0    34   100.0 %   2170    0.0 %
>  9 LGoliath                 : 2757   66 270    44    95.5 %   2228    9.1 %
> 10 Dragon                   : 2726   72 405    38    94.7 %   2224    0.0 %
> 11 Comet B.37               : 2724   72 294    40    92.5 %   2287    5.0 %
> 12 Sjeng73                  : 2672   26 144   244    89.8 %   2295    2.5 %
> 13 SSEchess                 : 2670   75 403    36    94.4 %   2177    0.0 %
> 14 MAD                      : 2664   71 304    42    90.5 %   2273    0.0 %
> 15 Arasanx-54               : 2649   17  97   574    88.5 %   2294    1.4 %
> 16 AnMon                    : 2649   27  90   258    83.3 %   2369    8.5 %
> 17 Gully2                   : 2629   68 306    44    90.9 %   2229    0.0 %
> 18 WBQueen-212              : 2625   86 296    32    87.5 %   2287    0.0 %
> 19 Crafty-18.2              : 2625   71 234    42    90.5 %   2234    9.5 %
> 20 Quark v1.46alpha         : 2624   27 131   246    87.8 %   2281    1.6 %
> 21 Morphy                   : 2623   66 249    48    89.6 %   2249    4.2 %
> 22 Quark-146a               : 2606  154 289    16    75.0 %   2415    0.0 %
> 23 Faile                    : 2598   65 210    50    88.0 %   2252    8.0 %
> 24 Comet B.36               : 2594   19  85   494    84.6 %   2298    0.8 %
> 25 Ghost                    : 2577   66 215    50    86.0 %   2262    4.0 %
> 26 Gaviota                  : 2573   72 243    42    88.1 %   2226    4.8 %
> 27 WildCat                  : 2552   75 241    40    87.5 %   2214    5.0 %
> 28 Knightx                  : 2547   71 250    44    86.4 %   2227    0.0 %
> 29 Sjeng 10 CCT             : 2546   28 101   248    82.3 %   2280    1.6 %
> 30 Yace 0.99.50             : 2545   23  80   378    81.7 %   2285    2.6 %
> 31 TSCP-152                 : 2542   30  81   230    80.4 %   2296   11.3 %
> 32 Crux 05.0g               : 2541  111 269    22    86.4 %   2220    9.1 %
> 33 lambChop                 : 2540   80 198    38    84.2 %   2249   10.5 %
> 34 Bestia                   : 2538   74 248    42    85.7 %   2227    0.0 %
> 35 ExChess4                 : 2537   68 213    48    85.4 %   2230    4.2 %
> 36 Bringer-18               : 2532   18  59   612    79.2 %   2299    2.3 %
> 37 TSCP-172                 : 2529   30  92   230    79.6 %   2293    2.6 %
> 38 Fortress                 : 2527   77 247    40    85.0 %   2226    0.0 %
> 39 LG2000V3                 : 2519   20  56   562    77.0 %   2308    2.5 %
> 40 OliThink                 : 2515   77 200    40    85.0 %   2214   10.0 %
> 41 GNU Chess v5.02          : 2513   19  55   610    77.5 %   2298    2.3 %
> 42 Dragon-311               : 2511   19  59   572    77.4 %   2296    0.3 %
> 43 Crafty                   : 2510  192 252    12    75.0 %   2319   16.7 %
> 44 Bestia-08                : 2508   85 202    36    80.6 %   2261    5.6 %
> 45 Averno-30                : 2508   24  70   378    77.2 %   2295    1.1 %
> 46 GNUChess4                : 2507   76 208    42    83.3 %   2227    4.8 %
> 47 LordKingV2_9             : 2505   77 178    42    81.0 %   2254    9.5 %
> 48 Beowulf                  : 2504   80 176    40    80.0 %   2263   10.0 %
> 49 Phalanx-xxii             : 2492   32  82   230    76.5 %   2287    3.5 %
> 50 Bringer                  : 2491   78 161    44    77.3 %   2279    9.1 %
> 51 Nejmet                   : 2482   80 210    40    80.0 %   2242    0.0 %
> 52 TSCP                     : 2468   62 214    54    88.9 %   2107    7.4 %
> 53 Ufim143                  : 2467   33  74   230    72.6 %   2298    2.6 %
> 54 Morphy-322               : 2459   30  61   296    70.6 %   2307    3.4 %
> 55 Gully213p16              : 2459   21  45   586    71.0 %   2303    3.4 %
> 56 ArasanX                  : 2451   77 165    46    76.1 %   2250    4.3 %
> 57 LDBlanche                : 2449   82 167    44    72.7 %   2279    0.0 %
> 58 ExChess-402              : 2441   22  44   568    69.5 %   2297    2.5 %
> 59 WBQueen-213              : 2440  102 142    36    63.9 %   2341    5.6 %
> 60 Holmes                   : 2440   83 180    40    77.5 %   2225    5.0 %
> 61 Yace-020                 : 2436   34  63   246    68.7 %   2300    4.1 %
> 62 Averno-32                : 2429   22  41   570    67.4 %   2303    3.5 %
> 63 Bestia-07                : 2427   23  42   542    67.0 %   2304    3.3 %
> 64 Averno                   : 2420   93 153    36    72.2 %   2254   11.1 %
> 65 Pepito v1.21             : 2414   34  65   248    68.5 %   2279    1.6 %
> 66 ZChess                   : 2412   84 209    38    78.9 %   2182    0.0 %
> 67 Pepito-121               : 2411  154 173    22    54.5 %   2380    0.0 %
> 68 King of Kings 1.95       : 2410   44  72   158    65.8 %   2296    5.1 %
> 69 ZChess-222               : 2409   21  37   604    67.9 %   2279    9.9 %
> 70 chezzz                   : 2406   83 134    46    69.6 %   2263    8.7 %
> 71 WBQueen-214              : 2406   42  73   166    66.9 %   2284    3.6 %
> 72 DrChess                  : 2404   84 148    44    70.5 %   2253    4.5 %
> 73 GLC                      : 2403  126 234    22    72.7 %   2233    0.0 %
> 74 WildCat-257              : 2402   37  57   232    63.8 %   2303    5.2 %
> 75 LDBlanche-20c            : 2400   23  37   580    63.3 %   2305    1.7 %
> 76 DrChess-20               : 2394   23  37   568    63.4 %   2299    2.8 %
> 77 ColChessp                : 2393   88 112    42    69.0 %   2254   23.8 %
> 78 chezzz-088               : 2391   23  36   566    63.4 %   2296    6.0 %
> 79 AnMon-509                : 2390   25  38   524    61.3 %   2310    1.1 %
> 80 ExChess-311              : 2390   24  36   568    62.9 %   2298    3.9 %
> 81 Ghost-13                 : 2388   23  37   590    62.0 %   2303    0.7 %
> 82 AnMon-510                : 2387   25  38   536    61.6 %   2305    0.7 %
> 83 FranWB                   : 2385   89 135    44    65.9 %   2271    4.5 %
> 84 Ant                      : 2381   82 167    44    72.7 %   2211    0.0 %
> 85 Mint v2.3                : 2374   24  33   612    60.1 %   2302    4.6 %
> 86 Comet                    : 2372  206 298    12    66.7 %   2251    0.0 %
> 87 OliThink-305c            : 2368   38  57   236    61.0 %   2290    0.0 %
> 88 TCB                      : 2367  206 298    12    66.7 %   2247    0.0 %
> 89 Freyr                    : 2362   87 139    46    65.2 %   2253    0.0 %
> 90 mustang                  : 2360   98 151    34    70.6 %   2208   11.8 %
> 91 ZChess-120               : 2359   23  32   624    60.9 %   2282    6.4 %
> 92 WinCraft                 : 2357   42  57   204    59.8 %   2288    3.9 %
> 93 Gaviota-022              : 2355   26  33   572    57.5 %   2303    3.1 %
> 94 Freyr-1067               : 2354   26  34   560    57.9 %   2299    1.4 %
> 95 Beowulf-16b              : 2354   21  27   866    57.3 %   2303    2.3 %
> 96 Noonian-30               : 2351   39  50   240    58.3 %   2293    5.0 %
> 97 LordKing-29              : 2347   26  31   576    55.9 %   2306    3.5 %
> 98 DChess-102               : 2343   26  32   562    56.0 %   2300    3.2 %
> 99 Esc                      : 2342   89 135    44    65.9 %   2228    4.5 %
>100 LordKing-29D             : 2341   27  30   576    55.2 %   2305    4.9 %
>101 LarsenVB                 : 2335   92 115    46    60.9 %   2258    8.7 %
>102 Raffaela-005             : 2334   41  50   236    56.8 %   2287    3.4 %
>103 Green Light Chess v2.13  : 2334   28  32   518    54.8 %   2300    3.1 %
>104 Storm                    : 2332   98 151    34    70.6 %   2180   11.8 %
>105 LambChop-710             : 2331  101 135    40    60.0 %   2261    0.0 %
>106 Esc-028                  : 2326   27  31   556    54.1 %   2297    2.5 %
>107 Amyan-111                : 2324   27  28   596    52.3 %   2308    6.7 %
>108 Gerbil-01                : 2323   28  30   548    53.3 %   2300    5.1 %
>109 Noonian                  : 2322   94 111    44    61.4 %   2242   13.6 %
>110 King of Kings 1.96       : 2320   35  34   388    50.8 %   2315    4.6 %
>111 Aldebaran 0.7.0          : 2320   23  21   878    50.1 %   2319    9.1 %
>112 NewRival                 : 2318  107 154    32    65.6 %   2206    6.2 %
>113 The Crazy Bishop, v46.01 : 2315   54  64   136    57.4 %   2264    5.9 %
>114 Nejmet-260               : 2313   43  49   232    53.9 %   2286    0.9 %
>115 Storm-006                : 2311   44  47   236    52.5 %   2294    1.7 %
>116 DChess                   : 2311   93 119    48    58.3 %   2253    0.0 %
>117 Faile-14                 : 2306   29  28   560    51.6 %   2295    6.8 %
>118 LordKingV2_9D            : 2299  113 102    36    55.6 %   2260   22.2 %
>119 Knightx-170              : 2298  139 174    24    58.3 %   2239    0.0 %
>120 Amyan-1423               : 2297   31  31   490    48.4 %   2308    4.5 %
>121 Sjeng10cct               : 2295  166 133    24    37.5 %   2384    8.3 %
>122 Blikskottel 0.4          : 2295  185 131    16    56.2 %   2251   37.5 %
>123 SSEchess-2045            : 2292   43  45   240    49.6 %   2295    5.8 %
>124 Gerbil                   : 2283  100 109    46    54.3 %   2253    4.3 %
>125 EnginMax                 : 2281  102 126    42    57.1 %   2231    0.0 %
>126 Ant-606                  : 2280   30  27   582    46.9 %   2301    1.0 %
>127 31337-30                 : 2273   21  19  1138    46.0 %   2301    7.9 %
>128 TCBishop-0045            : 2273   43  45   230    48.7 %   2282    8.7 %
>129 Bace                     : 2268   39  24   520    33.7 %   2386    8.1 %
>130 Holmes-040               : 2258   37  31   408    44.6 %   2295    2.0 %
>131 Bace-45                  : 2256   41  36   312    44.6 %   2294    7.1 %
>132 Cilian                   : 2254   95  95    40    50.0 %   2254   30.0 %
>133 Chessterfield            : 2249  103 103    42    50.0 %   2249   14.3 %
>134 LarsenVB-407             : 2244   32  25   582    40.9 %   2308    6.2 %
>135 Amy                      : 2242   30  15  1102    31.2 %   2379    6.2 %
>136 Amyan                    : 2241   47  23   480    28.7 %   2399    6.7 %
>137 Mustang-172              : 2240   48  39   242    41.7 %   2298    7.4 %
>138 King of Kings Engine 1.94: 2240  154 173    22    54.5 %   2208    0.0 %
>139 Comet-B36                : 2234  147 100    38    36.8 %   2328    0.0 %
>140 Gromit3                  : 2230   31  24   604    40.2 %   2299    8.3 %
>141 Betsy                    : 2226  115 115    40    50.0 %   2226    0.0 %
>142 SSEchess-202             : 2226   49  39   232    40.5 %   2293   10.3 %
>143 EnginMax-260             : 2222   38  25   544    38.4 %   2303    0.4 %
>144 Ozwald                   : 2217  131 131    32    50.0 %   2217    0.0 %
>145 Chessterfield-15a        : 2215   35  24   578    37.5 %   2304    6.6 %
>146 Cilian-413               : 2212   30  24   558    37.3 %   2303   19.4 %
>147 MAD-005                  : 2209   36  23   570    36.5 %   2305    5.6 %
>148 Blikskottel 0.5          : 2199  133  98    40    37.5 %   2287    5.0 %
>149 Gromit2                  : 2196   38  22   608    35.4 %   2300    1.6 %
>150 FranWB-090               : 2191   38  23   574    34.3 %   2303    5.9 %
>151 FRANWB-081               : 2189   39  22   566    33.4 %   2309    6.0 %
>152 LarsenVB-313             : 2182   38  22   570    32.6 %   2308    8.4 %
>153 Ant-416                  : 2165   43  22   566    30.9 %   2304    3.2 %
>154 MSCP                     : 2157  111  94    44    38.6 %   2238   13.6 %
>155 Fortress-162             : 2153   45  21   568    29.6 %   2303    3.5 %
>156 31337                    : 2152   53  15   834    18.7 %   2407    4.8 %
>157 NeroWB                   : 2137  113 111    40    47.5 %   2155    5.0 %
>158 NewRival-1817            : 2132  190 121    24    29.2 %   2286    8.3 %
>159 Pierre                   : 2131  128  82    50    34.0 %   2246    4.0 %
>160 Raffaela                 : 2128  104 107    38    42.1 %   2184   21.1 %
>161 StAndersen               : 2126  128  82    50    34.0 %   2241    4.0 %
>162 Grizzly                  : 2125  134  93    42    35.7 %   2227    4.8 %
>163 TCBishop-4601            : 2123  106  47   118    27.1 %   2294    0.0 %
>164 Golem01                  : 2119   49  20   596    25.8 %   2302    3.4 %
>165 Ozwald-043               : 2106   80  31   250    24.4 %   2303    0.8 %
>166 NeroWB-5                 : 2096   84  31   244    23.4 %   2303    0.8 %
>167 Knightx-154              : 2085   61  19   584    21.4 %   2311    0.3 %
>168 AWECON-10                : 2084  289 154    16    25.0 %   2274    0.0 %
>169 Amy-07                   : 2079   49  16   800    20.9 %   2310    4.8 %
>170 NewRival-1828            : 2054  223 112    24    20.8 %   2286    8.3 %
>171 InmiChess3               : 2033   70  18   610    17.5 %   2302    0.3 %
>172 Chad's Chess V015        : 2031   79  21   428    18.0 %   2294    1.4 %
>173 Zephyr                   : 2029  177  90    36    25.0 %   2220    5.6 %
>174 Zephyr-061               : 2027   77  22   406    18.7 %   2282    2.0 %
>175 Tamerlane-01             : 1998  115  28   238    15.5 %   2292    0.8 %
>176 ChadChess-015            : 1994  154  37   140    13.6 %   2315    1.4 %
>177 tamerlane                : 1987  207  88    36    22.2 %   2205    0.0 %
>178 Noonian-29               : 1975  120  28   242    14.0 %   2290    1.7 %
>179 Betsy-526                : 1973   96  18   516    13.2 %   2300    0.0 %
>180 Awecon                   : 1971  294  90    30    13.3 %   2296    0.0 %
>181 VCTAO44                  : 1969  123  28   232    14.7 %   2275    0.0 %
>182 GNUChess-414             : 1966   94  17   562    12.5 %   2305    0.7 %
>183 Grizzly-125              : 1964   92  18   552    12.3 %   2305    2.2 %
>184 Rikus                    : 1957  250  71    44    13.6 %   2278    0.0 %
>185 Comet-B22                : 1939  392 139    16    12.5 %   2277    0.0 %
>186 Skaki                    : 1890  297 170    12     8.3 %   2307   16.7 %
>187 MSCP-011                 : 1857  191  26   244     7.4 %   2297    0.0 %
>188 aldebaran                : 1836    0   0   200     0.0 %   2436    0.0 %
>189 SCP                      : 1821    0   0    16     0.0 %   2421    0.0 %
>190 GLC-213                  : 1799  405  72    38     5.3 %   2301    0.0 %
>191 Aldebaran-070            : 1720    0   0    78     0.0 %   2320    0.0 %
>192 Faile-06                 : 1720    0   0   266     0.0 %   2320    0.0 %
>193 Tikov                    : 1704    0   0    14     0.0 %   2304    0.0 %
>194 Chess-Rikus-12           : 1677    0   0    24     0.0 %   2277    0.0 %
>195 KACE                     : 1662    0   0    16     0.0 %   2262    0.0 %
>196 SOS                      : 1632    0   0    12     0.0 %   2232    0.0 %
>
>Look above and notice the positions of engines like SOS and GLC.

It is only because you include engines with serious bugs in your list.

programmers who test their engines do not need to use buggy engines that lose on
time or the opposite (do not use enough time in 1 minute per game).

Uri



This page took 0.01 seconds to execute

Last modified: Thu, 15 Apr 21 08:11:13 -0700

Current Computer Chess Club Forums at Talkchess. This site by Sean Mintz.