Computer Chess Club Archives


Search

Terms

Messages

Subject: Re: Der WM-Test vor dem Ruin !

Author: Daniel Clausen

Date: 01:52:31 12/03/02

Go up one level in this thread


On December 03, 2002 at 04:38:29, Eduard Nemeth wrote:

[snip]

>Gäbe es Stellungen im WM-Test, wo die TBs
>eine positiv entscheidende Rolle spielen würden, so würde sich alles dann
>wenigstens die Waage halten, so aber spricht eindeutig alles dafür, dass man
>ohne die Nutzung der TBs ein besseres Resultat im WM Test erzielt.

Sounds to me like one should change the test to get the expected results. ;)


>Das aber kann nicht „das Gelbe vom Ei“ sein, im modernen Computerschach
>Zeitalter heutzutage!

Very convincing argument...


>Neuerdings wurde auch von einigen Testern auch bewiesen, dass im Bereich
>„Positionsspiel“ ebenfalls Mängel vorliegen. So gibt es viele Stellungen  in
>denen die Programme eher durch Zufall den richtigen Zug finden, als durch
>Wissen oder Rechenpower! Zwischen „Stellung gelöst“ und „Stellung ungelöst“,
>liegen oft nur wenige Hundertstel Bauerneinheiten

And that is new to you? People do that all the time... science is not the
strength of human kind. ;)


>- z.B. auch in Stellung 55 wo Fritz 8
>statt 0.00 für die korrekte Lösung zufällig +0.03 anzeigt, ohne jedoch zu
>wissen weshalb der Lösungszug gut sein soll!

I see two ways to solve the problem of "correct solution for the wrong reason":

(a)
Your test involves _a lot_ of positions. In this case it's valid to just look at
the result, that is the solution move. (if there is one...) An engine which
plays the correct move for the wrong reason in all positions is ok for me. :)
The hard thing here is to find good positions.

(b)
Your test involves not so many positions. In this case it's crucial to not only
look at the move, but to see how and why the engine think this is the correct
move. The hard thing here is that it requires that the persons doing the tests
have to be scientific and don't have self-interests in the results.


>Mein Vorschlag (nicht der einzige): Abschied nehmen von diesem Pseudo-Test!

That is as realistic as the wish for world peace. ;) People like numbers. Just
see how many posted engine-engine games you can see in CCC. It's useless to
fight! ;)

Sargon



This page took 0 seconds to execute

Last modified: Thu, 15 Apr 21 08:11:13 -0700

Current Computer Chess Club Forums at Talkchess. This site by Sean Mintz.