oc.at präsentiert: BenchMate

chap

small gift, big smile

Registered: Jul 2008
Location: aut.graz
Posts: 2057

27.09.2023 - 18:51

Noch was gerade gemerkt: auf der Patreon-Seite könnte man schreiben, dass es Version 11 gibt

Roman

CandyMan

Registered: Jun 2000
Location: Im schönen Kär..
Posts: 3857

10.12.2023 - 09:28

Danke @mat für den Spaß an der Freude, Spende an Benchmate ist raus (und oc.at auch gleich weil ich dabei war).

Und weils so schön ist hier die aktuellen SuperPi-Werte meines 14700KF

no post without a bench hrhr

1M = 5sec 602ms
32M = 4min 57sec 142ms

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

10.12.2023 - 11:18

Danke schön!

Für HWBOT müsstest du noch jeweils CPU-Z Fenster öffnen (CPU, Motherboard.und Memory). Geht direkt aus dem Result Window raus, links neben dem Submit Button

Ich mach's auch nicht immer, weil ich es unnötig finde. Aber es kann halt sein, dass es reported wird und dann wird der Score gelöscht.

Rogaahl

Super Moderator
interrupt

Registered: Feb 2014
Location: K
Posts: 2276

05.05.2024 - 01:08

Vielleicht relevant.

Beware with Geekbench v6 results!

Geekbench is a widely renowned benchmarking tool that I have personally used for several years to compare various machines I have access to. Among them are my desktop and my laptop, featuring an i7 2600 and an i5 7300HQ, respectively.

Link: theldus.github.io

Zitat
I recently noticed that Geekbench v6 produced very different results from Geekbench v5, even for similar machines. It turns out that starting from Geekbench v6, two binaries are provided: geekbench_avx2 and geekbench_x86_64. However, I was getting inconsistent results in both versions. After an extensive reverse engineering process, I noticed that Geekbench (even in the x86_64 version) still had a ‘CPU-dispatcher’ at runtime, which selected AVX2 routines, even when executing x86_64 binaries – which supposedly should be generic for any x64 CPUs. This led to a difference of almost 50%, even on similar hardware. To make matters worse, CPUs that did not support AVX2 ran an SSE2 version, which clearly makes the benchmarks incomparable.

In the end, I was able to discover the routine that checked for the existence of AVX2 and patch it, thus obtaining the expected results.

My conclusion: if you want to use GB v6 to compare CPUs with and without AVX2 support, use my patch (provided on the blog), or stick to v5.

I tried to get in touch with the people at Geekbench/Primate Labs, but received no response.

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

05.05.2024 - 08:22

Geekbench verwendet viel Open Source für seine Workloads und verkauft dann ein Package weiter. das der Developer selbst offenbar nicht versteht. Meine Empfehlung: nicht verwenden.

Rogaahl

Super Moderator
interrupt

Registered: Feb 2014
Location: K
Posts: 2276

05.05.2024 - 15:14

Alles klar, ich dachte, du verwendest in benchmate.

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

05.05.2024 - 19:55

Ich habe die Integration von Geekbench 3 und 4 implementiert, um die vielen Probleme mit der Zeitmessung zu fixen. Daraufhin wollte mich der Developer verklagen. Der Typ hält sich für zu gut und nimmt sich zu wichtig. Die Faulheit der Leute, die Hardware mit seinem "testet alles, aber gleichzeit nichts"-Benchmark benchen, geben ihm leider recht und supporten diese Art von Benchmarks.

Er hat übrigens anderen auch Klagsdrohungen geschickt, die sich seine Benchmarks genauer angeschaut haben. Würde mich nicht wundern, wenn es für den Bericht oben ebenfalls einen Einschüchterungsversuch geben wird.

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

28.05.2024 - 12:16

BenchMate 12 Beta mit Unterstützung für CINEBENCH 2024 (nur CPU): https://t.ly/fMO_R

CB 2024 verwendet jetzt den Redshift Renderer. Der Output ist ja echt hübsch, aber der Benchmark selbst ist so bloated damit. Der Original-Download hat 21000 Dateien und 1,3 GB. Ich konnte es abspecken auf < 7000 Dateien und 1 GB, die zum Download von BM dazukommen.

Der Benchmark selbst braucht ewig zum Starten und sogar zu schließen. Die CPU-Runs brauchen ewig, auch mit einem 14900K auf 5+ GHz. Das Testing und Reverse Engineering war daher nicht besonders lustig. Ich muss auch eine Menge Dateien überprüfen, um Änderungen am Benchmark zu vermeiden. Wenn man zB Asset-Info-Dateien löscht, dann bekommt man gleich einen Score > 100000.

Ich freue mich über Feedback.

wergor

connoisseur de mimi

Registered: Jul 2005
Location: graz
Posts: 4077

29.05.2024 - 00:09

habs getestet, scheint zu funktionieren

ich hab leider erst im nachhinein gesehen dass man die scores der "running" benchmarks erst speichern muss

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

29.05.2024 - 06:17

Danke! Singlecore ist hart. Ist der über Nacht gelaufen?

wergor

connoisseur de mimi

Registered: Jul 2005
Location: graz
Posts: 4077

29.05.2024 - 11:03

Nein, war nur 1 Durchlauf, ist nicht länger als 30min gelaufen

wergor

connoisseur de mimi

Registered: Jul 2005
Location: graz
Posts: 4077

29.05.2024 - 12:09

habs gerade nochmal durchlaufen lassen:

was bedeutet die fehlermeldung? kann man für cb24 noch keine scores submitten?

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

29.05.2024 - 13:24

Ja, geht leider noch nicht, obwohl ich schon vor Wochen darum gebeten habe.

Das Resultfile bleibt aber kompatibel und kann später raufgeladen werden.

wergor

connoisseur de mimi

Registered: Jul 2005
Location: graz
Posts: 4077

29.05.2024 - 15:48

hier noch die ergebnisse vom firmenrechner

gpu ist die im 9700k integrierte intel UHD630, ich bin aber per RDP verbunden deshalb zeit erkennt benchmate wahrscheinlich nur ein "Microsoft VGA compatible device"

mat

Administrator
Legends never die

Registered: Aug 2003
Location: nö
Posts: 25419

29.05.2024 - 20:13

Danke.

VGA-compatible Device kommt wenn der Driver in Windows nicht installiert ist. Oder mein Code ist fehlerhaft.

chap small gift, big smile Registered: Jul 2008 Location: aut.graz Posts: 2057	27.09.2023 - 18:51 Noch was gerade gemerkt: auf der Patreon-Seite könnte man schreiben, dass es Version 11 gibt
Roman CandyMan Registered: Jun 2000 Location: Im schönen Kär.. Posts: 3857	10.12.2023 - 09:28 Danke @mat für den Spaß an der Freude, Spende an Benchmate ist raus (und oc.at auch gleich weil ich dabei war). Und weils so schön ist hier die aktuellen SuperPi-Werte meines 14700KF no post without a bench hrhr 1M = 5sec 602ms 32M = 4min 57sec 142ms
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	10.12.2023 - 11:18 Danke schön! Für HWBOT müsstest du noch jeweils CPU-Z Fenster öffnen (CPU, Motherboard.und Memory). Geht direkt aus dem Result Window raus, links neben dem Submit Button Ich mach's auch nicht immer, weil ich es unnötig finde. Aber es kann halt sein, dass es reported wird und dann wird der Score gelöscht.
Rogaahl Super Moderator interrupt Registered: Feb 2014 Location: K Posts: 2276	05.05.2024 - 01:08 Vielleicht relevant. Beware with Geekbench v6 results! Geekbench is a widely renowned benchmarking tool that I have personally used for several years to compare various machines I have access to. Among them are my desktop and my laptop, featuring an i7 2600 and an i5 7300HQ, respectively. Link: theldus.github.io Zitat I recently noticed that Geekbench v6 produced very different results from Geekbench v5, even for similar machines. It turns out that starting from Geekbench v6, two binaries are provided: geekbench_avx2 and geekbench_x86_64. However, I was getting inconsistent results in both versions. After an extensive reverse engineering process, I noticed that Geekbench (even in the x86_64 version) still had a ‘CPU-dispatcher’ at runtime, which selected AVX2 routines, even when executing x86_64 binaries – which supposedly should be generic for any x64 CPUs. This led to a difference of almost 50%, even on similar hardware. To make matters worse, CPUs that did not support AVX2 ran an SSE2 version, which clearly makes the benchmarks incomparable. In the end, I was able to discover the routine that checked for the existence of AVX2 and patch it, thus obtaining the expected results. My conclusion: if you want to use GB v6 to compare CPUs with and without AVX2 support, use my patch (provided on the blog), or stick to v5. I tried to get in touch with the people at Geekbench/Primate Labs, but received no response.
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	05.05.2024 - 08:22 Geekbench verwendet viel Open Source für seine Workloads und verkauft dann ein Package weiter. das der Developer selbst offenbar nicht versteht. Meine Empfehlung: nicht verwenden.
Rogaahl Super Moderator interrupt Registered: Feb 2014 Location: K Posts: 2276	05.05.2024 - 15:14 Alles klar, ich dachte, du verwendest in benchmate.
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	05.05.2024 - 19:55 Ich habe die Integration von Geekbench 3 und 4 implementiert, um die vielen Probleme mit der Zeitmessung zu fixen. Daraufhin wollte mich der Developer verklagen. Der Typ hält sich für zu gut und nimmt sich zu wichtig. Die Faulheit der Leute, die Hardware mit seinem "testet alles, aber gleichzeit nichts"-Benchmark benchen, geben ihm leider recht und supporten diese Art von Benchmarks. Er hat übrigens anderen auch Klagsdrohungen geschickt, die sich seine Benchmarks genauer angeschaut haben. Würde mich nicht wundern, wenn es für den Bericht oben ebenfalls einen Einschüchterungsversuch geben wird.
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	28.05.2024 - 12:16 BenchMate 12 Beta mit Unterstützung für CINEBENCH 2024 (nur CPU): https://t.ly/fMO_R CB 2024 verwendet jetzt den Redshift Renderer. Der Output ist ja echt hübsch, aber der Benchmark selbst ist so bloated damit. Der Original-Download hat 21000 Dateien und 1,3 GB. Ich konnte es abspecken auf < 7000 Dateien und 1 GB, die zum Download von BM dazukommen. Der Benchmark selbst braucht ewig zum Starten und sogar zu schließen. Die CPU-Runs brauchen ewig, auch mit einem 14900K auf 5+ GHz. Das Testing und Reverse Engineering war daher nicht besonders lustig. Ich muss auch eine Menge Dateien überprüfen, um Änderungen am Benchmark zu vermeiden. Wenn man zB Asset-Info-Dateien löscht, dann bekommt man gleich einen Score > 100000. Ich freue mich über Feedback.
wergor connoisseur de mimi Registered: Jul 2005 Location: graz Posts: 4077	29.05.2024 - 00:09 habs getestet, scheint zu funktionieren ich hab leider erst im nachhinein gesehen dass man die scores der "running" benchmarks erst speichern muss
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	29.05.2024 - 06:17 Danke! Singlecore ist hart. Ist der über Nacht gelaufen?
wergor connoisseur de mimi Registered: Jul 2005 Location: graz Posts: 4077	29.05.2024 - 11:03 Nein, war nur 1 Durchlauf, ist nicht länger als 30min gelaufen
wergor connoisseur de mimi Registered: Jul 2005 Location: graz Posts: 4077	29.05.2024 - 12:09 habs gerade nochmal durchlaufen lassen: was bedeutet die fehlermeldung? kann man für cb24 noch keine scores submitten?
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	29.05.2024 - 13:24 Ja, geht leider noch nicht, obwohl ich schon vor Wochen darum gebeten habe. Das Resultfile bleibt aber kompatibel und kann später raufgeladen werden.
wergor connoisseur de mimi Registered: Jul 2005 Location: graz Posts: 4077	29.05.2024 - 15:48 hier noch die ergebnisse vom firmenrechner gpu ist die im 9700k integrierte intel UHD630, ich bin aber per RDP verbunden deshalb zeit erkennt benchmate wahrscheinlich nur ein "Microsoft VGA compatible device"
mat Administrator Legends never die Registered: Aug 2003 Location: nö Posts: 25419	29.05.2024 - 20:13 Danke. VGA-compatible Device kommt wenn der Driver in Windows nicht installiert ist. Oder mein Code ist fehlerhaft.

oc.at präsentiert: BenchMate

Forum Index > Software > Number Crunching

chap

Roman

mat

Rogaahl

mat

Rogaahl

mat

mat

wergor

mat

wergor

wergor

mat

wergor

mat