Banco de pruebas Hardlimit

[Xevipiu]

@cobito dijo en Banco de pruebas Hardlimit:

@Xevipiu ¿A qué te refieres con procesadores que no son 100% nativos a AVX2?

Hay procesadores que no usan al 100% las instrcciones, pero al usarlos, dan incuerencias de resultados.
Pero dejando aparte esto, usar AVX Vs AVX2, el resultados son abismales.

Tendrias que caparlos segun las instrucciones de cada procesador para ir bien, ¿no crees?

[cobito]

@Xevipiu Sigo sin entender. ¿Qué quieres decir con que hay procesadores que no usan al 100% las instrucciones? El banco de pruebas está pensado para hacer 4 pruebas: dos de tipo SIMD (donde disponer de AVX por ejemplo va a mejorar los resultados), una de memoria (donde más caché y/o una memoria más rápida te va a dar mejores resultados) y una prueba genérica cuyo resultado tiene poca dependencia con el juego de instrucciones.

Si quieres comparar dos procesadores en igualdad de condiciones, sólo tienes que pasar el banco de pruebas en el mismo modo para ambos. Si no dispones de un resultado en el mismo modo, te puedes fijar en el test#4 para hacerte una idea.

Las operaciones que se ejecutan en todos los modos son exactamente las mismas. Si en un proceador en modo FPU te da 1000 puntos el test#1 y cambiando a modo AVX2 te da 15000 puntos significa sencillamente que para el cálculo vectorial de enteros, AVX2 multiplica por 15 en rendimiento. Esa es la realidad. Otra cuestión es que luego no vayas a ejecutar software multimedia ni juegos y te den igual las instrucciones vectorales. En ese caso, una vez más, tienes o bien el test#4 o bien el banco de pruebas completo en un modo inferior.

Uno de los objetivos de HLBM es precisamente evaluar cuánto mejoran el rendimiento los sets más recientes y también cuán optimizados están los sets más antiguos en CPUs actuales.

Según entiendo, ¿lo que pides es que pondere los resultados de modos superiores para que el resultado final sea parecido a la ejecución en un modo inferior? En ese caso no tendría sentido tener la posibilidad de evaluar el rendimiento de sets más recientes.

[Xevipiu]

Por qui voy, si es en el sentido de evaluar las diferencias entre instrucciones, tiene sentido lo dicho

[cobito]

@Xevipiu A ver, el banco de pruebas es muy versátil y sirve para muchas cosas. Entre otras cosas sirve para evaluar:
· Sets de instrucciones (con los disintos modos)
· Implementaciones de Hyperthreading y SMT: en los resultados puedes ver la puntuación por hilo de ejecución en la prueba multithread. Si el micro tiene HT o SMT, cuanto más cerca esté este resultado del resultado monothread, mejor HT o SMT tiene el micro. Si ese resultado está más cercano al 50% del resultado monothread, peor HT/SMT tiene.
· Cantidad y velocidad de memoria caché (test#3).
· Comparativa de procesadores para hacer una tarea específica: usando el mismo modo en ambos micros o comparando el test#4.
· Comparativa de procesadores en general: usando el modo más alto posible.

Es decir, no es un banco de pruebas sólo para evaluar un micro con un bench genérico y soso. Tienes mucha más información y con ella puedes saber lo bien o mal que va un modelo para multitud de tareas.

Ahora bien, es cierto que en el ranking hay resultados desproporcionados con respecto a micros que no son tanto más lentos, solo porque unos soportan AVX2 y otros no. Y en el mundo real, esa diferencia entre ambos modelos no es tan abismal. Por eso también está bien que se pasen test en modos inferiores (aunque el resultado no sea para top) porque es la mejor forma de hacer comparativas más fiables.

Cuando haya más resultados, aparecerá un nuevo top sólo para el modo 0. Ahí la criba se va a llevar por delante a unos cuantos que ahora están en las primeras posiciones. Pero para poder sacar ese tipo de estadísticas (y otras) todavía es encesario que se envíen más resultados.

[Xevipiu]

Te dejado el resultado de una mierda de MAD, la verdad es que decepciona por lo que son, espero que la siguiente generación den la talla

[cobito]

@Xevipiu El primer Ryzen! Pues en multihilo parece que se ha merendado al xeon de krampak. Aunque en comparación con el 7700K en monohilo, saca un 10% menos de rendimiento por MHz. Ahí sí que ha pinchado.

[Xevipiu]

El test monore del 7700k, iba a solo 5.11Ghz con la versión anterior

[cobito]

Novedades

Hay una nueva versión del programa que acelera la velocidad de inicio. A cambio en la pantalla inicial sólo muestra la frecuencia de stock. Para ver la frecuencia real hay que validar resultado. Se ha conseguido que la frecuencia real tenga un error <3%. Es recomendable que no haya ningún programa en ejecución durante la prueba (ni siquiera CPUZ ni similares).

La central ha recibido también cambios. Para conocerlos, puedes ver el primer post de este hilo.

Además se ha añadido un top10 para el modo 0. Este top es sólo para valientes que quieran comparar su micro de tú a tú sin sets pijos que inflen desmesuradamente las puntuaciones. Os invito a que paséis el banco en modo 0 a no ser que seáis unos gallinas

De momento hay solo 6 resultados en el ranking de modo 0 con micros bastante viejos, así que lo tenéis fácil para aparecer.

[krampak]

He probado el Modo0 con el E5-2620V4 pero la velocidad calculada me salen 1.78Ghz, no se si realmente la CPU no sube a los 2.1Ghz teóricos o si es error del medidor del benchmark.

Edit: Parece cosa del test, ya que no pilla la frecuencia máxima a la que llega la CPU (aunque tampoco muestra la que tiene en reposo, más bien una media):

[cobito]

@krampak Las gráficas de rendimiento de ese resultado tienen unos altibajos brutales. Algo pasa en ese PC que está interfiriendo en el programa. Si durante la medida de la frecuencia ha pillado uno de esos bajones, no va a salir la real.

De hecho, el ratio mmt indica que hay algo corriendo en segundo plano que está consumiento bastantes ciclos del procesador.

[krampak]

@cobito dijo en Banco de pruebas Hardlimit:

@krampak Las gráficas de rendimiento de ese resultado tienen unos altibajos brutales. Algo pasa en ese PC que está interfiriendo en el programa. Si durante la medida de la frecuencia ha pillado uno de esos bajones, no va a salir la real.

De hecho, el ratio mmt indica que hay algo corriendo en segundo plano que está consumiento bastantes ciclos del procesador.

Hay un antivirus residente que no puedo desactivar. Imagino que será eso.

PD: Menuda merienda le ha pegado el Ryzen en modo0...

[krampak]

@cobito En un i5 6500 me acaba de dar 6Ghz de frecuencia calculada... y curiosamente (no se si es cosa de la nueva versión) me ha superado al antiguo resultado del i5 7500.

https://bm.hardlimit.com/result.php?bm=9796222558dc06a8a250c56af2a06753144

[cobito]

@krampak ¿Cuál es la frecuencia real? Este fin de semana haré el último cambio de la temporada, a ver si puedo cerrar el tema de la frecuencia de una vez por todas.

El código del banco de pruebas no ha cambiado (ni va a cambiar en el futuro sin una muy buena razón), así que si ha dado más es porque ha rendido mejor.

[krampak]

@cobito dijo en Banco de pruebas Hardlimit:

@krampak ¿Cuál es la frecuencia real? Este fin de semana haré el último cambio de la temporada, a ver si puedo cerrar el tema de la frecuencia de una vez por todas.

El código del banco de pruebas no ha cambiado (ni va a cambiar en el futuro sin una muy buena razón), así que si ha dado más es porque ha rendido mejor.

Pues la real serian 3.6Ghz a lo sumo (turbo), es un i5 6500 (sin K). Cuando termine la p*** actualización de Windows 10 lo pruebo en otro i5 7500. También tengo un portátil con un i7 6560U que probaré por la tarde.

[Xevipiu]

Antes de ayer, a 4.25Ghz, me daba 4.5Ghz el MAD

[cobito]

@Xevipiu Ok, la fuente del fallo debe ser la misma que la de krampak. Cuanto más moderno es el procesador, más por saco. Tengo una solución en mente que espero que funcione.

Por cierto @krampak, he visto el resultado del 7500 y el del 6500 y fíjate en el ratio mmt del 7500: en los test 1 y 2 da en torno a 0.8. Eso es muy bajo para no tener Hyperthreading. En cambio el del 6500 sale por encima de 0.9 en todos los casos (menos test 3) que son valores normales (para no tener HT). Al igual que en el Xeon de ayer, en ese 7500 tienes algo consumiento CPU cuando se está ejecutanto el banco de pruebas; por eso ha dado un resultado peor que el del 6500.

Básicmanete el ratio mmt debe dar por encima de 0.9 (cercano a 1) en micros sin HT y por encima de 0.5 en micros con HT. Si sale menos, hay algo interfiriendo.

[krampak]

@cobito dijo en Banco de pruebas Hardlimit:

@Xevipiu Ok, la fuente del fallo debe ser la misma que la de krampak. Cuanto más moderno es el procesador, más por saco. Tengo una solución en mente que espero que funcione.

Por cierto @krampak, he visto el resultado del 7500 y el del 6500 y fíjate en el ratio mmt del 7500: en los test 1 y 2 da en torno a 0.8. Eso es muy bajo para no tener Hyperthreading. En cambio el del 6500 sale por encima de 0.9 en todos los casos (menos test 3) que son valores normales (para no tener HT). Al igual que en el Xeon de ayer, en ese 7500 tienes algo consumiento CPU cuando se está ejecutanto el banco de pruebas; por eso ha dado un resultado peor que el del 6500.

Básicmanete el ratio mmt debe dar por encima de 0.9 (cercano a 1) en micros sin HT y por encima de 0.5 en micros con HT. Si sale menos, hay algo interfiriendo.

Ahora ha salido 0.96 (menos el test 3 que da muy poco), aún así hay poquísima diferencia con el 6500 a pesar de sacarle 200Mhz y una generación. Hablo de Modo0, el otro no lo puedo comparar porqué le he pasado el ModoVI al 7500 (al ver que Xevipiu pasaba en VI, ahora entiendo tanta diferencia. Si puedo iré pasando el VI a los antiguos).

[Xevipiu]

@Cobito El MAD puede dar fallo por su multiplicador que escala de x0.25 a x0.25, por ejemplo: 100.4 x 40.25 = fallo ayer su lectura real de frecuencia.

Tampoco cuando arranca la aplicación, no lee la real, sino la de arranque

Espero que te sirva

[Fassou]

@cobito Datos de la última prueba sobre hlbm.exe 1.0.5

https://bm.hardlimit.com/result.php?bm=49474e66f4e94dce583921ba03045b73153

Resumen:

3200Mhz nominal del modelo Vs 3199Mhz en app
3600Mhz por CPU-Z Vs 3611Mhz en HLBM Central

Mucho más aproximado :thumbsup_tone1:

[cobito]

Hay una nueva versión que espero que solucione los errores de medición de frecuencia. Creo que está calibrado un poco por lo bajo (quizás os de una frecuencia medida algo por debajo de la real). No tengo PCs a mano para poder hacer todas las pruebas que necesito, así que con el tiempo lo iré corrigiendo.