Banco de pruebas Hardlimit

[cobito]

@krampak Hoy he podido revisar el código fuente. El launcher lo único que hace es detectar que el modo seleccionable es ejecutable por el procesador. Si hay un error manda una señal a la ventana para que muestre error. En caso contrario, lanza la ejecución del banco de pruebas. Es decir, que a primera vista parece que la CPU no cuenta con el repertorio seleccionado. En condiciones normales, si no es compatible, debería aparecer un mensaje de error en la ventana pero parece que Windows 2008 gestiona el tema de otra forma.

En principio, el fallo viene de que se han intentado ejecutar µinstrucciones que ese Xeon no entiende. ¿Intentaste ejecutarlo en modo 0? Veo que ese modelo de Xeon tiene soporte para AVX2 pero no creo que el núcleo NT 6.0 soporte algo más allá de SSE3. Leyendo un poco por ahí, parece que hace falta la R2 para poder acceder al repertorio vectorial. Así que ahí debe estar el problema. Y de hecho, puede que esa sea la razón por la que el error no se está mostrando de una forma normal (nunca había probado a ejecutar la versión gráfica en un Windows tan antiguo).

En otro orden de cosas (y con disculpas por el retraso; esta semana no daba para más), tenemos nuevos micros.

Hace más de una semana, @garfield trajo un i7-8750H con 6 núcleos, HT y un TDP de 45W. Hoy @rul3s nos ha traído el que parece su hermano gemelo de AMD: un Ryzen 5 2600X. No sé si se habrán puesto de acuerdo qué, pero este también tiene 6 núcleos, viene con SMT y fue lanzado al mercado el mismo mes y año que el i7 de garfield.

Como parece que la portada está un poco triste, voy a publicar la mini-comparativa allí.

[krampak]

@cobito dijo en Banco de pruebas Hardlimit:

@krampak Hoy he podido revisar el código fuente. El launcher lo único que hace es detectar que el modo seleccionable es ejecutable por el procesador. Si hay un error manda una señal a la ventana para que muestre error. En caso contrario, lanza la ejecución del banco de pruebas. Es decir, que a primera vista parece que la CPU no cuenta con el repertorio seleccionado. En condiciones normales, si no es compatible, debería aparecer un mensaje de error en la ventana pero parece que Windows 2008 gestiona el tema de otra forma.

En principio, el fallo viene de que se han intentado ejecutar µinstrucciones que ese Xeon no entiende. ¿Intentaste ejecutarlo en modo 0? Veo que ese modelo de Xeon tiene soporte para AVX2 pero no creo que el núcleo NT 6.0 soporte algo más allá de SSE3. Leyendo un poco por ahí, parece que hace falta la R2 para poder acceder al repertorio vectorial. Así que ahí debe estar el problema. Y de hecho, puede que esa sea la razón por la que el error no se está mostrando de una forma normal (nunca había probado a ejecutar la versión gráfica en un Windows tan antiguo).

En otro orden de cosas (y con disculpas por el retraso; esta semana no daba para más), tenemos nuevos micros.

Hace más de una semana, @garfield trajo un i7-8750H con 6 núcleos, HT y un TDP de 45W. Hoy @rul3s nos ha traído el que parece su hermano gemelo de AMD: un Ryzen 5 2600X. No sé si se habrán puesto de acuerdo qué, pero este también tiene 6 núcleos, viene con SMT y fue lanzado al mercado el mismo mes y año que el i7 de garfield.

Como parece que la portada está un poco triste, voy a publicar la mini-comparativa allí.

Tienes razón, en SS3 funciona. En AVX y AVX2 peta

[Magog]

He subido un Dell 7470 con un I7 6600U.

Un saludo.

[krampak]

Yo acabo de subir otro NUC HP de esos ( aun sigo encontrando variantes xD ), esta vez un i3 4030U.

[rul3s]

Yo acabo de subir un 2600x algo subidito de vueltas
https://bm.hardlimit.com/result.php?bm=781be25ee54bb41e7440f5e2fac6559b1573

[krampak]

@rul3s dijo en Banco de pruebas Hardlimit:

Yo acabo de subir un 2600x algo subidito de vueltas
https://bm.hardlimit.com/result.php?bm=781be25ee54bb41e7440f5e2fac6559b1573

Cuanto menos curioso

Ah, no he dicho nada, no me acordaba que el 1800 es 8/16.

[cobito]

Al revisar me he dado cuenta que tenía una cola interesante de micros

@magog Iba a decir que ese modelo ya lo validó @Namiga hace un año, pero he ido a comparar los resultados y parece que el tuyo va bastante más rápido. El de Namiga iba a 2.8GHz cuando corrió la prueba y el tuyo ha ido un 18% más rápido: a 3.3GHz. Eso se puede achacar a limitaciones en la BIOS del fabricante de turno o a que hubiera algo en segundo plano. Pero es que el tuyo le saca el doble de puntos en multihilo. Revisando el rendimiento por MHz de la arquitectura, parece que tu resultado se acerca bastante a otros modelos como el 6500U, así que tu envío se convierte en una muestra bastante representativa de ese modelo.

En otro orden de CPUs, Namiga nos vuelve a traer un Ryzen, esta vez con gráficos integrados. Se trata de un Ryzen 5 2400G, un Zen (a secas) con 4 núcleos, 8 hilos y 3.9Ghz de frecuencia máxima. La composición de rendimientos mono y multihilo así como en los modos 0 y AVX2, no lo asemejan a nada de AMD y los micros de Intel que aparecen en la comparativa son muy variopintos: desde un "exótico" i5-5675R al i7-4790K y en todos con grandes diferencias. Seguramente, lo más interesante de esta CPU sea la GPU integrada aunque lamentablemente no tenemos cómo evaluar eso. Para no dejar el análisis demasiado soso, quizás sea interesante ver a qué se parece en cada ámbito:
· En monohilo en modo FPU, el más parecido es el Core i3-7100.
· En monohilo en modo AVX2, se parece al Core i7-4790
· En multihilo en modo FPU tiene ciertas semajanzas con el Core i7-7700
· Y en multihilo en modo AVX2 casi calca al mencionado i5-5675R.

Y para terminar con esta ronda, como ha dicho @krampak, vuelve a atacar con sus NUCs. Nos encontramos ante un i3-4030U, un Haswell de la serie U descatalogado no hace demasiado. Como buena serie U, viene con su TDP a 15W, lo cual no va a ser un problema para su rendimiento porque sus 2 núcleos (con HT) corren a una frecuencia fija de 1.9GHz. El procesador ha resultado ser la CPU más lenta en modo AVX2 de todas las que tenemos. De hecho, la lista de micros similares parece que se ha hecho un poco un lío con la comparación. En resumidas cuentas, en modo FPU es comparable a procesadores de no muy alta gama de la vieja arquitectura Wolfdale. En AVX2 ha quedado incluso por debajo de un A9 de AMD, que no deja de ser una APU portátil Exacavator. Lo dicho; el último de la lista. Aunque por no ser demasiado injusto con Haswell, esa APU ha necesitado prácticamente el doble de frecuencia para conseguir un rendimiento similar.

Editado: Por cierto Krampak, el Xeon del Windows 2008 sin R2 lo he añadido a la base de datos pero no debe aparecer porque la frecuencia se midió mal en todas las pruebas (mide 800MHz). No sé si es un problema de ese Windows, que la máquina está excesivamente cargada o alguna cuestión de hardware (temperatura elevada, configuración incorrecta, etc).

[rul3s]

Después de esta pedazo noticia habrá que ver como afecta la 1903 a los Ryzen con este benchmark.

[kynes]

@rul3s dijo en Banco de pruebas Hardlimit:

Después de esta pedazo noticia habrá que ver como afecta la 1903 a los Ryzen con este benchmark.

Entiendo que en teoría no debería afectar mucho, ya que la novedad es que en vez de separar los hilos lo máximo posible para evitar focos de mucho calor, lo que entorpecía la comunicación entre hilos, ahora van a juntarlos lo máximo posible, ocupando un CCX antes de empezar a "depositar" hilos en el otro, por la forma en la que están desarrollados los juegos. Por cómo debe funcionar el bench, entiendo que con hilos independientes que no se comunican entre sí por el tipo de cálculo que deben realizar, no debería variar mucho el resultado.

[Fassou]

Le pasé el test a un portátil con unos años, y veo que el micro (4702MQ) no estaba, y lo enlaza a la ficha de un Pentium

El segundo de la lista https://bm.hardlimit.com/search.php?s=4702

Salu2!

[cobito]

@fassou Ya está añadido. Se trata de un Haswell de 2013. Tiene 4 núcleos con HT, una frecuencia máxima de 3.2GHz y un TDP de 37W. Con los datos de los que se dispone, la CPU más parecida es un i5-4440, lo cual es lógico teniendo en cuenta que son contemporáneos con unas características muy similares. Aunque el MQ tiene un TDP de menos de la mitad de ese i5, lo cual resulta sorprendente ya que en multihilo, el i5 le saca sólo un 12%. Yéndonos a procesadores un poco diferentes, el i3-7100U que salió 3 años después, tiene un rendimiento monohilo muy similar.

[cobito]

Antes de ayer, @krampak trajo por primera vez un i7-7700HQ a frecuencia de stock, a pesar de que ya existían resultados a una frecuencia inferior. Me he dado cuenta de que algunos fabricantes (en mi caso Dell), limitan la velocidad de los i7 HQ, me imagino que por razones térmicas. Por aquí tengo un par de i7-6820HQ pero como están capados a 3.2Ghz, se descartan en las estadísticas.

Yendo al grano: el 7700HQ es un procesador portátil con 4 núcleos y HT que llegan a 3.8GHz. Con sus 45W de TDP, consigue calcar el rendimiento de un i5-7500, que en realidad es prácticamente igual salvo que el procesador de escritorio permite un TDP superior y no dispone de HT.

En el ranking general, aparece en la decimosexta posición para monohilo y en la vigésimotercera en multiprocesamiento aunque si no estoy equivocado, es el segundo en ambos rankings en CPUs portátiles.

[kynes]

@cobito dijo en Banco de pruebas Hardlimit:

Antes de ayer, @krampak trajo por primera vez un i7-7700HQ a frecuencia de stock, a pesar de que ya existían resultados a una frecuencia inferior. Me he dado cuenta de que algunos fabricantes (en mi caso Dell), limitan la velocidad de los i7 HQ, me imagino que por razones térmicas. Por aquí tengo un par de i7-6820HQ pero como están capados a 3.2Ghz, se descartan en las estadísticas.

Yendo al grano: el 7700HQ es un procesador portátil con 4 núcleos y HT que llegan a 3.8GHz. Con sus 45W de TDP, consigue calcar el rendimiento de un i5-7500, que en realidad es prácticamente igual salvo que el procesador de escritorio permite un TDP superior y no dispone de HT.

En el ranking general, aparece en la decimosexta posición para monohilo y en la vigésimotercera en multiprocesamiento aunque si no estoy equivocado, es el segundo en ambos rankings en CPUs portátiles.

Al comparar con el i5-7300HQ (mi portátil) me sorprende la similitud en los resultados, ¿es posible que ese 7700HQ tuviera el HT desactivado?

https://bm.hardlimit.com/compare.php?cpu1=Intel(R)-Core(TM)-i7-7700HQ-CPU-@-2.80GHz-591593&cpu2=Intel(R)-Core(TM)-i5-7300HQ-CPU-@-2.50GHz-591593

[cobito]

@kynes Los datos de lo que comento a continuación los he obtenido de estos resultados para el 7300HQ y el 7700HQ, ambos los mejores resultados en AVX2.

El 7700HQ tiene una frecuencia un 8.5% superior a tu 7300HQ mientras que el primero te saca un 5.4% en monohilo. En principio, al ser la misma arquitectura con todo idéntico excepto la frecuencia, debería obtenerse un aumento de rendimiento lineal a la frecuencia, pero no es así. Si nos fijamos en los resultados de cada test individualmente, ambos micros sacan una puntuación por MHz muy similar en los tres primeros tests en monohilo. La diferencia se produce en el test#4 (el de memoria).

7700HQ

7300HQ

Si nos vamos a multihilo, empiezan a apreciarse diferencias importantes en los tests #1 al #3. Y en el test #4 (de memoria), tu PC saca 3 veces más rendimiento que el de @krampak. Cuando observamos los detalles del hardware, vemos por qué podría estar pasando esto: tu portátil está usando dos slots de memoria mientras que el de @krampak sólo usa 1. Es decir, que probablemente tu PC está usando dual channel mientras que el de Krampak no.

Que saques el triple de rendimiento en memoria creo que no se explica sólo por tener dual channel, así que debe haber otras variables: quizás chipsets diferentes, latencias diferentes, BIOS con características diferentes o lo que sea: el tuyo es un MSI y el Krampak es un HP así que vete tu a saber lo que han capado cada uno o han dejado de capar.

[kynes]

@cobito Pero mi duda va más por la ausencia de diferencias notables entre un procesador 4 hilos como el 7300HQ vs un procesador 8 hilos como el 7700HQ. Entiendo que debería notarse una diferencia apreciable por tener el hyperthreading activado, ¿verdad?

[cobito]

@kynes En pocos modelos he visto que el HT traiga una mejora apreciable. Precisamente el ratio mmt lo puse para poder evaluar el HT/SMT. El valor lo puedes ver en la columna de los resultados multihilo entre corchetes. Se trata del ratio del resultado multihilo por hilo (es decir, del resultado multihilo dividido entre el número de hilos de ejecución) y el resultado monohilo del mismo test. En un procesador sin HT (donde se ejecute un proceso por núcleo físico), el resultado debería ser 1 (o cercano 1): eso significa que ejecutando múltiples hilos, el rendimiento de cada núcleo es el mismo que si se ejecuta un solo hilo en uno de ellos. Si se ejecutaran dos hilos por núcleo sin HT/SMT, el resultado debería ser de 0.5, lo que es que el rendimiento de cada hilo es del 50% del obtenido en el resultado monohilo. En uno con HT, lo suyo sería que fuera superior a 0.5 ya que eso significaría que el rendimiento de varios hilos ejecutados en un núcleo físico es superior al rendimiento de un solo hilo ejecutado en un núcleo físico. Pero la verdad es que en pocos procesadores he visto resultados en HT que superen de sustancialmente ese 0.5.

En este resultado del i7-4790k o en este de un i7-7700k, puedes ver un ratio de unos 0.6 en los test 2 y 3. Eso quiere decir que en el i7-4790k, el HT puede llegar a incrementar el rendimiento un 20% con respecto a no tenerlo. Es posible que esta falta de resultados tangibles del hyperthreading sea un fallo de diseño del banco de pruebas o puede que el HT no sea más que una engañifa que mejora ligeramente el rendimiento sólo en algunos modelos; el banco de pruebas en este aspecto es bastante simple ya que lo único que hace es lanzar varios procesos en paralelo y evaluar el resultado de cada uno de ellos por separado haciendo luego la suma de todos los resultados.

Sobre el resultado del 7700HQ en concreto, creo que ahí la memoria está haciendo de cuello de botella. Quizás serían necesarios más resultados y máquinas más diversas para poder sacar conclusiones más claras.

[cobito]

Bueno, bueno, bueno. Pues @hAyO nos ha traído el primer Zen 2. Se trata del Ryzen 7 3700X y podéis ver los resultados en la portada.

[krampak]

¿ @cobito existe aún la versión offline (usb) del banco de pruebas ? Tengo un Celeron N4000 1.1Ghz pero el Windows 10 en modo S no me permite ejecutar el hlbench xD

[cobito]

@krampak Sí, el enlace está en el hilo del Live-USB. El único inconveniente de esa versión es que no es compatible con AVX. Pero para ese N4000 no será problema.

[cobito]

Llega la primera actualización en más de un año. Se trata de una tontería que he decidido cambiar mientras revisaba el código para recordarlo y que ha sido posible gracias a todos los modelos que habéis subido durante este tiempo: a partir de ahora, en la portada de la central se pasa de mostrar el top 50 al top 100 de procesadores.

Al final del primer mensaje de este hilo, he hecho una wishlist de lo que querría añadir y mejorar en el banco de pruebas a partir de después del verano. Si se os ocurre algo más, decidlo.