Banco de pruebas Hardlimit

[cobito]

Ya está disponible la versión 3.0 de la central. Los detalles los tenéis en el primer post de este hilo.

Antes de nada, os quería agradecer las validaciones que habéis estado aportando en los últimos dos años. Gracias a ellas, ha sido posible sacar nuevas informaciones de interés y será posible sacar estadísticas extra en el futuro cercano.

Resumiendo, ahora está en español, se han hecho algunos cambios estéticos, se ha añadido nueva información a la ficha de cada procesador, se ha añadido una comparativa de rendimiento en los envíos (cada vez que hagáis una validación, veréis cómo rinde vuestra CPU con respecto a la media de ese modelo) y otros cambios allí y allá.

Lo más trabajoso ha sido que se ha reescrito desde cero todo el motor interno. Ahora la carga de las páginas es mucho más rápida y sobretodo, me será mucho más fácil poder crear nuevas estadísticas y aplicar otros cambios (hasta ahora, era un infierno meterle mano al código).

Sobre las nuevas estadísticas, todavía están por hacer. Están planeadas:
· Por arquitecturas
· Por número de núcleos
· Por TDP
· Por rendimiento/W
· Por rendimiento por MHz
· Por usuarios

Tampoco se han actualizado a la nueva versión la página de búsqueda ni de comparaciones ni se muestran resultados oceros en la ficha del procesador; también está por hacer.

Si se os ocurre algo más, no tenéis más que decirlo.

Como de costumbre, cualquier cosa rara que veáis o sugerencia, no tenéis más que decirla.

Como veis en las gráficas de rendimiento, es interesante disponer de varias validaciones por modo. De esa forma se pueden vislumbrar irregularidades en el rendimiento. Así que si estáis aburridos, no dejéis de pasar el banco de pruebas en vuestras máquinas: en cuantos más modos, mejor y si es un par de veces por modo, mejor que mejor.

[Yorus]

Gran trabajo!

Estoy deseando catar la estadística de rendimiento/W, porque para mí la eficiencia y el mantener las temperaturas a raya en poco espacio es muy importante.

[cobito]

@Yorus Pues ya lo tienes. Se ha calculado el rendimiento por W en cada test individualmente y la puntiación general. Creo que en este aspecto, el rendimiento de la memoria/W es bastante irrelevante para el común de los mortales y el resultado general se vé desvirtuado por este. Así que sólo me fijaría en los test#1, 2 y 3 dependiendo del uso que se le vaya a dar al PC.

Próximamente, más rankings.

[Yorus]

Gracias @cobito!. Me vendrá muy bien para futuras renovaciones en mis equipos, ya que además últimamente tiro más del mercado de segunda mano que de hardware nuevo.

[cobito]

Añadidos rankings de tests individuales y de rendimiento por MHz.

Además, durante el proceso de depuración, he visto que un i7-4500U que envió @Namiga hace un par de meses (en todos los modos además), se me había pasado.

[cobito]

Ya está todo migrado a la versión 3. Los detalles los podéis vez en el primer post de este hilo. A parte de la migración, el cambio más importante es que se ha añadido la sección "Arquitecturas" donde aparece una lista de todas las arquitecturas para las que tenemos resultados. En general, ha habido muchos cambios. Seguramente la página con más novedades con respecto a la anterior versión es la de las comparativas, donde sale información adicional y mejor ordenada.

A partir de ahora, se irán añadiendo poco a poco las cosillas que van faltando, principalmente algunos rankings, informaciones adicionales en las distintas páginas y algunas descripciones.

Próximamente se anunciará otro cambio mayor que vendrá de la mano de las firmas. Pero para ese abriré un hilo nuevo.

[whoololon]

Menuda pasada.
Guarda todo eso con siete llaves, que esa base de datos vale su peso en oro.

Estaría bien que, una vez que entras y validas los datos, la elección del estilo para la firma fuese automático, quiero decir que en lugar de copiar, abrir tu perfil, editarlo y pegarlo en la firma, lo hiciese del tirón.

Aparte, si eliges lo del ranking, directamente te sales del parchís.

Pero a lo que voy, gracias por el curro que te estás pegando.

[cobito]

Gracias @whoololon. En realidad esto funciona gracias a los que participáis.

Lo de actualizar la firma automáticamente es algo que me da un poco de miedo por razones de seguridad.

Sobre lo del ranking, en realidad no está pensado como firma sino para compartir resultados por ahí. Es decir, pasas el banco de pruebas, quieres presumir de resultados y en vez de poner un enlace soso, pones una imagen molona.,

[whoololon]

Ah, asíposí.

Gracias por la aclaración.

Para la próxima versión, en el mensaje final cuando recopila datos, corrige lo de "Retriving data".

[cobito]

Tengo una duda sobre unos resultados. A ver si alguien sabe por qué podría pasar esto.

El otro día, @krampak subió unos resultados del Ryzen 7 2700x. En concreto, me llamó la atención este ejecutado con 32 hilos. Este modelo tiene 8 núcleos con SMT. Mirando los resultados de una validación a 16 hilos subida por el mismo @krampak el mismo día, presumiblemente desde la misma máquina, se ven unos resultados comparativamente curiosos.

Dejando de lado los tests de memoria, en los tests monohilo, la validación a 32 hilos saca un 1.2% más que la de 16 hilos. Con eso sabemos que las condiciones han sido las mismas (mismas cargas en segundo plano) y además sabemos que ambos tests se han corrido a frecuencia de stock.

En cambio, en los tests multihilo, la validación a 32 hilos saca un 5.3% más de rendimiento que la de 16 hilos. La forma en que funciona el banco de pruebas en multihilo es muy sencilla: se lanza un proceso por hilo, hace sus operaciones, calcula sus puntuaciones y por último se suman las puntuaciones de todos los procesos. Es decir, que si ha sacado más puntos, es porque ha podido hacer más operaciones en el mismo tiempo.

A mi sólo se me ocurren dos posibilidades:

1. Que al ejecutar 32 hilos, el banco de pruebas esté acaparando un mayor porcentaje de CPU, quitando tiempo de proceso a programas en segundo plano.
2. Que se esté aprovechando mejor la segmentación del procesador.

Si no recuerdo mal, este comportamiento también lo apreció @kynes hace tiempo. Una tercera posibilidad es un fallo en el programa, pero revisando el código, no se me ocurre de qué forma podría estar ocurriendo porque, además, el resultado del test de enteros es prácticamente igual en ambos casos; con un fallo en el programa, se tendría que haber reproducido el comportamiento en todos los tests.

En fin, ahí lo dejo por si os apetece cavilar un rato.

[whoololon]

Yo lo que digo es que, con la que se ha montado con el pufo de UserBenchmark, se necesita un sitio serio para comparar procesadores... ahí lo dejo.

[cobito]

Como ya he comentado en el otro hilo, el programa está firmado con una CA aprobada por Microsoft. Así que a partir de ahora, esto se convierte en algo serio.

Todavía aparece la Smartscreen de Windows. La teoría dice que el programa (pero sobre todo el certificado), tienen que ganar reputación. Hay tres formas de ganar reputación:
· Dejar el ejecutable en un lugar público. Con el tiempo, irá ganando puntos. Esto está hecho.
· Descargándolo desde distintos sitios. Cuanto más se descargue y ejecute, más puntos ganará. Por ahí leo que si se hace desde Internet Explorer o Edge será mejor. Pero en realidad creo que da un poco igual. La cuestión es sencillamente descargarlo y ejecutarlo (no hace falta pasarlo ni validar). Aquí es donde podéis echar una mano.
· Dejando el ejecutable en cualquier carpeta (como la de descargas) para que el programa de Telemetría de Windows lo vea.

De esa forma, en cuestión de días, desaparecerá el mensaje de advetencia.

@whoololon dijo en Banco de pruebas Hardlimit:

Yo lo que digo es que, con la que se ha montado con el pufo de UserBenchmark, se necesita un sitio serio para comparar procesadores... ahí lo dejo.

Pues sí, es posible que sea un buen momento para mover el asunto. Tengo algunas ideas...
Por cierto, la errata en el texto que comentaste ya está corregida.

Sobre la central, ha habido un par de actualizaciones menores. Las más importantes (los detalles en el primer post del hilo):
· Ahora se muestra ranking de OC en cada ficha.
· Ahora se muestra la versión en castellano si se detecta un navegador en catalán, gallego, vasco, asturleonés u occitano.

[whoololon]

Le he estado echando un vistazo, y no me queda claro si los resultados que se muestran, tanto en la descripción del micro como en la tabla de clasificación, son las mejores puntuaciones (micro con OC hasta las trancas en configuración específica para pruebas estilo Xevipiu), o el promedio de todos los resultados validados para el micro, o sólo los que van con la frecuencia de serie...

Gracias de antemano.

[cobito]

@whoololon Tanto en la descripción del micro (cpu.php) como los distintos rankings de procesadores y arquitecturas, se tienen en consideración para hacer la media sólo resultados sin OC (frecuencia de stock). Los resultados oceados aparecen en una tabla a parte dentro de la ficha de cada modelo (si es que hay resultados oceados).

En los resultados de una validación (result.php), los datos son los correspondientes a la validación en cuestión, sin tener en cuenta otras validaciones. La tabla de clasificación de usuarios que aparece tanto en portada como en el resultado de la validación tienen en cuenta validaciones individuales, incluyendo procesadores oceados y sin hacer medias.

En resumen: las fichas y los rankings calculan una media de las validaciones a frecuencia de stock. Si hay resultados oceados para un modelo, se muestran en la ficha a parte. Los rankings de usuarios muestran resultados individuales (sin media) incluyendo validaciones oceadas.

No sé si era eso lo que preguntabas.

[whoololon]

Sí, era eso; gracias por la aclaración.

[kynes]

@cobito Hay algo que me tiene mosqueado. El micro de mi portátil tiene 4 nucleos 4 hilos, pero gana unos 25000 puntos en multihilo si pongo 8 hilos en vez de 4. Entiendo que debe ser que así acapara más tiempo del procesador, pero entonces no serían totalmente consistentes los resultados si no se utilizan el máximo de hilos posibles. ¿Habría alguna forma de probar más de 8 hilos, para ver qué resultado da? Si es marginalmente superior o similar, es una cuestión de uso de micro. Si es muy superior, debe ser un bug del banco de pruebas.

[cobito]

@kynes Antes de nada, hay una discrepancia entre los resultados del programa y la central que no está corregida todavía porque estoy pensando cómo dar el resultado más fidedigno posible: el programa usa el método antiguo que consiste en tener el cuenta el máximo resultado de cada test. En la central se hace una media de las 10 muestras por test. De esa forma, desde el programa se aprecian variaciones superiores entre ejecuciones mientras que en la central, esas diferencias (que pueden estar provocadas por procesos en segundo plano), se filtran y se aprecian menos.

Una vez dicho eso, de los 4 resultados que has enviado (2 con 4 hilos y 2 con 8 hilos), he escogido los extremos para tener el peor caso posible: el que ha dado menor puntuación en 4 hilos y el que ha dado más puntuación en 8 hilos. La diferencia en la puntuación total multihilo es de un 4.7%. Para tener una referencia, las diferencias entre los dos resultados a 4 hilos y a 8 hilos son de un 1.3% y un 1.2% respectivamente.

A mi, personalmente, que haya un 4.7% de diferencia entre los extremos vs que haya un 1.2% de diferencia en validaciones con mismo número de hilos, me parece normal viendo cómo Windows 10 tiene cien cosas en segundo plano.

Pero algo que sí podría ser un fallo del programa (y que además sería bastante difícil de diagnosticar como de corregir si realmente fuera un fallo), es el hecho de que en las pruebas con 8 hilos, haya un pico de puntuaciones en la primera muestra. Seguramente por eso has medido una diferencia tan grande en los resultados del programa donde se han tomado esos picos a la vez que en los resultados de la central, esa diferencia es mucho menor, por haberse calculado la media.

Voy a ver si tengo un ratillo y preparo la versión sin límite de hilos que comentas para que puedas probar eso.

[cobito]

@kynes Aquí hay una versión modificada sin límite de hilos. En general, parece que el resultado multihilo es porporcional al número de núcleos independientemente del exceso de hilos, a pesar de que existe una pequeña mejoría cuando el número de hilos es superior al del procesador. Pero hay una máquina donde la sincronización de hilos ha fallado y no se ha detectado, generando un resultado sin sentido. El PC tiene 4 núcleos con HT y a partir de 32 hilos parece que falla.

Esta versión sólo funciona en modo FPU y AVX 2 y los resultados no son validables.

[kynes]

Entiendo que si se hiciera la media de los hilos, el resultado sería coherente, pero hay uno que se va de madre. Voy a probar con 128 a ver qué pasa.

[kynes]

Con 128 hilos creo que tengo el record mundial en multihilo:

Bueno, y si no lo tengo, lo pruebo en 256 hilos a ver qué pasa