Museo Hardlimit
-
Nuevo capítulo: los discos duros de 1985. Muy interesante el pavor que existía por entonces a estas unidades por la poca fiabilidad que tenían:
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
Se rumorea que, a cambio de un puñado de cacahuetes, un grupo simios ha estado desarrollando un motor de búsqueda de archivos para el museo desde el que se podrá buscar, no solo el nombre del archivo sino también el contenido de los archivos.
Los rumores hablan de un índice que contendrá cientos de gigas repartidos entre millones de archivos retro y saldrá en algún momento de febrero.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
Ya está disponible la beta del buscador de archivos retro.
El buscador no solo busca el nombre del archivo, sino también el contenido de los archivos. Además, busca dentro de contenedores y archivos comprimidos, incluyendo el contenido de dichos archivos de forma recursiva. En los binarios en formato PE y COFF, también se realiza la búsqueda entre las secciones del archivo. Si al archivo contiene alguna imagen o video, aparece una miniatura de la imagen/video. En la búsqueda avanzada tenéis todas las opciones disponibles.
En estos momentos, la búsqueda se produce entre 979 GB repartidos en 5.5 millones de archivos retro. La búsqueda es más lenta de lo que me gustaría, pero se trabajará en eso.
Si encontráis lo que estáis buscando y se encuentra en el CDROM o disquete de alguna revista, podéis descargar el disco para acceder al archivo. Recordad que los veteranos podéis ejecutar desde el navegador los juegos del TDC desde la zona VIP en caso de que lo que busquéis esté ahí.
El indexado está tomando más tiempo del previsto inicialmente, así que vamos a hacer el estreno de una versión de pruebas para que, a quienes os interese, podáis usarla e ir sugiriendo cambios, informar de fallos y demás.
De momento podéis buscar entre todos los CD-ROMs y disquetes de la PCManía y los juegos hasta 1994 (inclusive) del Total Dos Collection, lo cual es prácticamente todos los juegos de DOS que ha habido hasta esa fecha.
Lo que más me interesa de momento es que hagáis sugerencias/críticas sobre cómo se presetan los resultados pero si véis que el buscador avanzado es lioso o es necesaria algún tipo de explicación, no dudéis en comentarlo. Por supuesto, los fallos y funcionalidades adicionales también son bienvenidas. En definitiva, se agradece cualquier comentario que haga al buscador más amigable y útil.
No hay enlace al buscador desde la portada del museo ni se está moviendo el tema por RRSS y tal. De momento, no compartáis enlaces porque el formato de la URL podría cambiar. Esta es una versión exclusiva para lectores del foro. Cada una o dos semanas se irá actualizando el índice e iré poniendo por aquí un mensaje con la actualización.
Podéis acceder al buscador desde [deshabilitado]
EDITADO: Como parece que no se está usando demasiado, lo dehabilito para tener más recursos para el indexado. Cuando el índice esté completamente generado, se hará el lanzamiento oficial. En cualquier caso, si alguien quiere hacer una prueba, me puede mandar un mp para vovler a habilitarlo.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
En esta ocasión, nos vamos al 91 para adentrarnos en el apasionante mundo de la compresión de archivos, con opciones para todos los gustos. Podemos ver al señor PK enseñando su PKZIP, aceleración por hardware en la compresión de archivos y la edición digital de video todavía en apañales:
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
Echo de menos las barras de progreso del ICE
Intel i5 3570k / ASRock Z77 Extreme 4 / G.Skill F3-12800CL9D-8GBRL / Sapphire HD5850 / Samsung HD103UJ / TR TrueSpirit / NZXT Source 210 / OCZ ZS550W
Intel i5 4570 / ASRock H87 Pro 4 / 2x G.Skill F3-14900CL8-4GBXM / Samsung 850 EVO 250Gb + ST1000DM003 + ST2000DM003 + HGST HDS723020BLA642 + Maxtor 6V250F0 / CM Seidon 240M / Zalman MS800 / CM MWE 550
AMD Ryzen 7 1800X / B350 / 2x8GB Samsung DDR4-2400 CL17 / NVIDIA GTX 1070 8GB / SSD 120GB + ST4000DM004 + ST6000DM003 / EVGA Supernova 650 G2 -
@fassou Creo se a lo que te refieres pero por si acaso...¿Barras de progreso ICE?.
Saludos!!
-
@_neptunno_ Un compresor de ficheros, que desapareció en favor de otros más configurables y flexibles como el ARJ o el LHA
Salu2!
Intel i5 3570k / ASRock Z77 Extreme 4 / G.Skill F3-12800CL9D-8GBRL / Sapphire HD5850 / Samsung HD103UJ / TR TrueSpirit / NZXT Source 210 / OCZ ZS550W
Intel i5 4570 / ASRock H87 Pro 4 / 2x G.Skill F3-14900CL8-4GBXM / Samsung 850 EVO 250Gb + ST1000DM003 + ST2000DM003 + HGST HDS723020BLA642 + Maxtor 6V250F0 / CM Seidon 240M / Zalman MS800 / CM MWE 550
AMD Ryzen 7 1800X / B350 / 2x8GB Samsung DDR4-2400 CL17 / NVIDIA GTX 1070 8GB / SSD 120GB + ST4000DM004 + ST6000DM003 / EVGA Supernova 650 G2 -
@fassou gracias por la aclaracion, no conocia ese tipo de formato de compresion
ICE: Interfaz de Compresión Ergonómica.
Saludos!!
-
Se ha creado el apartado "videoteca" en la biblioteca del museo donde se han recopilado los videos subtitulados junto a una introducción.
Por parte del buscador de archivos, ya está a punto de terminar con el TDC. Después de eso quedan los CDROMs de todas las revistas menos la PCManía y ya después de eso, se hará el lanzamiento oficial. De momento van 2.1TB repartidos en más de 9 millones de archivos.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
@cobito dijo en Museo Hardlimit:
De momento van 2.1TB repartidos en más de 9 millones de archivos.
9 millones de archivos ...
Intel i5 3570k / ASRock Z77 Extreme 4 / G.Skill F3-12800CL9D-8GBRL / Sapphire HD5850 / Samsung HD103UJ / TR TrueSpirit / NZXT Source 210 / OCZ ZS550W
Intel i5 4570 / ASRock H87 Pro 4 / 2x G.Skill F3-14900CL8-4GBXM / Samsung 850 EVO 250Gb + ST1000DM003 + ST2000DM003 + HGST HDS723020BLA642 + Maxtor 6V250F0 / CM Seidon 240M / Zalman MS800 / CM MWE 550
AMD Ryzen 7 1800X / B350 / 2x8GB Samsung DDR4-2400 CL17 / NVIDIA GTX 1070 8GB / SSD 120GB + ST4000DM004 + ST6000DM003 / EVGA Supernova 650 G2 -
Os traigo otro capítulo, esta vez sobre inteligencia artifical. En 1984 esta tecnología estaba todavía en pañales y los programas que salían eran basante simples, pero fueron los primeros pasos. Estaba basada exclusivamente en pruebas lógicas y estaba muy alejada de lo que se ve hoy en día. Pero ahí empezó todo. Vemos a un par de personajes representativos, como el creador de Lisp.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
Bueno, pues el buscador de archivos creo que ha llegado a un nivel suficiente de madurez. Al final no ha quedado como me lo había imaginado por el tamaño descomunal que ha alcanzado.
Se puede acceder desde aquí.
Tan solo se han indexado los CD-ROMs de la PCManía y el Total DOS Collection. Creo que es una selección aceptable de programas, herramientas, controladores y juegos.
Los resultados de búsqueda están divididos en estos aparatados:
· Miniatura: una imagen en miniatura del archivo en el caso de que la hubiera.
· Localización: lugares donde se ha encontrado el archivo. Desde aquí, se puede navegar por el árbol de directorios usando el explorador de archivos del museo.
· Descargas: opciones para descargar el archivo. Normalmente habrá que descargarse un archivo mayor (una iso, un zip, etc) para llegar al archivo que buscas.
· Contenido: un fragmento del contenido ascii del archivo. En binarios aparecerá a menudo contenido sin sentido mezclado con cadenas de caracteres.
· Otros detalles: Tamaño, MIME, fecha, detalles específicos y un hash MD5.Una cuestión a tener en cuenta es que el tiempo de búsqueda es bastante elevado. Es una faena pero de momento no puedo hacer mucho para mejorarlo.
Si veo que el tema tiene un éxito moderado, buscaré la forma de ir ampliando contenido y mejorando la velocidad.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
@cobito Muchas gracias por el pedazo de curro, alcalde
Una duda, el tiempo elevado de búsqueda ¿es debido al medio de almacenamiento empleado? ¿O se trata de alguna cuestión más compleja? Por pensar ideas que pudieran ayudar...
¡Saludos!
>> i7-2600K Sandy Bridge @4.4GHz || Noctua NH-D14 || ASRock Z77 Extreme4 || 4x8Gb G.Skill Ripjaws X DDR3 1600MHz || XFX RX 5700 XT 8Gb || SSD Samsung 850 PRO 256Gb & 850 EVO 500Gb || WD Caviar Green 1Tb || Barracuda 1Tb || Corsair TX650 V2 || M-Audio Fast Track Pro || KRK RP8 RoKit G3 || BenQ GW2750 27"
>> Athlon 64 X2 5600+ Brisbane @2.9GHz || Gigabyte GA-M61PME-S2 || 2x2Gb DDR2 Kingston 800MHz || Sapphire Radeon HD 5850 Xtreme 1Gb || Maxtor 320Gb SATA2 || OCZ ModXStream 500W Modular || TEAC PowerMax 120/2 || Acer X243w 24"
>> Intel Core2Duo E6600 Conroe @2.4GHz || Asus P5N32-SLI SE DELUXE || 2x1Gb DDR2 Kingston 800MHz || Asus nVidia GeForce 9800GT 1Gb GDDR3 || Seagate Barracuda IDE 80Gb 7200RPM || Linkworld LPK12-35 450W -
@sylver La principal razón es que el servidor lleva unas semanas más cargado de lo habitual por la sección de videos.
El índice es bastante grande y reside completamente en RAM. Cuando no hay transcodificadores en curso, el tiempo de espera es aceptable, pero cuando hay un par de ellas, se vuelve demasiado lento. Viendo el comportamiento de los procesos cuando hay unas cosas u otras, lo que veo es que falta ancho de banda a la memoria.
Creo que este es uno de los casos en el que la DDR5 (a pesar de sus elevadas latencias) vendría de maravilla, pero va a tener que esperar.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
@cobito Entiendo... Muchas gracias por la explicación.
Igual podría donarnos @jordiqui uno de sus servers todopoderosos para la causa...
¡Saludos!
>> i7-2600K Sandy Bridge @4.4GHz || Noctua NH-D14 || ASRock Z77 Extreme4 || 4x8Gb G.Skill Ripjaws X DDR3 1600MHz || XFX RX 5700 XT 8Gb || SSD Samsung 850 PRO 256Gb & 850 EVO 500Gb || WD Caviar Green 1Tb || Barracuda 1Tb || Corsair TX650 V2 || M-Audio Fast Track Pro || KRK RP8 RoKit G3 || BenQ GW2750 27"
>> Athlon 64 X2 5600+ Brisbane @2.9GHz || Gigabyte GA-M61PME-S2 || 2x2Gb DDR2 Kingston 800MHz || Sapphire Radeon HD 5850 Xtreme 1Gb || Maxtor 320Gb SATA2 || OCZ ModXStream 500W Modular || TEAC PowerMax 120/2 || Acer X243w 24"
>> Intel Core2Duo E6600 Conroe @2.4GHz || Asus P5N32-SLI SE DELUXE || 2x1Gb DDR2 Kingston 800MHz || Asus nVidia GeForce 9800GT 1Gb GDDR3 || Seagate Barracuda IDE 80Gb 7200RPM || Linkworld LPK12-35 450W -
Que maravilla!. No quiero ni imaginar la de tiempo que te lleva hacer todas estas cosas.
En cuanto al hardware necesario imagino que llegados a un punto es difícil de asumir por una única persona, bien sea por el nivel del hardware necesario, ancho de banda, consumo eléctrico, ruido...
-
Sí, al final el hardware es limitante. He tenido que parar de indexar por falta de RAM pero si tuviera más, la velocidad sería todavía peor, así que con DDR3 en particular o una máquina convencional en general, no se puede rascar mucho más.
Pensándolo un poco cuando me he ido topando con los límites durante el desarrollo y el indexado, creo que un "rig" de Raspberry Pis sería una opción viable. Algo así sería relativamente económico, relativamente sencillo y muy escalable. Pero claro, siempre existe un desembolso inicial significativo que tiene que estar justificado por un uso intensivo de la herramienta.
De momento, a ver qué acogida tiene porque al final no deja de tener una audiencia de nicho.
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
@sylver Ni lo dudeis- Si se necesita, concedo acceso remoto et voila. Acabo de leerlo, disculpad la demora.
Cluster MPI de tres nodos formado por tres SERVIDORRES HP PROLIANT DL360P 1U 2X E5-2680V2 CPU'S, 20 cores, 40 hilos a una frecuencia base de 2,8GHz. 192 GB de memoria RAM DDR3 ECC (8 x módulos de16 GB 800Mhz)´+ 1U 2X E5.-2697 V2 a una frecuencia base de 2,8 Ghz 192 GB de Ram ECC (8 módulos de 16 Gb 800 mhz) 24 Cores 48 hilos ( 44c/88T)+ 1u 2xE5 2603v2 con una frecuencia base de 1,9ghz 64 Gb DDR3 ecc (4x módulos de 16)
-
@jordiqui dijo en Museo Hardlimit:
@sylver Ni lo dudeis- Si se necesita, concedo acceso remoto et voila. Acabo de leerlo, disculpad la demora.
Gracias por el ofrecimiento. No será necesario por mucha envidia que me den tus 64GB de RAM
Toda la actualidad en la portada de Hardlimit
Mis cacharros -
Cluster MPI de tres nodos formado por tres SERVIDORRES HP PROLIANT DL360P 1U 2X E5-2680V2 CPU'S, 20 cores, 40 hilos a una frecuencia base de 2,8GHz. 192 GB de memoria RAM DDR3 ECC (8 x módulos de16 GB 800Mhz)´+ 1U 2X E5.-2697 V2 a una frecuencia base de 2,8 Ghz 192 GB de Ram ECC (8 módulos de 16 Gb 800 mhz) 24 Cores 48 hilos ( 44c/88T)+ 1u 2xE5 2603v2 con una frecuencia base de 1,9ghz 64 Gb DDR3 ecc (4x módulos de 16)
