Museo Hardlimit

[cobito]

Gracias @Sylver. Este episodio parece que ha tenido cierta audiencia así que iré buscando el siguiente.

[cobito]

Nuevo capítulo: los discos duros de 1985. Muy interesante el pavor que existía por entonces a estas unidades por la poca fiabilidad que tenían:

[cobito]

Se rumorea que, a cambio de un puñado de cacahuetes, un grupo simios ha estado desarrollando un motor de búsqueda de archivos para el museo desde el que se podrá buscar, no solo el nombre del archivo sino también el contenido de los archivos.

Los rumores hablan de un índice que contendrá cientos de gigas repartidos entre millones de archivos retro y saldrá en algún momento de febrero.

[cobito]

Ya está disponible la beta del buscador de archivos retro.

El buscador no solo busca el nombre del archivo, sino también el contenido de los archivos. Además, busca dentro de contenedores y archivos comprimidos, incluyendo el contenido de dichos archivos de forma recursiva. En los binarios en formato PE y COFF, también se realiza la búsqueda entre las secciones del archivo. Si al archivo contiene alguna imagen o video, aparece una miniatura de la imagen/video. En la búsqueda avanzada tenéis todas las opciones disponibles.

En estos momentos, la búsqueda se produce entre 979 GB repartidos en 5.5 millones de archivos retro. La búsqueda es más lenta de lo que me gustaría, pero se trabajará en eso.

Si encontráis lo que estáis buscando y se encuentra en el CDROM o disquete de alguna revista, podéis descargar el disco para acceder al archivo. Recordad que los veteranos podéis ejecutar desde el navegador los juegos del TDC desde la zona VIP en caso de que lo que busquéis esté ahí.

El indexado está tomando más tiempo del previsto inicialmente, así que vamos a hacer el estreno de una versión de pruebas para que, a quienes os interese, podáis usarla e ir sugiriendo cambios, informar de fallos y demás.

De momento podéis buscar entre todos los CD-ROMs y disquetes de la PCManía y los juegos hasta 1994 (inclusive) del Total Dos Collection, lo cual es prácticamente todos los juegos de DOS que ha habido hasta esa fecha.

Lo que más me interesa de momento es que hagáis sugerencias/críticas sobre cómo se presetan los resultados pero si véis que el buscador avanzado es lioso o es necesaria algún tipo de explicación, no dudéis en comentarlo. Por supuesto, los fallos y funcionalidades adicionales también son bienvenidas. En definitiva, se agradece cualquier comentario que haga al buscador más amigable y útil.

No hay enlace al buscador desde la portada del museo ni se está moviendo el tema por RRSS y tal. De momento, no compartáis enlaces porque el formato de la URL podría cambiar. Esta es una versión exclusiva para lectores del foro. Cada una o dos semanas se irá actualizando el índice e iré poniendo por aquí un mensaje con la actualización.

Podéis acceder al buscador desde [deshabilitado]

EDITADO: Como parece que no se está usando demasiado, lo dehabilito para tener más recursos para el indexado. Cuando el índice esté completamente generado, se hará el lanzamiento oficial. En cualquier caso, si alguien quiere hacer una prueba, me puede mandar un mp para vovler a habilitarlo.

[cobito]

En esta ocasión, nos vamos al 91 para adentrarnos en el apasionante mundo de la compresión de archivos, con opciones para todos los gustos. Podemos ver al señor PK enseñando su PKZIP, aceleración por hardware en la compresión de archivos y la edición digital de video todavía en apañales:

[Fassou]

Echo de menos las barras de progreso del ICE

[_Neptunno_]

@fassou Creo se a lo que te refieres pero por si acaso...¿Barras de progreso ICE?.

Saludos!!

[Fassou]

@_neptunno_ Un compresor de ficheros, que desapareció en favor de otros más configurables y flexibles como el ARJ o el LHA

Salu2!

[_Neptunno_]

@fassou gracias por la aclaracion, no conocia ese tipo de formato de compresion

ICE: Interfaz de Compresión Ergonómica.

Saludos!!

[cobito]

Se ha creado el apartado "videoteca" en la biblioteca del museo donde se han recopilado los videos subtitulados junto a una introducción.

Por parte del buscador de archivos, ya está a punto de terminar con el TDC. Después de eso quedan los CDROMs de todas las revistas menos la PCManía y ya después de eso, se hará el lanzamiento oficial. De momento van 2.1TB repartidos en más de 9 millones de archivos.

[Fassou]

@cobito dijo en Museo Hardlimit:

De momento van 2.1TB repartidos en más de 9 millones de archivos.

9 millones de archivos ...

[cobito]

Os traigo otro capítulo, esta vez sobre inteligencia artifical. En 1984 esta tecnología estaba todavía en pañales y los programas que salían eran basante simples, pero fueron los primeros pasos. Estaba basada exclusivamente en pruebas lógicas y estaba muy alejada de lo que se ve hoy en día. Pero ahí empezó todo. Vemos a un par de personajes representativos, como el creador de Lisp.

[cobito]

Bueno, pues el buscador de archivos creo que ha llegado a un nivel suficiente de madurez. Al final no ha quedado como me lo había imaginado por el tamaño descomunal que ha alcanzado.

Se puede acceder desde aquí.

Tan solo se han indexado los CD-ROMs de la PCManía y el Total DOS Collection. Creo que es una selección aceptable de programas, herramientas, controladores y juegos.

Los resultados de búsqueda están divididos en estos aparatados:
· Miniatura: una imagen en miniatura del archivo en el caso de que la hubiera.
· Localización: lugares donde se ha encontrado el archivo. Desde aquí, se puede navegar por el árbol de directorios usando el explorador de archivos del museo.
· Descargas: opciones para descargar el archivo. Normalmente habrá que descargarse un archivo mayor (una iso, un zip, etc) para llegar al archivo que buscas.
· Contenido: un fragmento del contenido ascii del archivo. En binarios aparecerá a menudo contenido sin sentido mezclado con cadenas de caracteres.
· Otros detalles: Tamaño, MIME, fecha, detalles específicos y un hash MD5.

Una cuestión a tener en cuenta es que el tiempo de búsqueda es bastante elevado. Es una faena pero de momento no puedo hacer mucho para mejorarlo.

Si veo que el tema tiene un éxito moderado, buscaré la forma de ir ampliando contenido y mejorando la velocidad.

[Sylver]

@cobito Muchas gracias por el pedazo de curro, alcalde

Una duda, el tiempo elevado de búsqueda ¿es debido al medio de almacenamiento empleado? ¿O se trata de alguna cuestión más compleja? Por pensar ideas que pudieran ayudar...

¡Saludos!

[cobito]

@sylver La principal razón es que el servidor lleva unas semanas más cargado de lo habitual por la sección de videos.

El índice es bastante grande y reside completamente en RAM. Cuando no hay transcodificadores en curso, el tiempo de espera es aceptable, pero cuando hay un par de ellas, se vuelve demasiado lento. Viendo el comportamiento de los procesos cuando hay unas cosas u otras, lo que veo es que falta ancho de banda a la memoria.

Creo que este es uno de los casos en el que la DDR5 (a pesar de sus elevadas latencias) vendría de maravilla, pero va a tener que esperar.

[Sylver]

@cobito Entiendo... Muchas gracias por la explicación.

Igual podría donarnos @jordiqui uno de sus servers todopoderosos para la causa...

¡Saludos!

[Yorus]

Que maravilla!. No quiero ni imaginar la de tiempo que te lleva hacer todas estas cosas.

En cuanto al hardware necesario imagino que llegados a un punto es difícil de asumir por una única persona, bien sea por el nivel del hardware necesario, ancho de banda, consumo eléctrico, ruido...

[cobito]

Sí, al final el hardware es limitante. He tenido que parar de indexar por falta de RAM pero si tuviera más, la velocidad sería todavía peor, así que con DDR3 en particular o una máquina convencional en general, no se puede rascar mucho más.

Pensándolo un poco cuando me he ido topando con los límites durante el desarrollo y el indexado, creo que un "rig" de Raspberry Pis sería una opción viable. Algo así sería relativamente económico, relativamente sencillo y muy escalable. Pero claro, siempre existe un desembolso inicial significativo que tiene que estar justificado por un uso intensivo de la herramienta.

De momento, a ver qué acogida tiene porque al final no deja de tener una audiencia de nicho.

[jordiqui]

@sylver Ni lo dudeis- Si se necesita, concedo acceso remoto et voila. Acabo de leerlo, disculpad la demora.

[cobito]

@jordiqui dijo en Museo Hardlimit:

@sylver Ni lo dudeis- Si se necesita, concedo acceso remoto et voila. Acabo de leerlo, disculpad la demora.

Gracias por el ofrecimiento. No será necesario por mucha envidia que me den tus 64GB de RAM