Información & anuncios

[cobito]

La actualización está siendo una operación más complicada de lo inicialmente previsto. Queda por poner a funcionar Mastodon y los Blogs además de multitud de pequeños detalles.

Como veis, el foro tiene un aspecto extraño. En los próximos días iré arreglando el CSS para que vuelva a verse como antes. Cuando esté todo terminado, escribiré con los detalles.

[cobito]

La idea inicial estaba clara: instalar Debian, instalar la paquetería, mover ciertos datos de un sitio a otro, instalar los distintos componentes y a volar. En un par de horas debería estar listo. No es la primera vez que lo hago y no debería haber demasiadas dificultades. La realidad: hoy soy 20 años más viejo que la semana pasada.

Algunas cosas han salido a la primera:

Las páginas de la casa (portada, banco de pruebas y museo) no parecen tener grandes incompatibilidades con la nueva PHP 8.2 (tan solo ha sido necesario un pequeño cambio en la portada): aquí todavía habrá que hacer una comprobación más exhaustiva. Además, la gente de Nodebb no ha hecho cambios mayores en la API del foro por lo que todos los componentes se han seguido comunicando con el sistema de registros sin necesidad de cambios.

Sobre el foro junto con su base de datos, ha sido coser y cantar. Aquí la única cuestión es que sí que ha habido una gran cantidad de cambios en la maquetación de las páginas, por lo que el CSS ha quedado parcialmente obsoleto. Lo he ido retocando, aunque quedan todavía detalles por pulir. Hay una gran cantidad de novedades estéticas y, desde mi punto de vista, la versión móvil ha ganado bastante enteros. Todavía falta por resolver un problemilla de permisos que está teniendo el venerable equipo de moderadores que espero que no sea gran cosa.

Por otra parte, es la primera vez en muchos años que usamos la versión oficial de Debian de Redis, lo cual, desde el punto de vista del mantenimiento, es un gran avance. Enorme avance. Estoy muy contento con esto.

Y hasta aquí lo bonito. El resto ha sido una bajada a los infiernos:

· Muchos blogs no son compatibles con PHP 8.2, por lo que tendré que hacer una actualización manual para cada uno de ellos. No debería ser gran cosa, pero hay que hacerlo. Esto me lo voy a tomar con tranquilidad.

· Uno de los cambios en la organización de los directorios ha consistido en mover todo el contenido "pequeño" (miniaturas, plugins...) de la instancia de Peertube a una unidad SSD para descargar de transacciones al NAS (estaba ya muy petado). Tenía por aquí una flamante unidad SSD casi a estrenar pero, ¡ohh, casualidades de la vida!, es incompatible con la controladora de disco. La enchufas y funciona. Al cabo de las horas, Linux empieza a informar de errores E/S con el ATA. Reinicias y la BIOS deja de detectarla. Si apagas el ordenador y lo enciendes, vuelve a funcionar. He probado con varios cables y con varios conectores SATA pero no, es el maldito disco (que, por cierto, funciona perfectamente en otro equipo). He tenido que echar mano de una no tan nueva unidad SSD (aunque se encuentra en buen estado de salud).

· En Peertube supuestamente se pueden configurar individualmente los directorios de cada tipo de elemento: temporales, videos, miniaturas, etc. Lo he configurado para repartirlo entre el NAS y la SSD y aparentemente todo funcionaba salvo que desde Internet, no se podía acceder al contenido del NAS. ¿Por qué? Pues porque el CMS usa un puente en Nginx para acceder directamente a los datos definiendo algo llamado 'root'. El problema es que sólo puede haber un 'root'. Entonces, ¿cuál eliges: el NAS o el SSD? Pues después de unas cuantas vueltas, he elegido el SSD creando enlaces simbólicos a las carpetas del NAS. Es una opción poco limpia, pero es la única opción que he encontrado.

Bueno, hasta aquí han pasado 9 horas, todavía queda por poner a funcionar Mastodon (¡jaja! que alguien me sacrifique, por favor) y empiezo a cuestionarme algunas decisiones. Lo dejo para el día siguiente porque todos los primeros domingos de cada mes, el NAS hace una comprobación de la matriz y eso hace que todo vaya muy lento durante unas horas.

· ¡Mastodon! Esto son ya palabras mayores. Tanto, que lo voy a dividir en párrafos:

Mastodon estaba alojado en el disco de sistema. Pero el contenido ocupa bastante y la única forma de que sea sostenible a largo plazo es moverlo al NAS. La operación es sencilla: conectar el antiguo disco y copiar al NAS los datos. Los datos ocupan unos 240GB (no es excesivo), están repartidos en unos 800.000 archivos (es normal porque son imágenes, sus miniaturas y videos cortos) y todo esto está repartido en (¡atención!) dos millones y medio de carpetas. Cualquier persona normal se preguntaría ¿por qué son necesarias millones de carpetas para almacenar cientos de miles de archivos?

Esta forma de repartir los datos me ha hecho darme cuenta de lo brutalmente lento que es crear dos millones y medio de carpetas en discos mecánicos. Es increíblemente lento; nunca lo hubiera imaginado. En principio, copiar 240GB al NAS debería haber tardado en torno a una hora. Hacer esta copia ha llevado 14 horas. 14 horas más que ha estado la instancia caída.

Una vez que los archivos están copiados, llega la hora de instalar el CMS. Las instrucciones oficiales están mal. Dicen que hace falta Ruby 3.0.6. Instalo esa versión y llegado a cierto punto, da error. Intento la instalación varias veces más por si me he saltado algo hasta que me da por analizar minuciosamente los logs (sí, esto ha sido culpa mía por no haberlo hecho antes). Resulta que la última versión de Mastodon usa Ruby 3.2.2.

Todo empieza a ir bien hasta que se pone a compilar. Pienso que quizás he cometido otro error y empiezo la instalación otro par de veces con el mismo resultado. A estas alturas, he instalado Mastodon 8 veces. ¡Ocho! Empiezo a pensar que la carencia de ciertas capacidades cognitivas podrían estar impidiendo llevar a cabo esta tarea. Entonces me encuentro a un tipo en Reddit que dice que lleva ya 12 instalaciones. ¡Eh, mirad qué pringao, DOCE veces, JA! -le grito a la pantalla, sintiendo cómo mi orgullo se recompone parcialmente.

Pasados unos minutos, recupero mi frágil equilibrio mental y me da por consultar la solución que algún fulano le ha dado a este pobre desgraciado. Resulta que estoy usando una versión demasiado reciente de NodeJS. La versión que estoy usando es la 18 LTS que salió en abril de 2022. ¿Cómo es posible que la última versión de Mastodon, que salió hace dos semanas, no sea compatible con un NodeJS que lleva un año y medio existiendo? Venga, que alguien responda, ¿algún filósofo en la sala?

Dejando de lado las cuestiones humanistas, miro qué versión necesita Mastodon para funcionar: la versión 16 ni más ni menos. Una versión que lleva sin soporte desde el 11 de septiembre. Sí, señores: la mayoría de instancias de Mastodon que hay levantadas están usando un componente crítico sin soporte. ¿Qué os parece? ¿Dónde están esos filósofos, por favor?

Total, que encuentro una chapuza que permite compilar Mastodon con NodeJS 18, funciona y ya: restauro la base de datos, la migro a la nueva versión, actualizo los feeds y a funcionar. NOTA: Este último párrafo ha sido adaptado a un público infantil. Durante el procedimiento, se ha cometido un delito continuado de blasfemia, pero esta vez debido a mi propia ineptitud.

Y ya ascendiendo de las profundidades de la locura, me he dado cuenta de algo interesante y es que Docker se ha convertido en el estándar de facto. De hecho, empieza a ser complicado encontrar documentación para hacer ciertas cosas "a pelo". Y seguramente, algunas de las dificultades han surgido de ese cambio de paradigma. Así que para la próxima vez, voy a tener que formarme sobre esto porque ya es el presente y además parece una forma increíblemente cómoda de instalar cosas. Espero que sea con Debian 14.

En fin, vaya tocho. Pero ¿y lo a gusto que me he quedado?

PD: Como de costumbre, si veis algo raro, no dudéis en comentarlo.

[krampak]

Madre mía, qué odisea jefe!

[Fassou]

Este es Atlas cargando con la bóveda celeste, o @cobito levantando el servidor, ahora no me acuerdo

Un grande!

[Sylver]

Qué vergüenza no poder devolverte ni una ínfima parte de lo que haces por nosotros @cobito... Menudo currazo

De una forma u otra, parece que Debian sigue rodeado de peligros como ya me dijese aquel profesor de informática hace años... Pero apuesto lo que sea a que él no tuvo que enfrentarse a tantos añadidos como en este caso.

En fin, un millón de gracias como siempre, y espero poder contribuir como buenamente pueda con la causa.

¡Saludos!

[cobito]

@krampak dijo en Información & anuncios:

Madre mía, qué odisea jefe!

Pues sí, esta vez ha sido duro. Muchos servicios y cada uno de su padre y de su madre.

@Fassou dijo en Información & anuncios:

Este es Atlas cargando con la bóveda celeste, o @cobito levantando el servidor, ahora no me acuerdo

Un grande!

Si Atlas estuviera hecho un tirillas, lo mismo habría duda

@Sylver dijo en Información & anuncios:

Qué vergüenza no poder devolverte ni una ínfima parte de lo que haces por nosotros @cobito... Menudo currazo

De una forma u otra, parece que Debian sigue rodeado de peligros como ya me dijese aquel profesor de informática hace años... Pero apuesto lo que sea a que él no tuvo que enfrentarse a tantos añadidos como en este caso.

En fin, un millón de gracias como siempre, y espero poder contribuir como buenamente pueda con la causa.

¡Saludos!

Vergüenza ninguna. Con que os paséis de vez en cuando a mirar, ya va bien. Debian no es la más fácil aunque esta vez ha sido más mala suerte que otra cosa.

Bueno, pues en principio, ya está todo funcional. He visto que incluso se han solucionado problemas que había a la hora de visualizar las revistas del museo (un problema que había que la versión de Imagemagick anterior) y las emulaciones vuelven a funcionar (algo raro que hacía Nginx que no supe arreglar).

Al foro todavía tendré que darle una vueltecilla con el CSS.

[cobito]

Desde hace unos días, un grupo de bots maliciosos han estado inundando el servidor de peticiones. Por una serie de cambios por parte de Debian que tengo que estudiar, la reglas de iptables para la web no están funcionando, por lo que tengo que introducir IPs y redes completas manualmente en las múltiples configuraciones de Nginx.

Debido a esto, y hasta que finalice el "ataque", algunos servicios podrían no estar disponible de forma puntual (hoy por ejemplo, han conseguido tirar Redis).

[kynes]

@cobito Conozco de lo que hablas. A mí me tira la tienda el bot de tiktok, que es terriblemente agresivo y no respeta el robots.txt

Suerte, es una tarea muy tediosa la que te espera.

[cobito]

El próximo fin de semana (todavía no está claro si el sábado o el domingo), se actualizará el foro y las instancias de Peertube y Mastodon.

En principio es un proceso rutinario y no debería tardar demasiado.

[cobito]

Hace unas horas se ha publicado un parche de seguridad que corrige una vulnerabilidad crítica en Mastodon. El fallo se produce por algo llamado Cross Site Scripting, lo cual permite inyectar scripts maliciosos en sitios web de confianza que, en este caso, hubiera sido nuestra instancia.

El parche ya está aplicado así que en la actuación de este fin de semana, una cosa menos. Estamos en la versión 4.2.5.

[pos_yo]

@cobito Sí, algo había leído. ¡¡Gracias por tu trabajo!!

[cobito]

Bueno, pues esto ya está.

Sobre nodebb, se debería haber solucionado un problema de cara a poder gestionar los correos de los usuarios por parte del equipo de moderación según un bug que reportó @Fassou hace un tiempo.

Sobre Peertube de la que se ha cambiado de versión mayor, las principales novedades de cara al usuario son estas:

• Se han añadido miniaturas a la barra de progreso del video, de forma que pasando el ratón por la misma, se pueden visualizar momentos específicos*.
• Ahora es posible crear capítulos en los videos.
• Se han hecho mejoras en el reproductor que lo hacen más rápido y hacen que se ajuste mejor a ciertas relaciones de aspecto.

*Sobre las miniaturas, en estos momentos se están generando para todos los videos, por lo que a estas horas, sólo estarán disponibles en nuevas subidas.

Y ya aprovecho para comentar que esta noche toca la comprobación mensual de la matriz RAID, por lo que mañana irá todo bastante lento en general.

[Fassou]

Sr. @cobito es un usted un Crack!, que hace que todas estas tareas de upgrades y updates parezcan casi fáciles.

Cumpliendo tiempos, forma y con Changelog

[cobito]

@Fassou Gracias hombre, es un placer (cuando las cosas salen a la primera o la segunda lo más).

[cobito]

Desde ayer, el RAID se está reconstruyendo debido a un problema con un disco. El proceso está siendo dolorosamente lento, mucho más que la última vez. Esto está provocando tiempos de espera enormes para acceder al NAS, por lo que todo Hardlimit irá bastante lento los próximos días.

Ya que estamos, aprovecho para informar de que la semana pasada, se hizo una actualización "de emergencia" de Mastodon debido a unos fallos críticos de seguridad en la plataforma.

Y para terminar, de aquí a dos o tres semanas, se realizará una campaña de actualización que abarcará el foro y la instancia de Peertube. Debería ser un proceso rutinario que se realiará durante un sábado o domingo.

[Sylver]

Muchas gracias por la información y la dedicación, exmo. Alcalde @cobito

Ya me extrañó que ayer no cargase un par de veces el foro a media tarde.
Iba a avisar por privado pero al poco volvió, imagino que ya en pleno proceso de reconstrucción del RAID.

¡Saludos!

[Yorus]

Gracias @cobito!. Sí, ayer noté lentitud en Mastodon, sobre todo en la carga de las imágenes, pero supuse algún tipo de mantenimiento o mejora.

[cobito]

Esta madrugada ha terminado la reconstrucción de la matriz, así que desde este momento, todo debería ir con normalidad otra vez.

Cuando la gente de Peertube haya publicado la versión 6.2 de la plataforma (previsiblemente la semana que viene), planificaré las actualizaciones. Por cierto, esta versión viene con alguna que otra característica muy interesante.

[Yorus]

Sí, ya va todo como un tiro, el floro, Mastodon... gracias!

[cobito]

Se ha actualizado Nodebb a la versión 3.8.4 (desde 3.6) que no trae grandes cambios de cara al usuario final sino más bien nuevas funciones para la moderación y la administración.

También se ha actualizado Peertube a la versión 6.2.1 desde 6.0.3. Esta actualización trae la IA a Hardlimit por primera vez con Whisper, una característica que añade subtítulos automáticamente a los videos. De momento, sólo se incorporarán subtítulos a los nuevos videos y a partir del último trimestre del año, se comenzará con la transcripción de todos los videos viejos (previos a hoy).

Sobre Whisper, he pasado un par de videos y la verdad es que el resultado es sorprendente.

Desde la perspectiva del hardware, se ha añadido una nueva máquina destinada a alojar el servidor Redis. Se trata de una placa Asrock J3455 con 16GB de RAM que se suma al servidor principal y el NAS.

La razón de separar Redis es que es un programa muy demandante de accesos E/S al disco, algo que ralentiza todo el sistema y consume mucha RAM. Además, hace un volcado de la base de datos (unos 7GB) a disco cada 10 minutos, por lo que está machacando constantemente el buffer de disco del sistema operativo. Aislándolo en su propia máquina espero aligerar bastante el server principal del que van a hacer falta bastantes recursos adicionales por parte de Whisper.

Por cierto, esta madrugada se hará la verificación mensual de la matriz RAID, así que hasta mañana por la tarde, todo irá un poco más lento de lo habitual.

Como de costumbre, si veis algo raro, decidlo.