Información & anuncios

[cobito]

Banco de pruebas

• La migración al modelo de hilos ha sido un fracaso. Los test #1, #2 y #4 van bien, pero el #3 (de compresión) tiene un comportamiento anómalo en multihilo (da un resultado muy por debajo de lo esperado). He explorado un buen repertorio de cosas pero no hay forma. Voy a dejar de dedicar tiempo a este proceso (quizás lo retome más adelante).

• Me estoy dedicando a poner orden al código separando las partes principales para independizarlas (ahora todo depende de todo) pero es algo que hay que hacer con pies de plomo para no cambiar el comportamiento. Es un proceso lento y que no va a traer nuevas características, pero es necesario de cara a la mantenibilidad. Eso quiere decir que, aunque no vaya publicando novedades en este aspecto, se han dedicado (y se siguen dedicando) un buen número de horas todas las semanas. La primera beta vendrá cuando haya algo presentable. En resumen, el 90% de los recursos de tiempo se están focalizando en esto.

Infraestructura

• Como ya comenté, OVH nos dejó sin VPS hace bastante. Nos estamos mudando a Arsys y de momento todo el tráfico ya viaja por una VPS. Queda migrar los dominios. Casualidades de la vida, justo al dia siguiente de empezar la migración, OVH respondió (después de más de un mes) con una respuesta que deja mucho que desear en la forma pero que soluciona fondo de la cuestión (que es que me devuelven el dinero de un servicio que contraté y no me están prestando).

IA

• Se ha empezado a usar un nuevo modelo para traducir el foro con el que nos situamos en el top del top en este aspecto. Tiene un consumo de recursos extremo y se reserva exclusivamente a los nuevos posts. Por otra parte, se ha reservado un slot de procesamiento que permite la retraducción de un post al día. Peertube sigue usando el modelo anterior.

Administración

• Para terminar, el foro se cae de vez en cuando. Estoy investigando esto, pero es probable que se deba al machaque que estamos sufriendo últimamente.

[cobito]

Infraestructura

Ya se ha descubierto la causa de las caídas del foro: un módulo de RAM defectuoso. Esta es de esas cosas que me ponen los huevos de corbata, pero dentro de lo malo, se trata de un módulo de 8GB DDR3, por lo que la crisis de memorias creo que afecta poco aquí (al menos no veo precios disparatados).

Estoy buscando uno de exactamente el mismo modelo y mientras tanto, se han redistribuido los servicios como buenamente se ha podido. Hasta que se sustiya, intentaremos sobrevivir con los 104GB de RAM que quedan operativos (y que dicho sea de paso, están prácticamente al 100%).

Sobre esto, estoy monitorizando la máquina de cerca por si no fuera sólo ese módulo o el problema fuera otro (placa base, zócalo, controladora de memoria o lo que sea).

Banco de pruebas

Se sigue refactorizando el código. Si no hay demasiados contratiempos, en una o dos semanas saldrá la primera beta con alguna pequeña característica nueva.

Portada

Está bastante abandonada en general. Me he focalizado en nuevas características (federación del foro, becario agéntico con resúmenes de videos, el fallo de RAM que me ha tomado bastante tiempo, etc). Creo que es más interesante dedicar el tiempo a estas cosas que a la portada, así que en el medio plazo, habrá pocas entradas a la semana.

Foro

Como ya comenté, está federado y se puede intercambiar contenido con la instancia de Peertube. Os animo a que visitéis los hilos con los vídeos seleccionados. Hay uno sobre entornos de escritorio ligeros y otro de novedades de videojuegos donde se exponen los temas de una forma rigurosa y bien explicada.

Sobre la relación con los hilos federados, ya han implementado también el que aparezcan en hilos recientes. Esto hará que el contenido se traduzca (en este momento esos hilos están en un limbo). Pero no queda claro si saldrán en hilos no leídos cuando haya posts nuevos (incluso si son locales). El tema parece que no es filosófica ni técnicamente fácil de resolver.

Seguridad

Los ataques continúan por ráfagas, pero han bajando el ritmo. Las optimizaciones han llegado al punto de que el cuello de botella ahora es el ancho de banda (>400Mbps sirviendo sólo a scalpers). Buscaré la forma de minimizarlo sin afectar a otras cosas en la medida de lo posible.

Además, como algunos sabréis, se han descubierto varios fallos de seguridad importantes tanto en el kernel de Linux como en otros componentes. Aquí estamos al día pero en los últimos tiempos se están viendo cosas que no se veían antes y como dije en otra actualización, hay que estar muy al loro.

[cobito]

Hace unas horas ha aparecido un parche de seguridad de Peertube que parchea a su vez otro fallo descubierto hace 3 días. La instancia de Hardlimit se actualizó tanto hace 3 días como hace unas horas.

La vulnerabilidad permitía hacer inyecciones de código, inyecciones SQL, instalación de plugins y explotar tokens de procesamiento para manipular los videos publicados por los usuarios. Además, han detectado una manipulación del dominio de Google Analytics que reportaba los datos de trafico a un sitio ilegítimo (esto no lo usamos nosotros).

Se han realizado las comprobaciones que se han indicado desde los desarrolladores de la plataforma y no se han detectado indicios de penetración ni manipulación.

A partir de ahora, la instancia está segura ante estos fallos pero ha habido que resetear todas las sesiones de usuario, por lo que os tendréis que loguear de nuevo.

[cobito]

La actuaciones de hoy en principio ya están.

Se ha mudado la parte web proxy al VPS. Con eso, se han estado haciendo pruebas de caché y ahora se cachea principalmente contenido de la instancias de Peertube (videos e imágenes), de la instancia de Mastodon y del museo. Se espera incrementar notablemente la velocidad de carga de ciertos archivos, principalmente de las emulaciones del museo, carga de imágenes y visualización de videos con más tráfico. Con esto también se espera reducir la actividad I/O del NAS y el resto de discos.

Desde el punto de vista de la seguridad este es un cambio radical porque aísla la máquina expuesta a Internet de todo lo demás: ya no hay contacto directo de nada con el exterior excepto el proxy-caché, que en realidad no almacena información de ningún tipo.

Sobre el software, se han hecho las siguientes actualizaciones:

• Nodebb de 4.11 a 4.12 (mejoras en la visibilidad de los hilos federados).
• Peertube de 8.1 a 8.2 (posibilidad de transferir canales a otros usuarios y alguno arreglos de fallos importantes).
• Mastodon de 4.4 a 4.5 (ahora es posible citar otras publicaciones siempre que el autor lo permita).

Por su parte, al Ryzen 9 9900X se le ha desactivado al XMP (pasa de 6400MT/s a 4800MT/s, un 25% de reducción). Se hace para reducir las tensiones de 1.4 a 1.1V y es una cuestión puramente térmica y de durabilidad: como esas memorias casquen, tenemos un problema de los grandes. Esto va a tener un impacto directo en los modelos de IA. En estos momentos, haciendo tareas en directo (conforme van apareciendo y sin repasar cosas pasadas), todavía sobra capacidad. Cuando el calor empiece a aflojar, se volverá al esquema XMP.

[cobito]

Se ha implementado el tratamiento de los hilos federados por el traductor. Hasta ahora no era posible capturar los hilos porque Nodebb no exponía ninguna lista que incluyera estos hilos pero con la última actualización, eso ha cambiado. De esa forma, ya no veréis el molesto mensaje "Este post se está procesando/traduciendo..." indefinidamente. De momento se ha probado con algunos hilos viejos (no todos están incluidos porque estamos en modo "bajo consumo") pero se aplicará a todos los nuevos.

Por otra parte, se ha implementado una miniherramienta que necesito para gestionar los servidores y que os comparto por si os sirve: desde extra.hardlimit.com/ip obtendréis vuetra IP pública en una cadena de texto plano, sin maquetación HTML.

[cobito]

Actualización rápida:

• Parece que la gente de Nodebb sí había hecho bien lo de poner los videos incrustados en los cross-post. Era fallo mio al no haber activado una opción. Desde ayer, están apareciendo en hilos nuevos.
• Se ha contratado a un nuevo becario para procesar hilos: un tal Smith. Se hace porque si HIAL-9000 es el que publica los hilos y el que los procesa, no va a ver sus propios hilos al procesarlos porque no salen en su lista de "no leídos" (típica tontería por la que ayer perdí casi una hora dándole vueltas a los scripts a ver por qué HIAL-9000 no quería procesar sus propios hilos ).

[pos_yo]

@cobito Impresionante todo lo que estás implementando solo "for fun". Es un gran trabajo, ¡gracias!

[cobito]

Venga, última chapa del curso:

Se acerca el final de trimestre y con él, el parón vacacional que este año tendrá una duración superior a la habitual.

Banco de pruebas

Al final, el banco de pruebas se ha quedado a medias y va a quedar en fase beta unos meses. Quiero seguir haciéndole cosas antes de firmarlo.

Básicamente se han incorporado nuevas funcionalidades a la interfaz junto a herramientas secundarias, pero el Core queda sin modificaciones a pesar de que ha recibido muchos cambios que no se han incluído. Hay varias decisiones que tengo que tomar.

La razón de no haber sacado más novedades es que el código del programa era (y sigue siendo en cierta medida) un auténco quebradero de cabeza. Ahora está muchísimo mejor a como estaba, pero es algo que ha estado abandonado todo este tiempo a diferencia del resto de páginas, que han recibido algo de cariño en los últimos 5 años. De hecho, la mayor parte del código del Core era prácticamente el mismo desde las primeras versiones estables (¿hace 10 años?).

En resumen: se han dedicado muchas horas a trabajo no visible, pero que ha servido para acelerar a partir de ahora la publicación de novadades.

Me ha sido imposible dedicarle tiempo en los últimos días, así que probablemente no haya más betas hasta después del verano.

Portada

Ha sido la gran abandonada. Después de experimentar con el tema de los resúmenes de los videos, he visto que la IA es superior a mi entendiendo, corrigiendo y cocentrando conceptos. La portada consiste básicamente en hacer un pequeño resumen de noticias que hasta ahora he hecho manualmente. Y la verdad es que después de ver eso, me ha empezado a dar una pereza increíble seguir haciendo esa tarea. Es como tener una excavadora último modelo con el depósito lleno de combustible y apoyado sobre sus ruedas, un pico y una pala carcomidas del uso esperando a que alguien las coja para cavar una zanja. ¡Qué pereza cavar una zanja a pico y pala! La parte penosa de todo esto es que la razón de ser de la portada ha sido, entre otras cosas, hacer ver que hay personas detrás manteniendo el sitio. Y delegar el esfuerzo cognitivo de esta tarea a una máquina, va a eliminar de un plumazo ese "símbolo" de actividad. Por otra parte creo que en estos momentos no es necesario dar muestras de actividad sólo por darlas.

En general, la portada es algo que no me motiva demasiado desde hace tiempo, porque es difícil encontrar verdaderas noticias (el mundo de la informática personal está esencialmente muerto), porque el sensacionalismo está a la orden del día y porque a veces hay que contrastar informaciones inverosímiles (pero potencialmente ciertas). Es mucho tiempo y esfuerzo y el valor que aporta es discutible. Si una máquina puede hacer ese trabajo y encima lo puede hacer mejor que yo, ¿por qué no?

Todavía tengo que tomar la decisión final, pero es bastante probable que a la vuelta (en algún momento de septiembre), la portada sufra un cambio radical en sus entrañas. Es la única página que no ha recibido horas de desarrollo en el último año y ya que se va a rehacer, creo que se va a enfocar el tema de esta forma.

Foro

Estoy intentando inyectarle actividad desde la instancia de Peertube. Me parece que es el lugar adecuado para publicar contenido en formato texto y de hecho, estaba pensando en migrar las entradas de mi antiguo blog retro al foro. También estaba pensando en crear entradas sobre videos temáticos (en estos momentos me viene a la cabeza The Computer Chronicles) en un nuevo subforo retro ya que es una rama con mucho ímpetu en estos momentos.

En este aspecto, estoy todavía en terreno desconocido. Si las redes sociales y el SEO agresivo acabó con la era de los foros hace más de una década, estoy dándole vueltas a ver de qué forma encaja un foro en la actual era IA. Ofrecer contenido como punto de partida a discusiones no es complicado siempre que siga habiendo generación de contenido en la instancia de Peertube. Que sea un centro de consultas sigue siendo una posibilidad en cuestiones muy específicas y poco documentadas. Pero atraer a gente que participe de forma directa, es un reto.

Veré si rescato viejas fórmulas...

Museo

Este trimestre ha estado totalmente abandonado. Sigue siendo el centro de gravitación de mi interés porque es donde me siento más cómodo haciendo experimientos y sin miedo a que se rompan cosas. Pero no puedo dejar abandonado el resto y además, uno también se cansa de estar siempre con lo mismo.

Me apetece meterle contenido a puntapala y poner al límite todo el desarrollo que hice hace unos meses a ver cómo se comporta a gran escala, pero la falta de almacenamiento me lo impide. Aún así, tengo algunas ideas para exprimir hasta el último byte de los 2TB que tenemos asignados a este proyecto.

Infraestructura

Tenemos tres urgencias: más almacenamiento, más capacidad de procesamiento GPU y más eficiencia energética. Son tres máquinas que, a día de hoy, cuestan una fortuna inasumible. Durante el próximo curso, la adquisición de este hardware va a depender exclusivamente de la evolución de los precios y eso nos sitúa, como poco, en 2027.

Por su parte, la vorágine acaparadora de scalpers IA se ha reducido mucho hasta el punto de que, en estos momentos, estamos a régimen nominal tanto en el uso de ancho de banda como de CPU. Y si os soy sincero, tengo verdadera curiosidad por saber las razones que hay detrás de esta caída abrupta de la actividad con respecto al momentum que vive la IA, independientemente de que esta caída sea muy beneficiosa para nosotros. Saber a dónde se dirige la informática personal en los próximos meses depende de forma directa de lo que haga la "industria" de la IA, y siendo un ámbito tan sumamente opaco, tener estas muestras discretas de información siempre ayudan un poco a entender la situación.

Para el curso que viene no tengo nada especial planificado: naturalmente, el programa del banco de pruebas será prioritario. En esencia me voy a dejar llevar un poco más por lo que me apetezca en cada momento (sin dejar nada abandonado y con cierta planificación) y en cómo de posible sea comprar el hardware planificado ya que en estos momentos estamos un poco limitados en ese aspecto.

Si puedo conseguir un rato, podría sacar algo más hasta la primera semana de julio, pero poca cosa ya.

¡Feliz verano!

[cobito]

Anoche petó miserablemente el disco duro del Ryzen 9 9900X. Eso nos ha dejado sin foro ni traducciones todo el día. Ha sido un desastre. Llevo unas 10 horas poniendo todo a punto, lo cual ha sido buscar un disco duro funcional, instalar el sistema e intentar recuperar la base de datos del foro del disco cascado. Ha sido imposible recuperar la base de datos así que he tenido que recurrir a una copia de seguridad del sábado. Eso quiere decir que se han perdido los hilos y crossposts desde entonces.

De momento, nuestros bots (Smith y HIAL-9000) están fuera de servicio. Tengo que volver a poner en marcha toda la infraestructura IA que será lento y estará para hoy u otro día.

[cobito]

Se ha publicado una actualización de seguridad de Peertube que ya está instalada. Soluciona problemas de seguridad de alta severidad.

Los detalles de se publicará en los próximos días en el tag de la versión.

[cobito]

Vamos a empezar a arrancar poco a poco este curso. Lo primero va a ser añadir a la base de datos todo el hardware que el personal ha ido validando en el banco de pruebas durante el verano. Veo unos cuantos procesadores, un buen número de placas base e innumerables modelos de memoria RAM. Con esto me pondré en los próximos días.

Actualización software

La primera actuación de calado será meterle mano a las máquinas. Eso probablemente ocurrirá durante la semana del 7 de septiembre (ya se especificará el día). En estos momentos, todas las peticiones web pasan por un proxy-caché en un VPS. La idea inicial era reducir la carga y ancho de banda del backend, pero no ha funcionado como esperaba. Por una parte, se producen ráfagas prologadas de transferencias entre el backend y el VPS que saturan la conexión (todo lo contrario a lo que pretendía). Esto es debido a que cuando alguien se descarga un archivo grande, este se copia entero en la caché mientras se sirve. Por otra parte, se han producido innumerables problemas (principalmente en el museo) por razones que no termino de entender (es la primera vez que configuro la caché de Nginx y hay algo que no estoy haciendo bien).

Eso quiere decir que vamos a volver al esquema anterior: VPS como pasarela para aprovechar las mejoras rutas de sus conexiones y punto.

En paralelo, se va a actualizar el sistema del servidor principal (ahora backend). Esta operación suele ser bastante engorrosa y probablemente tome un día prácticamente entero.

También quedan actualizaciones pendientes de Nodebb (foro) y Mastodon.

Actualización hardware

Por parte del hardware actual, se va a hacer una rotación de discos duros. En los últimos meses han petado un par de discos (uno de ellos de forma repentina y desastrosa). Aquí seguramente hay un fallo de método por mi parte: he dado por sentado que los discos duros son perennes si las condiciones de operación son las adecuadas y el hecho de tener copias, ha hecho que me confíe. También es verdad que en el último año se han multiplicado el número de discos duros: antes teníamos el NAS y el disco de sistema. Ahora, además, hay discos dedicados para recursos de Mastodon, Peertube, Redis, museo, web y el Ryzen 9900X. Las probabilidades de fallo también se multiplican.

Sea como fuere, después de eso, me había quedado sin discos duros aptos para estos menesteres, así que he restituido las reservas (no son nuevos, pero con muy poco uso). Todavía tengo que ver cómo voy a distribuir los servicios y los datos pero eso es irrelevante.

Sobre la campaña de renovación de máquinas que quedó a medias el curso pasado, visto el panorama, no se va a reanudar próximamente. Hace unos meses tenía la esperanza de que las cosas empezaran a normalizarse sobre estas fechas y aunque hay indicios de un cambio de ciclo y parece que se están produciendo algunas fuerzas macro que podrían ayudar a restituir el equilibrio, la auténtica realidad es que para 2026 no va a ser.

Desarrollo

Todavía no sé cuánto tiempo voy a poder reservar para esto los próximos meses. Espero que algo similar a lo que he venido haciendo en los últimos meses pero no hay nada garantizado.

El curso pasado quedó en el tintero el banco de pruebas. Se sacaron algunas versiones de prueba y se encontraron problemas para reproducir resultados haciendo cambios estructurales del programa (esquema de hilos frente a procesos). La idea en principio es mantener el core intacto para los tests 1 al 4, añadir un nuevo test (memoria grande) dentro de un esquema multihilo e ir añadiendo funcionalidades a la interfaz gráfica. También quedan detalles en la web (maquetación, estética de las gráficas y otras cuestiones menores).

En paralelo se va a reimplementar la portada para abandonar el SGBD que creé en su momento y que se ha demostrado tortuoso de mantener, lento e inseguro para pasar a la estructura a la que se migró el banco de pruebas y el museo. Por parte del contenido, la idea es experimentar con la IA (recordad que en Hardlimit se usan exclusivamente modelos abiertos ejecutados localmente). Quiero hacer algunas pruebas a ver cómo funciona. Si los resultados no fueran los esperados, se volverá al método manual. La idea también es ofrecer una versión traducida al inglés. Todo esto va a requerir ingentes cantidades de potencia de proceso, así que por ahí se puede caer la idea. Ya se verá.

Y para terminar con esto, se va a refactorizar todo el código relacionado con la traducción del foro y subtítulos de Peertube. Esto es algo que se ha ido haciendo siempre de forma experimental, a cachos y pegando unas cosas con otras de cualquier forma. Y ha terminado con una estructura de archivos y directorios un poco caótica.

También quiero experimentar con traducciones del foro más libres, en el sentido de que el modelo tenga más libertad para separar y unir oraciones y dar más naturalidad a las traducciones. En estos momentos se instruye que se debe respetar la estructura del texto original y eso a veces da lugar a traducciones poco naturales en el idioma objetivo. Es un tema delicado (desde el punto de vista de la fidelidad de la información que se quiere transmitir) y por eso quiero hacer pruebas antes de ponerlo en marcha.

Todo el tema de las traducciones del foro tendrá una prioridad superior al curso pasado ya que empieza a haber cierta actividad (muy poca, pero la hay) y eso me hace pensar que también debe estar aumentando el número de lectores del foro en inglés.

En fin, hay más cosas en el tintero (promocionar ciertos tipos de contenidos en Peertube, empujar a la gente a participar en el foro, animar a usar la instancia de Mastodon, etc). Pero la infraestructura actual invita a ser cautelosos con presionar un crecimiento moderado de la actividad, sobre todo de Peertube y como al final la idea es que todo se realimente de todo, es algo que queda en pausa.