He estado midiendo tiempos para hacer un cálculo aproximado de rendimientos. El simple hecho de que haya un proceso de ffmpeg consumiendo un solo hilo hace que pyhon vaya unas 20-30 veces más lento (lo que tardaría 3 segundos, tarda en torno a minuto y medio). Aquí veo casi totalmente claro que es un tema de ancho de banda de memoria y puede que de gestión de la caché de la CPU porque creo (no estoy seguro) que un hilo de ffmpeg usaría un solo canal de la memoria por lo que python tendría, como poco, el otro disponible. Así que para que el rendimiento caiga de esa forma, supongo que hay que culpar también a la caché.
La verdad es que ni idea, nunca he puesto una máquina al límite de esta forma, pero al final la estrategia de pausar Python cuando haya otras cosas parece que es lo más razonable.