Esto está mal a varios niveles. Estoy viendo que cuando python se está ejecutando, todo lo demás va lentísimo y viceversa. Por ejemplo, si hay un proceso de ffmpeg consumiendo un solo núcleo, la velocidad de python (consumiendo 11 en vez de 12 núcleos) cae en picado. Igual pasa al revés.
Sospecho que hay un cuello de botella importante con la memoria y esta no es precisamente lenta (6400MT/s 30-37-37-96 en dual channel). Pero es que el modelo de traducción se dedica a machacar 20GB de RAM, así que es normal que el equipo flaquee por ahí.
Lo que voy a hacer es hacer que python se pause automáticamente cuando vea que hay algún proceso de ffmpeg o whisper en marcha. Creo que es la forma más eficiente de hacerlo todo y de sacarle todo el jugo a la CPU.
Lo de las prioridades lo voy a olvidar ya que parece que el tema no va por ahí, aunque tengo curiosidad sobre por qué no hace caso.