No hay por que instalar el entorno gráfico en ninguna distribución, en la instalación eliges lo que quieres y lo que no quieres instalar.
Lo que si te puedo decir es que la instalación de Debian no es tan intuitiva como Mandrake etc… si no entiendes del tema no te será tan facil como las demás, pero para un servidor es lo mejor, lo mas estable, seguro y probado, Debian no incluye ningun paquete sin que lleve tiempo probandose por eso es tan estable, sin embargo en las otras distribuciones se meten los últimos paquetes y al no estar tan probados siempre hay mas bugs e incompatibilidades, pero nada grave, cualquier distribución Linux es estable, por lo menos cualquiera le da 1000 vueltas a la mierda de las ventanitas.