Ten en cuenta que normalmente los sistemas operativos de servidor se reservan toda la RAM posible para cacheo, por lo que no deberías tener que preocuparte por eso, a no ser que esté muy mal configurado. El sistema iría liberando RAM de esa caché a medida que se fuera necesitando.
No sé, yo pondría una cantidad baja, y probaría si no tengo cuelgues, cierres de aplicaciones o ventanitas de aviso, y siempre una cantidad fija.