Pero eso es algo mas complicado.
No puedes aprender C desde windows con un programa sin entorno, solo para crear la ventana que contiene el programa te volverias loco. La mejor opcion seria un entorno visual y en ese caso pues te da lo mismo un Delphi, que un VB que un Borland C, el problema sera que no estaras aperndiendo extrictamente el lenguaje, aprenderas el lenguaje y como se hace con ese entorno.
Creo que lo mejor para empezar con un lenguaje es programar en MSDOS, siempre que quieras aprender el lenguaje, lo que ocurre es que el 50% de lo que aprendas no te servira para windows, pero si para programar en web. De este modo aprenderias el lenguaje puro y duro y despues solo tendrias que aprender como se hace concretamente en un entorno.
Para lo que tu quieres lo mejor es un entorno visual y te evitas complicaciones.