Con el vmware no se puede, puesto que lo que emula es la arquitectura x86. Lo que necsitarias es un emulador de la arquitectura PowerPC, y de momento no existe tal cosa.
Sí que existen emuladores de la arquitectura motorola 68k, en los que se puede instalar hasta MacOS 7 ó 8 (no estoy seguro qué versión), puesto que dichos MacOS iban sobre arquitectura 68k.
Otra posibilidad es instalarte el Darwin, que el el núcleo del Mac OS X pero sin en el entorno gráfico (que sospecho que es lo que te interesa).
Se oyeron rumores de que Apple iba a portar el Mac OS X a arquitectura x86, pero de momento no se sabe nada, parece únicamente un rumor…
Otra posibilidad sería conseguir el Rhapsody, que si no estoy mal informado fue una versión "alpha" del Mac OS X que también salió para x86, pero no tengo ni idea de cómo conseguirlo.
Saludos.