la gráfica y equipo que tienes aún tienen mucho que ofrecer. intenta subir algo más el OC, y mírate alguna guía sobre overclock para que tengas los conceptos más claros, para que sepas algo más sobre estabilidad y programas de medición y testeo.
Sobre el OC y el fallo que te da, según comentas parece ser un error de drivers. Has actualizado a la última versión, pero puede que no se haya desinstalado del todo una versión anterior que es la que te puede estar dando problemas. Para esto usa driver cleaner o algún programa parecido, te eliminará los drivers completamente. Desinstalas con driver cleaner, reinicias, instala los drivers 8.12 (los 9.1 a mi me dieron problemas), reinicia y prueba a hacer algo de OC pero con Catalyst control center, el ati tray tools hay veces que da incompatibilidades, hazlo con el ccc para descartar errores.
Si nada de esto funciona, puede que sea un problema de hardware de la propia gráfica. Yo tenía una gráfica, una vieja 9550, que en cuanto tocabas 1mhz las memos, cascaba, no podías modificar nada, ni subirla ni bajarla, petaba. Puede que este sea tu caso, no sé a que se debe ese error, puede ser un problema de bios. Nunca lo solucioné, sólo me dejaba subir el core recuerdo. También puedes probar eso, sube el core sin tocar las memos y viceversa, por descartar también.
Un saludo
