Las memorias si van a 800 con 3.6 el procesador y se reinicia no es problema de las memorias.
Yo creo que el procesador no te ha salido bueno. Yo cambié 2 veces de E8400 hasta que encontré uno que llega a los 4 ghz con 1.36V. Los anteriores me petaban a los 3.6 como el tuyo y el otro a 3,8, incluso con 1.5V. No he probado a subirlo más, 4ghz era lo que buscaba y no me interesa subir más los voltajes.
Por cierto, le he hecho el V-droop mod a la placa, una P5K-E wifi