Podría ser debido a que uno de ellos lleva control de errores ECC o que es incompatible en su conjunto con uno de los otros.
Prueba a poner el módulo de 256MB solamente y ver si lo reconoce.
Te recuerdo que las placas de GigaByte no soportan memoria con ECC al igual que otros fabricantes de reconocido prestigio.