Te diría que sí merece la pena, yo tuve un E2180 que con Overclock rendía como un E8400 y pasé a un Q6600 que tengo a 3.2 y el cambio fue muy grande, tanto para ofimática como para juegos. Hace años cuando salieron los primeros Quads no había tanto software que aprovechaba tanto núcleo, pero hoy la situación es diferente e incluso hay software que aprovecha más de 4 núcleos.
Lo que sí te diría es por cuánto te sale el cambio. Porque si te sale por más de 70€, por unos 40€ o poco más se vende el Q6600 de segunda mano, revisión "GO" pues la revisión "B3" es peor. La mayoría suben a 3.0-3.2 que es sobre el 50% de overclock pues el micro va de stock a 2.4 así que sí, aún a día de hoy son micros que rinden bien.
Eso sí, vas a necesitar un disipador majo, pero por no mucho dinero los tienes decentes. Busca que sean compatibles con el socket 775 lo único, pues algunos modernos no lo son. Si compras el micro dependiendo de si vas a hacer Overclock o no te recomendaremos uno u otro. ;D No veo factible que un disipador de un Dual Core como el E8400 aguante un Quad, salvo que no se haga overclock ni un uso intensivo.
También si nos dices qué placa tienes sabrás si puedes montar cualquier Quad y si le podrás hacer Overclock.