Præcist det sted, din gamle installation ligger. Vær opmærksom på at få alle nye filer med samt at få alle gamle filer slettet. wp-config.php må naturligvis ikke slettes, men pas også på ikke at slette din uploadmappe og eventuelle ændrede filer.
Der er nok en bedre løsning. Har du for det første prøvet at slå ALLE plugins fra, inden du forsøger at opdatere? Hvis du ikke har masser af RAM, kan det sagtens få opgraderingen til at gå i stå. Hvis det ikke hjælper, så prøv at skifte til standardtemaet og prøv så igen.
Hvis ingen af disse forslag hjælper, så tjek fejlloggen på din server og find ud, hvorfor den ikke vil opgradere. Er der manglende skriverettigheder? Er zip-filen korrupt osv. Fejlloggen gemmer tit på mange nyttige oplysninger.