Son troisième album, dans un premier temps produit par Jon Brion, est finalement réenregistré, suite à une fuite de la première version, avec les producteurs Mike Elizondo et Brian Kehew. Cet album, l’un des plus marquants de l’année 2005, rassemble des mélodies sophistiquées, des changements de tempo et des titres bouleversants tel « Oh Well ». Plus pop que ses prédécesseurs, Extraordinary Machine aborde les déboires de l’amour entre ironie et introspection.