Tras un homónimo 7" en 1999 llegó el LP debut de The Gossip, That's Not What I Heard, a finales de 2000 y el grupo realizó una gira con The White Stripes y Sleater-Kinney. Le siguieron una serie de álbumes, culminada con Standing in the Way of Control en 2005, el cual incorporó elementos de dance-punk en su sonido crudo y urgente. En 2006 lanzaron GSSP RMX, que siguió enfatizando su dirección más bailable. El álbum concierto Live in Liverpool llegó al Reino Unido a finales de 2007 y a continuación fue publicado en EE.UU. por la nueva discográfica de la banda, el sello de Sony Red Ink, en la primavera de 2008. Le siguió ese verano Rework-It, una recopilación remezclada. ~ Zac Johnson