2011 gründeten Gareth McGrillen und Rob Swire, beide Gründungsmitglieder der australischen Drum'n'Bass-Gruppe Pendulum, das Seitenprojekt Knife Party, mit dem sie eine aggressive Mischung aus Electro-House und Dubstep produzieren. Ende des Jahres erschien die erste EP 100% No Modern Talking, die digital über das Earstorm-Label und als Gratisdownload über die Website des Duos angeboten wurde. Mit der Swedish House Mafia veröffentlichten sie den gemeinsamen Track "Antidote" (Platz 4 in den englischen Charts) und remixten auch deren Song "Save the World". Mit der zweiten EP Rage Valley schafften es McGrillen und Swire 2012 in die englischen und amerikanischen Top 100; die ein Jahr später veröffentlichte dritte EP Haunted House konnte auch in die österreichische Top 50 einsteigen.