A Venomous Concept - ami a legendás punk-csapat, a Poison Idea tiszteletére lett eképpen elnevezve - magját a Brutal Truth énekese, Kevin Sharp; valamint a Napalm Death ikonikus basszerosa, Shane Embury alkotja. Kettejüket elsősorban (a sör és a pizza után!) a punkzene szeretete köti össze: a két veterán hasonló lelkesedéssel rajong a Black Flag, a Systematic Death, a GBH, a Siege és a fentebb említett Poison Idea iránt. Ezt a rajongást később egy önálló bandává fejlesztette a duó: 2003-ban meghívták egy kávéra a Napalm Death dobosát, Danny Herrerát, és a Melvins gitárosát, Buzz Osborne-t. Így hamarosan meg is alakult a Venomous Concept, ami első lemezszerződését Mike Patton (Faith No More) kiadójával kötötte meg. Az all-star banda bemutatkozó albuma 2004-ben jelent meg 'Retroactive Abortion' címmel. Ezt két split-album követte (a japán 324 és az ausztrál Blöod Düster zenekarokkal közösen); ezután azonban Osbourne kilépett... Shane átváltott gitárra, a basszusgitárosi posztra pedig régi jóbarátját, a Brutal Truth-os Danny Lilker-t invitálta meg. A banda később bevette soraiba a Corrupt Moral Altar-ból ismert ritmusgitáros John Cooke-ot, akivel elkészült a banda második nagylemeze, a 2008-as 'Poisoned Apple'.