В апреле 1990 года так же на Nuclear Blast Records коллектив выпустил свой первый альбом: For God Your Soul…For Me Your Flesh. CD-версия включала 10 бонусов: два со сборника Pleasure in Life, целиком сплит-альбом и мини-альбом Extreme Deformity. Сразу же вслед за альбомом вышел сплит-мини-альбом с таким же названием совместно с Benediction (в апреле 1990 года на Nuclear Blast Records только на виниле в количестве 3800 копий), а группа отправилась в турне с Master и Abomination, что явилось важной вехой в истории коллектива.

1991 год стал временем окончательного укрепления позиций. В октябре 1991 года, после удачного турне с Type O Negative, вышел второй альбом Been Caught Buttering. Группа в составе Алекса Ванка (Alex Wank, Rector Stench — ударные), Яцека Перковски (Jacek Perkowski, Pitbull Jack — басс-гитара) и Мартина Ширенка (Martin Schirenc, El Cochino — вокал, гитара) уже с первых работ проявила диковатое чувство юмора, нашедшее отражение в гротескной лирике и обложках.

1992 год опять принес с собой громадное количество гастролей и большой успех у публики. Выступления в Израиле и США с Brutal Truth и Incantation, Австралии и Турции с Sodom показали всему металлическому миру, что Pungent Stench нельзя игнорировать ни в коем случае. В феврале 1992 года они переписали специально для США свой первый альбом, добавив в него три старых композиции 1989 года. Вышел альбом в марте 1993 года. В ноябре 1992 года группа записала семь композиций для нового мини-альбома, изданного в апреле 1993 года под названием Dirty Rhymes & Psychotronic Beats на Relapse и Nuclear Blast Records. В Европе альбом продавался с цензурным и нецензурным вариантами обложки, в США и Австралии — только цензурный вариант. Австралийский диск добит бонусом Daddy Cruel.

В июле 1993 года коллектив отправился в турне по Австралии и Новой Зеландии. Новый альбом под названием Club Mondo Bizarre: For Members Only (продюсер — Георге Шварценеггер) вышел в марте 1994 всё так же на Nuclear Blast Records.

C 1995 по 1999 год группа была временно распущена, после воссоединения реформирована уже без Яцека Перковски, не проявившего никакого энтузиазма, которого заместил Mario Klausner (Mario Klausner, Marius, Reverend Mausna) из Belphegor. К июлю 2001 года был записан новый альбом — Masters of Moral - Servants of Sin. El Cochino, Rector Stench и Marius представляют результат абсолютно уникальной комбинации дэт-металла и трэш-металла в соответствии с канонами «Церкви пронзительной вони». Они заперлись в House Of Music Studio (где записывались Sinner, Primal Fear, Brainstorm) в Винтербахе (Германия). На этот раз Pungent Stench с присущим им сарказмом обрушились на религию и её безумных последователей. Вновь они были на грани серьёзных проблем с цензурой, но это, как всегда, волнует их меньше всего!

Также Nuclear Blast переиздали Been Caught Buttering и Dirty Rhymes & Psychotronic Beats, добавив бонусы и переделав оформление.

В 2004 году группа снова меняет басиста. На эту роль претендовал Фабио Тести (Fabio Testi), но в итоге на постоянной основе был принят Грегор Марбё (Gregor Marboe, el Gore). Уже в таком составе коллектив записал альбом Ampeauty.

В 2007 году группа вновь, и, похоже окончательно, распадается по причине конфликта в костяке коллектива: у Алекса Ванка были серьёзные разногласия с Мартином Ширенком, в частности по экономической составляющей их совместной деятельности.