Hayatının ilk dönemi hakkında fazla bilgi yoktur. Himyeri asıllı olduğu ve Hz. Ömer zamanında Medine'ye gelerek Muaz b. Cebel'den Kur’an öğrendiği bilinmektedir. Mısır'ın fethine katılıp oraya yerleşti. Sıffin'de Hz. Ali'nin yanında yer aldı, fakat Hakem Olayı sonra diğer Hariciler'le birlikte ona karşı cephe aldı.
İbn Mülcem, Nehrevan Savaşı'nda (38/ 658) canını kurtaran Hariciler'den Sürek es-Sarimi ve Amr b. Bekir (Bükeyr) et-Temimi (Zazeveyh), Mekke'ye giderek 39 (660) yılında hac yaptıktan sonra ümmetin içine düştüğü durumu tartışırlar ve yeryüzünde fesat çıkaran kişiler olarak gördükleri Ali, Muaviye ve Amr b. As'ın ortadan kaldırılmalarına karar verip bu kararı üçünü birden aynı zamanda öldürmek suretiyle uygulayacaklarına dair yemin ederler. İbn Mülcem Hz. Ali'yi öldürmek üzere Kûfe'ye gider. Katâmî bint Şicne (Şihne) ile karşılaşır ve onunla evlenmek ister. Katâmî, bu teklifi Ali b. Ebu Talib'i öldürmesi şartıyla kabul edeceğini, çünkü Nehrevan'da babasıyla kardeşini kaybettiğini ve intikam almak istediğini bildirir. İbn Mülcem de esasen bu amaçla Kûfe'ye geldiğini söyler ve böylece anlaşırlar. Daha sonra Katâmî, İbn Mülcem'e yardım etmesi için kabilesinden Verdân b. Mücalid adında birini bulur. Şebib b. Becere adlı bir harici de kendilerine katılır. Olaydan önceki gece İbn Mülcem ve yandaşları, zehirli kılıçlarını kuşanarak Hz. Ali'nin sabah namazını kıldırmak için çıkacağı evinin kapısının karşısına yerleşirler. Yardımcılarının yaptığı hamleler boşa çıkınca İbn Mülcem tek başına kalır ve "Hüküm ancak Allah'a aittir ey Ali, ne sana ne senin adamlarına! " diyerek Hz. Ali'yi başından yaralar ve kaçar. Fakat Ebû Edmâ el-Hemdânî tarafından yakalanır ve Hz. Ali'nin huzuruna çıkarılır. İbn Mülcem Hz. Ali'ye, kılıcını kırk gün süreyle bilediğini ve Allah'tan kendisine insanların en şeririni öldürmeyi nasip etmesini dilediğini söyleyince Hz. Ali de -eğer kısas gerekirse- onun bu kılıçla öldürülmesi emrini verir ve böylece onu insanların en şeriri olarak gördüğünü ima etmiş olur. Başka bir rivayete göre Hucr b. Adî suikastten şüphelenmiş ve halifeyi ikaz etmek istemişse de geç kalmıştır. Kaynaklar, olayın bir cuma sabahı namaz vaktinde vuku bulduğunu bildirirler.
İbn Mülcem , Hz. Ali'nin vefatının ardından öldürülmüş ve cesedi yakılmış tır. Hariciler'den İbazıyye’nin Hafsıyye kolu, İnsanlar arasında Allah'ın rızasını kazanmak için canını verenler vardır" (elBakara 2/204) ayetinin İbn Mülcem hakkında indirildiğine inanır.