İlk müminlerden biriydi; ancak Resûl-i Ekrem’in peygamberliğine şiddetle karşı çıkan ailesinin buna izin vermeyeceğini bildiğinden onun yanına bir süre gizlice gidip geldi ve namazlarını da gizli kıldı. Durumu öğrenilince hayatında zor bir dönem başladı. Babası ve annesi onu müslüman olduğu için hapsettiler ve yolundan dönmesi için çeşitli baskılar yaptılar, fakat dininden vazgeçiremediler.
Mus‘ab, peygamberliğin beşinci yılında ilk kafile ile Habeşistan’a hicret etti. Bir süre sonra Mekke ileri gelenlerinden bazılarının İslâm’a girdiği yolunda yanlış bir haber duyulunca otuz sekiz kişiyle birlikte geri döndü ve Birinci Akabe Biatı’na kadar Mekke’de kaldı. Bu tarihte Resûl-i Ekrem, Medineliler’in isteğiyle onu İslâm tarihinin ilk muallimi olarak görevlendirdi; bu sebeple Medine’ye ilk hicret eden sahâbî olarak da kabul edilir. Es‘ad b. Zürâre’nin evinde kalan ve onun desteğiyle verimli bir çalışma yürüten Mus‘ab, Hz. Peygamber’in tebliğ tarzını çok iyi kavraması, Kur’ân-ı Kerîm’den o zamana kadar inmiş âyetleri ezbere bilmesi ve etkili konuşmasıyla Üseyd b. Hudayr ve Sa‘d b. Muâz gibi tanınmış şahsiyetlerin ihtida etmesini sağladı; Medine’de Es‘ad b. Zürâre ile birlikte cuma ve vakit namazlarını kıldırdı. 622 yılının hac mevsiminde ikisi kadın yetmiş beş kişiyle Mekke’ye geldi ve Resûlullah’a bir yıl içinde yaptığı tebliğ faaliyetini anlatarak onun takdirini kazandı. Medine’ye hicretin başlangıcı olan İkinci Akabe Biatı’nın hazırlanması ve gerçekleştirilmesinde önemli görev yapan Mus‘ab üç ay daha Mekke’de kalıp geri döndü.
Hicretten sonra Resûl-i Ekrem onu muhacirlerden Sa‘d b. Ebû Vakkās, ensardan Ebû Eyyûb el-Ensârî ile kardeş yaptı ve kabilesinin geleneğine uyarak Bedir’de muhacirlerin, Uhud’da bütün müslümanların sancağını onun taşımasına izin verdi. Uhud Gazvesi’nde Hz. Peygamber’in yanından hiç ayrılmayıp sancaktarlık görevini yerine getiren Mus‘ab, Resûl-i Ekrem’i yaralayan İbn Kamîe’nin kılıç darbeleriyle her iki eli de kesilince sancağı kollarıyla göğsüne bastırarak dik tutmaya çalışırken yine onun mızrağıyla şehid düştü. Savaştan sonra şehidler defnedilirken Hz. Peygamber, yoksul bir kıyafet içindeki Mus‘ab’ı yanındakilere göstererek onun bir zamanlar en güzel elbiseleri giydiğini, en güzel yemekleri yediğini, fakat Allah ve resulünün sevgisini her şeye tercih ettiğini söyledi. Sahâbîler, daha sonraki dönemlerde bolluk ve refah içinde yaşadıkları zamanlarda daima Mus‘ab’ı anmışlardır.