İlk muhacirler, Resûl-i Ekrem daha Medine’ye gelmeden Kubâ’da Amr b. Avf oğullarına ait bir hurma kurutma yerini mescid haline getirmişlerdi. Ebû Huzeyfe’nin âzatlısı Sâlim burada bir grup muhacire Kudüs’e yönelerek namaz kıldırıyordu. Resûlullah Kubâ’ya ulaşınca burayı genişleterek Kubâ Mescidi’ni bina etti. Mescid-i Benî Amr b. Avf olarak da anılan Mescid-i Kubâ’nın arsasının kabilenin ileri gelenlerinden Külsûm b. Hidm’e ait olduğu ve Külsûm’ün arsayı mescid yapılması için bağışladığı rivayet edilir. Resûl-i Ekrem’i arsaya kıble yönünde bitişik evinde misafir eden kabilenin ileri gelenlerinden Sa‘d b. Hayseme burada mescid yapılmasına öncülük etmiştir.
Mescidin ilk hali kare şeklinde bir düzlüğü çevreleyen dört duvardan ibaretti. Arsa hazırlandıktan sonra temele ilk taşı bizzat Hz. Peygamber koymuş, ardından sırasıyla Hz. Ebû Bekir, Ömer, Osman ve diğerlerinin taşlarını koymalarını istemiştir. Bu uygulama devlet başkanlarının ilmî, dinî ve millî nitelikli yapıların temeline ilk harcı koyma geleneğinin başlangıcı olarak görülmektedir. Mescid-i Kubâ yapılırken Resûl-i Ekrem’in bir işçi gibi çalıştığı, taşıdığı ağır taşları ellerinden alıp yardımcı olmak isteyenlere bir başkasına yardım etmelerini söylediği, Abdullah b. Revâha’nın, “Mescidin inşasına katılanlar, ayakta olsun oturarak olsun Kur’an okuyanlar, geceleri uykuyla geçirmeyenler kurtuluşa erdiler” diye şiirler okuduğu, her beytin son kelimesinin Resûlullah tarafından tekrarlandığı rivayet edilmektedir.
Hz. Peygamber, muhtemelen kıblenin Kâbe’ye çevrilmesinden sonra Kubâ Mescidi’ni yeniden inşa etmiştir. Bu sırada ön duvar ve ona paralel dizilen yedi sütun üstüne bir tavan yapılmıştır. Mescidin güneyinde Külsûm b. Hidm ile Sa‘d b. Hayseme’nin evleri bulunmakta ve Sa‘d’ın evinden mescide bir kapı açılmaktaydı. Müslümanlar Resûl-i Ekrem’in misafir kaldığı bu evleri ziyaret eder, ardından Sa‘d’ın evinin tarafında bulunan kapıdan mescide geçip “el-üstüvânetü’l-muhalleka” denilen üçüncü sütunun doğu yanında onun namaz kıldığı yerde namaz kılarlardı.
Mescid-i Kubâ, müslümanların hür ve güvenli bir ortamda yaptıkları umuma açık ilk mescid olması bakımından büyük önem taşımaktadır. Kur’an’da sözü edilen, “ilk günden takvâ üzerine kurulan mescidin” Kubâ Mescidi olduğu kabul edilir.
Hz. Peygamber’in Medine’de bulunduğu zamanlar cumartesi, bazan da pazartesi günleri ve ramazanın 17. günü Mescid-i Kubâ’ya giderek namaz kıldığına dair rivayetler zikredilmiştir. Ayrıca onun mescidde sürdürülen öğretim faaliyetine nezaret ettiği, Kubâ’da namaz kılmayı umreyle eş değerde gördüğü rivayet edilmektedir. Hz. Ömer Mescid-i Kubâ’yı ziyaret ettiğinde tozunu alır, buraya büyük hürmet gösterirdi.