Mescid-i Harâm yeryüzünde bilinen en eski mesciddir. Hz. Peygamber İslâmiyet’i tebliğ için zaman zaman Mescid-i Harâm’ı kullanmış, yapılan baskılara rağmen Hacerülesved ile Rüknülyemânî arasında namaz kılmıştır. Hz. Ömer’in İslâmiyet’i kabul etmesinden sonra müslümanların Mescid-i Harâm’da açıkça namaz kılmaya başladıkları bildirilmektedir. Kur’an’da, Mescid-i Harâm’ın ziyaret edilmesini engellemenin ve halkını oradan çıkarmanın Allah katında büyük günah olduğu belirtilir. Mekke’nin fethi üzerine Resûl-i Ekrem meşhur fetih konuşmasını Mescid-i Harâm’da yapmış ve oraya sığınanların emniyette olacağını bildirmiştir.
İslâm öncesi dönemde Kusay b. Kilâb Mekkeliler’i Kâbe merkez olmak üzere Mekke ve çevresine yerleştirmiş, evlerin arasından Kâbe’nin bulunduğu alana geçişi sağlayan kapılar yapılmıştır. Kâbe’yi kuşatan bu alan siyasî ve içtimaî hayatın bütün fonksiyonlarının yerine getirildiği bir merkezdi. Hz. Peygamber’in amcası Abbas Mescid-i Harâm’ın sikāye (hacılara su temini) ve imâre görevlerini üstlenmişti. Kureyş kabilesi de toplanma yerleri olan Mescid-i Harâm’a saygı gösteriyordu.
Resûl-i Ekrem ve Hz. Ebû Bekir zamanında Mescid-i Harâm’da herhangi bir değişiklik yapılmamıştır. Hz. Ömer döneminde ise çevresindeki bazı evler istimlâk edilerek büyük oranda genişletilmiş ve 3613 m2’lik bir alan haline getirilmiş, etrafı göğüs hizasında bir duvarla çevrilmiştir. Hz. Osman devrindeki genişletmeyle alanı 4482 m2’ye ulaşan Mescid-i Harâm’a ilk revakın bu sırada yapıldığı kaydedilmektedi. Emevî Halifesi Abdülmelik zamanında sürdürülen ve I. Velîd döneminde tamamlanan ilâvelerle birlikte Mescid-i Harâm’ın alanı 10.270 m2’ye ulaşmıştır. Bu genişletme esnasında merkezinde Kâbe’nin yer aldığı avlu açık olarak korunmuş, Mısır ve Şam’dan getirilen mermer sütunların üstüne kemer inşa edilip Harem-i şerif’in üstü sâc ağacından düz bir çatıyla ve ahşap kısmı yaldızlanan bir tavanla örtülmüş, üzerlerine bazı tezyinatın yapıldığı sütunların başlıklarına altın kaplama levhalar ve kesme taşlarla yenilenen çevre duvarına pencereler konulmuş, Abdullah b. Zübeyr’in zeminine kum döktürüp taş döşeterek tesviye ettirdiği tavaf alanı başta olmak üzere Mescid-i Harâm’ın çeşitli yerlerine mermer döşenmiştir.
Mekke’yi basan sellerin Mescid-i Harâm’a ve Kâbe’ye zarar vermesini önlemek için Hz. Ömer zamanından itibaren çeşitli tedbirler alındı, Kanûnî Sultan Süleyman devrinde Mescid-i Harâm’ın kapılarının eşikleri taş basamaklarla yükseltildi. Kanûnî Sultan Süleyman döneminde gerçekleştirilen tamirlerle Mescid-i Harâm’ın direk ve revakları büyük oranda yenilendi, kapıları onarıldı. Metâfın taş döşemeleri değiştirildi, birkaç minaresi ve mezheplere ait makamlar yeniden inşa edildi. Ayrıca muhtelif renkte taşlarla kakma tezyinatı olan ve kubbesiyle yüksekliği 12 metreyi bulan bir minber eklendi.
Osmanlı devrinde Mescid-i Harâm mimari açıdan kesin şeklini II. Selim ve III. Murad zamanında almıştır. 984 yılında klasik dönem Osmanlı mimari üslûbuna göre düzenlenen Harem-i şerif’in eski düz ahşap çatısı yerine çok sayıda mahrûtî kubbe inşa edildi. Harem-i şerif’in doğu duvarı başta olmak üzere çeşitli yerleri hüsn-i hat örnekleriyle tezyin edildi. Avlunun ve iç kısma geçilen ilk direklerin üst taraflarına her beş direkte Hz. Peygamber’in ismi gelecek şekilde istifler yapıldı ve kapıları üzerine Mescid-i Harâm ile ilgili âyetler hakkedildi. Kanûnî Sultan Süleyman devrinde başlanan, metâf ile ana kapıların bulunduğu yerlerin mermerle döşenmesi işi III. Murad zamanında tamamlandı.
I. Ahmed Kâbe’nin altın oluğunu yeniledi ve Zemzem Kuyusu’nun giriş kısmına demir bir kafes yaptırdı. IV. Murad, 1039’da büyük bir sel sonucu bazı taşları yerinden oynayan Kâbe’yi kısa zamanda tamir ettirdi. IV. Mehmed mescidin yedi minaresini onarttı, metâfın sahasını genişleterek buraya yontma taş döşetti, Safâ ve Merve arasına kandiller koydurdu. II. Mustafa zamanında Hacerülesved’in mahfazası, Kâbe tavanını tutan direkleri ve yüzeye inen merdiveni yenilendi. III. Ahmed metâfın döşemelerini değiştirtti, I. Mahmud yeni avizeler ve şamdanlar gönderdi. I. Abdülhamid makām-ı İbrâhim, makām-ı Şâfiî, Umre kapısındaki minare ve Kâbe’de tamirler yaptırdı.
Hz. Ömer zamanında meşalelerle aydınlatılan Mescid-i Harâm’a Emevî Halifesi Muâviye’den itibaren kandiller konulmuş, Abbâsî Halifesi Me’mûn devrinde bunlara fenerler ilâve edilmiş, Hârûnürreşîd döneminden itibaren şamdan ve avize kullanımı yaygınlaşmıştır. III. yüzyılda sayıları 455’e ulaşan kandil ve şamdanlara ramazan ayında ve hac mevsiminde sekiz adet avize ekleniyordu. Özel günlerde Mescid-i Harâm’ın kokulanıp tütsülenmesi için konulan buhurdanlıklar aydınlatmada kullanılan araçlarla bir bütünlük arzediyordu.
Bilhassa hac mevsimlerinde dünya müslümanları için toplantı ve buluşma yeri ve ilim merkezi olma özelliğini asırlardır koruyan Mescid-i Harâm’da tarihi boyunca günün her saatinde büyük bir hareketlilik yaşanmıştır. Mekke’de birçok medrese bulunmakla birlikte Mescid-i Harâm’ın eğitim ve öğretim hayatında ayrı bir yeri olmuştur. Tarih boyunca Harem-i şerif’in harimiyle avlu ve revaklarında çeşitli ders halkaları kurulmuş, hac mevsimlerinde İslâm dünyasının her tarafından gelen âlimler bu derslere katılmaya özen göstermiştir. Burada yapılan ilmî müzakere ve tartışmalar İslâmî ilimlerin oluşumuna önemli katkılar sağlamıştır.
Bir saldırıya uğramadıkça Mescid-i Harâm’da silâhlı çatışmaya girişmeyi yasaklayan âyete dayanarak (el-Bakara 2/191) Harem-i şerif’in siyasî amaçlar için kullanılması uygun bulunmamıştır.
Abbâsîler döneminde Mescid-i Harâm’ın bakım ve onarımıyla burada yürütülen dinî hizmetlerin, eğitim ve öğretim faaliyetlerinin masrafları Bağdat’ta kurulan Dîvânü’n-nafakāt’tan karşılanmıştır. Ayrıca Hârûnürreşîd’den itibaren Mescid-i Harâm’a yapılacak her türlü masraf için Mısır, Suriye ve Anadolu gibi bölgelerde vakıflar tahsis edilmiş, zamanla ortadan kalkan bazı vakıfların yerine yenileri kurulmuştur.
Resûl-i Ekrem zamanından Osmanlılar’a kadar Mescid-i Harâm’ın idaresi Mekke veya Haremeyn valileri yahut onların görevlendirdiği Mekke kadısı veya muhtesipleri tarafından üstlenilmiş, Mekke Osmanlı idaresine geçince Harem-i şerif’in işlerine vali adına onun tayin ettiği nâibülharem bakmaya başlamıştır. Osmanlı padişahlarının Mekke’deki temsilcisi olan şeyhülharem de Mescid-i Harâm’ın yönetimine katılırdı. Tanzimat’tan sonra yapılan düzenlemelerle birlikte Mescid-i Harâm’ın işleri Mekke emîriyle iş birliği halinde bulunan Mekke müftüsü, şeyhülharem ve Harem-i şerif müdürü eliyle yürütülmüştür.
Hz. Peygamber, yeryüzünde ilk mescidin ve ziyaret edilmeye değer en önemli üç mescidden birinin Mescid-i Harâm olduğunu bundan dolayı burada yapılan ibadetin diğer mescidlerde yapılandan daha faziletli sayıldığını bildirmiştir.