Yalnız ve kimsesizdi. Kabilesinin eşkiyalığına, saldırganlığına dayanamamış yurdunu terk etmişti. Kendisine sığındığı dayısının da yanında duramamış, Mekke yakınlarında çölün bir köşesine çekilmişti.
“Ebû Zer, İsa b. Meryem gibidir. İsa b. Meryem’in tevazuuna bakmak isteyen Ebû Zer'e baksın. Zühdü ve ibadeti İsa b. Meryem'e en çok benzeyen Ebû Zer'dir. Ebû Zer yeryüzünde İsa b. Meryem’in zühdüyle yürür.”