La Kaaba telle que nous la connaissons aujourd'hui fut construite par Ibrahim, aidé de son fils Ismaïl. Initialement construite par Adam, elle fut détruite pendant le déluge avec Noé. Il s'agit du premier temple construit par l'Homme sur Terre.
Allah (exalté soit-Il) a d'abord fixé la matière de la Kaaba au milieu du chaos puis a organisé le reste du monde terrestre autour d'elle. Pour les mystiques Ghazali, Ibn al Qass, (Dala’il al Qibla), c’est dans la Kaaba qu’il faut voir le coeur de la création, le pôle axial du crée, une sorte de point fixe et éternel quelles que soient les révolutions du monde. Al Makrizi déclare : "La Kaaba est, par rapport aux parties du monde, comme le centre d’un cercle : Toutes les régions du monde sont en face de la Kaaba comme un cercle entoure son centre".
Ce lieu se trouve dans l'axe du trône divin. Il existe une maison équivalente dans l'axe même de la Kaaba appelée la maison peuplée (al bayt al ma'mor). Le prophète (paix sur lui) nous apprend que chaque jour, 70 000 anges y entrent - dans une autre version : prient - au ciel sans ne plus jamais y revenir. L'axe se prolonge vers le bas, traversant après la terre des hommes six autres terres inférieures ; chacune possède également un temple avec son périmètre sacré, doubles inférieurs du modèle mecquois. Pour Ibnu-Abbas c’est pour consoler Adam, arrivé sur le site de la Kaaba, que Dieu le protégea d’une tente (Khayma) descendue du Ciel comme premier temple et première habitation sur terre. Elle préfigura la "maison céleste visitée par les Anges" : Al Bayt al ma’mur qui en est l’archétype. Il reçut du Paradis une pierre d'une blancheur éclatante qui allait noircir. La maison céleste peuplée d’anges, Bayt al ma'mur est citée dans le Coran 52-4 (at Tur) : "Par la maison peuplée." Cette maison est le prototype de la Kaaba. Ibn-al-Arabi la situe "au septième Ciel".
Après le Déluge, Noë la remplaça par une construction d’argile et de pierre. C’est ce temple primitif, lieu sacré qu’Abraham allait reconstruire et purifier de toute idolâtrie pour le restituer au culte du Dieu Unique auquel il se soumit (muslim), et invita l’humanité à se soumettre.
Quant à la pierre noire qui s’y trouve, le traditionniste Ibnu’Abbas rapporte un Hadîth qui dit qu’elle descendit blanche du Paradis et que les péchés des Hommes la noircirent. La pierre noire qui se trouve sur un angle de la maison antique, marque en fait le début des circonbulations instaurées par Adam, qui sont au nombre de sept dans le sens inverse des aiguilles d'une montre. On peut remarquer que c'est également le sens direct de la rotation terrestre.
