كان رسول الله صلى الله عليه وسلم عند وصوله إلى المدينة المنورة يصلي حيث أدركته الصلاة ، ثم أمر ببناء المسجد في أرض كان فيها نخل لغلامين يتيمين ، من بني النجار ، وقد أشترها رسول الله صلى الله عليه وسلم ، وقام المسلمون بتسويتها ، وقطع نخيلها ، وصفوا الحجارة في قبلة المسجد التي كانت تتجه نحو بيت المقدس آنذاك ، وما أعظم سرورهم وهم يعملون في بنائه ، ورسول الله صلى الله عليه وسلم يعمل معهم ، وهم يرتجزون .
وكانت سواريه من جذوع النخل وأعلاه مظلل بجريد النخل ، ثم بناه باللبن بعد الهجرة بأربع سنين . ثم أعيد بناء المسجد سنة 7هـ حيث اشترك في بنائه أبو هريرة ، وطلق بن علي الحنفي ـ أسلما سنة 7هـ وقد جرت توسعة المسجد عند إعادة بنائه هذه.
وقد حدد النبي صلى الله عليه وسلم موقع المنبر : وبنى بيوت أزواجه بحيث تحد المسجد من جهة الشمال والشرق والجنوب ،وتحدد موقع مصلاه بدقة حيث اتخذ محرابا من بعده ، وكانت ثمة اسطوانة تحدد موقعه ، وصارت تمسى باسطوانة المخلفَّة والقرعة ، وهي الآن في ظهر المحراب القديم ، وقد وضع المصحف في صندوق عند هذه الاسطوانة في جيل الصحابة ، وعرف المكان ما بين بيت عائشة رضي الله عنها والمنبر باسم " الروضة ". و تحددت في زمنه صلى الله عليه وسلم اسطوانة التوبة داخل الروضة ، وهي الاسطوانة الرابعة شرق المنبر ، وكان مصلى العيد في زمنه صلى الله عليه وسلم في موقع مسجد الغمامة اليوم ، وكان ما بينه وبين المسجد النبوي مبلطا بالحجارة ويعرف بالبلاط حيث بنى كثير من المهاجرين بيوتهم في جهته. ولم يوقد في حياته صلى الله عليه وسلم في المسجد قنديل ، ولا بسط فيه حصير .
وللمسجد أهمية عظيمة في المجتمع الإسلامي ، فهم يجتمعون فيه للصلاة خمس أوقات كل يوم يتقربون إلى الله بالعبادة ، ويتعرفون على أحوال إخوانهم
ويتعاونون على البر والتقوى . ثم إن المسجد كان مركزا للقضاء بين الناس ومنطلقا لقوافل الجهاد حيث يعلن فيه النفير .
وقد احتل المسجد مكاناً هاماً في تعليم المسلمين وتثقيفهم ، وتلاوة ما ينزل من قرآن ، وقد جلس فيه معلمون لتعليم أبناء المسلمين القراءة والكتابة .
وهكذا تنوع النشاط الذي احتضنه المسجد النبوي ما بين عبادة وعلم وخدمة اجتماعية وثقافية وعسكرية ، كما صار المسجد النبوي بالمدينة مناراً ومرشدا ومعلما بارزا في الحياة الإسلامية ، وتابعته المساجد الأخرى التي بنيت في المدن والأمصار الإسلامية على مر العصور.