১৪৮৩ সালে বাংলার সুলতান জালাল উদ্দিন ফতেহ শাহের শাসনামলে মসজিদটি নির্মিত হয়।
মুন্সিগঞ্জ সদরের দরগাহবাড়ি এলাকায় অবস্থিত এ মসজিদ নির্মাণের পর ৫৪৩ বছর পেরিয়ে গেলেও প্রতি ওয়াক্তে ভেসে আসে মুয়াজ্জিনের আজানের ধ্বনি। সেই ধ্বনিতে ছুটে যান মুসল্লিরা। শত শত বছরেও একদিনের জন্য বন্ধ হয়নি নামাজ কিংবা আজানের ধ্বনি। মসজিদটি প্রত্নতত্ত্ব অধিদপ্তরের আওতাভুক্ত হলেও দীর্ঘদিন ধরে এর সংস্কারে কোনো উদ্যোগ নেই। এতে বিভিন্ন স্থানে ফাটল দেখা দিয়েছে।
জনশ্রুতি থেকে জানা যায়, সুদূর আরব দেশে জন্মগ্রহণ করে ইসলাম ধর্ম প্রচারের জন্য ভারতবর্ষে আসেন বাবা আদম। উপমহাদেশে সেন শাসনামলে ১১৭৮ সালে তিনি ধলেশ্বরী নদীর তীরে মুন্সিগঞ্জের মিরকাদিমে আসেন। তখন বিক্রমপুর তথা মুন্সিগঞ্জ ছিল বল্লাল সেনের শাসনাধীন। ওই বছরই বল্লাল সেনের হাতে তিনি শহীদ হন।
শহীদ বাবা আদমকে মিরকাদিমের দরগাবাড়িতে দাফনের পর তার মাজারের পাশে ১৪৮৩ সালে নির্মাণ করা হয় বাবা আদম মসজিদ। এটি ছিল তার মৃত্যুর ৩১৯ বছর পরের ঘটনা। সেই থেকে পাঁচ শতাব্দীরও বেশি সময় ধরে ঐতিহ্যের সাক্ষী হয়ে দাঁড়িয়ে আছে মসজিদটি। তবে বর্তমানে মুসলিম ঐতিহ্যের এ শৈল্পিক স্থাপনায় অযত্ন-অবহেলার ছাপ স্পষ্ট।
তৎকালীন ভারতবর্ষের প্রাচীন মসজিদগুলোর মধ্যে এটি অন্যতম। বাংলার সুলতান জালাল উদ্দিন ফতেহ শাহের আগ্রহেই এটি প্রতিষ্ঠিত হয়।
মসজিদের ইমাম মাওলানা সানাউল্লাহ বলেন, ‘বর্তমানে মসজিদের ভেতর ও বাইরে মুসল্লিদের জন্য জায়গার সংকুলান হচ্ছে না। বিভিন্ন শিক্ষাপ্রতিষ্ঠানের দর্শনার্থীরাও এখানে আসেন। তিনি প্রত্নতত্ত্ব অধিদপ্তর ও সংস্কৃতি বিষয়ক মন্ত্রণালয়ের প্রতি মসজিদটির ফাটল সংস্কারের আহ্বান জানান।’