আদ্যাপীঠ কিন্তু কোনো পীঠ নয়। কিন্তু স্বপ্নাদেশ পেয়ে এই মন্দির প্রতিষ্ঠিত হয়। এই মন্দিরকে ঘিরে আছে নানা কিংবদন্তি। শোনা যায়, আদ্যপীঠ মূলত ১৯১৫ সালে অন্নদাচরণ ভট্টাচার্যের অনুগামীদের দ্বারা প্রতিষ্ঠিত হয়েছিল। তবে বর্তমান মন্দিরটি নির্মিত হয়েছিল ১৯৬৭ সালে। মন্দিরে দেবী আদ্যার মূর্তি ছাড়াও রয়েছে রাধাকৃষ্ণ ও শ্রীরামকৃষ্ণের ধ্যানরত মূর্তি। মন্দিরের প্রতিষ্ঠাতা অন্নদাঠাকুর ছিলেন বাংলাদেশের চট্টগ্রামের বাসিন্দা। তাঁর পৈতৃক নাম অন্নদাচরণ ভট্টাচার্য। তিনি আয়ুর্বেদ চিকিৎসক হতে চেয়েছিলেন। সালটা ছিল বাংলার ১৩২১। দক্ষিণেশ্বরের কিছু দূরেই দেবী আদ্যার এই পীঠস্থান। যেখানে দেবী কালী, আদ্যাশক্তি মহামায়া রূপে পূজিতা হন। মন্দিরটি প্রতিষ্ঠা হয় রামকৃষ্ণদেবের (Ramkrishna Dev) শিষ্য শ্রী অন্নদা ঠাকুরের (Annada Thakur) হাত ধরে। এই আদ্যাপীঠের সঙ্গে জুড়ে রয়েছে নানা অলৌকিক কাহিনি।
অন্নদাচরণ, একদিন স্বপ্নাদেশ পান শ্রীরামকৃষ্ণের। স্বপ্নাদেশে শ্রীরামকৃষ্ণ তাঁকে ইডেন গার্ডেনসে গিয়ে, সেখানে ঝিলের পাশে নারকেল এবং পাকুড় গাছের কাছ থেকে কালী মূর্তি নিয়ে আসতে বলেন। স্বপ্নাদেশ অনুযায়ী তিনি সেখানে যান এবং ঝিলের পাশ থেকে ১৮ ইঞ্চি আদ্যা মায়ের কষ্টিপাথরের মূর্তি পান। সেদিন ছিল রামনবমী তিথি। রাতে দেবী তাঁকে দেখা দিয়ে বলেন, ‘অন্নদা কাল বিজয়া দশমী। তুমি আমায় গঙ্গায় বিসর্জন দিও। তারপরে নতুন মূর্তি স্থাপন কোরো। পরে দেবী আদ্যার স্বপ্নাদেশ মতো, অন্নদা বিজয়া দশমীতে মূর্তিটি বিসর্জন দেন মাঝগঙ্গায়। স্বপ্নাদেশ মতই মূর্তিটির ছবি তুলে রেখেছিলেন অন্নদাচরণ। সেখান থেকেই তৈরি হয় বর্তমান আদ্যামূর্তি। বাংলার ১৩২৫ সালে শ্রীরামকৃষ্ণ তাঁকে স্বপ্নে সন্ন্যাস দীক্ষাও দেন। রামকৃষ্ণদেব, অন্নদাকে বলেন, ‘তোর কবিরাজি ব্যবসা হবে না’। অন্নদা ঠাকুরই ঠিক করে গিয়েছিলেন, আদ্যাপীঠ মন্দিরের আয় থেকে বালকদের জন্য ব্রহ্মচর্যাশ্রম এবং বালিকাদের জন্য তৈরি হবে আর্য নারীর আদর্শ শিক্ষাদান কেন্দ্র। এছাড়া সংসারবিবাগী গৃহস্থের জন্য তৈরি হবে বাণপ্রস্থাশ্রম এবং সংক্রামক ব্যাধি নিবারণের চেষ্টা বা হাসপাতাল তৈরি করা হবে। সেই কাজ কিন্তু এখনো সমানে চলেছে। আদ্যাপীঠ মন্দিরের সামাজিক ভূমিকা অসাধারণ।