इस मंदिर की स्थापना कब हुई, इसका कोई प्रामाणिक इतिहास उपलब्ध नहीं है, लेकिन वहाँ पर लगे पट्ट को मानें तो करीब चार सौ वर्ष पहले इसका निर्माण हुआ था। बाद में लोकमाता देवी अहिल्याबाई ने इसका जीर्णोद्धार भी करवाया। ऐतिहासिक साक्ष्य के मुताबिक 1810 से 1840 के बीच होलकर वंश की केशरबाई ने इसका निर्माण करवाय। यह मंदिर पूर्वमुखी है। पहले इसका बाहरी प्रवेश द्वार भी पूर्वमुखी है। पहले इसका बाहरी प्रवेश द्वार भ्ज्ञी पूर्वमुखी ही था, जो अब सड़क निर्माण के वजह से पश्चिममुखी हो गया है। मंदिर की ऊंचाई 75 फुट औी चैड़ाई करीब 30 फुट है। पूरा मंदिर मराठा, राजपूत और आंशिक रूप से मुगल शैली में बनकर तैयार हुआ है। इसकी एक और सबसे बड़ी खासियत माँ पार्वती की अत्यंत सुंदर प्रमिमा है, जो करीब दो फुट ऊंची है। प्रतिमा वास्तव में इतनी सुंदर है, जैसे लगता है अभी बोल पड़ेगी।
श्वेत संगमरमरसे बनी इस प्रतिमा का भाव यह है कि इसमें पुत्र व पति की सेवा का एक साथ ध्यान रखा जा रहा है। मंदिर के ठीक सामनें कमलाकार प्राचीन फव्वारा भी है। वर्तमान में मंदिर का कुल क्षेत्रफल 150 गुण 100 वर्ग फुट ही रह गया है। हर वर्ष श्रावण मास में विद्वान पंडितों के सान्ध्यि में अभिषेक, श्रृगार, पूजा-अर्चना आदि अनुष्ठान कराये जाते हैं। मंदिर का गर्मगृह काफी अन्दर होने के बावजूद सूर्यनारायण की पहली किरण माँ पार्वती के प्रतिमा पर ही पड़ती है। मंदिर की सुंदरता में चार चाँद लगाता है यहाँ का पीपल का वृक्ष। समीप ही प्राचीन बावड़ी भी है जिसे सूखते हुए आज मौसम में भी यह लबालब रहती है। पार्वती मंदिर से ही लगे हुए दो मंदिर भी हैं। एक है राम मंदिर और दुसरा है हनुमान मंदिर। प्राचीन राम मंदिर से ही एक सुरंग भूगीर्भ से ही दोनों मंदिर को जोड़ती है।
यह बावड़ी के अन्दर भी खुलती है। बताते हैं कि किसी समय यह सुरंग लालबाग मंदिर तक जाती थी। राम मंदिर के ठीक नीचे एक तहखाना भी है। मौजूदा समय में यह स्थल देवी अहिल्याबाई होलकर खासगी ट्रस्ट में शामिल है। होलकर शासकों द्वारा प्रसिद्ध मराठी संत नाना महाराज तराणेकर को यहाँ का परम्परागत पुजारी नियुक्त्ति पत्र दिया गया था। इस आशय की सनद भी उन्हें प्रदान की गई थी, तभी से उनका परिवार यहाँ सेवारत हैं।