இந்த கோவில் சாய்ந்ததற்கு 2 கதைகள் சொல்லப்படுகின்றன.ராணி அஹில்யாபாய் ஹோல்கர் வாரணாசியில் கோயில்களைக் கட்டும் போது, அந்த நேரத்தில் அவரது பணிப்பெண்களில் ஒருவரான ரத்னாபாயும் கோயில் கட்டுவதற்கு கடன் கொடுத்துள்ளார். பெரிய பங்கை கொடுத்த அந்த பணிப்பெண்ணின் பெயரான ரத்னா என்ற பெயரே கோவிலுக்கு வைத்ததை கேட்ட அஹில்யா இந்த கோவிலுக்கு சாபம் கொடுத்ததால் தான் நீரில் ஒரு பக்கம் மூழ்கியதாக சொல்கிறார்கள்.
மற்றொரு கதை படி, ராஜா மான்சிங்கின் வேலைக்காரரால் அவரது தாயார் ரத்னா பாய்க்காக கட்டப்பட்டது இந்த கோவில் என்று கூறப்படுகிறது. கோயில் கட்டப்பட்ட பிறகு, அம்மாவின் கடனை அடைத்துவிட்டதாக பெருமையுடன் அறிவித்தார். இந்த வார்த்தைகள் அவன் உதடுகளிலிருந்து வெளிப்பட்டவுடன், அன்னையின் கடனை ஒருபோதும் அடைக்க முடியாது என்பதைக் காட்ட கோயில் பின்னால் சாய்ந்தது என்று கூறுகின்றனர்