தொல்பொருள் ஆராய்ச்சியாளர்களின் கூற்றுப்படி, இந்த குகைகளில் 2000 ஆண்டுகளுக்கும் மேலான தமிழ்-பிராமி கல்வெட்டுகள் மற்றும் வட்டெலுத்து எழுத்துக்கள் உள்ளன. பெரும்பாலான கல்வெட்டுகள் குகையின் நுழைவாயிலைச் சுற்றி காணப்படுகின்றன. இந்தக் கல்வெட்டுகளின்படி, பல சமண துறவிகள் இங்கு சல்லிக்கனை எடுத்தனர், அதாவது சாகும் வரை உண்ணாவிரதம் இருந்தனர். துறவிகள் ஓய்வெடுக்கப் பயன்படுத்திய பல தட்டையான கல் அல்லது கல் படுக்கைகளையும் ஒருவர் காணலாம்.
மதுரையிலிருந்து சுமார் 12 கி.மீ தொலைவில் உள்ள கீழக்குயில்குடி கிராமத்தில் அமைந்துள்ள சமணர் மலைகள், இயற்கையுடன் வரலாற்றுடன் இணைந்த அழகிய கலவையாகும். இந்திய தொல்பொருள் ஆய்வுத் துறையால் பாதுகாக்கப்பட்ட நினைவுச்சின்னமாக அறிவிக்கப்பட்ட இந்த மலை, மதுரை சுற்றுலாவில் வருகை தரும் ஒரு சுவாரஸ்யமான இடமாகும், இது தென்னிந்தியாவின் வரலாற்றுச் செழுமையின் ஒரு பார்வையை வழங்குகிறது. இந்த மலைகள் சமண மதத்துடன் தொடர்புடையவை, மதத்தின் பல்வேறு அம்சங்களை சித்தரிக்கும் தமிழ்-பிராமி கல்வெட்டுகள் உள்ளன.
மலை என்ற தமிழ் வார்த்தைக்கு மலைகள் என்று பொருள் என்பதால் சமணர் மலை என்றும் அழைக்கப்படுகிறது. கி.பி. 1 ஆம் நூற்றாண்டைச் சேர்ந்த செதுக்கல்களுடன் கூடிய பழங்கால குகைகளைக் கொண்ட இந்த மலையில் பல முக்கிய சிற்பங்கள் மற்றும் பழங்கால கல்வெட்டுகள் உள்ளன. பண்டைய காலங்களில் இங்கு செழித்து வளர்ந்த சமண மதம் மற்றும் அதன் வரலாற்றைப் பற்றிய நுண்ணறிவை இது வழங்குகிறது. மலைகளில் உள்ள கல்வெட்டுகள் 200 ஆண்டுகளுக்கும் மேலானவை என்று கூறப்படுகிறது. இந்த குகைகள் பண்டைய காலத்தில் பல சமண துறவிகளின் வீடுகளாக இருந்தன.
குகைகளின் நுழைவாயிலில், கோமதேஸ்வரர், மகாவீரர், யக்ஷி மற்றும் யக்ஷா ஆகியோரின் பல்வேறு மத முக்கியத்துவம் வாய்ந்த சிற்பங்களைக் காணலாம். செட்டிபோடாவு மற்றும் பேச்சிப்பல்லம் ஆகிய இரண்டு சிற்பங்கள் இந்த மலையின் முக்கிய ஈர்ப்புகளாகும். செட்டிபோடாவு சமண மதத்தின் கடைசி தீர்த்தங்கரரான மகாவீரரின் உருவத்தை முன்வைக்கிறது. மற்றொரு சிற்பமான பேச்சிப்பல்லம் பாகுபலி மற்றும் மகாவீரர் உட்பட எட்டு வெவ்வேறு சிற்பங்களைக் கொண்டுள்ளது. சமண தீர்த்தங்கரர்களின் இந்த சிற்பங்கள் கிமு 9 ஆம் நூற்றாண்டில் சமண துறவிகளால் கட்டப்பட்டதாகக் கூறப்படுகிறது.