สำนักสงฆ์ถ้ำพระ ตั้งอยู่บริเวณเทือกเขาขรม ภายในถ้ำพบหลักฐานสมัยก่อนประวัติศาสตร์จำนวนมาก ได้แก่ กระดูกสัตว์ดึกดำบรรพ์, พระพุทธรูปศิลาทรายแดงหลายองค์, พระพิมพ์หลายรูปแบบด้วยกัน นอกจากนี้ยังพบพระพิมพ์ที่จารึกภาษาสันสกฤตด้วยอักษรเทวนาครี รวมทั้งพระพุทธรูปเก่าแก่ คือ หลวงพ่อเพชร กับ หลวงพ่อพัด ซึ่งเป็นพระพุทธรูปศักดิ์สิทธิ์ที่ชาวบ้านในท้องถิ่นให้ความเคารพนับถือ