ถ้ำกระแซ ห่างจากตัวเมืองประมาณ ๕๕ กิโลเมตร ไปตามทางหลวงหมายเลข ๓๒๓ กิโลเมตรที่ ๒๙–๓๐ ถ้ำนี้เป็นถ้ำที่เคยเป็นที่พักของเชลยศึกเมื่อครั้งสร้างเส้นทางรถไฟสายมรณะจากไทยไปพม่า ตัวถ้ำติดกับเส้นทางรถไฟสายกาญจนบุรี–น้ำตก ซึ่งเป็นทางรถไฟสายประวัติศาสตร์สมัยสงครามโลกครั้งที่ ๒ ปัจจุบันสิ้นสุดที่สถานีรถไฟน้ำตก ภายในถ้ำมีพระพุทธรูปศักดิ์สิทธิ์ประดิษฐานอยู่ มองจากปากถ้ำมาที่บริเวณทางรถไฟจะเห็นทิวทัศน์ที่งดงามและมองเห็นแม่น้ำแควน้อยเบื้องล่าง บริเวณนี้เป็นจุดที่สร้างทางรถไฟยากที่สุดเนื่องจากเส้นทางโค้งเลียบเขาและด้านล่างเป็นแม่น้ำแควน้อย