ขาลูกนี้ถ้าไปยืนมองทางทิศตะวันตก จะเห็นมีลักษณะคล้ายเรือขุด ในภูเขาลูกนี้มีถ้ำที่สวยงาม ลักษณะรูปร่างของถ้ำ จะแปลกแตกต่างกันออกไป เรียกถ้ำนี้ว่า ถ้ำเขาพระยาพายเรือ มีตำนานหนึ่งเล่าว่า สมัยก่อนบริเวณด้านหน้าของภูเขาพระยาพายเรือมีแอ่งน้ำ และถ้ำขนาดใหญ่ เจ้าพระยาคนหนึ่งหนีความผิด เรื่องการลักลอบได้เสียกับนางสนมในวัง มาหลบซ่อนตัวอยู่ในถ้ำ วันดีคืนดีจะออกมาพายเรือเล่นในแอ่งน้ำบริเวณหน้าปากถ้ำ ชาวบ้านได้เห็นเป็นประจำ ต่อมาเจ้าพระยาคนนี้ได้หายสาบสูญไป ชาวบ้านจึงเรียกถ้ำนั้นว่า ถ้ำพระยาพายเรือ เขาพระยาพายเรือเป็นเขาลูกเล็ก สูง 257 เมตร เมื่อมองจากระยะไกลจะแลดูคล้ายเรือสำเภาลำหนึ่ง บนยอดเขามีจุดชมทิวทัศน์ ภายในประกอบด้วยถ้ำเล็ก ๆ เชื่อมต่อกัน ได้แก่ ถ้ำแก้ว ถ้ำสีชมพู ถ้ำท้องพระโรง ถ้ำอ่างน้ำมนต์ และถ้ำพุทธสถาน ภายในถ้ำซับซ้อนมากจึงต้องมีป้ายบอกทางและมีไฟฟ้าเพื่อความสะดวกในการเที่ยว ชมความงามของหินงอกหินย้อย ตอนบนของถ้ำมีพระนอนขนาดใหญ่ ส่วนทางเข้าถ้ำต่าง ๆ นั้นอยู่ทางด้านซ้ายมือ มีทางเข้าทางเดียว ซึ่งเป็นทางลึกถึงข้างล่าง และมีบันไดลงไปได้ถึงก้น