เดิมเป็นเมืองโบราณมีสภาพเมืองที่เป็นคูเมืองและกำแพงเมืองเป็นคันดินล้อมรอบมีสระน้ำศักดิ์สิทธิ์อยู่แต่ละทิศนอกกำแพงเมือง ภายในบริเวณเมืองมีการขุดค้นพบเครื่องมือ เครื่องใช้และศิลาจาลึกโบราณเป็นภาษามอญทางกรมศิลปากรได้สำรวจและขุดค้นพบหลักฐานที่ระบุว่าอยู่ในสมัยของทวาราวดีส่วนหลักฐานที่ขุดค้นพบภายในเมืองโบราณบึงคอกช้างบางส่วนได้จัดเก็บไว้ที่พิพัธภัณฑ์ประวัติศาสตร์และวัฒนธรรมท้องถิ่น ซึ่งตั้งอยู่ที่ศูนย์การศึกษานอกโรงเรียน ของจังหวัดอุทัยธานีใกล้กับศาลากลางจังหวัดอุทัยธานี