เป็นป้อมที่ตั้งอยู่ทางฝั่งตะวันออกเฉียงใต้ของเกาะเมืองอยุธยา เป็นป้อมสาคัญที่สุดใน บรรดา 29 ป้อม ที่ในปัจจุบันหลงเหลืออยู่ 2 ป้อม ทาหน้าที่ป้องกันข้าศึก ที่มาทางน้าตรงมุมพระนคร สันนิษฐานว่าสร้างขึ้นในรัชสมัยสมเด็จพระมหาธรรมราชา พ.ศ. 2123 หลังการเสียกรุงศรีอยุธยาครั้งที่สอง ป้อมเพชรยังคงเป็นด่านปราการสาคัญของเมือง พอถึงสมัยรัชกาลที่ 1 สร้างราชธานีแห่งใหม่ ที่กรุงรัตนโกสินทร์ โปรดให้รื้อป้อม กาแพง นาอิฐเหล่านั้นมาสร้างเมืองใหม่ แต่ยังคงเหลือป้อมเพชรไว้ เพราะป้อมเพชรสร้างด้วยศิลาแลง จึงรื้อถอนลาบาก พระยาโบราณราชธานินทร์อธิบายไว้ว่า “จึงยังคงเหลืออยู่แต่ป้อมเพชร์กับป้อมประตูข้าวเปลือกข้างวัดท่าทราย แลเศษกาแพงที่หน้าวัดญาณเสนแห่งหนึ่ง เศษกาแพงมีประตูช่องกุฏิ์ที่ข้างวัดจีนตรงวัดพนัญเชิงข้ามแห่งหนึ่งเท่านั้น ตามสันเชิงเทินรากกาแพงที่รื้ออิฐไปราษฎรที่ตั้ง

บ้านเรือนอยู่ริมน้าก็ถือเอาเป็นที่หลังบ้านของตนทั่วกัน