วัดพุทไธศวรรย์ตั้งอยู่ตั้งอยู่ริมแม่น้ำเจ้าพระยาฝั่งตะวันตก ตรงข้ามกับปากคลองท่อหรือคลองฉะไกรใหญ่ ตัววัดหันหน้าไปทางทิศตะวันออก ไม่ได้หันหน้าออกสู่แม่น้ำเจ้าพระยา
ในอดีตบริเวณรอบวัดเป็นที่อยู่ของชุมชนชาวต่างชาติ ทั้งชาวจีน มุสลิม โปรตุเกส ญวน และฝรั่งเศส ดังปรากฏร่องรอยมาจนปัจจุบัน
วัดพุทไธศว