ต่อมาเมืองจันทบูรได้ย้ายมาสร้างใหม่ที่บ้านหัววัง ตำบลพุง ทลาย ซึ่งอยู่ทางฝั่งตะวันออกของแม่น้ำจันทบุรีจนถึงสมัย พระนารายณ์มหาราช (ระหว่างพ.ศ.๑๙๐๐-๒๒๐๐) จึงย้าย มาตั้งที่บ้านลุ่มทางฝั่ง ตะวันตกของแม่น้ำ เนื่องจากบ้าน หัววังเป็นที่ลุ่มน้ำท่วมทุกปี ระหว่างนี้มีชาวจีนชาวญวน อพยพลี้ภัยทางการเมืองและการเบียด เบียนศาสนาเข้ามายังกรุง ศรีอยุธยาและเมืองต่างๆ รวมทั้งเมืองจันทบูรมีการเผยแพร่ ศาสนาในเมืองจันทบูรก่อนเสียกรุงศรีอยุธยา ๔ เดือน พระยาวชิรปราการมารวบรวมกำลังพล กำลังอาวุธ เสบียงอาหาร และต่อเรือรบที่บ้านลุ่มเพื่อนำไปใช้ในการ กอบกู้เอกราชจากพม่า ซึ่งเหตุการณ์ต่างๆ เหล่านี้ส่งผลต่อ การพัฒนาให้ เมืองจันทบูรรุ่งเรืองทั้งด้านเศรษฐกิจ สังคม และการค้าขายอย่างมาก จนถึงสมัยรัชกาลที่ 3 เกิดกรณี พิพาทระหว่างไทยกับญวน เรื่องเจ้าอนุวงศ์ พระองค์ โปรดเกล้าฯให้ย้ายเมืองจันทบูรไปสร้างที่ใหม่ที่บ้านเนินวง ใน พ.ศ.๒๓๗๗ มีการสร้างป้อมปราการ ศาลหลักเมือง และวัดโยธานิมิตรไว้ภายในเมือง แต่ด้วยเหตุ ที่เป็นที่สูง กันดารน้ำชาวเมืองไม่สมัครใจไป
ด้านศาสนา ศาสนาของชุมชนริมน้ำจันทบูรในอดีตที่สำคัญมี ๒ ศาสนา คือ ศาสนาพุธ และศาสนาคริสต์ ชาวชุมชนตลาดบนและ ตลาดกลาง ส่วนใหญ่นับถือศาสนาพุธ และชุมชนตลาดส่วนหนึ่งรวมทั้งกลุ่มบ้านญวนนับถือศาสนาคริสต์ โดยมีศาสนสถาน ตั้งอยู่สองฝากฝั่งริม แม่น้ำจันทบุรีตลอดแนวสุขาภิบาลได้แก่ วัดโบสถ์ วัดเขตร์นาบุญญาราม ศาลเจ้าตั้วเล่าเอี๊ย ศาลเจ้า แม่กวนอิม และศาลเจ้าที่ ตลาดล่างตั้งอยู่ริมฝั่งตะวันตก ส่วนวัดจันทนาราม อาสนวิหารพระนางมารีอาปฏิสนธินิรมล และศาลเจ้าพ่อสระบาป ตั้งอยู่ริมฝั่ง ตะวันออก
ด้านวัฒนธรรม ชุมชนริมน้ำในอดีตมีการผสมผสานวัฒนธรรม ๓วัฒนธรรม คือ วัฒนธรรมไทย จีน ญวน เห็นได้ชัดเจนในเรื่องแต่งกาย ภาษาพูด การแต่งงานข้ามเชื้อชาติ การแสดงงิ้วเป็นภาษาไทย สำหรับวัฒนธรรมการแต่งกาย ปัจจุบันไม่มีการแต่งกาย ตามเชื้อชาติในวิถีชีวิต ประจำวันแล้ว
ด้านประเพณี ประเพณีที่ปฏิบัติกันเป็นประจำปีชุมชนริมน้ำจันทบูร ได้แก่ การหล่อเทียนพรรษาที่วัดโบสถ์ การลอยกระทงและแข่งขันเรือ ที่วัดจันทนาราม การถือศีลกินเจและการประกอบพิธีบูชาดาวนพเคราะห์ที่วัดเขตร์นาบุญญาราม การแห่เจ้าและการทิ้ง กระจาดของ 4 ศาล เจ้า การบูชาบรรพบุรุษ(เซ็งเม้ง) เป็นต้น