[เถรี]

จนกระทั่งปลายปี ๒๔๙๗ นายบุญธรรม นกเล็ก พร้อมด้วยคณะ จึงได้เดินทางไปยังวัดหนองโพธิ์ จังหวัดนครสวรรค์ กราบเรียนหลวงปู่น้อย เตชปุญฺโญ ขออนุญาตให้หลวงปู่สาย อคฺควํโส ไปเป็นเจ้าอาวาสวัดท่าขนุน เมื่อได้รับอนุญาตแล้ว ก็ได้แห่หลวงปู่สายลงเรือมาเป็นเจ้าอาวาส และได้รับการแต่งตั้งเป็นเจ้าอาวาสอย่างเป็นทางการเมื่อวันที่ ๑ มกราคม ๒๔๙๘ แล้วทำการพัฒนาวัดสืบมา

แต่ว่าหลวงปู่สายเป็นพระที่รักสงบ เมื่อโดนญาติโยมรบกวนมาก ๆ จึงได้ละทิ้งตำแหน่งเจ้าอาวาสและตำแหน่งเจ้าคณะอำเภอทองผาภูมิ หนีเข้าป่าไปเป็นเวลาถึง ๗ ปี..!

ในระยะนั้นทางคณะสงฆ์จังหวัดกาญจนบุรีก็ได้ส่งพระภิกษุมาดูแลวัดอยู่หลายรูป หลายวาระ แต่ว่าไม่มีใครสามารถทนความลำบากอยู่ได้ เพราะว่านอกจากจะเดินทางลำบากแล้ว ยังมีโรคภัยไข้เจ็บ อย่างเช่นมาลาเรียรุนแรงมาก จนกระทั่งหลวงปู่เสงี่ยม ฐิตธมฺโม ซึ่งภายหลัง ได้รับพระราชทานสมณศักดิ์เป็นพระครูกาญจนเสลาภรณ์ได้มารับหน้าที่เป็นเจ้าอาวาสวัดท่าขนุน

ครั้นพอชาวบ้านได้ทราบว่าหลวงปู่สายนั้นธุดงค์ไปหลบซ่อนอยู่ที่ไหน ก็พากันขนคน ขนรถไปแห่แหนหลวงปู่สายกลับมาเป็นเจ้าอาวาสอีกวาระหนึ่ง ทำให้หลวงปู่เสงี่ยมท่านน้อยใจว่า ท่านเป็นเจ้าอาวาสอยู่ แต่ไม่ได้รับการสนับสนุนจากชาวบ้านมากมายเหมือนกับหลวงปู่สาย จึงได้ออกจากวัดท่าขนุนไปอยู่ที่วัดพระแท่นดงรังวรวิหาร ภายหลังก็มรณภาพลงที่นั่น หลวงปู่สายจึงต้องรับเป็นเจ้าอาวาสวัดท่าขนุนสืบมา

เมื่อสิ้นหลวงปู่สายแล้ว พระอธิการสมเด็จ วราสโย ก็ได้ดูแลวัดต่อมาเป็นระยะเวลา ๖ ปี จนกระทั่งสึกหาลาเพศไป พระสมุห์สมพงษ์ เขมจิตฺโต ก็ได้ดูแลวัดต่อมาอีก ๑๐ ปี จนกระทั่งสึกหาลาเพศไปอีกรูปหนึ่ง