หลวงปู่ดู่ พรหมปัญโญ มีชาติกำเนิดในสกุล หนูศรี เดิมชื่อ ดู่ เกิดเมื่อวันที่ 10 พฤษภาคม พ.ศ.2447 ตรงกับวันศุกร์ ขึ้น 15 ค่ำ เดือน 6 ปีมะโรง ซึ่งเป็นวันวิสาขปุรณมี ณ บ้านข้าวเม่า ตำบลข้าวเม่า อำเภออุทัย จังหวัดพระนครศรีอยุธยา
โยมบิดาชื่อ พุด โยมมารดาชื่อ พ่วง ท่านมีพี่น้องร่วมบิดามารดาเดียวกัน 3 คน ท่านเป็นบุตรคนสุดท้อง มีโยมพี่สาวอีก 2 คน มีชื่อตามลำดับ ดังนี้
1. พี่สาวชื่อ ทองคำ สุนิมิตร
2. พี่สาวชื่อ สุ่ม พึ่งกุศล
3. หลวงปู่ดู่
ปฐมวัยและการศึกษาเบื้องต้น
ชีวิตในวัยเด็กของท่านดูจะขาดความอบอุ่นอยู่มาก ด้วยกำพร้าบิดามารดาตึ้งแต่เยาว์วัย นางยวง พึ่งกุศล ซึ่งมีศักดิ์เป็นหลานของท่านได้เล่าให้ฟังว่า บิดามารดาของท่านมีอาชีพทำนา โดยนอกฤดูทำนาจะมีอาชีพทำขนมไข่มงคลขาย
เมื่อตอนที่ท่านเป็นเด็กทารก มีเหตุการณ์สำคัญที่ควรจะบันทึกไว้คือ วันหนึ่งซึ่งเป็นหน้าน้ำขณะที่บิดามารดาของท่านกำลังทอดขนมมงคลอยู่นั้น ท่านซึ่งถูกวางอยู่บนเบาะนอกชานคนเดียว ไม่ทราบด้วยเหตุใดตัวท่านได้กลิ้งตกน้ำทั้งคนทั้งเบาะ แต่เป็นที่อัศจรรย์ยิ่งที่ตัวท่านไม่จมน้ำ กลับลอยน้ำจนไปติดอยู่ข้างรั้ว กระทั่งสุนัขเลี้ยงทื่บ้านมาเห็นเข้าจึงได้เห่าพร้อมกับวิ่งกลับไปกลับ มาระหว่างตัวท่านกับมารดาท่าน เมื่อมารดาท่านเดินตามสุนัขเลี้ยงออกมาจึงได้พบท่านลอยน้ำติดอยู่ที่ข้าง รั้ว ซึ่งเหตุการณ์ครั้งนั้นทำให้มารดาท่านเชื่อมั่นว่า ท่านจะต้องเป็นผู้มีบุญวาสนามากมาเกิด
ในโลกนี้ไม่มีอะไรเลยนอกจากทุกข์ ทุกข์เท่านั้นที่เกิดขึ้น ทุกข์เท่านั้นที่ตั้งอยู่ ทุกข์เท่านั้นที่ดับไป พึงมองเห็นโลกนี้เป็นความว่างเปล่า ว่างเปล่าจากตัวตนที่เที่ยงแท้ บุคคลใดก็ตามที่ยึดมั่นหมายมั่นแม้ว่าเป็นลูกของตน สามีภรรยาของตน บิดามารดาของตน หรือวัตถุสิ่งของของตน เมื่อความไม่เที่ยงมาถึง ความเสื่อมสลายย่อมบังเกิดขึ้นกับสิ่งเหล่านั้นอันเป็นธรรมดาโลก การพลัดพรากจากสิ่งที่เป็นที่รักที่พอใจ จึงนำมาซึ่งความทุกข์ระทมใจของผู้ยึดมั่นหมายมั่นนั้น
มารดาของท่านได้ถึงแก่กรรม ตั้งแต่ท่านยังเป็นทารกอยู่ ต่อมาบิดาของท่านจากไปอีก ขณะท่านมีอายุเพียง 4 ขวบเท่านั้น ท่านจึงต้องกำพร้าบิดามารดาตั้งแต่ยังเป็นเด็กเล็กจำความไม่ได้
ท่านได้อาศัยอยู่กับยาย โดยมีโยมพี่สาวชื่อ สุ่ม เป็นผู้ดูแลเอาใจใส่และท่านก็ได้มีโอกาสศึกษาเล่าเรียนที่วัดกลางคองสระบัว วัดประดู่ทรงธรรม และวัดนิเวศน์ธรรมประวัติ
สู่เพศพรหมจรรย์
เมื่อท่านอายุได้ 21 ปี ก็ได้เข้าพิธีบรรพชาอุปสมบท เมื่อวันที่ 10 พฤษภาคม พ.ศ.2468 ตรงกับวันอาทิตย์ แรม 4 ค่ำ เดือน 6 ณ วัดสะแก ตำบลธนู อำเภออุทัย จังหวัดพระนครศรีอยุธยา โดยมีหลวงพ่อกลั่น เจ้าอาวาสวัดพระญาติการาม เป็นพระอุปัชฌาย์ มีหลวงพ่อแด่ เจ้าอาวาสวัดสะแก ขณะนั้นเป็นพระกรรมวาจาจารย์ และมีหลวงพ่อฉาย วัดกลางคลองสระบัว เป็นพระอนุศาสนาจารย์ ได้รับฉายาว่า พรหมปัญโญ
ในพรรษาแรก ๆ นั้น ท่านได้ศึกษาพระปริยัติธรรม ที่วัดประดู่ทรงธรรม ซึ่งในสมัยนั้นเรียกว่าวัดประดู่โรงธรรม โดยมีพระอาจารย์ผู้สอนคือ ท่านเจ้าคุณเนื่อง, พระครูชม เป็นต้น
ในด้านการปฏิบัติพระกรรมฐานนั้น ท่านก็ได้ศึกษากับหลวงพ่อกลั่น ผู้เป็นอุปัชฌาย์ และหลวงพ่อเภา ศิษย์องค์สำคัญของหลวงพ่อกลั่น ซึ่งมีศักดิ์เป็นอาของท่าน เมื่อท่านบวชได้พรรษาที่ 2 ประมาณปลายปี พ.ศ.2469 หลวงพ่อกลั่นก็มรณภาพ ท่านจึงได้ศึกษาหาความรู้จากหลวงพ่อเภาเป็นสำคัญ นอกจากนี้ท่านยังได้ศึกษาจากตำรับตำราที่มีอยู่ในชาดกบ้าง จากธรรมบทบ้าง และด้วยความที่ท่านเป็นผู้ที่รักการศึกษาค้นคว้า ท่านจึงได้เดินทางไปศึกษาหาความรู้เพิ่มเติมจากพระอาจารย์อีกหลายท่านที่ จังหวัดสุพรรณบุรีและสระบุรี
ประมาณพรรษาที่ 3 ท่านก็ได้เดินธุดงค์ โดยมีสถานที่สำคัญทางพระพุทธศาสนาเป็นจุดหมายปลายทาง กล่าวคือเดินทางออกจากจังหวัดพระนครศรีอยุธยามุ่งตรงสู่จังหวัดสระบุรี กราบนมัสการพระพุทธฉายและรอยพระพุทธบาท จากนั้นท่านเดินธุดงค์ไปยังจังหวัดสิงห์บุรี สุพรรณบุรี และกาญจนบุรี ท่นได้ใช้เวลาเดินธุดงค์ ประมาณ 3 เดือน จนกระทั่งอาพาธจึงได้พักการธุดงค์
หลวงปู่ดู่ท่านได้ถือข้อวัตร คือฉันอาหารมื้อเดียวมาตั้งแต่ก่อนปี พ.ศ.2500 แต่ภายหลังคือประมาณปี พ.ศ.2525 เหล่าสานุศิษย์ได้กราบนิมนต์ให้ท่านฉัน 2 มื้อ เนื่องจากความชราภาพประกอบกับต้องรับแขกมากขึ้น ท่านจึงได้ผ่อนปรนตามความเหมาะสมควรแห่งอัตภาพ แต่เมื่อถามความเห็นของท่านจึงทราบว่า ท่านต้องการโปรดญาติโยมที่มาจากที่ไกล ๆ จะได้มีโอกาสทำบุญ
หลวงปู่ดู่ท่านได้ตัดสินใจไม่รับ กิจนิมนต์ไปนอกวัดตั้งแต่ก่อนปี พ.ฯศ.2490 ส่วนที่นาอันเป็นสมบัติดั้งเดิมของท่าน ซึ่งมีอยู่ประมาณ 30 ไร่ ท่านก็แบ่งให้กับหลาน ๆ ของท่าน ซึ่งในจำนวนนี้ นายยวง พึ่งกุศล ผู้เป็นบุตรของนางสุ่ม โยมพี่สาวคนกลางที่เคยเลี้ยงดูท่านมาตลอด ก็ได้รับส่วนแบ่งที่นาจากท่านด้วยจำนวน 18 ไร่เศษ แต่ด้วยความที่นายยวงผู้เป็นหลานของท่านนี้ไม่มีทายาท จึงคิดปรึกษากับนางถมยา ผู้เป็นภรรยา เห็นควรให้ยกเป็นสาธารณประโยชน์ คือยกที่ดินแปลงนี้ให้กับโรงเรียนวัดสะแก ซึ่งหลวงปู่ดู่ท่านก็โมทนาในกุศลเจตนาของคนทั้งสอง
ในเรื่องการสวดมนต์ทำวัตร เช้า-เย็น ท่นได้ปฏบัติอย่างสม่ำเสมอมิได้ละเลย นอกจากนี้ท่านยังได้สอนหนังสือให้เด็ก ๆ ในวัดให้อ่านเขียนและทำเลขได้ทั้งชายหญิง
อยู่มาวันหนึ่งเข้าใจว่าก่อนปี พ.ศ.2500 เล็กน้อย หลังจากที่หลวงปู่ดู่สวดมนต์ทำวัตรเย็นและปฏิบัติกิจส่วนตัว เสร็จเรียบร้อยแล้ว ท่านก็จำวัด เกิดนำมิตไปว่า ท่านได้ฉันดาวที่มีแสงสว่างเข้าไป 3 ดวง ในขณะที่กำลังฉันอยู่นั้นก็รู้สึกว่ากรอบ ๆ ดี ก็เลยฉันเข้าไปทั้งหมดแล้วจึงตกใจตื่น เมื่อท่านมาพิจารณาใคร่ครวญถึงนิมิตที่เกิดขึ้นเข้าใจได้ว่า แก้ว 3 ดวงนั้นจะต้องเป็นแก้ว 3 ประการได้แก่ พระไตรสรณคมน์ พอว่า พุทธัง สรณัง คัจฉามิ ธัมมัง สรณัง คัจมิ สังฆัง สรณัง คัจฉามิ ก็เกิดอัศจรรย์ขึ้นในจิตท่าน จนเกิดความมั่นใจว่าพระไตรสรณคมน์นี้เป็นแก่นแท้ และรากแก้วของพระพุทธศาสนา การสมาทานศีล 5 ศีล 8 หรือการขอบรรพชาอุปสมบทก็ต้องว่าไตรสรณคมน์นี้ทุกครั้ง ท่านจึงกำหนดเอาเป็นองค์ภาวนา