บ้านพิษณุโลก เดิม ชื่อ บ้านบรรทมสินธุ์ เป็นบ้านพระราชทานโดยพระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวฯ พระราชทานพระยาอนิรุทธเทวา (หม่อมหลวงฟื้น พึ่งบุญ) บ้านเปลี่ยนมือมาเป็นของรัฐบาลในช่วงสงครามโลกครั้งที่สอง เคยเป็นที่ตั้งของกรมประสานงานไทย-ญี่ปุ่น เปลี่ยนชื่อเป็นบ้านสันติภาพและบ้านพิษณุโลกตามชื่อถนน
2522 บ้านพิษณุโลก ถูกกำหนดให้เป็นบ้านประจำตำแหน่งนายกรัฐมนตรี
หลังประกาศใช้บ้านประจำตำแหน่งนายกรัฐมนตรีแล้ว มีนายกรัฐมนตรีเพียง 2 ท่านที่เข้ามาอยู่ในบ้านนี้ ท่านแรกคือ พละเอกเปรม ติณสูรานนท์ อยู่ได้ 7 วัน ถัดมาคือ นายชวน หลีกภัย อยู่ได้ 6 เดือน ว่ากันว่า การที่นายชวนอยู่ได้นานเพราะมีการเอาพราหมณ์จากภาคใต้มาทำพิธีปัดรังควานให้ก่อน
บ้านพิษณุโลก มีเรือนบริวารหลายหลัง ตำแต่งแบบผสมผสานทั้งยุโรปและไทย ในบริเวณบ้านมี มีสวนป่า “เขาดิน” ภูเขาจำลองขนาดย่อม มีน้ำตกเล็กๆ ไหลริน บนยอดดอยมีศาลเทพารักษ์ “ศาลท้าวหิริญฮู” หรือ "ท้าวหิรัญพนาสูร" ไว้เคารพบูชา
สิ่งที่ผู้คนพบเห็นและได้ยินที่บ้านพิษณุโลก คือ การพบเห็นหญิงใส่ชุดไทยมาปรากฎกายให้เห็น บ้างก็เห็นท้าวหิรัญพนาสูรสิ่งศักดิ์สิทธิ์ของบ้าน และที่ได้ยินกันเป็นประจำคือ ได้ยินเสียงห้าร้องม้าวิ่งที่บริเวณสนามซึ่งมีรูปปั้นม้าทองแดงตั้งอยู่ บ้างก็เห็นรูปปั้นฝรั่งกลายร่างเป็นคน
พ.ศ. 2544 คุณหญิงพจมาน ดามาพงศ์ เคยจะใช้อาคารหลังหนึ่งเป็นห้องประชุมและปฎิบัติหน้าที่ของภริยานายกรัฐมนตรี มีคนงานหญิง ถูก แฝง ร่างขณะทำความสะอาด ทำให้คุณหญิงพจมานเปลี่ยนใจไม่กลับมาใช้บ้านพิษณุโลกเป็นที่ทำงานอีกเลย