สมเด็จพระบวรราชเจ้ามหาเสนานุรักษ์ สมเด็จพระบิดาโปรดให้สร้างวัง
พระราชทานพระเจ้าราชวรวงศ์เธอ กรมหมื่นกษัตริย์ศรีศักดิเดช ณ ตำบลที่เรียกถนนพระอาทิตย์ แต่เดิมสมเด็จกรมพระราชวังบวรฯ ในรัชกาลที่1 ทรงจัดสรรเป็น บ้านข้าราชการ รวมถึง บ้านพระยาจ่าแสนยากร คุณหญิงแว่น ซึ่งเป็นที่นับถือว่าเป็นเจ้าที่เจ้าทาง ให้เซ่นสังเวยตามธรรมเนียม ต่อมาที่ดินนี้ตกทอดมาสู่
เจ้าพระยาวรพงศ์พิพัฒน์ (หม่อมราชวงศ์เย็น อิศรเสนา) ซึ่งเป็นเสนาบดี
กระทรวงวังในสมัยรัชกาลที่ 7
เนื่องจากวังเดิมชำรุดทรุดโทรมลงไปมาก เจ้าพระยาวรพงศ์พิพัฒน์ได้สร้างวัง
ขึ้นมาใหม่เมื่อ พ.ศ. 2475 ลักษณะอาคารเป็นตึก 2 ชั้นยกพื้นสูงหลังคามุง
กระเบื้องว่าว และต่อเดิมเป็นอาคาร 5 ชั้น มียอดโดมประดับอยู่เป็นหลังคาทรงสูงอยู่ด้านหลัง ประดับชายคาและช่องลมด้วยลวดลายไม้ฉลุ อาคารนี้ได้ตกทอดมาสู่ราชสกุลอิศรเสนา คือ หม่อมหลวงสันธยา อิศรเสนา ซึ่งได้เปลี่ยนชื่อวังให้เป็น
"บ้านพระอาทิตย์"

บ้านพระอาทิตย์เคยเป็นที่ตั้งของสถาบันเกอเธ่ (สถาบันวัฒนธรรมไทย-เยอรมัน) ระหว่าง พ.ศ. 2505-2533 ซึ่งปัจจุบันย้ายไปอยู่ที่ซอยสาทร 1 (อรรถการประสิทธิ์) ถนนสาทรใต้