ในสมัยต้นกรุงรัตนโกสินทร์ที่ตั้งของวังบ้านหม้อเป็นย่านที่อยู่อาศัยของชาวมอญประกอบอาชียขายหม้อดินเผา จึงเป็นที่มาของชื่อ
"ตำบลบ้านหม้อ" และเมื่อมีการสร้างวังขึ้นในบริเวณนี้จึงเรียกชื่อวังตามชื่อตำบลด้วย วังบ้านหม้อสร้างขึ้นในสมัยรัชกาลที่ 3 แห่งกรุงรัตนโกสินทร์ เป็นที่ประทับของพระเจ้าบรมวงศ์เธอกรมพระพิทักษ์เทเวศน์ พระราชโอรสในพระบาทสมเด็จพระพุทธเลิศหล้านภาลัย
ซึ่งเป็นพระราชโอรสองค์ที่ 22 ของพระองค์กับเจ้าจอมมารดาศิลา ประสูติเมื่อวันที่ 16 เมษายน พ.ศ.2341 ทรงเป็นต้นราชสกุลกุญชร
ณ อยุธยา รัชกาลที่ 2 ทรงพระราชทานวังท้ายหับเผยวังที่ 3
ให้เป็นที่ประทับ ทั้งนี้เพราะบริเวณนี้มีวังเรียงกัน 3 วัง ซึ่งรัชกาลที่ 2
ทรงพระราชทานแก่พระราชโอรสร่วมเจ้าจอมมารดาองค์เดียวกัน
องค์ละวังได้แก่ กรมพระพิพิธโภคภูเบนทร์ กรมหลวงภูวเนตร
นรินทรฤทธ์ และกรมพระพิทักษ์เทเวศ จากนั้นต่อมาเกิดไฟไหม้
ที่วังกรมหมื่นสุนทรธิบดี ซึ่งอยู่ตรงข้ามกับวังท้ายหับเผยวังที่ 1
ไฟไหม้ไปตลอดจนถึงบริเวณบ้านหม้อกลายเป็นที่ว่าง กรมพระพิทักษ์เทเวศน์จึงทรงย้ายวังมาสร้างในบริเวณที่ว่างนี้ ต่อมาเป็นทีรู้จักกัน
ในชื่อ "วังบ้านหม้อ" จนกระทั่งสิ้นพระชนม์ในสมัยรัชกาลที่ 4
พระบรมวงศ์เธอพระองค์สิงหนาทราชดุรงค์คาฤทธิ์ พระราชโอรสองค์ใหญ่ทรงดูแลวังบ้านหม้อสืบมาทรงกระทั่งสิ้นพระชนม์ในรัชกาลที่ 5 จากนั้นเจ้าพระยาเทเวศน์วงศ์วิวัฒน์ (ม.ร.ว.หลาน กุญชร) เป็นบุตรของพระองค์เจ้าสิงหนารถฯ ได้อยู่สืบมาจนถึงอนิจกรรม วังบ้านหม้อจึงอยู่ในความควบคุมดูแลของพระยาศรีกฤษดากรได้เลื่อนยศเป็น
พระยาเทเวศน์วงศ์วิวัฒน์ ปัจจุบันวังบ้านหม้อแห่งนี้ได้อยู่ภายใต้
การดูแลของ ม.ล.แฉล้ม กุญชร ธิดาคนที่ 27 ของเจ้าพระยาเทเวศน์วงศ์วิวัฒน์สืบต่อมาจนทุกวันนี้