扩建西翼

南北战争时，白宫人事繁忙，过于拥挤。有人对白宫的位置提出质疑，认为北部的一条运河和沼泽会引致疟疾和疾病。 准将纳撒尼尔·米切勒提议放弃白宫作为居住地，而用作商务。 但这一计划被国会否决。

1891年，第一夫人卡罗琳·哈里森提议扩建白宫。

1901年， 西奥多罗斯福搬到白宫后，聘请三大建筑师对白宫进行整修和扩建，其中包括增加了西翼。总统威廉霍华德塔夫脱随后为西翼添加了额外的空间，包括增加了椭圆形办公室 。

杜鲁门重建

和其他美国总统不同的是，杜鲁门入住白宫的时间非常之短。理由是有屋宇结构专家在他上任後不久指出白宫随时有倒塌的危险，部份主因是因为在1812年战争中，白宫的墙壁和地基曾被火焚烧，以致在结构上出现了问题。於是杜鲁门对白宫的地基进行了大规模的重建工程，另外又在白宫的南翼柱廊的第二层，加建了一个阳台（即所谓的「杜鲁门阳台」）。至於杜鲁门一家则搬到附近的布莱尔宫，作为自己的「白宫」。

1950年经国会批准进行彻底重建。现在白宫由主楼、东翼、西翼3个独立的建筑物组成。主楼的底楼有“中国厅”，陈列着历届总统用过的中国餐具。二楼为总统全家的住所。各层都有当年某届总统精心布置的一些房间，现称绿厅、蓝厅、红厅等，是根据室内的装饰特点命名的。东翼包括剧院及一些办公室。西翼主要是总统及其工作人员的办公处。国宴厅宽阔高雅，能容纳140人就餐。整个大厅都漆上古象牙色，新壁炉上面刻着约翰·亚当斯进入白宫第二天写的话：“我祈祷上苍赐福于这幢房子和今后居住这里的所有的人。愿惟诚实和智慧的人在此屋顶下永远统治。”

1902年西奥多·罗斯福首次把行政办公室迁至西翼。最早的“椭圆形办公室”建于1909年，天花板是总统印章的浮雕，壁炉上方挂着乔治·华盛顿的画像。总统办公室后面飘扬着美国国旗和总统旗。

肯尼迪恢复

后来，约翰·肯尼迪总统的夫人杰奎琳亲自指导恢复白宫内部的本来模样。在由准备退位的艾森豪威尔总统夫人带领她巡视白宫时，她就为其充斥着没有历史感的复制家具而感到沮丧。她认为白宫代表着国家，就应当恢复其历史形象。她要求组成一个美术委员会，着手进行这项工作，到处寻找古董家具和历史艺术作品，甚至亲自向曾经设计过白宫的人写信。完成恢复工作后，1962年2月14日她自己出面带领CBS的电视主持人拍摄专题参观巡游整个白宫的电视节目。

杰奎琳主持的许多社交活动使得总统夫妇成为国内文化界的焦点，在美国的历史上第一次对音乐、艺术和文化如此关注，杰奎琳的每次招待使得每位到白宫参加国宴的客人感到都是一个美好的夜晚。杰奎琳将原来的U形餐桌撤走，改成八人的圆桌。在维也纳美国总统和原苏联领导人赫鲁晓夫会谈中，杰奎琳和赫鲁晓夫的交谈给他留下深刻的印象，虽然总统谈判以失败告终，但赫鲁晓夫很欣赏美国总统夫人。

基于上述原因，杰奎琳被认为是60年代美国妇女心目中公认的时尚引领者。

如今，总统办公桌是1880年维多利亚女王赠给拉瑟福德·B·海德的，用女王陛下的“果敢”号船上的木材制成，以承认美国营救1855年在北极水域内失踪的“果敢”号船所做的成功的努力，从此每届总统都使用这张办公桌。在1963—1977年间，这张办公桌在史密斯·索尼亚学校展览。桌面上有里根总统保存的一件饰物，上面写着他喜欢的一句话：“如果一个人不在乎谁来获得荣誉，那么他能做的事和能去的地方将永无止境。”白宫里还悬挂着历届总统的画像，陈列着他们使用过的瓷器和家具。园内则到处是草坪、树木、花丛和喷泉，景色幽雅。现在白宫的某些地方则定期开放，供游人参观。“白宫”已成为美国政府的别称，“白宫发言人”即“美国政府发言人”之意。在美国，Executive Mansion指总统官邸，也指某些州的州长官邸。在白宫和国会之间有著名的联邦调查局。最高法院则位于东国会街。