最终，宣宗责令胡善祥以无子为由请求放弃后位（胡善祥仅育有两位公主），孙贵妃在一番礼仪性推辞后顺利成为孙皇后。

在整个过程中，胡善祥几乎没有作出反击或回应。

胡善祥摘去皇后冠冕后居住在长安宫，被冠以“静慈仙师”的名衔。

当时的张太后欣赏端庄娴静的胡善祥，虽无力改变宣宗废后的决定，但在胡善祥被废后，对她屡加照拂。

胡善祥常被召去清宁宫居住，在宫廷宴会上，她的位置都在孙皇后之上，孙皇后对此心怀不满。

正统七年（1442年）十月，张太后病逝，胡善祥无比悲伤，“痛哭不已”，次年十一月初五亦薨逝，以嫔御礼葬于北京西郊的金山。

由于宣宗一朝的孙皇后、英宗一朝的孙太后尚且健在，胡善祥在去世后很长一段时间内未能得到符合皇后身份的身后哀荣。

天顺六年（1462年）孙太后过世之后，先是明英宗的皇后钱氏建言恢复胡善祥的位号，再是当朝大学士李贤也赞成为胡善祥正名，英宗也有此意。

经过一年的筹备和宣告，胡善祥被封为“恭让诚顺康穆静慈章皇后”，英宗为她补修了皇后陵寝。

但因为胡善祥生前确系被卸去后位，遂不能如其余名正言顺的皇后那样祔于太庙，胡善祥的谥号也是明朝皇后中唯一不以“孝”字起头的。

胡善祥被废后，朝野上下充满惋惜之情，《明史》称“后无过被废，天下闻而怜之”。

有学者认为“胡皇后的无故被废标志着明代后权的衰微与皇后生存环境的恶化”。