1976年10月，“四人幫”被一舉粉碎，主犯相繼被隔離審查。在“四人幫”之中要數(shù)姚文元原先的職務(wù)最低，也因此對(duì)他的量刑較輕一些，最終姚文元只被判處有期徒刑20年，刑期從1976年10月算起。

在姚文元服刑期間，他的妻子金英獨(dú)自帶著三個(gè)女兒生活，并沒(méi)有拋棄姚文元，還會(huì)帶著孩子到獄中看望他。作為姚文元的家屬，金英和三個(gè)女兒自然受到了影響，他們搬出了原先的機(jī)關(guān)宿舍，住到了普通的居民樓。

即便是受到了姚文元的影響，金英也沒(méi)有拋棄他，并且把孩子照顧得很好，他們的大女兒已經(jīng)結(jié)婚了，金英和二女子與小女兒一起住，分別彼此照顧，遺憾的是她沒(méi)能等到姚文元出獄就不幸病逝了。

1996年10月，姚文元刑滿釋放。可就在姚文元出獄前的一個(gè)月，他的妻子金英病逝了，因此只有女兒來(lái)接他出獄。此時(shí)的姚文元已有65歲，走在街上跟普通人無(wú)異，絲毫看不出他曾經(jīng)是一個(gè)大官。

姚文元得知妻子病逝非常傷心，他原本被安排在湖州生活，不過(guò)為了給妻子處理喪事，他經(jīng)批準(zhǔn)之后到了上海。1997年7月，姚文元在上海青浦區(qū)的福壽園購(gòu)買了墓地，把妻子金英的骨灰安葬了。

姚文元為妻子立碑，墓碑是黑色大理石的，一面刻有“真理真情”，另一面則刻著一首詞，詞的末尾兩句是“不改初衷常歷歷，年年化作同心祭。”讀來(lái)有一種凄美之感，據(jù)說(shuō)這詞是姚文元自己寫的。

墓碑是以姚文元女兒名義立的，不過(guò)為了避免被外人知曉，立碑人只寫了女兒的名，沒(méi)有寫姓。后來(lái)的清明節(jié)或是祭日的時(shí)候，姚文元也會(huì)親自來(lái)祭奠妻子金英，不過(guò)他一直比較低調(diào)，沒(méi)有引起他人注意。

在忙完期間的葬禮之后，姚文元回到了組織上為他安排在湖州的住處。姚文元把晚年主要的精力放在了寫回憶錄上，為此他甚至還找到組織提要求，希望能夠讓自己的回憶錄出版。

當(dāng)時(shí)有香港的出版社找到姚文元，表示愿意出高價(jià)購(gòu)買他的回憶錄版權(quán)，不過(guò)他并沒(méi)有答應(yīng)。姚文元更希望自己的回憶錄能在內(nèi)地出版，可是他的書稿送去審核之后，遲遲沒(méi)有下文。

不過(guò)考慮到姚文元生活方面的需要，組織上提高了對(duì)他的待遇，并且還安排了人照顧他。2005年12月23日，姚文元病逝了，終年74歲，他是四人幫之中最后一個(gè)去世的，2006年1月6日，姚文元去世的消息正式對(duì)外公布。

然而姚文元在去世之后卻留下了一個(gè)謎，那就是無(wú)人知道他葬在哪里。一直到2009年，作家葉永烈在文章中才揭開(kāi)了這謎題，原來(lái)姚文元在臨死前叮囑了，他要與妻子金英合葬。

不過(guò)姚文元為了不影響女兒的生活，他學(xué)了一回武則天，沒(méi)有單獨(dú)立碑，相當(dāng)于是給自己留下了“無(wú)字碑”。姚文元這樣做可謂是用心良苦，不僅避免影響女兒，也可以任由后人去評(píng)價(jià)。