拄着拐扙，以师道自居。天子坐在北面请求他发言，王祥陈述明王圣帝君臣政化的要点来加以训诫，听到的人都自我加以砥砺。
等到高贵乡公被杀，朝庭大臣哀悼之时，王祥号哭说：“是老臣没有做好啊。”涕泪交流，众人都有惭愧之色。不久，拜为司空，转为太尉，加侍中。五等建，封睢陵侯，封邑一千六百户。
等到晋武帝成为晋王，王祥与荀岂页去谒见他。岂页对祥说：“相王尊贵权重，何曾这样的公侯对之已很尊敬了，如今应当敬拜他。”王祥说：“相国的确尊贵，然而却是魏朝的宰相，我们这些魏的三公，公位与王位相距，只是一个级别，差不多，哪有天子的三司动不动拜别人的！折损了魏朝的威望，也亏损了晋王的德望，君子爱人以礼教，我不做这样的事。”等到**后，荀岂页下拜，而王祥独自长长做揖。武帝说：“今天才知道君见顾之重了！”
晋武帝登帝位，拜王祥为太保，进爵为公，加置七官之职。帝刚受命，谦逊的要求直言谠谏。王祥与何曾、郑冲等前朝老臣，很少朝见，皇帝派遣侍中任恺咨询朝政得失，及政务教化的当务之急。王祥以年老疲耄，请求逊让官位，皇帝不允许。御史中丞侯史光以王祥久病，缺少朝会礼节，请求免去其官职。下诏说：“太保元老高行，朕所倚望兴隆政教，其前后多次谦逊让位，朕不听从你们的奏议，这不是有关部门所能免议论的。”于是史光就停止奏议了。王祥坚持请求告老还乡。下诏以睢陵公就第，位置同于太保、太傅，在三司之上，爵禄还同于以前。下诏说：“古时退休，不事奉王侯。现今虽然以国公留居京城，不应该再劳苦以朝请。赐给他几杖，不再朝请，大事都向他们咨询。”赐安车驷马，第一区，金钱百万，丝绢五百匹，床帐簟褥，以舍人六人为给事中，使其经常优游定省。又以太保高洁清素，家无宅寄，使其权留本府，待所赐府第建成才出居。
到病重，著遗令训诫子孙：“生必定有死，自然的道理。我年到八十五，还有什么恨意呢？”等等，他的儿孙们都奉命施行。
泰始五年薨，下诏赐东园秘器，朝服一具，衣一袭，钱三十万，布帛百匹。第二年策谥号为“元”。
王祥之薨，奔赴吊唁的人不是朝廷贤良，则是亲近的过去的属吏而已。门上无杂吊的宾客。族孙王戎感叹：“太保可谓清达矣。”