安亲王岳乐是清初改革派的代表，他全力支持顺治皇帝的一系列改革，大胆启用汉人，缓解与汉族地主阶级的矛盾；停止圈地，使人民能正常从事生产活动。及至康熙朝，在三藩之乱里屡立军功，“在诸王中，以齿则高，以行则长”，三藩之乱前后皆掌宗人府事，有管理部务，参预政事的丰富经验，无论从资历或功绩论，当朝宗室王公皆无人堪比。
所以康熙听闻后便摆架安亲王府，哭丧去了。
三位皇子一路跟随，承祜也一路在思考，据说崇德年间岳乐之父阿巴泰率兵伐明时，将很多文学之士延至府中，命教诸子弟，故康熙间宗室文风以安邸为最盛。享有王爵，根基极深的岳乐家族，在汉族文人内建有一个层次较高的关系网。从某种意义上讲，安王府犹如顺康年间满汉文化交流荟萃的一个特定场所，在清初满汉文化从激烈冲撞走向逐步融合的进程中，起有一定作用。
不过到了康熙三十九年底，礼亲王代善的曾孙诺尼控告岳乐生前审案不公，岳乐被追降郡王，夺谥，其子经希、吴尔占分别革去郡王、贝子，授为镇国公。只是此事发生后，岳乐家族的地位与实力，亦未受到大的影响。
数年后，康熙帝在与明珠等老臣的一次谈话中透露，康熙六年辅政大臣鳌拜操纵议政王大臣会议，矫旨擅杀另一辅臣苏克萨哈时，在议政大臣中颇有影响力的岳乐，极力逢迎鳌拜，起到推波助澜作用。岳乐逝去十一年后受到降爵夺谥至惩，此为一个重要的内在原因。
这个原因其实是承祜从后世众多清史研究里面找到的，毕竟康熙三十九年他这个太子与皇帝的矛盾已经很具规模，他的皇阿玛已经开始提防和削弱他的势力，而被革爵位的经希和吴尔占其母亲是叔公的妹妹，算起来他们就是他的表叔，很难不让人怀疑。