，胤禟这般大肆结交官员、出钱捐纳，无疑是在扩大八爷党的势力，这让康熙更加不满。
一日，康熙在宫中召见胤禟。胤禟入宫后，见康熙脸色阴沉，心中不禁一紧。康熙冷冷道：“九阿哥，你倒是热心肠，又是送小院，又是出钱捐纳，你可知这是坏了朝廷规矩？”胤禟连忙跪地，恭敬道：“皇阿玛，儿臣只是见何图大人忠心为国，想助他一臂之力，绝无坏规矩之意。”康熙哼了一声：“你若真是为朝廷着想，便该恪守本分，莫要做出让朕猜忌之事。”胤禟额头冒汗，连称不敢。
另一边，何图接受了胤禟的恩惠以后，立刻决定改换门庭彻底投靠八爷党。事实上，在很久之前，何图曾经是胤禛的幕僚，当然，是秘密性质的，他做过胤禛幕僚的事，他甚至连自己的妻子都没告诉，也没别的原因，就是当时的四贝勒胤禛小气。
胤禛对手下的赏赐必须是给他立了大功才会有的，但胤禛平时又喜欢装弱小装作闲散宗室，别人又如何能立下大功呢？于是何图在胤禛那里混了一段时间以后觉得胤禛小家子气，就不给他当幕僚了，之后不参与朝政斗争，安心做官，最后被提拔为甘肃巩昌府的知府。
何图倒向八爷党一事，不知怎的传到了胤禛耳中。胤禛表面不动声色，心中却认为何图忘恩负义。他深知八爷党势力日益壮大，对自己的威胁与日俱增，如今何图的倒戈，无疑是让八爷党如虎添翼。
在胤禛看来，八爷党的每个人都是在和他争夺八弟的注意力，除了胤禩这个八爷党首领以外，他平等憎恨着所有的八爷党。不过胤禛现在还需要继续装弱小，所以他不能直接去朝堂上弹劾何图——要是被康熙注意到，他也没好果子吃。
于是趁着何图还没有离开京城回甘肃，胤禛私底下找到了何图。胤禛开门见山：“何大人，你曾是我的幕僚，如今却投向八爷党，未免太忘恩负义了。”
何图心中一惊，没想到胤禛会找上门来。他很快镇定下来道：“雍亲王，过去之事已如烟云，如今我为朝廷效力，只看谁更能成大事。何况我早就已经没有当你的幕僚了，是正大光明辞去的，在给你做幕僚那些日子，你给我的好处总共加一起都没这段时间九爷给的多！”
胤禛可以接受别人说他不如胤禩，甚至有人这么说