当然，两人矛盾的爆发还是因为元祐党禁之事。崇宁三年九月，蔡京炮制出了309人的元祐党籍及元符末上书系籍人名单，对这些人加以禁锢。赵佶最开始同意，但是后来发现这只不过是蔡京为了巩固自己的权力和地位而采取的行为。

第二年九月，赵佶以铸成九鼎为由大赦天下，并对元祐系籍人开放党禁，此举引起蔡京党羽的抵触，使他们在具体执行时对相关人员只进行了量移。针对有司阳奉阴违，对九月赦宥诏书所提及的元祐党人只做量移处理的行为，赵佶又以御笔手诏指示道：“其诬谤深重，除范柔中、邓考甫不放外，余并依已降指挥，放还乡里，令亲属保任如法。”

没想到蔡京还是指使其党羽，对赵佶的指示采取阳奉阴违的办法，这就令赵佶忍无可忍了。

崇宁五年正月，彗星经天，赵佶借天象异常，毁元祐党人碑并放宽党禁。此举催化了蔡京等人对政局再次反转的忧惧，以至蔡京见到被毁的党人碑后厉声说道：“石可毁，名不可灭！”

蔡京的专横跋扈不光引起了赵佶的不满，连朝中的大臣们也蔡京多有不满，赵挺之、张商英连上十余疏，痛陈蔡京的一系列不法之举。于是崇宁五年二月，赵佶将蔡京罢相。

没想到罢蔡京易，维持朝局难。蔡京在时，虽然有种种令赵佶的不满的事情，但是蔡京能够搜刮钱财，供给赵佶享乐，这是他人所不及的。继蔡京的张商英、赵挺之显然没有蔡京搜刮钱财的能力，即便是有，他们也不会放任赵佶无休止的享乐的。这就让赵佶十分痛苦了，说白了，赵佶在痛革弊法与保障御前财物来源之间、在一己私欲和百姓公利之间取舍艰难。

他是个享受派，由俭入奢易，由奢入俭难，已经享受过蔡京为搜刮钱财，以供自己的享乐的赵佶，当然对继任的宰执感到不满，从而对蔡京又感到怀念了。

后来赵佶又公开表示：“京只为作事无法，于财用未尝以不足告。今日且不要他，及只说国是断合如何？”眼下之意就是对蔡京的理财能力还是极为赞赏的。

何况蔡京经过多年的经营，内侍、朝臣中党羽遍布，尤其是童贯，一内一外，一文一武，这都是赵佶不得不考虑的事情。

说白了，蔡京以绍述神宗、哲宗变法为口号，将经由提举讲议司所培养的党羽安插在朝野。使绍述政策、赵佶的功业、蔡京的相业、及其党羽的利益，在理念路线和人事组织上都形成了利益捆绑。否定其中任一方都终将否定的矛头指向赵佶，因此蔡京的权位与影响极难根除，只可不断调整。罢去蔡京容易，可如何使朝局在不需要蔡京的情况下，仍能按照赵佶期望的秩序运转则难。赵挺之、刘逵、乃至后来的张商英这些宰臣，均无法像蔡京这般聚敛地方财物以供上用。

说白了，只有蔡京能够满足赵佶丰亨豫大的享受，但是经此一事，赵佶对于蔡京开始加以防范和制衡。后来赵佶曾经下诏说：博访人材文学之士，处之于文馆；干敏之士，处之于寺监丞簿。求心计之才于漕计之属，养智勇之士于将帅之幕。

说白了，就是收揽权柄，并不断为朝堂补充新鲜血液以打造自己的政治力量。其中最典型的就是叶梦得，他曾经公开说道：“《周官》太宰以八柄诏王驭群臣，所谓废置赏罚者，王之事也。今徒以大臣进退为可否，无乃陛下有未了然于中者乎？”建议赵佶大权独揽，赵佶深以为然。