1985年12月，叶利钦出任莫斯科市第一书记。
在此之前，叶利钦虽然已是苏联最高苏维埃主席团委员之一，却只是个建筑部长，并没有多大实权。
戈尔巴乔夫把叶利钦调到莫斯科这个关键位置，原因是原书记格里申资历太老，又是个远近闻名的强硬派，对他的改革一直不赞同。
叶利钦时年54岁，以雷厉风行著称，戈尔巴乔夫的想法是以叶利钦为一把快刀，大刀阔斧清除格里申的影响，以推进他的改革——格里申在莫斯科第一书记的职务上工作了近20年。
叶利钦上任之初，确实不负戈尔巴乔夫的期望，在一年多时间里撤换了33个区委第一书记中的23个，他说：我认为那些长期与格里申共事的人一定要撤换下来，这些官僚们都已染上了停滞时期的坏作风，这些作风在人们的思想中已根深蒂固，因此靠再教育是不可能的，只能进行撤换。
上任一年多，戈尔巴乔夫和叶利钦的合作是比较愉快的，戈氏还称赞他：你吹来了一股清新而强劲的风。
但同时，叶利钦经常微服私访，了解民情，为解决市民生活困难想了不少办法，这也让他更多地了解了苏联制度的一些弊端，他的思想开始变得激进，不仅仅满足于戈尔巴乔夫的经济改革。
逐渐，叶利钦和戈尔巴乔夫以及政治局的多数成员开始发生分歧，而且愈来愈明显。
但在当时，叶利钦并没有反对苏联，还是把希望寄托在戈尔巴乔夫身上。
直到1987年9月，叶、戈首次发生了公开冲突。
当时是在一次会议上，大家讨论的话题是庆祝十月革命的一份报告初稿。稿件由戈尔巴乔夫提交，大家发言在原则上都是肯定这个报告，只提出了一些小修小补的建议。
叶利钦发飙了，他“提了大约20条意见，并且每一点都是十分有分量的。”
这来源于他在工作中对苏联官僚机器的不满，他认为既要迁就苏联官僚，又要满足苏联人民的要求，这是做不到的。
戈尔巴乔夫相当不满，当场拂袖而去，离开后想想气不过，过了30分钟又跑回来发言怼叶利钦。
他批评叶利钦：把莫斯科搞得一团糟，所有人都围绕他转，好批人等。
戈尔巴乔夫自己提倡的是民主化、公开化，因此叶利钦毫不示弱，当场表示：我不接受，因为它们带有个人的偏见成分，并且表达方式也让人无法接受，并反击戈尔巴乔夫“存在好大喜功的毛病。”
两人不欢而散后，没过几天，叶利钦就给戈尔巴乔夫写了一封长信提出辞职。但由于十月革命节将至，戈尔巴乔夫并未批复，他打电话给叶利钦表示过点时间再谈这个问题。
当然，辞职并不是叶利钦的真实想法，这是他的一种试探。
在10月21日，叶利钦再次发起了尖锐的挑战。他没有提到戈尔巴乔夫，点名批评的是苏共中央书记利加乔夫，批评利加乔夫搞个人崇拜，工作方式没有任何变化，浪费了两年的时间。
当然，明眼人都看得出来，叶利钦的真正批评对象直指戈尔巴乔夫。
叶利钦又说自己“在政治局的工作没搞出什么结果”，是因为“缺少外界的支持，尤其是利加乔夫同志的支持”，所以他要求解除自己政治局候补委员的职务。
叶利钦的挑战遭到群起反击，连他自己身边的熟人也上台批评他，认为这是“背叛行为”。
叶利钦最后不得不服软，表态自己从来没有动摇过对改革的态度，自己的发言给大家带来了麻烦，这是错误的。
戈尔巴乔夫顺势让叶利钦再考虑一下退休声明，戈氏并不是傻子，他这招也是以退为进。此时叶利钦已无法立足，他在11月3日来信要求继续原职工作，但被政治局多数委员拒绝。
在此期间，还传出了叶利钦用剪刀划破腰部要自杀的消息，但政治局并不为所动，还是解除了他莫斯科第一书记的职务。
1988年1月，叶利钦被任命为国家建设委员会第一副主席，2月，又被解除了政治局候补委员职务。
本来到这里，叶利钦的政治生命几乎宣告终结了。
但是事情出现了反转。
因为戈尔巴乔夫正在强调民主化、公开性、反保守、反特权，叶利钦不过讲得更明白、更坦率、更尖锐。因此，他就格外引人同情，突出了他遭受迫害的形象。
对戈尔巴乔夫和苏联不满的人，把叶利钦视为英雄。
背后的实际原因还是在于苏联的经济形势并没有得到实质性好转，戈尔巴乔夫的改革冲垮了消费市场，反让经济形势恶化，市民购物困难，许多东西需要彻夜排队购买。人民对戈尔巴乔夫的信心动摇，与他针锋相对的叶利钦自然就得到了支持。
戈尔巴乔夫对叶利钦越压越堵，对他的同情反而越来越多，叶利钦的威望反而更高。
对叶利钦处理问题抗议的来信向巨浪一样涌来，不少基层主动推选叶利钦为代表，还有人扬言以罢工相威胁。
压力之下，戈尔巴乔夫不得不变通处理，为叶利钦谋得一个名额，让他得以参加苏共第19次代表大会。
叶利钦这时小小地翻了个身，他却从中得到了启发。
在会上，他继续自己尖锐的态度，甚至在申请发言而没有得到回音时，挑战式地冲上台去主动发言。
当然，叶利钦的发言一如既往地尖锐，也继续遭到群起围攻。
但越是这样，叶利钦“受压迫的卫士”的光环就越耀眼，戈尔巴乔夫不得不和稀泥，不敢正视叶利钦激进的思想和言论，他表示叶利钦的发言“在很大程度上同报告和辩论是一致的。”
苏联电视台对大会代表进行采访，有一半人同情叶利钦，更别说莫斯科的市民。
给叶利钦的慰问电报、书信“足以几口袋、几千斤来计算，它们来自全国各地、最遥远的角落。这简直成了全民的支持，令人难以置信。”
受到如此鼓舞，叶利钦振奋精神，决心继续干下去。
在这个时期，叶利钦至少还是维护苏联的，虽然批评强烈，但至少在表面上，他的立场还是站在维护苏联上。
但是，由于戈尔巴乔夫和其领导核心的应对不当，促使叶利钦公开树立起与苏共中央对抗的旗帜。苏共的威望越低，面目越黑，他的威望就越高，光环就越亮。
这样的叶利钦继续走下去，逐渐就成了戈尔巴乔夫对立面的一个化身，就离他当初宣誓的事业越来越远了。
多年以后，戈尔巴乔夫在回忆录中明确谈到了自己的失误：
战略上没有更早、更快和更强硬地实行改革，战术上则没有抓住机会“把事情做绝”。
“把事情做绝”，所指的正是叶利钦。如果在1987年那次公开冲突时，戈尔巴乔夫更果断一点，“把事情做绝”，叶利钦就几乎无法翻身了。
