赖光见陈玉成下了救援安庆的决心，已感欣慰；于是，不再异议，欣然接受指派，留守黄州了。
且，此时的李秀成正姗姗地还在路上。他将部队分成了左、中、右三路，同时向湖北进发；左路经通城而西进，右路由武宁北攻，自率中路由义宁过通山而往。李秀成刚由浙入赣，前哨探马报知“英王陈玉成留下赖光驻守黄州，已自亲率大军直奔安庆去了。”李秀成不知原委十分诧异，赶紧命令三路兵马原地驻防不必再前进。
李秀成原来就对攻打武汉也不怎么赞成，更不愿去直接解救安庆；他只想着能挥师东进，一举拿下浙、沪，为天国拓疆耀威；而商定中的与陈玉成“会师于武汉城下”
，无非是勉强而为绝非本意。
眼下，陈玉成却连招呼也没打一声顾自走了；李秀成心中虽然感到懊恼，但倒也觉得是一个顺水推舟的极好借口；因此，李秀成对于攻打武汉的兴趣也就更没了。
就地驻防几天后，李秀成同样放弃了攻打武汉的计划；命令部队调头折回，依照自己的意愿去东取浙、沪了。
于是，太平军原定的“攻打武汉，以解安庆之围”的所谓围魏救赵方案不再执行，结果是白忙碌了一阵后不了了之，且耽误了许多时日。
而此时，辅王杨辅清和定南主将黄金已率部经江苏的宜兴进入皖南，并攻占了广德；然后，进攻宁国府。
与此同时，侍王李世贤亦率部自浙江进入皖南，协同杨辅清攻克了宁国府；随即又南下攻占绩溪，然后合力攻打徽州。
驻守徽州的是新任皖南道李元度，曾国藩曾告诫道：“徽州乃皖南要冲之地，且为湘军粮道之咽喉；应谨慎防守，不可等闲视之。”
李元度却笑答道：“伯函公莫忧，发匪安庆危急，自顾不暇，安敢犯我？”于是，疏于防患。及至太平军来犯，才感到了情势危急，赶紧向曾国藩求援。
曾国藩顿足道：“次青不听吾言，故有今日。”然而，考虑到“徽州若失，粮道被断，湘军则不战自溃。”曾国藩虽然不悦，仍不敢等闲视之，不得不派兵驰援。
然而，此时湘军的主力正在围困安庆，祁门大营中仅有三万湘军，岂可尽拔？而远在安庆的湘军主力却是远水近火难以为济；何况，曾国藩知道太平军是在施围魏救赵之计，故而不想回调围困安庆之兵，以免落其圈套而前功尽弃。于是，曾国藩感到左右为难不知所措了；最后，只得从祁门大营中抽调三千兵马，交由布政使张运兰统领，火速驰援徽州。
然而，攻打徽州的太平军多达四万；李元度手下仅有三千兵，张运兰的援兵赶到，加在一起也仍只有区区的六千兵勇，实在是众寡太过悬殊。结果，一场激战后，太平军仍然攻克了徽州。
徽州丢失，曾国藩十分恼火，要李鸿章写《奏》章弹劾李元度。
但李鸿章觉得胜败乃兵家之常，徽州之败，实因敌我力量太过悬殊，曾国藩所拨援兵也少得可怜，岂可尽怪罪于李元度；如此责罚，有失公道。再，李元度曾在湖口一役中救过曾国藩的命，而今曾国藩却是如此的薄情，不由得令人寒心；于是，李鸿章愤而不愿书，甩袖离营，顾自回合肥老家去了。
李鸿章的离去使曾国藩十分难堪，曾国藩这才也似乎觉到了自己亏对李元度；适逢众幕僚又来替李元度求情，曾国藩也就顺势下台阶的收回成命不作计较了。
几天后，太平军又攻占了休宁。
得知右军士将刘官芳也正率部向祁门进发后，李世贤率部由徽州突然折回浙江，欲前往牵制驻守浙江的清军，从而掩护刘官芳免受来自驻浙清军的侧击。
十月下旬，李世贤率部攻占了浙江的严州；不久，又攻占了临安、富阳，并一度进逼杭州。因杭州城固，李世贤不想恋战；于是，绕道杭州，改攻湖州。
然而，攻打湖州经月不克，李世贤这才放弃了湖州，又西进皖南。
进入皖南，李世贤与刘官芳会师，但不久就又分兵两路锋芒直指祁门。一路由李世贤率领，自休宁向湘军的祁门大营进军；另一路由刘官芳率领，自禾戍岭、羊栈岭经黟县的卢村向祁门挺进。
此时，太平军的辅王杨辅清与定南主将黄金，正在湘军的祁门大营西南面的浮梁、景德镇一带活动；太平军的右军士将刘官芳，已经抵达了湘军的祁门大营东北面黟县的山岭间；太平军的侍王李世贤的部队，则进驻在了湘军的祁门大营东南面的休宁一线；而折回东进的太平军的忠王李秀成，正好率部抵达位于湘军的祁门大营正南面的婺源；所以，此时湘军的祁门大营实际上已处在了太平军的包围之中，大有四面楚歌之忧。
何况，祁门大营中只有三万湘军，其中半数又是新招募之兵。而位于祁门大营四面的太平军的总兵力却是数倍于湘军，兵力对比十分悬殊；若是此时的各路太平军能齐心协力发起总攻，其结果可想而知。
所以，连当时正在祁门大营坐镇指挥的曾国藩也终日忧虑束手无策了，自感势孤力单岌岌可危，如处惊涛骇浪之中，再次感到有被瓮中捉鳖了般的危险。
太平军攻打徽州时，曾国藩派兵驰援；一则是为了保护湘军粮道，二则也正是为了在万不得已之时可由徽州而通浙江，以作退却之途。然而，徽州丢失，此途即绝，曾国藩岂能无忧？
绝望中，曾国藩甚至写下了《遗书》而准备捐躯殉国。此时，曾国藩才想起了李鸿章曾经对他的谏言，悔曰：“吾不该不听渐甫之言，至有今日之危。”
而众幕僚们皆无良策，全都惶惶不可终日了；整座湘军的祁门大营恰如一个遭受火燎了的蜂窝乱嗡嗡的一片。
然而，祁门大营四周虽然都有太平军扎寨堵截，形似合围了。
但由于各路太平军各自为政行动极不协调，且并没有将祁门大营中的湘军围歼的打算和计划；所以，实质上太平军并没有对湘军构成真正的威吓。
其中的原因之一是因为，各路太平军都知道，此次围困祁门大营，并非要吃掉祁门大营中的湘军，而仅是为了通过围困祁门大营后以达到解救安庆之危的目的；另一原因则是由于，当时的各路“太平军”
都不知道湘军统帅曾国藩就在祁门大营中，故而也就不急于攻破祁门大营而让曾国藩又逃过了一劫。
再，围困祁门大营本来就非李秀成之意。李秀成的入皖，无非是过境而已；因为在途经黟县时受阻，才改道经徽州、过屯溪、而来到婺源，合巧堵在了祁门大营的南面。然而，李秀成一心只想着东进，并不想在此过多的逗留，更不想参与攻打祁门大营的行动；所以，不久就起营拔寨而顾自走了，继续一路东向准备去夺取浙、沪，然后到常山过年。
李秀成撤军离去后，祁门大营中的湘军松了一口气。
曾国藩见祁门大营南面之围不战自解，仰天感叹道：“苍天不绝吾也！”
经此一劫，曾国藩非但没有记恨李鸿章的拂袖而去，倒是反而觉得李鸿章深谙用兵之道，是个有用之才；故而常对左右言道：“渐甫有匡世之才，可作栋梁。”惋惜其离去。于是，曾国藩托郭嵩焘去找李鸿章，欲其回来。
且，杨辅清和黄金合力攻取徽州后，又率部攻占了建德。
建德位于湘军南北主力之间往来联系的通道上，所以对于此时的湘军来其地理位置十分重要。建德丢失后，湘军的祁门大营与江北湘军主力之间的联系就被阻断了，曾国藩心中十分焦虑。所以，一见李秀成撤围而去，曾国藩赶紧派遣副将唐义训乘机突出去奔袭建德，务必将建德夺回。
太平军对于唐义训的奔袭毫无防备，杨辅清与黄金被打了个措手不及大败而走；于是，建德被唐义训夺回。
杨辅清自建德败走，退回了宁国府；黄金则退守饶州，不敢轻出。于是，原已被太平军攻占了的彭泽、浮梁、都昌等地又都被湘军相继夺回了。
此时，正在湖南编练楚军的兵部郎中左宗棠闻知湘军的祁门大营危急，赶紧亲率楚军前往救援。
左宗棠，字季高，湖南湘阴人，曾为湖南巡抚张亮基、骆秉章等人的幕僚。
咸丰六年，曾国藩攻取武昌时，左宗棠受骆秉章派遣为湘军接济军饷十分得力，深受曾国藩赏识；于是，授以兵部郎中衔，留于曾国藩的两江总督府内襄办军务。
清军的江南大营被清除后，左宗棠受命在湖湘招募兵勇；因不想受制于曾国藩，左宗棠则别树一帜地将新募之兵称曰楚军。
曾国藩见其胸怀大志，确是块有用之才，倒也没有计较；且常与其研探经国治军之韬略，引为知交。
不久，左宗棠即募得五千楚军，成气候；于是，日夜操练以备后用。而今，曾国藩的祁门大营危急，正好相助以解眉之急。
左宗棠率部进到景德镇，刚巧遇上太平军的黄金与李远继前来攻打；左宗棠率楚军力拒，致使黄金与李远继攻打景德镇未能得手。
曾国藩闻知左宗棠率楚军前来驰援，且正与太平军战于景德镇；于是，派遣部将鲍超率部自祁门大营出发，前往接应。
湘、楚两军会师后，与太平军在景德镇西北的洋塘谢家滩一带展开血战；双方鏖战数时，太平军因受左宗棠和鲍超的两面夹击不敌而败走。然而，黄金并不认输，转而又去攻打浮梁了；结果，又遭到湘、楚军的三路抗击，太平军损失惨重，黄金不得不溃入赣北。
再，进抵黟县山间的太平军右军士将刘官芳和古隆贤、赖鸿等部，终于通过夜袭羊栈岭成功，一度攻占了黟县。然而，很快遭到了湘军张运兰、唐义训、娄云庆等部的反扑；太平军的卢
