被截留下的太平北伐军因兵少，自料难敌托明阿所率的大队清军，只得放弃渡河退入巩县。
好不容易才渡河北上了的李开芳与林凤祥，一心想着自己的任务，已顾不得留在南岸的数千弟兄，继续走自己的北伐之路。
而托明阿眼见太平北伐军的主力已经渡河北上，而退走巩县的仅只是一部；于是，舍弃不顾，赶紧也渡过黄河，继续追逐北上的太平北伐军去了。
退走巩县的太平北伐军，见托明阿也渡河追击继续北上的太平北伐军主力去了；而仅有的渡船皆让托明阿带到北岸，未能再渡。
于是，这些被截留的太平北伐军只得放弃渡河，自巩县南返；然后，经许州、确山、罗山、黄安，返抵位于鄂、豫边境的新州；接着，就进入湖北，又经湖北的麻城、英山后转入安徽；最后，回到了太平军在安徽的大本营，融入到了太平西征军中。此是后话，略表。
李开芳率领太平北伐军渡过黄河后，即克取了温县；然后，围攻怀庆，欲在此补充粮草和给养。
咸丰皇帝闻报太平北伐军突破了黄河天堑，即以“疏误失防”罪将陆应谷革职；同时，任命直隶总督协办大学士讷尔经额为钦差大臣，主持冀、豫军务，领兵拒敌。
讷尔经额受命后，即调集二万兵力赶赴怀庆。
此时，怀庆城内只有数百清军，情势岌岌可危；然而，知府余炳焘动用了城内的数千团练，凭着坚固的城防，硬是坚持了半月之久。
林凤祥见怀庆城固难破，欲用地雷轰塌城墙，然后突进；然而，天不作美，忽遇连日大雨，所用地雷均成了哑炮，让余炳焘又度过了一劫。
不久，讷尔经额调动的援军陆续到来，怀庆的险情开始缓解。
大名府总兵董占元所率的两千援军，进驻到了怀庆北面的清化镇；托明阿的四千马步军渡河后，也进驻到了怀庆东面几十里遥处；奉《诏》帮办江北军务的礼部侍郎胜保所率的数千兵马，也从苏北追逐至此，在离怀庆不远处扎营；而讷尔经额所率大部，也已从河南安阳移师到了怀庆外围；数路清军汇聚怀庆，欲将怀庆城外的太平北伐军反包围。
而此时，围困怀庆的太平北伐军已用木栅构筑了一道牢固的壁垒，以抵挡外围清军的进攻。
于是，两军在怀庆城外对峙长达二月之久，却谁也奈何不了谁。
李开芳见围困怀庆已久却终是难以攻克，清军援兵却源源而至，如此对垒僵持绝非上策；于是，主动从怀庆撤围，取道济源进入山西去了。
怀庆之围已解，讷尔经额的心中倒是宽慰了；咸丰皇帝也因此大悦，赏赐讷尔经额黄马褂一件，以示恩惠；诸将也论功行赏，皆大欢喜。
讷尔经额见太平北伐军进入山西，出了河南境界，也就放任不管，自回直隶去了。
而诸将因远途追逐，累日久战，兵马皆已疲惫，正需休整，故也不愿再入陕力追。
唯有胜保不甘就此罢休，独领一军追逐而去；但也若即若离地只是尾随，却不敢正面交锋。
因此，太平北伐军进入山西后，没有遇到强敌；轻易地攻取了垣曲，并杀了河东道张锡蕃、垣曲知县晏宗望。
太平北伐军在垣曲县休整后，又攻占绛县，杀了绛县知县张知魅。然后，再占领晋南重镇平阳，击毙平阳知府何维墀，并获得了一批给养。
然而，在行至平阳城北面的高河桥时，却意外地遭到了陕安镇总兵郝光甲的伏击；太平北伐军被一截为二，一部北上洪洞，一部折返平阳。
第二天，返回平阳的太平北伐军在曲亭把郝光甲击溃，才得以继续前进。
而洪洞、赵城、霍州三地的清庭官吏，早已闻风丧胆弃城而去；太平北伐军抵达，三城民众出城相迎。于是，太平北伐军又作了必要的休整和给养补充后，欲继续北上。
但此时，胜保已经绕到太平北伐军前面，在霍州以北的韩侯岭布防阻截。
太平北伐军不想在山西过多逗留，也就没有与胜保开仗，改变了行军路线折而东行。
胜保因此次追击阻截有功，清庭加封其为都统。
太平北伐军折向东行后，经安泽、古县、屯留，进入长子。
在长子境内的柳花泊，太平北伐军又与托明阿遭遇；两军激战，清军大溃；托明阿的副将福龙豹毙命，托明阿也负伤逃遁。
接着，太平北伐军继续东进，再取潞城、黎城；复入河南，又攻占了涉县、武安；然后，进入直隶境内，直取临洺关。
临洺关位于永年境内，因镇得名。因其北通燕、涿，南达郑、卫，东连齐、鲁，西接秦、晋；上为燕、冀之屏蔽，下可达滇、黔、楚、豫，可谓“南北之通衢”。且又因其西靠太行，有黄腰岑、聪明山、娄山等挡道；东临洺河、沙河、滏阳河，常遭泛滥而阻途；遂使其成了西域入冀抵京的必由之路。故虽非雄关险隘，却仍不失为要冲之地；自古为兵家必争。
讷尔经额误以为太平北伐军遁入山西，是不敢兵犯直隶；故而，在临洺关上并没有布置重兵。
谁知，太平北伐军进入山西后不久，却来了个回马抢，掉头东向横穿山西后，即进入直隶扑向了临洺关。
讷尔经额这才感到了情况不妙，赶紧率部赶往临洺关欲加阻截。
然而，讷尔经额刚赶到临洺关，立足未稳还来不及布防；太平北伐军也抵达了，并将讷尔经额打了个措手不及。
讷尔经额大溃，仅带了数十名亲信狼狈逃入广平；且只顾逃命，连关防、印信、令箭、军书等物尽皆丢失。
临洺关为太平北伐军所得后，直隶的西南屏障即失，清皇朝的京城也受到了威吓。
清庭为之震撼，咸丰皇帝将讷尔经额革职问罪；急忙任命胜保为钦差大臣，惠亲王绵愉为大将军，科尔沁郡王僧格林沁为参赞；率马步军四万五千众，合力堵截。
但此时的太平北伐军因攻占了临洺关后士气正盛，清军已难以抵挡。
接着，太平北伐军又连克了直隶的沙河、邢台、任县、隆平、柏乡、赵州、栾城、藁城、晋州、深州，迫近了清皇朝的都城北京。
于是，京畿震动，朝野大哗，咸丰皇帝也因此既恐慌而又盛怒了。
咸丰皇帝一面下《旨》将讷尔经额下狱“斩监候”，一面再调兵遣将加强京城的防备，却同时也做好了逃往热河的准备。皇上准备出逃，达官贵人也纷纷效仿；于是，整个北京城内更是陷入了一片人心惶惶极度混乱之中。
远在天京的天王洪秀全和东王杨秀清闻报太平北伐军抵达直隶的深州，离北京已经不远；心中大悦，即赏封李开芳为定胡侯、林凤祥为靖胡侯、吉元为平胡侯、朱锡琨为剿胡侯，促其勉力，直捣清妖都城。
但是，此时的李开芳心中却十分矛盾，他虽然也想自深州北上直取燕京；然而，清军已在其北上的途中布下重兵阻截，估计难以突破。而自己所率的太平北伐军已转战皖、豫、鄂、晋诸省，行程数千；孤军远征，已有后援不续之虞；若取直道攻北京，必遇清军的强抑之师，胜负难测；所以，虽然北京近在咫尺，却仍如隔着重山，一时难就。
因此，李开芳决定舍直取曲，继续东进，欲绕道先取天津，尔后再谋北京。
于是，李开芳修书一封，差心腹之人送往天京；将自己的打算禀告，并求增兵，以取北京。
岂料，李开芳所差之人在行至河南与山东交界处的馆陶时，却被清军缉获，所带的信函即落入清军之手。
清庭得此信函后，方知太平北伐军的意图。
于是，胜保与僧格林沁急忙移师，率军东向协防天津。
李开芳按计划率部东进，再克献县、交河后，进抵沧州；五天后，又占领了天津城西南的静海，静海知县江安澜投水自尽。
于是，林凤祥坐镇静海；李开芳则率部继续北上又攻克了独流与杨柳青，前锋抵达天津城西面的稍直口。
