咸丰四年（1854年）正月，僧格林沁率军会合胜保之军，浩浩荡荡地进攻静海，总兵力是北伐军的好几倍。经过几十天的浴血奋战，静海外围的据点独流镇、杨柳青镇相继被清军攻克。林凤祥率军逃入阜城，僧格林沁紧追不舍，赶到阜城，与林凤祥相持一个月。太平军顽强抵抗，使僧格林沁大伤脑筋，最后用火攻，烧毁太平军的几个据点。林凤祥坚持不住，率领残余部将逃到连镇。清军紧紧追击，将连镇包围；林凤祥坚忍不拔，在连镇苦苦守了两个月，清军寸步难进。僧格林沁久攻不下，刚一松懈，北伐军李开芳就乘机突围而出，异常凶悍，杀开一条血路，冲下山东。原来林凤祥得知天京援军已经进入山东，他派李开芳突围会合山东援军，自己留下来，苦苦等待援军联合北伐。
在直隶连镇这边，林凤祥与清军又对峙了一个月，太平军死伤惨重，只剩下一千多人，粮食早就所剩无几，个个饿得精瘦，但斗志昂扬。僧格林沁率军多次猛攻，都被击退。几个月后，林凤祥依然困守连镇，但城内粮草奇缺，又无援兵，北伐军已饿死大半，待至雨季到来，僧格林沁引运河之水，将连镇淹泡，使北伐军陷入弹尽粮绝的境地。林凤祥处之泰然地指挥北伐军英勇作战，连僧格林沁也认为，北伐军“虽被围万分穷蹙，粮米断绝，以人为粮，或战或守，从容不迫，毫无溃乱情形”，充分显示出林凤祥的军事才干和大将风度。