当时曾国藩正在组建水师，征调林君招募五百名平江勇随军作战。咸丰四年三月，太平军从湖北向南进犯，林君在平江九岭一带阻击，果然取得大捷。同僚中有人嫉妒林君，使他未能获得应有的封赏。这些人还借其他事由中伤他。林君内心愤懑难平，但生性不善言辞。他曾下定决心要在公堂上据理力争，事先反复准备，拟好辩词。可到了当面对质时，却被众人压制，最终未能申辩，反而被迫认错自责。
这年十月，林君追随曾国藩到九江军营，几次想要申诉冤屈，最终也没能说清。第二年春天，曾国藩命他管理湘军粮台，从广信返回。后又负责塔齐布忠武公的军粮供应，并协助处理鄱阳湖水师营务。十一月，又临时统领陆军驻扎在庐山脚下、姑塘以南。江西巡抚文俊听闻林君贤能，紧急调他到南昌，将新招募的平江营交给他统领。
林君在庐山时，与几名武官共事，他放下身段主动结交，那些武官却越发傲慢无礼，出言不逊，甚至讥讽道：“一个书生战战兢兢，哪里懂得打仗？”林君既痛恨他们的粗野，又因不善言辞，终究无法反驳。他只能深夜独自叹息：“大丈夫宁可战死沙场，也绝不退缩！”后来到南昌统领新军，才稍感欣慰。
当时，太平军悍将石达开大举进犯江西，接连攻陷八府五十余州县。咸丰六年三月，李元度（字次青）率军从湖口南下，林君与邓辅纶（字弥之）从南昌东进，两军在抚州会师。接连几战都取得胜利，民心才逐渐安定。太平军又纠集各郡兵力，轮番挑战，我军屡次将其击退。敌军再次来犯时，又遭重创。但将士们疲惫不堪，得不到休整。当年九月，分兵进攻崇仁、宜黄。恰逢太平军大批援军赶到，林君最终在十七日战败阵亡。
当初林君曾告诫部下说：“大家要互相保护，我与你们同生共死！”到战败时，众人知道林君宁死不屈，跟随他战死的就有三百多人。林君死后两年，咸丰八年四月，官军收复抚州。又过一年，曾国藩率军驻扎此地，来到林君殉难之处凭吊。寻找阵亡将士的遗骨，却已模糊难辨。于是立碑标记遗迹，并作铭文，以告后世那些不计得失的仁人志士，表达我难以释怀的哀思。铭文如下：
胡古胡今，强吞弱伏。
（古往今来，弱肉强食。）
佞者刀椹，讷者鱼肉。
（巧言令色者操刀俎，木讷寡言者任宰割。）
文吏贼深，武夫悍激。
（文官心机深沉，武将凶暴激烈。）
讷者避之，负墙屏息。
（不善言辞者只能躲避，背靠墙壁屏住呼吸。）
忽入战场，万马辟易。
（然而一旦进入战场，却能令万马退避。）
士固难料，理固难推。
（人的命运本就难以预料，天理也难以揣测。）
灾祥显晦，孰执其机？
（祸福显隐，谁又能掌握其中关键？）
昔闻人述，言出君口：
（曾听人转述林君的话：）
“我不知战，但知无走。”
（“我不懂战术，但知道绝不能逃跑。”）
平生久要，临难不苟。
（平生重诺守信，临危不苟且。）
大信不盟，坚不锲金。
（真正的信义无需誓约，坚固胜过刻金。）
浇俗所侮，鬼神所钦。
（虽被浮薄世风所轻慢，却得鬼神敬重。）
精魂远矣，北斗帝乡。
（英魂已远去，直上北斗帝乡。）
遗骨莫辨，蔓草茫茫。
（遗骨无处寻觅，唯有蔓草萋萋。）
有欲求之，环此石旁。
（若要追寻他的精神，就在这石碑周围徘徊吧。）
湖口县楚军水师昭忠祠记
咸丰八年七月，曾国藩准备前往浙江处理军务，途经湖口。当时广东惠潮嘉道彭玉麟（字雪琴）正在石钟山筹建昭忠祠，准备祭祀湘军水师阵亡将士，请曾国藩上奏朝廷。八月奏折呈上后，获得批准。次年七月，曾国藩将赴四川公干，再次经过湖口时，昭忠祠已经完工。正殿祭祀营官萧捷三（谥号节愍公）等若干将领，后殿祭祀阵亡士兵若干人。
昭忠祠东侧是浣香别墅，前面有听涛眺雨轩，后面是芸芍斋。斋后连接着一座小亭名为且闲亭，亭下有一方小池。过桥向南，穿过石洞向东而出，便是梅坞。向西稍登高处，建有锁江亭。最西侧最高处是观音阁，阁外建有魁星楼，由僧人居住。再往西是坡仙楼，楼上镌刻着苏轼的《石钟山记》。登高远眺，万千景致尽收眼底，一草一石都焕然一新。
当初湘军水师初建时，在衡阳开始造船，在湘潭展开首场大战。之后接连攻克岳州、武昌，大破田家镇。现任福建提督杨岳斌（字厚庵）与彭玉麟（字雪琴）等将领，在狂风巨浪中浴血奋战，烧毁敌船数以万计，所向披靡，可谓势如破竹。后来官军深入鄱阳湖内，敌军趁枯水季节在湖口修筑工事，阻截我军战船。水师因此被分隔为外江与内湖两部，内湖水师驻守江西，外江水师支援湖北，如同肝胆分离，长期无法会合。直到咸丰七年九月攻克湖口，两支水师才重新会师。这场持续三年之久的拉锯战，伤亡数千将士，最终才得以成功。
在战争最激烈的时候，炮火轰鸣血肉横飞，鲜血溅满石壁。将士们忍饥挨饿，将领们困顿不堪，处境如同囚徒；众人疑虑重重，流言四起，泪水几乎要涨满长江，却依然难以攻克这道险关，这是何等的艰苦！等到昭忠祠建成之后，人们献上祭品敲响钟鼓，男女老少前来瞻仰祭拜；名花异草环绕四周，鸟鸣婉转动听；江色湖光交相辉映，仿佛能吞吐万里山河；心境豁然开朗，几乎让人忘记战火尚未平息，这又是何等的欢愉！身处安乐之时，即便是贤者也难以故作忧愁；身处困苦之际，即便是豁达之人也难以强颜欢笑。
人心的喜怒哀乐，难道不是由处境决定的吗！我由此想到豪杰用兵打仗，有的耗尽一生精力，牺牲千万人性命，只为争夺尺寸之地，若不能成功便抑郁而终，难道都是因为忧国忧民吗？恐怕更多是受形势所迫，被时局所逼罢了。至于那些喜怒不随境遇改变，无论富贵贫贱、生死成败都毫不动摇的人，若非真正的君子，又有几人能做到呢？我当年久困鄱阳湖内，几乎难以自持。如今有感于彭君新建这座昭忠祠，登临远眺美景无限，便粗略地写下这些感想。
武昌张府君墓表
彭君名以诰，字兢安，号经圃，湖北武昌人。他生性恭谨谦逊，仪态端庄，待人无论亲疏，总是先满足他人意愿而后才考虑自己。遇到顺遂之事，便说：“这是对方宽厚待我，并非我做得有多好。”遇到不顺或委屈之事，则说：“这是我的过错，对方何错之有？”即便遭遇无礼对待，甚至对方品行不端，他也淡然回避。即便对方地位尊贵，他也保持谦卑；即便对方身份低微，他也平等相待。远近追随他的人，从未见他与人发生争执冲突。
彭君的曾祖父名斯锟。祖父名维沧，是国子监生员。父亲名本用，为岁贡生出身，曾任广济县学训导。训导公当时就以文才闻名。生有二子，长子名以谟，考中嘉庆戊辰年进士。彭君作为幼子继承父兄学业，潜心钻研学问，尤其擅长科举应试文章，每构思一篇文章，视野包罗四海，神思驰骋九天，令人难以揣度其精妙。而后又静心沉思，看似平淡无奇。往往能在险峻深邃处着笔，最终归于平淡自然，毫无浮华矫饰之态。