4 郎陵侯臧宫、扬虚侯马武上书说:“匈奴贪利,无有礼信,穷则稽首称臣,安则寇边侵盗。如今他们人畜因瘟疫而死,旱灾蝗灾交加,赤地千里,疲困乏力,实力不如中原一个郡,虽在万里之外,他们的生死,全在陛下手中。机不可失,福不再来,岂能固守文德,而荒废武事!今当任命大将,军临边塞,厚悬重赏,谕告高句丽、乌桓、鲜卑攻其东,征发河西四郡、天水、陇西羌、胡击其西,如此,北虏之灭,不过数年。臣恐陛下仁恩不忍,谋臣狐疑,令万世刻石之功不利于圣世!”
刘秀下诏回复说:“《黄石公记》说:‘柔能制刚,弱能制强。’舍近谋远者,劳而无功;舍远谋近者,逸而有终。所以说,务求扩张土地者,得到一片荒芜;务求扩大仁德者,实现天下富强。珍惜他已有的人,一生平安;贪图他人所有者,终将残破。残灭他人的战略,即使成功,也终将归于失败。孔子说:‘吾恐季孙之忧,不在颛臾。’况且北狄尚强,而我们的屯田警备,所传闻之事,很多失实。如果真能殄灭大寇,就算消耗一半国力,我也愿意!但现在并不是这样的时机,不如让人民休养生息。”