班固后来因母丧而辞去官职，永元初年，大将军窦宪出征匈奴，用班固为中护军，参加议论军事。北单于听说汉朝军队出征，派遣使臣在居延塞等候款待，想去朝见汉朝天子。窦宪派遣班固率领数百骑兵出居延塞迎接北单于。正赶上南匈奴攻破北庭，班固抵达私渠海，闻听匈奴内部发生骚乱，便返回了。等到窦宪破败时，班固受连坐而被免官。
班固不教育他的儿子们，他的子孙们多不遵守法度，让官吏很苦恼。当初，洛阳令种兢曾在街上行进，班固家的奴仆冒犯种兢的车马，吏卒呵斥了奴仆，奴仆醉酒谩骂，种兢大怒，但因畏惧窦宪而不敢发作，心中记下仇恨。等到窦氏家族及门下宾客都被逮捕拷问之时，洛阳令种兢趁此机会逮捕关押了班固，致使班固最终死在狱中。
