据伍仁村一带流传，当年刘秀率兵南下，征战河北，行到此处，迷失了方向。
这时天色已晚，夜幕徐徐落下，月光明媚。刘秀想到连日来被王郎军穷追不舍，日不安，夜不眠。众将兵已经疲惫不堪。此时，追兵未见，军情不太紧。抬头一想，应该打听去路，或到村内投宿，让众官兵吃上一顿饱饭，睡个好觉，养精蓄锐，以利再战。
他在沉思间，忽见高粱地里有5个人围坐一起，正在打牌。
刘秀上前施礼道：“诸君打扰了，请问前面去信都之路如何走还有多少里此近村有多少户人家”
5个人聚精会神地正在打牌，谁都似乎没有听见。
刘秀只好高声言道：“知道诸位打牌兴浓，怎奈此时路上行人甚少，还是烦诸位指路，待日后必有重报！”
哪知此5人正处于决定胜负的关键时刻，各怀种种念头，谁都想多赢几个钱，所以仍然没有理睬刘秀。
刘秀怒道：“你们这群赌徒，不务正业，想必也不是安分守己的良民百姓。不如杀掉你们，以警后人。”
遂顺手拽下一片高粱叶，砍向他们，意思是想警告他们，没想到4 个人头应声落地。高粱叶子上的红点就是那时候留下来的血迹。
另一个人见势不妙，魂飞天外，拼命向西南飞跑。
月光下，刘秀说：你们这些人冥顽不化，就是不死也是石头人。被杀的4个人立刻化为石人，被刘秀砍下的头也变为石头了。
第二天，一老翁便把此4 人的头各埋在他们自身的脚下。那个逃往柏乡的人骑在墙头上也化为石人了。
据说现在柏乡一个村中还有这个骑在墙头上的石头人。
