赵匡义(光义)这个名字，洛阳人太熟悉了，他在位时大兴文治，下令编了不少书，其中就有中国古代第一部文言纪实小说总集《太平广记》。书中有一卷专讲“淫祠”，列举了唐人信仰的“豫章树”“项羽庙”“飞布山庙”“壁山神”等，还引了狄仁杰的故事。
据说狄仁杰在毁项羽庙时，百姓非常害怕。为鼓舞人心、镇压邪气，他特意写了《檄告西楚霸王文》，并亲自到项羽庙宣读。
文中说，你项羽不过是一个江南泽国的莽汉，在水乡聚起一帮乌合之众，自恃有扛鼎之勇、拔山之力，就敢逆历史潮流在关中举事，最终兵败垓下。说什么是天亡你，还不是因为你自身的问题。你就应该老老实实把魂魄藏在东方的山顶或北方边远之处，怎么好意思在这里白白受人奉祀，浪费牲口？我狄仁杰今奉天命来这里执行公务，现在就要派人烧毁项羽庙，你赶紧给我搬家！
有人担心烧了项羽庙会遭报应，可狄大人不就没事儿？于是又有传言说狄大人有神灵护体。唐人戴孚在《广异记》中记了这么个故事，说端州(在今广东肇庆)有蛮神庙，狄仁杰要烧了它，谁知被派去的人一进庙就莫名丧命。狄仁杰悬赏招募勇士，有两个人来揭榜。狄仁杰问：“需要准备什么东西？”二人说：“要朝廷给您的委任状。”狄仁杰递上委任状，两人便拿着到庙里，对着蛮神像宣读委任状，并说，听好了啊，这可是天子派来的……蛮神听了不敢再发作，那俩人就把庙烧毁了。
随后，狄仁杰回到汴州(今开封)，一个能看见鬼的人对他说：“您身后有个蛮神，说被您烧了房子，常想报复您。”狄仁杰问：“那他咋不动手？”“见鬼者”说：“您身后还跟着二十多个别的鬼神，他不敢造次！”
