传说中，河图与洛书都是起源于上古时期，在距今七八千年的伏羲时代，有一龙马从黄河中跃出，他的身上刻着“一六居下，二七居上，三八居左，四九居右”格局的数字，便是河图。伏羲依照河图演绎成先天八卦。现在河南省孟津老城西北的伏羲庙。据说便是当年“龙马负图”而出的地方。
洛书之数。传说在大禹治水时有一神龟从洛河中爬出。背上有戴九履一，左三右七，二四为肩，六八为足，五居中央的方式排列的数字，便是洛书。大禹依照洛书制定出了治理天下的九章大法。现在河南省洛宁县的洛河边上还保留着“洛书出处”的古碑，据说便是“神龟贡书”之处。
一般认为河图与洛书虽然在很早就被多次提及。但一直到宋朝才真正运用于实际。河洛之中的数是简单的自然之数，却构成的一个玄妙的世界。送出陈抟创《龙图易》，吸取汉九宫说与五行生成数提出一个图示，名为龙图，即河图。
后来北宋易学家刘牧精研陈传所创《龙图易》著书《易数钩隐图》，河图洛书才为世人所知。对采用图十书九，还是图九书十有过争论，最终定位于图十书久，一直延续至今。但是对于河洛的起源及其中奥妙。仍旧众说纷坛没有定论，成为千百年来的一个不解之谜。
