在很久以前，人们写小数的时候，就将小数部分降一格写，略小于整数部分。例如写63.35，就写成6335。
16世纪，德国数学家鲁道夫用一条竖线来隔开整数部分和小数部分，例如257.36表示成257|36。
17世纪，英国数学家耐普尔采用一个逗号“，”来作为整数部分和小数部分的分界点，例如 17.2记作是17,2。这样写容易和文字叙述中的逗号相混淆，但是当时还没有发现更好的方法。
在17世纪后期，印度数学家研究分数时，首先使用小圆点“·”来隔开整数部分和小数部分，直到这个时候，小数点才算是真正诞生了。
中国第一个将小数点这一概念用文字表达出来的是魏晋时代的刘徽。他在计算圆周率的过程中，用到尺、寸、分、厘、毫、秒 、忽等7个单位；对于忽以下的更小单位则不再命名，而统称为“微数”。到了宋、元时代，小数概念得到了进一步的普及和更明确的表示。杨辉《日用算法》(1262年)载有两斤换算 的口诀：“一求，隔位六二五；二求，退位一二五”，即1/16=0?0625；2/16=0?125。这里的“隔位”、“退位”已含有指示小数点位置的意义。秦九韶则将单位注在表示整数部分个位的筹码之下，例如： —Ⅲ—Ⅱ表示13.12寸 寸是世界上最早的小数表示法。
关于小数点的故事
1、小数点的故事：在遥远的地方，有一个很大的数学王国，在这个国度中，四处都是数字、数学符号，其中小数点也生活在这里。
2、小数点十分活泼可爱，成天的跑来跳去，并且时不时地还闯下祸来。这不！今天又偷偷的跑出去玩了，他漫步在数学大街上，十分无聊。对了！他想：我不如去小音乐剧院听歌吧！但音乐剧院里的门票需要不少钱呢，小数点犯难了，因为他并没带多少钱，他十分懊恼，突然，他发现0也来了。
3、而0也没带够钱，正站在门前叹气。这时3也摇摇晃晃的来到了剧院前，他同样也面临没钱的烦恼。怎么办，他们凑在一起商量对策，突然小数点灵机一动，大喊一声：“有了！”他让3站在前边，自己在中间，0跟在后边，形成了3.0，而他们把所有的钱掏出来买了一张票。
4、他们三个大摇大摆地走到了剧院门口。检票员“x”大声地说：“请出示一下门票！”小数点递上了一张票，“x”纠正说：“对不起，请出示三张票。”小数点连忙分辩道：“根据小数的性质，一个数加上小数点后，后面就可以有无数个0，所以，我们是一个数，只需要付一张票！”“x”号哑口无言，只好放他们进去了。
