运算符号并不是随着运算的产生而立即出现的。如中国至少在商代（约三千年前），已经有加法、减法运算，但同其他几个文明古国如埃及、希腊和印度一样，都没有加法符号，把两个数字写在一起就表示相加。在今天的带分数写法中仍可以看到这种遗迹。到公元三世纪，希腊出现了减号“↑”，但仍没有加法符号。公元六世纪，印度出现了用单词的缩写作运算符号。其中减法是在减数上画一点表示。

 后来欧洲人承袭印度的做法。例如用拉丁字母的P（Plus的第一个字母，意思是相加）表示加，用M（Minus的第一个字母，意思是相减）表示减。

 “＋”、“－”出现于中世纪。据说，当时酒商在售出酒后，曾用横线标出酒桶里的存酒，而当桶里的酒又增加时，便用竖线条把原来画的横线划掉。于是就出现用以表示减少的“－”和用来表示增加的“＋”。

 1489年，德国数学家魏德曼（Widman，1460—？）在他的著作中首先使用“＋”、“－”表示剩余和不足，1514年荷兰数学家赫克（Hoecke）把它用作代数运算符号。后来又经过法国数学家韦达（Vieta，1540—1603）的宣传和提倡，才开始普及，直到1630年，才得到大家的公认。