Los orígenes de la aritmética se pueden rastrear hasta los comienzos de la matemática misma, y de la ciencia en general. Los registros más antiguos datan de la Edad de Piedra: huesos, palos, piedras talladas y escarbadas con muescas, presumiblemente con fines de conteo, de representación numérica y calendarios.
Edad antigua
Hay evidencias de que los babilonios tenían sólidos conocimientos de casi todos los aspectos de la aritmética elemental hacia 1800 a. C., gracias a transcripciones de caracteres cuneiformes sobre tablillas de barro cocido, referidas a problemas de geometría y astronomía. Solo se puede especular sobre los métodos utilizados para generar los resultados aritméticos - tal y como se muestra, por ejemplo, en la tablilla de arcilla Plimpton 322, que parece ser una lista de ternas pitagóricas, pero sin mostrar cómo se generó la lista.
Los antiguos textos Shulba-sutras (datados ca. 800 a.C y 200 a.C) recopilan los conocimientos matemáticos de la India durante el período védico; constan de datos geométricos relacionados con la construcción de altares de fuego, e incluyen el problema de la cuadratura del círculo.
Otras civilizaciones mesopotámicas, como sirios y fenicios, alcanzaron grados de desarrollo matemático similar que utilizaron tanto para el comercio como para la resolución de ecuaciones algebraicas.
El sistema de numeración egipcio, basado en fracciones unitarias, permitía efectuar cuentas aritméticas avanzadas, como se muestra en papiros conservados como el Papiro de Moscú o el Papiro de Ahmes (que data de ca. 1650 a. C., aunque es una copia de un antiguo texto de ca. 1850 a. C.) que muestra sumas, restas, multiplicaciones y divisiones, utilizando un sistema de fracciones, así como los problemas de determinar el volumen de una esfera, o el volumen de una pírámide truncada. El papiro de Ahmes es el primer texto egipcio que menciona los 365 días del calendario egipcio, es el primer calendario solar conocido.
Aritmética formal en la Antigua Grecia
La aritmética en la Grecia Antigua era considerada como el estudio de las propiedades de los números, y no incluía cálculos prácticos, los métodos operatorios eran considerados una ciencia aparte. Esta particularidad fue heredada a los europeos durante la Edad Media, y no fue hasta el Renacimiento que la teoría de números y los métodos de cálculo comenzaron a considerarse «aritméticos».
La matemática griega hace una aguda diferencia entre el concepto de número y el de magnitud o conmensurabilidad. Para los antiguos griegos, número significaba lo que hoy se conoce por número natural, además de diferenciar entre «número» y «magnitud geométrica». Los libros 7–9 de Los elementos de Euclides tratan de la aritmética exclusivamente en este sentido.
Nicómaco de Gerasa (ca. 60 - 120 d. C.), en su Introducción a la Aritmética, resume la filosofía de Pitágoras y de Platón enfocada a los números y sus relaciones fundamentales. Nicómaco hace por primera vez la diferencia explícita entre Música, Astronomía, Geometría y Aritmética, y le da a esta última un sentido más «moderno», es decir, referido a los números enteros y sus propiedades fundamentales. El quadrivium (lat. "cuatro caminos"), agrupaba estas cuatro disciplinas científicas relacionadas con la matemática proveniente de la escuela pitagórica.
Diofanto de Alejandría (siglo III d.C), es el autor de Arithmetica, una serie de libros sobre ecuaciones algebraicas en donde por primera vez se reconoce a las fracciones como números, y se utilizan símbolos y variables como parte de la notación matemática; redescubierto por Pierre de Fermat en el siglo XVII, las hoy llamadas ecuaciones diofánticas condujeron a un gran avance en la teoría de números.
Edad Media y Renacimiento europeo
El mayor progreso matemático de los griegos se dio entre los años 300 a.C y el 200 d.C. Después de esto los avances continuaron en regiones islámicas. La matemática floreció en particular en Irán, Siria e India. Si bien los descubrimientos no fueron tan sustanciales como los llevados a cabo por la ciencia griega, sí contribuyeron en gran medida a preservar sus obras originales. A partir del siglo XI, Adelardo de Bath y más adelante Fibonacci, introducen nuevamente en Europa esta matemática islámica y sus traducciones del griego.
De las siete artes liberales en que se organizaban los estudios formales en la Antigüedad y la Edad Media, la aritmética era parte de las enseñanzas escolásticas y universitarias. En 1202, Fibonacci, en su tratado Liber Abaci, introduce el sistema de numeración decimal con números arábigos. Las operaciones aritméticas, aún las más básicas, realizadas hasta entonces con numerales romanos resultaban muy complicadas; la importancia práctica en contabilidad hizo que las nuevas técnicas aritméticas se popularizaran enseguida en Europa. Fibonacci llegó a escribir que «comparado con este nuevo método, todos los demás habían sido erróneos».
Civilizaciones precolombinas
Al igual que otras civilizaciones mesoamericanas, los mayas utilizaban un sistema de numeración de base vigesimal (base aritmética 20) para medir el tiempo y participar del comercio a larga distancia. Los mayas preclásicos desarrollaron independientemente el concepto del cero alrededor del año 36 a. C. Aunque poseían sistema de numeración, la ciencia maya y azteca estaba más enfocada en predecir el paso del tiempo, elaborar calendarios y pronosticar eventos astronómicos. Las culturas andinas, que no poseían sistema de escritura, sí parecen haber desarrollado más el cálculo aritmético. Algunas inscripciones fijan con gran precisión el año solar real en 365 días. Fueron las primeras civilizaciones en inventar el cero, aunque con algunas peculiaridades que le privaron de posibilidad operatoria.
Los incas se destacaron principalmente por su capacidad de cálculo para fines económicos y comerciales. Los quipus y yupanas fueron señal de la importancia que tuvo la administración incaica. Esto dotó a los incas de una aritmética sencilla pero efectiva para fines contables; basada en un sistema decimal, conocieron el cero y dominaron la suma, la resta, la multiplicación y la división.