Fue fundado el 15 de agosto de 1904 por un grupo de jóvenes del barrio de Villa Crespo. Estos muchachos formaban parte del equipo Mártires de Chicago. Era habitual que este conjunto dispute encuentros con otros de la zona en la cancha ubicada en Gaona y Añasco. El 14 de agosto de ese mismo año jugaron uno ante Sol de la Victoria y ganaron 3 a 1. Al día siguiente de ese triunfo convocan a los vecinos y se funda la institución con el nombre Asociación Atlética y Futbolística Argentinos Unidos de Villa Crespo y eligieron como primer presidente a Leandro Ravera Bianchi.
A los pocos días encargan el sello que utilizará el nuevo club pero el mismo fabricante sugiere acortarlo para que su confección sea más sencilla. Debido a esto se decide que el nombre sea el actual, Asociación Atlética Argentinos Juniors. La afiliación a la Asociación de Fútbol fue difícil ya que las primeras dos veces que se intentó ingresar no lo dejaron. Por eso, los dirigentes optaron por comenzar a disputar la Liga Central, en la cual debutan en 1905 y pierden por 12 a 1 el primer encuentro ante La Prensa.
En 1906, la cancha de Gaona y Añasco deja de existir. Por ello deciden mudarse a un terreno de Villa Ballester donde juegan durante todo ese año. Al no adaptarse en el nuevo lugar deciden volver en 1907 al barrio de origen, esta vez a Luis Viale y Parral donde juegan hasta 1909, año que logran definitivamente la afiliación a la Asociación. En 1912 pasa a formar parte de la Federación de Fútbol, jugando en la categoría intermedia. Por esos años otra vez se muda de lugar, esta vez a Estomba y Fraga.
En 1920 estuvo muy cerca de ascender por primera vez pero finalmente no lo pudo conseguir al caer ante El Porvenir en la final después de igualar 1 a 1 y perder 2 a 1. En 1921 logra el tan ansiado ascenso a la máxima categoría y uno de los primeros encuentros importantes que gana es nada menos que ante Boca, por 3 a 1. En 1925 pasa a jugar en la cancha ubicada en Avenida San Martín y Punta Arenas, en un terreno alquilado al Ferrocarril del Pacífico la cual es inaugurada en un encuentro amistoso ante Huracán y lo vence por 4 a 3.
En 1931 forma parte del primer campeonato profesional del país pero, por los pocos recursos con los que contaba, solicita ayuda a la liga. En 1934 se decide unificar en lo futbolístico con Atlanta pero esta unión no iba a terminar el campeonato ya que el equipo de Villa Crespo fue suspendido por irregularidades administrativas. En 1939 sufre su primer descenso que lo lleva a la Primera B.
El inicio en el ascenso, en 1940, lo encuentra jugando en otro estadio, el de Boyacá y Médanos el cual fue inaugurado con victoria de 2 a 1 ante Barracas Central. La campaña fue muy buena y se consigue el campeonato pero la Asociación de Fútbol Argentino le niega el ascenso por argumentar que no contaba con un estadio en condiciones para jugar en la máxima categoría. Al año siguiente el mismo equipo que había conseguido el campeonato anterior se salva de descender en la última jornada. Finalmente en 1955, luego de otra gran campaña, Argentinos se consagra sub campeón y logra retornar a Primera División. Los años siguientes sirvieron para afirmarse en el plano futbolístico e institucional ya que el club iba sumando muchos hinchas. En 1967 luchó por no descender hasta la última jornada del reclasificatorio.
Los '70 fueron una de las décadas más importantes a nivel institucional en su historia. Al inicio de ese período surge del semillero infantil un equipo al que denominaron "cebollitas" y fue sensación de la época ya que los medios lo marcaban y elogiaban por el juego vistoso y contundente que mostraba. Uno de los componentes de aquel equipo juvenil fue Diego Maradona, quien debutó en la primera división profesional antes de cumplir los 16 años, el 26 de octubre de 1976. Con el correr del tiempo, Maradona se convirtió en el mejor jugador en la historia del fútbol que será orgullo por siempre para la institución. En 1980, gracias al excelente desempeño de Diego, el equipo realiza hasta entonces la mejor campaña desde su nacimiento que lo consagra sub campeón del Metropolitano. Al año siguiente Maradona se va a Boca y el equipo decae notablemente. Ese año debe desempatar por el descenso ante San Lorenzo. El encuentro lo gana por 1 a 0 y produce el primer descenso de la historia de un equipo grande.
Promediando los '80, Argentinos logra lo más importante de su historia a nivel futbolístico tanto nacional como internacional. En 1984 se consagra campeón del Metropolitano y en 1985 obtiene el Torneo Nacional. Ese mismo año se muestra al mundo al ganar la Copa Libertadores venciendo en la final a América de Cali. Este logro le dio la posibilidad de ir a Japón para jugar la Copa Intercontinental. El rival fue Juventus y ambos disputaron un recordado encuentro que finalmente terminó ganando el equipo italiano en definición por penales. En 1986 se cierra una etapa recordada por siempre al conseguir la Copa Interamericana tras vencer por 1 a 0 al Defense Force de Trinidad y Tobago.
Luego, comenzaría la debacle tanto en lo futbolístico como en lo institucional. El resultado de las cosas mal hechas se vio reflejado en la Temporada 1995/1996 donde, después de 41 años ininterrumpidos en la máxima categoría, desciende a la B Nacional. La temporada siguiente en el ascenso fue muy difícil aunque se logra el retorno a Primera en un solo año luego de vencer en la final a Gimnasia y Tiro de Salta por 1 a 0. Los años siguientes en la A no fueron buenos ya que tuvo como objetivos en todos ellos la permanencia de la categoría. Finalmente en la temporada 2000/2001 nuevamente se pierde la categoría para pasar otra vez al Nacional. Fueron años de protagonismo en el ascenso donde estuvo a punto de regresar en varias oportunidades. Pero lo logró recién en la 2003/2004 luego de ganarle a Talleres de Córdoba una de las promociones.
El 26 de diciembre de 2003 se vivió otro de los hechos salientes de los últimos tiempos, la reinauguración de su estadio, al que bautizaron Diego Armando maradona, luego de andar deambulando por diferentes estadios para actuar como local durante muchos años.
Luego de mucha lucha por coservar su lugar en Primera, en la Temporada 2007/2008 logró afirmarse muy bien, haciendo una gran campaña, que le posibilitó volver al plano internacional tras conseguir la clasificación a la Copa Sudamericana 2008