Fue fundado el 1º de octubre de 1901 en el barrio de Villa Luro con el nombre Club Argentinos de Vélez Sarsfield debido a que el potrero donde jugaban estaba lindante a la estación de ferrocarril Vélez Sarsfield, actualmente llamada Floresta. El 23 de octubre de 1913 se le sacó la palabra argentino del nombre.
La primera camiseta fue blanca ya que era la mas económica para comprar pero en 1914 se reemplazó con una roja, verde y blanca a rayas verticales en alusión a la bandera italiana. Una vez iniciada la primera guerra mundial, estas camisetas que eran importadas desde la misma Italia dejaron de llegar y adoptó la actual, blanca con una V azul las cuales inicialmente eran las del equipo de rugby.
En 1923 asume a la presidencia José Amalfitani, quien sería fundamental en el crecimiento de la institución. En su gobierno, el club alquiló unos terrenos en Villa Luro donde construyó su primer estadio y marcó precedentes ya que en el mismo se disputó el primer partido nocturno en el fútbol argentino, en 1928 entre la selección olímpica y la selección nacional.
En 1931 es uno de los equipos que participa en el primer campeonato profesional del país. En 1932 recibe el apodo de “el fortín” ya que se hacía muy difícil vencerlo en su reducto. En 1935, y otra vez en su estadio, jugó el primer encuentro nocturno en el profesionalismo.
En 1940 se produjo su único descenso a la segunda categoría lo que trajo aparejada una crisis institucional posterior que incluyó la pérdida del estadio.
En 1943 retorna nuevamente a la división mayor aunque luego no haría buenos torneos. Recién en la década del 50 vuelve a los primeros planos ya que en 1951 estrenó su nuevo estadio y en 1953 logró su primer subcampeonato. En 1968 obtuvo su primer torneo, el Campeonato de 1968, luego de ganar un triangular en los que tuvo que enfrentar a River y Racing ya que los tres equipos habían finalizado en la primera posición con 22 puntos.
Luego de dos décadas con buenos y malos torneos, llegaron los años 90 en donde realizó las mejores campañas de su historia. Y mucho tuvo que ver Carlos Bianchi como entrenador, quien también es el máximo goleador de la historial del club.
En 1993 obtiene el Torneo Clausura y eso le da derecho a disputar la Copa Libertadores de 1994 la cual obtiene tras vencer en una dramática definición por penales en el mismísimo Morumbí a San Pablo. A finales de ese mismo año viajó a Tokio para disputar la Copa Intercontinental frente al Milan de Italia y se consagra campeón del mundo luego de derrotarlo por 2 a 0.
En 1995 obtiene el Torneo Apertura y repite en el Clausura 1996 logrando así el primer bicampeonato de su historia. Luego obtiene tres torneos internacionales mas: la Copa Interamericana, la Supercopa 1996(de forma invicta) y la Recopa Sudamericana en 1997.
En 1998 logra su quinto título, el Clausura, ya con Marcelo Bielsa como entrenador, quien luego sería el entrenador de la Selección Nacional.
Luego de algunos altibajos en 2005 obtiene su último campeonato, el Apertura, bajo la conducción técnica de Miguel Angel Russo