El Arsenal fue originalmente llamado Dial Square. Más tarde el club cambió su nombre a Woolwich Arsenal y luego a Royal Arsenal, pero después volvió a la denominación de Woolwich Arsenal (los fundadores eran empleados en el área “Dial Square” de Woolwich Arsenal, una fábrica de armamentos en Woolwich, al sur de Londres). En 1893 fue el primer equipo del sur de Londres en ser admitido en la Football League (Liga de Fútbol). Desde 1893 a 1904, el Woolwich Arsenal jugó en la Segunda División de la Football League, hasta lograr el ascenso a la Primera División en 1904.

El Woolwich Arsenal descendió en 1913, el mismo año que se mudó desde su hogar del sur de Londres al Arsenal Stadium (usualmente conocido como Highbury), en el norte de Londres. Su mudanza de ese lugar precipitó que el Charlton Athletic se profesionalizara. Con la mudanza vino el cambio de nombre a “The Arsenal”. El club retornó a la Primera, entonces, un hecho único en Inglaterra.

En 1925 el entrenador de Huddersfield Town, Herbert Chapman, llegó a The Arsenal. Bajo su liderazgo, la estación del metro local Gillespie Road pasó a llamarse Arsenal. El Arsenal de Chapman ganó la Copa FA en 1930 y la liga en 1931 y 1933; fue además, el equipo dominante de Inglaterra en los años 30. También durante la era de Chapman el club pasó a llamarse solamente Arsenal, eliminando el artículo “The”. Algunos han especulado diciendo que Chapman instigó a quitar el artículo para que el equipo estuviese al comienzo de la lista alfabética de la liga, una posición que mantiene hasta hoy.

Chapman murió repentinamente en enero de 1934, pero su legado fue continuado por su sucesor, George Allison, que ganó el tercer título de liga para Arsenal, junto con la Copa FA de 1936.

Tal era la supremacía del Arsenal que en noviembre de 1934, siete jugadores del Arsenal fueron titulares en la victoria de Inglaterra por 3-2 a Italia, en ese entonces campeón del mundo.

En la pausa por guerra en 1939 el Arsenal Stadium fue utilizado como una estación de la Air Raid Precautions, organización para proteger a los civiles del peligro de las bombas estratégicas. El estadio continuó operando como cancha de fútbol para las fuerzas armadas, usualmente con dos o tres partidos cada día.

Durante los bombardeos, una bomba cayó en la tribuna norte, destruyendo la azotea de esa parte. El Arsenal jugó sus partidos de local en el estadio White Hart Lane, cortesía de sus archirivales Tottenham Hotspur. Después de la guerra, la directiva del Arsenal regaló un cañón a los directivos del Tottenham, como muestra de agradecimiento por la ayuda prestada.

La guerra significó un corte para las carreras de muchos jugadores estrellas del club, y en la reanudación de la liga en 1946-47, el club finalizó en un lamentable decimotercer lugar. Allison fue reemplazado por Tom Whittaker, que disfrutó de éxito inmediato, ganando la liga en 1948 y 1953, además de la Copa FA de 1950. Sin embargo, después de esos títulos, el club vivió un período de sequía, sin ganar un título en 17 años.

La leyenda inglesa Billy Wright dirigió el club entre 1962 y 1966 con mediano éxito, pero fue sucedido por el fisioterapeuta Bertie Mee, que lideraría el club en su éxito de comienzos de los 70.

La llegada de Mee significó para el Arsenal un período de gloria. El joven equipo que había ganado la Copa Juvenil FA en 1966, y jugadores como Charlie George, John Radford y Ray Kennedy subieron al primer equipo. Este equipo alcanzó dos finales consecutivas de la Copa de la Liga a finales de los 60, aunque la segunda fue una derrota infame por 3-1 ante el equipo de la Tercera División Swindon Town.

El Arsenal finalmente logró un poco de éxito en 1970, al ganar su primer trofeo europeo, la Copa de Ferias. Después de derrotar al Ajax (uno de los equipos más fuertes del mundo en ese entonces) en Ámsterdam en las semifinales, Arsenal ganó por un 4-3 final en el global sobre el Anderlecht de Bélgica, después de haber perdido 3-0 en el partido de ida.

Lo más destacable en este período fue el primer “doblete” del club, ganando la liga y la Copa FA en 1970-71. Aquel título de liga fue ganado en White Hart Lane ante el Tottenham Hotspur en la última fecha de la liga; cinco días más tarde el Arsenal derrotaba por 2-1 al Liverpool en Wembley, después de la prórroga, ganando con un gol de Charlie George.

El Arsenal falló en capitalizar su éxito y pasó la mayoría de los años de mediados de los 70 en la oscuridad de la mitad de la tabla e incluso quedando en último lugar de la liga en la temporada 72, brillando sólo con la aparición de la superestrella irlandesa Liam Brady. Sin embargo, hacia el final de la década, bajo la dirección de Terry Neil, el Arsenal probó su competencia en la Copa FA. Entre 1978 y 1980 el Arsenal alcanzó tres finales de Copa FA consecutivas. Ganó una, batiendo al Manchester United por 3-2 en la final de 1979 después de ir perdiendo por 2-0. Alan Sunderland anotó el tercer gol para lograr una victoria hasta hoy recordada.

El Arsenal perdió la siguiente final de la Copa FA frente al West Ham United, y la final de la Recopa de Europa resuelta por penaltis frente al Valencia. Después del partido de Liam Brady contra la Juventus, el equipo inició otro período estéril para la primera mitad de los años 80.

Al final de la temporada 1985-86 el entrenador de Milwall, George Graham, fue contratado por el Arsenal como nuevo técnico, lo que significaría el inicio de una era de oro en Highbury. Él llevó al club a la victoria sobre el Liverpool en la final de la Copa de la Liga durante su primera temporada en el cargo, y al final de su tercera temporada (1988-89) el club ganó su primer título de liga desde 1971 en un dramática final. Necesitando dos goles para asegurar el campeonato contra el Liverpool, un gol con el tiempo cumplido del mediocampista Michael Thomas (quien, irónicamente más tarde jugaría en el Liverpool) daba al Arsenal una victoria por 2-0 que significaba el título.

Otro título de liga vino en 1991 con el Arsenal perdiendo sólo uno de sus 38 partidos de liga, aunque tuvo una sanción donde perdió 2 puntos en octubre de 1990 después que diez de sus jugadores se vieran envueltos en una pelea contra jugadores del Manchester United en un partido en Old Trafford.

A comienzos de los 90, el Arsenal tenía probablemente la mejor plantilla de la liga inglesa. El arquero David Seaman, el defensa y capitán Tony Adams, el mediocampista Paul Merson y el delantero Alan Smith, fueron capaces de competir con cualquiera de los mejores jugadores de Inglaterra y Europa. El fichaje por 2,5 millones de libras del delantero del Crystal Palace, Ian Wright en octubre del 91, mejoró aún más el equipo. El Arsenal completó un “doblete” de Copa FA y Copa de la Liga en 1993 (derrotando al Sheffield Wednesday por 2-1 en ambas finales) aunque finalizó décimo en la primera edición de la Premier League (nueva denominación de la Primera División) y marcó apenas 40 goles, siendo el equipo menos goleador de la temporada.

1994 vio al club ganar su segundo trofeo europeo, al derrotar por 1-0 a Parma en la final de la Recopa con un gol de Alan Smith. Pero en el mes de febrero, George Graham fue despedido después de nueve años en el cargo después de que se descubriera que había aceptado un pago ilegal de 425.000 libras del agente sueco Rune Hauge en la adquisición del mediocampista danés John Jensen. Su asistente Stewart Houston tomó el cargo hasta el fin de la temporada, y aunque el Arsenal finalizó duodécimo en la liga, alcanzó la final de la Recopa otra vez (perdiendo 2-1 con un gol de último minuto ante el Zaragoza).

Bruce Rioch, que había guiado al Bolton Wanderers a la final de la Copa de la Liga y al retorno a la división de honor después de 15 años de ausencia, fue contratado como nuevo técnico en la temporada 1995-96. Con él se superó el record de pago por una transferencia en Inglaterra, al pagar 7,5 millones de libras por el delantero neerlandés Dennis Bergkamp del Inter de Milán. Este delantero haría una impresionante dupla con Ian Wright.

El Arsenal alcanzó la semifinal de la Copa de la Liga y finalizó quinto en la Premier League en 1995-96, asegurando un lugar en la siguiente edición de la Copa de la UEFA y alimentando la ilusión de un eventual título en aquella competición. Pero en agosto de 1996, justo antes de empezar la nueva temporada, Brioch fue despedido por la directiva del club después de una disputa sobre fondos.

Su asistente Stewart Houston fue una vez más puesto temporalmente en el cargo por un mes antes que firmara contrato con el Queens Park Rangers. El entrenador del equipo juvenil Pat Rice se hizo cargo del equipo por varios partidos, hasta que se oficializó la contratación del entrenador francés de 44 años Arsène Wenger, que había llevado al AS Monaco a ganar la liga francesa en 1998.

Con la llegada de Wenger, el Arsenal reconstruyó el plantel con varios jugadores franceses desconocidos para todos, excepto para este nuevo técnico. Ellos eran Nicolas Anelka, Emmanuel Petit y Patrick Vieira, así como el volante neerlandés Marc Overmars. Wenger retuvo algunos de los antiguos jugadores como Tony Adams, Lee Dixon, Martin Keown y Steve Bould. Mantuvo también a Pat Rice como su asistente.

El equipo inmediatamente mejoró bajo la tutela de Wenger, finalizando tercero y asegurando un lugar en la Copa de la UEFA en 1996-97.

Wenger ganó su primer título la siguiente temporada, siendo el primer extranjero en lograrlo. Pero no sólo ganó la liga, porque logró ganar la Copa FA al derrotar por 2-0 al Newcastle United en la final. Este fue un “doblete” más para el palmarés del Arsenal.

A pesar de la llegada de Fredrik Ljunberg en 1998 y Thierry Henry un año más tarde, un nuevo período de derrotas llegaría en los años siguientes. En la temporada 1998-99 el Arsenal perdió el título de liga en la última fecha, después de haber liderado casi todo el campeonato y perdió en semifinales de la Copa FA ante el Manchester United en la prórroga después de que Dennis Bergkamp fallara un penalti en el tiempo reglamentario. También perdió la final de la Copa de la UEFA del año 2000 en los penaltis ante el Galatasaray de Turquía después de un empate sin goles, y cayó en la final de la Copa FA ante el Liverpool por 2-1 con dos goles de Michael Owen después de haber ido ganando gran parte del partido por 1-0.

El Arsenal se recuperó en la temporada 2001-02, al ganar un nuevo doblete. Finalizó con 7 puntos de ventaja sobre el Liverpool y el título se aseguró en el penúltimo partido de la temporada con un 1-0 sobre el Manchester United en Old Trafford. La semana anterior, el Arsenal había ganado la final de la Copa FA al derrotar por 2-0 al Chelsea. El equipo anotó goles en todos los partidos de la liga (38), y no perdió ninguno de sus 19 partidos como visitante.

El Arsenal de Wenger retuvo el título de Copa FA en 2002-03, pero su éxito se vio minimizado por haber perdido el título de la Premier League en beneficio del Manchester United después de haber tenido ocho puntos de ventaja sobre aquel equipo. La pérdida del título se concretó en el penúltimo partido de la liga, al perder por 3-2 ante el Leeds United en Highbury, con un agónico gol del australiano Mark Viduka.
El capitán del Arsenal, Patrick Vieira, alza el trofeo de la FA Premier League 2003-2004.

La temporada 2003-04 Arsenal rompió un record, al ser el primer equipo en ganar la liga invicto (26 victorias, 12 empates, 0 derrotas) desde el título que había conseguido el Preston North End en 1889. Sus rivales por el título se vengaron en otras competiciones, ya que el Chelsea los eliminó en la Liga de Campeones de la UEFA y al Manchester United en la Copa FA. Su racha de imbatibilidad se rompió en Old Trafford contra el Manchester con un resultado final de dos a cero. El penalti señalado a favor de los red devils creó una gran polémica en Inglaterra y contribuyó a aumentar la rivalidad entre estos dos equipos. El Arsenal consiguió el récord de la Premier League con 49 partidos sin perder.

Una de las deudas del equipo de Wenger con su público eran las actuaciones en la UEFA Champions League, competición en la que sólo había logrado llegar a cuartos de final. En la edición 2005-2006, el equipo londinense clasificó, luego de vencer a Real Madrid (1-0), Juventus (2-0) y Villarreal CF (1-0), a la final contra el Barcelona, que se jugó el 17 de mayo de 2006 en París, pero que finalmente perdió por 2-1. Thierry Henry era uno de los baluartes de este equipo y fue el único en ganar el título de mejor jugador de la Premier League por tres años consecutivos. Gran parte de los jugadores estrella del equipo se han mantenido fieles al club y a su entrenador, rechazando millonarias ofertas de equipos como el Real Madrid y el Manchester United.

Gracias a su éxito, Arsène Wenger ahora es considerado por algunos como el mejor entrenador del Arsenal en todos los tiempos, mientras otros entusiastas lo ponen a la par con Herbert Chapman, Bertie Mee y George Graham.