Conçu à l'origine comme intercepteur embarqué, uniquement armé de missiles, ses débuts furent si prometteurs que l'USAF l'adopta à son tour comme chasseur tactique et fut suivie rapidement par un nombre impressionnant d'armées de l'Air de par le monde, ce qui explique que certains exemplaires soient toujours en service de nos jours. L'US Navy et l'USMC, à l'origine du projet, utilisèrent l'appareil dans quatre de ses versions principales (F-4B, J, N et S) auxquelles s'ajoutent les variantes spécialisées dans la reconnaissance aérienne (RF-4).
La genèse du Phantom II remonte à l'été 1953, lorsque McDonnell, sur sa propre initiative, chargea l'une de ses équipes d'ingénieurs, dirigée par Herman D. Barkley, de moderniser l'une de ses précédentes réalisations, le F3H Demon, un monoplace monoréacteur apprécié de ses pilotes pour ses qualités de vol mais peu performant et disposant d'une autonomie trop limitée. Le 3 juillet 1959, le F4H-1 fut officiellement baptisé Phantom II, ce nom étant donné en hommage au McDonnel FH-1, qui avait été le premier avion à réaction américain prévu dès sa conception, en 1943, pour être embarqué.
