L'any 1948 John Williams i la seva família s'instalaren a Los Angeles, on ingressà a la Universitat de Califòrnia Los Angeles. A més estudià composició amb Mario Castelnuovo-Tedesco que també va ser mestre d'un altre gran compositor de bandes sonores, Jerry Goldsmith.

Després del seu servei militar a les Forces Aèries, tornà a Nova York i ingressà a la famosa Julliard School, una de les més prestigioses escoles de musica dels Estats Units, amb alumnes tan famosos com Philip Glass i Itzhak Perlman, on rebé classes de piano de Rosina Lhevinne. A Nova York treballà com a pianista de jazz.

L'any 1956 ingressava a la Twentieth Century Fox com a pianista en la seva orquestra d'estudi, tocant sota la direcció de Jerry Goldsmith i Elmer Bernstein entre d'altres. En aquest període, comença la seva primera experiència com a compositor per a populars espectacles de TV durant els anys 1960, incloent-hi Gilligan's Island, Wagon Train, i especialment Lost in Space i Land of the Giants per al productor Irwin Allen.

El seu primer èxit a la gran pantalla arribava el 1967, quan era nominat a l'Oscar per la seva banda sonora per al drama de Mark Robson Valley of the Dolls. Des d'aquell moment, la carrera de Williams s'anà consolidant pel·lícula rere pel·lícula, catapultant-lo a la part superior de la jerarquia de la música de cinema, una posició des de la qual s'ha aguantat des de mitjans de la dècada del 1970.

Els seus temes s'han introduït veritablement en el coneixement del públic d'una manera que pocs altres compositors han aconseguit. Ha atret talents clàssics com Itzhak Perlman, Yo-Yo Ma, Mark O'Connor i Christopher Parkening per a treballar amb ell en les seves bandes sonores, i fins i tot ha trobat temps per escriure peces clàssiques, música de concert per als Jocs Olímpics, i dirigeix orquestres a tot el món.