約翰·克里斯托弗·威廉斯(Williams, John Chirstopher)于1941年4月24日生于澳大利亞的墨爾本。他的父親雷奧納德·威廉斯于20世紀30年代后期由澳大利亞移民至倫敦。在倫敦，出于對政治活動和爵士音樂的共同愛好，雷奧納德結識了他的妻子瑪朗。雷尼(雷奧納德的昵稱)當時是個受人尊敬的爵士吉他手，但是他的興趣慢慢地轉向了古典曲目。當小約翰四歲的時候，他就從父親那里得到了他的第一把吉他，雖然約翰堅持說正規的教育是直到兩三年后才開始的。由于雷尼剛剛萌發對古典技巧的熱愛，他不許約翰涉足形式更加自由的演奏風格，對這一點，大師在后來經常耿耿于怀。

1952年，全家遷回英國后，雷尼想建立一所吉他學校(他极其成功地建立了至今仍在運作的倫敦吉他中心)。他還有個不為人知的想法，那就是在認識到幼子的天賦后，他希望儿子跟隨最好的老師進行學習。這在澳大利亞是不可能的，所以通過特瑞·阿舍爾的友誼，他們在一次倫敦之行中遇到了安德列斯·塞戈維亞。“現代吉他的創始人”對這個11歲的孩子留下了深刻的印象，并安排他到意大利西納的基甲納音樂學院參加自己的暑期課程。直到1959年，這位年輕的天才每年都往返于倫敦与意大利之間。

1955年，在同學們的要求下，約翰·威廉斯獲得了一項前所未有的殊榮，他舉辦了器樂專業學生第一場完全的個人獨奏音樂會，這也是他的首次成功。

不在西納的時候，他于1956年到1959年間就讀于倫敦皇家音樂學院，學習鋼琴和音樂理論。他當時并沒有學習吉他，原因是當時的皇家音樂學院与絕大多數其他音樂學校或學院一樣，并沒有設立吉他課程！然而就在他畢業后不久，他便受邀主持新成立的吉他系。顯而易見，皇家音樂學院正在為那些試圖与近期畢業的校友一爭高下的音樂家們閃亮登場而未雨綢繆。他直到1973年才离任，并在后來的多年之中一直与學院保持聯系，還時不時地再度造訪。另外他作為皇家北方音樂學院的名譽研究員，也与該學院維持類似的關系。

史蒂芬·道奇森是皇家音樂學院的和聲學講師，他作為編曲者和導師，總是与以前的學生長年維持音樂方面的交流切磋。他于1971年受威廉斯委托創作的第二吉他協奏曲，就是專門題獻給這位吉他演奏家的。

威廉斯于1958年11月6日在威格默爾音樂廳進行了他的首次職業性演出。那時距他18歲生日以及正規音樂教育的結束還有5個月的時間。

但即便在那時，他就已經聲名鵲起，當時的音樂會節目單上便引有今天盡人皆知的塞戈維亞大師的話語：“一位吉他王子已經降臨到音樂世界，上帝對他真是恩寵有加，不久他的名字就會在英倫和海外成為人們議論的話題，為人類帶來巨大的精神財富。時值他的第一次公開演出，我為這位年輕的藝術家喝彩，并由衷地祝愿成功將象他自己的影子一樣伴隨著他的旅程。”

《倫敦時報》則這樣評論他的演出：“……他的技巧已經爐火純青；這在一首取材于巴赫大提琴組曲(第三號，由J.W. Duarte改編)三個樂章的改編曲中尤為明顯，每個細節都絲絲入扣，應付裕如，樂句的呼吸和音色的對比更是和諧悅耳和獨具匠心。在衛斯著名的《a小調組曲》中，緊張使得一些音符過分突兀，在本該流暢的旋律線中顯得有些意外。毫無疑問，在索爾的《莫扎特魔笛主題与變奏》中他頻繁使用了不合時宜的自由節奏，不可避免地体現了他在藝術上的不成熟。在托羅巴的一首充滿浪漫色彩的小奏鳴曲中，他又顯得有些拘束，尤其是在音色變化方面，未能讓想象的翅膀縱情馳騁。但他仍然是個成就菲然、態度嚴謹的年輕藝術家，我們滿怀興趣關注他未來的發展。”

在某些圈子里，關于他“直線式技巧”的批評，及其某些時候“毫無精神”的演奏風格的評論，一直延續至今。

他首次演出的曲目收錄在他當時錄制并于1959年發行的最初兩張唱片專輯中。他与著名的Ibbs & Tillett Agency簽約，該机构后來成為哈洛德·霍特組織的一部分，而哈洛德·霍特組織現在已經成為阿斯科納斯·霍特，威廉斯一直与之進行合作。

接下來的巴黎首演(1959年)和馬德里首演(1961年)也取得了巨大的成功。1962年，他獲得了作為一位西方音樂家罕能獲得的在蘇聯進行巡回演出的特權。不管他在哪里演出，迎接他的都是一片贊譽。

他返回英國后的首次演出仍然設于威格默爾音樂廳，這次音樂會被譽為是一場盛事。時報評論道：“自從我們听過威廉斯先生上次在這個舞台上演出之后，他再次登場時給人們的第一印象和最深印象便是他對其技巧的強化程度。現在他的運指已經靈活自如，顯得游刃有余。他的一首巴赫組曲和兩首史卡拉蒂的奏鳴曲中表現出的均衡感，絕對令人贊歎。……在結束部分的維拉-羅伯斯、圖里納、龐塞、和格拉那多斯的一組浪漫主義作品亦得到了認同和關注，但是他對這些后期音樂的演繹仍是略顯蒼白的黑白方式，而未能盡情展現音樂中充斥的靈活多變与极富表現力的多种音色。”

再度發行了兩張成功的唱片之后，威廉斯迎來了1963年的日本首演。后來CBS(現在的Sony Classical)与他簽訂了錄音合同。他在CBS第一張唱片的標題《CBS推介約翰·威廉斯》可謂毫無想像力，這張唱片發行于1964年，同年12月6日恰逢他定于紐約的美國首演。從那時起，威廉斯就為CBS公司每年至少發行一張新唱片；另外，其他的唱片公司也發行過他的古典成分較少的曲目，他還通過RCA公司与朱里安·布里姆進行過合作。一直到20世紀70年代中期，几乎所有的錄音制作都是在CBS公司制作人保羅·麥爾斯嚴謹的監督下于紐約完成的。

1964年他首次結婚，但這次婚姻于1969年不幸地結束。他的女儿凱蒂生于1965年，現在是個爵士鋼琴手。