На 14-летие родители подарили Джеймсу первую электрогитару, Stratocaster Grazioso. К этому времени относятся и его первые успехи: так, он выступил на Би-би-си, сыграв со своей (очевидно, безымянной) группой каверы некоторых кантри- и скиффл- песен. В 1959-60 годах Пейдж достаточно окреп музыкально для того, чтобы отправиться на первые гастроли, и был приглашен в группу Neil Christian & The Crusaders. Покинув ансамбль по состоянию здоровья, Пейдж поступил в художественный колледж, но занятий музыкой не прекратил. В начале 60-х годов, бросив учёбу, но начал карьеру сессионного музыканта, накапливая опыт и оттачивая техническое мастерство. В числе групп, с которыми он записывался, были The Kinks. Более того, именно он (что Дэйвом Дэвисом не оспаривалось) записал гитарные партии для песен «You Really Got Me» и «All Day and All of the Night» : это позволило журналу Guitar World заявить, что «…Джимми Пейдж собственноручно создал тяжелый гитарный рифф». В феврале 1965 года вышел сольный сингл Пейджа She Just Satisfies/Keep Moving.  В 1966 году Пейдж предпринял решительный шаг: вернулся на рок-сцену, в качестве басиста (!) группы The Yardbirds, где ведущим гитаристом был его старый знакомый Джефф Бек, с которым спустя год он разделил место лидера уже в качестве второго гитариста. В итоге Бек покинул состав, оставив его на попечительство Пейджа, а в 1968 году группа распалась окончательно. Права на её название сохранили Пейдж и менеджер Питер Грант. Чтобы выполнить оставшиеся концертные обязательства, Пейдж взялся за формирование нового состава: в этот момент свои услуги ему и предложил Джон Пол Джонс, бас-гитарист, клавишник и аранжировщик, с которым он познакомился во время работы над альбомом Донована.[4] Состав, доукомплектованный вокалистом Робертом Плантом (которого порекомендовал Терри Рид) и барабанщиком Джоном Бонэмом (его, в свою очередь, привел Плант), провел турне по Скандинавии под названием The New Yardbirds, а затем — по предложению Кейта Муна — изменил название на Led Zeppelin. Atlantic Records подписал контракт с группой во многом благодаря репутации Джимми Пэйджа, за творчеством которого руководители лейбла следили с 1964 года, когда тот впервые побывал в Нью-Йорке и лично познакомился с исполнительным директором Джерри Векслером, авторским дуэтом Либер и Столер и многими другими ключевыми фигурами