Альберт Ли родился 21 декабря 1943 года в Леоминстере, Англия. В 16-летнем возрасте бросил школу и занялся музыкой. С 1959 года Ли начинает играть преимущественно музыку стилей R&B, country music и rock and roll. В 1974 году становится участником группы The Crickets, далее в 1976 году он переходит в Emmylou Harris's Hot Band, а начиная с 1978 Ли работал в течение пяти лет с Эриком Клэптоном.