Robert Wyatt появился на свет 28 января 1945 года в британском городе Бристоль под именем Роберт Эллидж в семье психолога и учительницы. Какое-то время семья с четырьмя детьми жила в Лондоне, а затем поселилась неподалеку от музыкально-богемного Кентербери, в большом доме из 14 комнат, часть из которых пришлось сдавать. В одной из них поселился австралийский поэт-битник и приятель кумира тогдашней молодежи Уильяма Бэрроуза, Дэвид Ален, с огромной коллекцией джазовых пластинок, в другой - джазмен из Америки Джордж Нидорф, нанятый учителем для Роберта.