Биография Нильсен родился в деревне Нёрре Линдельс на острове Фюн. Его отец был маляром, но также умел играть на скрипке и корнете и часто сопровождал деревенские праздники. В восемь лет Нильсен начал учиться играть на скрипке, к этому же времени относятся его первые попытки сочинять музыку. В четырнадцать лет он попал в полковой оркестр города Оденсе, где освоил горн и тромбон, не прекращая занятий на скрипке. В оркестре Нильсен прослужил четыре года.