Steve Swell urodził się w roku 1954 w Newark w stanie New Jersey. Pierwszy kontakt z muzyką zawdzięcza ojcu – który sam był muzykiem amatorem, grał na saksofonie altowym oraz klarnecie. Niestety, żeby utrzymać rodzinę musiał porzucić aktywną działalnośc muzyczną (zajął się mechaniką samochodową), ale kiedy podarował synowi swój klarnet kiedy ten miał 9 lat oraz dawał mu lekcje gry. Postępy w grze na klarnecie były jednak niewielkie.
