Внук чёрных рабов, этот мальчик родился в нищем квартале Нью-Орлеана, известном как «BackofTown«. Его отец бросил семью, когда мальчик был ещё младенцем. Мать стала проституткой, и мальчику с сестрой пришлось жить у бабушки. У него рано проявился музыкальный талант, и вместе с ещё тремя пацанами он пел в уличном квартете, так что первым его заработком была мелочь, выпрошенная на улицах старого Нью-Орлеана.

Семилетнего мальчишку пожалела и пригрела у себя еврейская семья Карнофски, недавно иммигрировавшая в Америку из Литвы. Поначалу они просто давали ему «работу» по дому, чтобы подкормить вечно голодного ребёнка. Потом он стал оставаться ночевать в доме евреев, где впервые в жизни с ним обращались с добротой и лаской.

Когда он ложился спать, г-жа Карнофски пела ему русскую колыбельную, и он подпевал ей. Позже он научился петь и играть множество русских и еврейских песен. Со временем мальчик фактически стал приёмным сыном в этой семье. Карнофски дали ему деньги на покупку его первой трубы; как водится в еврейских семьях, они искренне восхищались его музыкальным талантом.

Позже, когда он стал профессиональным музыкантом и композитором, он использовал еврейские мелодии, в таких, например, композициях, как St. James Infirmary and GoDown, Moses.

Негритянский мальчик вырос и написал книгу о еврейской семье, усыновившей его в 1907 году. В память о них он до конца жизни носил Звезду Давида и рассказывал, что именно у этой семьи он научился «howtolive — reallifeanddetermination.»