Леонид учился в музыкальной школе, увлекался литературой и театром, занимался в театральной студии при Львовском Народном театре. В 1971 году он пытался поступить в ЛГИТМиК в Ленинграде, но неудачно, однако на следующий год его приняли в Театральное училище имени Щукина, где его преподавателями были Ю.Катин-Ярцев, В.Этуш, М.Ульянов.

По окончании училища в 1976 году Леонида Ярмольника распределили в Театр на Таганке, где в те годы главным режиссером был Юрий Любимов, а на сцене играли такие звезды, как Владимир Высоцкий, Леонид Филатов, Алла Демидова, Зинаида Славина, Валерий Золотухин, Вениамин Смехов, Николай Губенко. В этом театре актер проработал до 1984 года.

В кино Ярмольник дебютировал в 1974 году, но это были роли эпизодические и оставшиеся практически незамеченными. Известность пришла к актеру в самом конце 70-х годов - он появился в телевизионной передаче "Вокруг смеха", показав многомиллионной аудитории своего "цыпленка табака", давний друг Александр Абдулов привел его к Марку Захарову на съемочную площадку телефильма "Тот самый Мюнхгаузен" (1979), а эпизод "А я говорю - не рычи!" из советского боевика режиссера Владимира Фокина "Сыщик" (1980), где Ярмольник играл бандита Гнуса, запомнился многим зрителям.

В последующие годы актер много снимался, среди его работ фильмы "Человек с бульвара Капуцинов", "Ищите женщину", "Француз", "Две стрелы", "Паспорт". Начиная с 1993 года, Леонид Ярмольник много работает на телевидении, куда его пригласил Влад Листьев. Из конкурсно-развлекательных передач, ведущим (а впоследствии и не только ведущим) которых стал Ярмольник, можно назвать популярный "L-клуб" - дебютная его работа в новом качестве - и "Золотую лихорадку", в чем-то похожую на "Форт Байар".

Творческой удачей актера стал фильм "Московские каникулы" (1995), в котором Леонид Ярмольник сыграл главную роль, однако эта работа продемонстрировала и несколько иные его таланты. Ярмольник был продюсером фильма и проявил немалую изворотливость, незаурядный дар убеждения и даже авантюризм в хорошем смысле этого слова, организуя съемки фильма в России и в Италии. И справедливо, что именно он удостоился приза "Золотой овен" как лучший продюсер года.