Николай Дмитриевич Зелинский родился (25 января) 6 февраля 1861 года в городе Тирасполе Херсонской губернии, в семье дворян. Когда Коля был еще совсем маленький, один за другим от чахотки умерли его родители, и мальчик остался на попечении бабушки. Она закаляла мальчика, и он рос здоровым и активным. Учился в Тираспольском уездном училище и Решельевской гимназии в Одессе. Химией он заинтересовался рано, в 10 лет.
Учился в Новороссийском университете, где преподавали выдающиеся ученые И.М. Сеченов, И.И. Мечников, Н.Н. Соколов, Н.А. Умов, А.О. Ковалевский и др. Выбрав в качестве специализации органическую химию, Зелинский успешно окончил университет в 1884 году и был оставлен на кафедре химии. Он проходил стажировку в Германии, где в результате химических опытов им был получен отравляющий газ иприт, и он сам стал первым пострадавшим от него.
Зелинский преподавал в Новороссийском университете, продолжая научные изыскания. Защитил магистерскую и докторскую диссертации. В 1893 году переехал в Москву. В Москве им было опубликовано более 200 научных работ, он впервые открыл доступный метод выделения альфа-аминокислот, разъяснил схему реакции, получил различные аминокислоты. Зелинский является автором термического крекинга нефти.
В 1911 году Зелинский перебрался в Петербург. В годы Первой мировой войны продолжал исследование нефти, повысил процент выхода толуола (это имело большое значение для изготовления взрывчатых веществ). Зелинский разработал угольный противогаз для защиты от отравляющих веществ, который уже к середине 1916 года был запущен в массовое производство.
В 1935 году Николай Дмитриевич активно участвовал в организации института органической химии АН СССР, в котором затем руководил рядом лабораторий (с 1953 года этот институт носит его имя).
Зелинский был почетным членом Московского общества испытателей природы, трижды был лауреатом Государственной премии СССР. В 1945 году Зелинский был удостоен звания Героя Социалистического Труда.
Николай Дмитриевич Зелинский скончался в Москве 31 июля 1953 года.