Николай Семенович Рабинович родился (24 сентября) 7 октября 1908 года в Санкт-Петербурге.
В 1931 году окончил Ленинградскую консерваторию по классу Гаука. Еще в студенческие годы дирижировал оркестром, который озвучивал первые фильмы, такие как «Одна», «Овод», «Золотые горы», «Гамлет» и др.
После окончания консерватории в 1931 году впервые выступил в Ленинградской филармонии, выступление было весьма удачным, и вскоре его назначили дирижером-ассистентом. После восьмилетней стажировки Николай Рабинович становится штатным дирижером.
С 1933 года Рабинович дирижирует и долгие годы заведует оркестром на Ленрадио. В 1937 году периодически выезжает с концертами в Грузию, исполняя сочинения А.Баланчивадзе, Э.Киладзе, Ш.Мшвелидзе, З.Палиашвили, А.Мачавариани.
В 1939 году пробует себя в роли педагога в ленинградской консерватории, занимается преподаванием до конца своих дней. Его ученики: Александр Дмитриев, Юрий Симонов, Марис Янсонс.
В 1939-1940 годах получает приглашение дирижировать оркестром в Москве. В концертной программе произведения Бетховена, Брамса, Чайковского, «Песнь о земле» Малера, а через некоторое время в Ленинграде дает выступление с произведением «Дон Жуан» Моцарта.
После начала Великой Отечественной войны из блокадного Ленинграда в марте 1942 года Николая Семеновича в тяжелом состоянии перевозят в Новосибирск.
Через два года Рабинович вернулся в Ленинград, а в 1950 году он получил звание главного дирижера симфонического оркестра Ленрадио.
Николай Рабинович скончался 26 июля 1972 года в Ленинграде.