Николай Григорьевич Рубинштейн родился в Москве (2) 14 июня 1835 года. Заниматься музыкой он начал дома, вместе со старшим братом Антоном, также ставшим выдающимся пианистом.
В 1844-1846 годах он учился в Берлине у Т.Куллака и З.Дена. Вернувшись в Россию, жил в Москве. Еще с 11 лет он начал давать концерты и продолжал выступать всю жизнь.
В 1855 году Николай окончил Московский университет и получил диплом юриста. В 1859 году по его инициативе было открыто московское отделение Императорского Российского музыкального общества (ИРМО), и Николай стал его председателем и дирижером симфонических концертов. Он также принимал деятельное участие в открытии Московской консерватории и стал ее первым директором в 1866 году.
Рубинштейн виртуозно исполнял произведения самого широкого репертуара и самых разных авторов (Бах, Бетховен, Лист, Шуман, Шопен).
Пианист стал первым исполнителем многих произведений композитора П.И. Чайковского, а некоторые из них писались специально для него. Николай Рубинштейн провел также премьеру оперы Чайковского «Евгений Онегин». За границу он выезжал редко, почти все свои концерты он провел в Москве.
Умер Николай Рубинштейн в Париже 23 марта 1881 года, был похоронен в Москве на Новодевичьем кладбище.