Первый национальный олимпийский комитет в России появился еще в 1911 году. Российские спортсмены приняли участие в Олимпийских играх 1908 и 1912 годов, завоевав 1 золотую, 2 серебряные и 2 бронзовые медали. Однако, после революции 1917 года Олимпийский комитет, как и другие организации, объявленные большевиками буржуазными, был упразднен.
Уже во времена СССР советские спортсмены состояли во многих международных спортивных федерациях и вели в них активную работу. Количество золотых медалей, завоеванных ими на разных международных турнирах, непрерывно росло. Вопрос об участии Советского Союза в Олимпийском движении стоял уже давно. Международный Олимпийский комитет (МОК) хотел видеть советских спортсменов на Олимпиадах.
23 апреля 1951 года был создан Олимпийский комитет СССР (ОК СССР), положивший начало Олимпийскому движению в Советском Союзе. В мае того же года МОК вынес решение о признании ОК СССР, что позволило советским спортсменам стать полноправными участниками летней Олимпиады 1952 года и участвовать во всех последующих Олимпийских играх (за исключением Олимпийских игр в Лос-Анджелесе, 1984).
В соответствии с Олимпийской хартией, ОК СССР содействовал развитию олимпийского движения, физической культуры и спорта в стране, расширению и укреплению международных спортивных связей, формировал национальную олимпийскую команду, направлял спортсменов на олимпийские состязания, осуществлял контроль за их выступлением на играх, обеспечивал финансирование, экипировку, проезд и размещение команд на Олимпиадах.
Также ОК СССР сотрудничал с Национальным олимпийским комитетом и другими организациями, входящими в признанные международные спортивные объединения. В состав комитета входили представители всех спортивных федераций и спорткомитетов СССР и союзных республик, известные спортсмены, видные деятели спорта: Ю. Власов, С. Муратова, П. Колчин, В. Куц и другие.
В разные годы Олимпийский комитет СССР возглавляли такие известные представители отечественного и мирового спорта, как К. Андрианов, С. Павлов, М. Грамов, В. Васин, В. Смирнов.
В 1992 году в связи с распадом Советского Союза Олимпийский комитет СССР прекратил свое существование, его правопреемником стал Олимпийский комитет России (ОКР).