29 декабря 1977 года министром внутренних дел СССР генералом армии Н.А. Щелоковым было принято решение о формировании на базе 9-ой роты 3-го батальона 2-го полка Отдельной мотострелковой дивизии особого назначения (ОМСДОН) имени Дзержинского учебной роты специального назначения (УРСН) - первого в системе МВД подразделения спецназа.
Военнослужащих в это подразделение отбирали из числа лучших спортсменов дивизии на добровольной основе. Кандидаты должны были иметь отличную физическую подготовку и обладать психологической устойчивостью. В 1989 году на базе роты был создан батальон, который в 1991 году стал отрядом специального назначения «Витязь».
В 1980 году отряду было поручено обеспечение безопасности участников Московской Олимпиады. В 1981 году «витязи» участвовали в освобождении детей, захваченных террористами в одном из сел близ Ижевска. В 1986 году они ликвидировали группу преступников, которые пытались захватить самолет в Уфе. В 1990 году «Витязь» совместно с группой «Альфа» провел спецоперацию по освобождению захваченных бандитами заложников в Сухумском следственном изоляторе.
Отряд принимал участие в разрешении всех межнациональных конфликтов на территории бывшего СССР, а также в разоружении незаконных вооруженных формирований на территории Чечни в 1994-1996 годах. Еще в 1980-х годах символом бойцов этого подразделения стал краповый берет.
С 1999 года отряд выполнял задачи в ходе контртеррористической операции на территории Северо-Кавказского региона РФ. В 2002 году отряд участвовал в специальной операции по освобождению заложников, захваченных террористами на мюзикле «Норд-Ост» в Москве.
В 2008 году на базе отряда «Витязь», путём слияния с отрядом специального назначения «Русь», был сформирован 604 Центр специального назначения внутренних войск МВД России, который в 2016 году вошел в состав Федеральной службы войск национальной гвардии (Росгвардии).