Иван Семенович Козловский родился (11) 24 марта 1900 года в небольшом селе Марьяновка Киевской губернии, в крестьянской семье. В детстве, обладая чистым, красивым тембром (высокий альт), он пел в церковном хоре.
Будучи слушателем Киевской учительской семинарии, а впоследствии и драматургического техникума, уже в 1916 году Козловский начал карьеру певца, выступая в качестве солиста в музыкальных труппах. В начале 1920-х годов он стал солистом сначала Полтавского, а затем Харьковского и Свердловского оперных театров, где исполнял ведущий теноровый репертуар.
В 1926 году Иван Козловский был принят в Большой театр Москвы, в котором на протяжении 28 лет был ведущим солистом. В репертуаре Козловского насчитывалось более полусотни партий из знаменитых опер, таких как Ленский в «Евгении Онегине» Чайковского, Владимир Галицкий в «Князе Игоре» Бородина, Царь Берендей в «Снегурочке» Римского-Корсакова, Юродивый в «Борисе Годунове» Мусоргского, Пинкертон в «Чио-Чио-сан» Пуччини и другие.
В 1938 году по инициативе Козловского был создан Государственный ансамбль оперы СССР, художественным руководителем которого он и был назначен. Здесь он также выступал и как оперный режиссёр. В репертуаре ансамбля - оперы «Орфей» К. Глюка, «Вертер» Ж. Массне, «Паяцы» Р. Леонкавалло.
Иван Козловский известен и своими многочисленными концертными гастролями, на которых с невообразимым успехом он исполнял старинные романсы, народные песни России и Украины, а позже записывал духовную камерную музыку. В годы Великой Отечественной войны неоднократно выезжал в составе концертных бригад в действующую армию, выступал в госпиталях.
Тенор Козловского заслужил широкое признание в Советском Союзе, в 1940 году ему присвоено звание Народного артиста СССР, а спустя 40 лет – Героя Социалистического труда. Также он награжден орденами и медалями.
Кроме оперных партий, в последние годы жизни Козловский пел русские духовные песни. Он является автором книги автобиографических материалов «Музыка – радость и боль моя» (1992), куда вошли статьи певца, рецензии на его выступления.
Ушел из жизни Иван Семенович Козловский 21 декабря 1993 года в Москве, был похоронен на Новодевичьем кладбище столицы.