Алексей Дмитриевич Жарков родился 27 марта 1948 года в Москве. В 1962 году в возрасте четырнадцати лет у Жаркова состоялся кинодебют в картине «Здравствуйте, дети!». В 1966 году был снят фильм с его участием «Такой большой мальчик».
В 1970 году актер получил диплом Школы-студии МХАТ и вышел на сцену Московского театра им. Ермоловой. С 1988 по 2000 год Алексей работал во МХАТе им. Чехова. В 2000 году возвратился в театр им. Ермоловой.
Активные съемки Жаркова в кино начались с конца 1970-х годов. Тогда был снят фильм «Познавая белый свет». Успех актеру принесла в 1983 году роль в фильме «Торпедоносцы». Позднее были картины «Мой друг Иван Лапшин» и «Парад планет».
Всего Алексей Жарков снялся более чем в 130 картинах: «Узник замка Иф», «Не будите спящую собаку», «Завещание Сталина», «Ревизор», «Дама с попугаем», «Дети понедельника», «Кавказский пленник», «Тайны дворцовых переворотов», «Граница. Таежный роман», «Штрафбат», «Группа "Zeta"», «Палата номер шесть» и других.
В 1984 году за свои роли в кино актер Жарков получил звание Заслуженного артиста РСФСР, а в 1994 году был удостоен звания Народного артиста России, он кавалер Ордена Дружбы (1998).
Алексей Жарков был женат. Его супруга Любовь – бывшая бортпроводница. В этом браке родились двое детей - сын Максим и дочь Настя.
В 2012 году актер перенес инсульт и временно был парализован. 5 июня 2016 года после продолжительной болезни Алексей Жарков скончался в Москве. Ему было 68 лет.