Илья Валентинович Сегалович родился 13 сентября 1964 года в Горьком (сегодня – Нижний Новгород). В связи с работой родителей - они были геологами - большую часть детства он провел в Алма-Ате (Казахстан). После школы поступил в Московский геологоразведочный институт на геофизический факультет, который окончил в 1986 году и несколько лет работал в Институте минерального сырья (ВИМС), где занимался написанием геофизических программ на языке программирования «фортран».
В конце 1980-х годов Илья пришел работать в компьютерную фирму его давнего друга и одноклассника Аркадия Воложа. Вскоре они основали компанию «CompTek», создали Международный классификатор изобретений и поиск по Библии, которые учитывали морфологию русского языка. Также ими была разработана программа Yandex для поиска файлов на жестких дисках.
Именно на основе этих классификаторов и программы Волож и Сегалович позднее – в 1993-1996 годах – разработали технологию поиска неструктурированной информации в интернете с учетом русского языка, получившую название «Яndex» (кстати, именно Сегалович придумал это название). Сегодня эта поисковая система является одной из наиболее популярных среди пользователей сети интернет и флагманом Рунета.
В 2000 году Сегалович стал одним из основателей компании «Яндекс», где являлся директором по технологиям и разработке, а также входил в совет директоров компании. Эта компания быстро приобрела финансовый успех в российской IT-отрасли. А по версии журнала «Forbes», по состоянию на 2011 год, Сегалович занимал 159 место в рейтинге богатейших российских предпринимателей.
По мнению многих специалистов, он был профессионалом самого высокого класса, а российская IT-отрасль обязана ему не только множеством оригинальных технических решений, но и целым поколением выращенных им специалистов.
Будучи успешным бизнесменом, Илья Валентинович активно занимался и благотворительностью – в частности, он принимал участие в деятельности реабилитационного художественного центра для сирот и детей с недостатками развития «Дети Марии», основателем и руководителем которого стала его супруга Мария Елисеева.
В конце июля 2013 года Илья Сегалович впал в кому (у него диагностирован рак желудка) и был подключен к аппарату искусственного жизнеобеспечения. Ранее было объявлено о кончине, но позже эта информация была опровергнута, уточнили, что Сегалович находится в лондонской клинике в коме, мозговая активность отсутствует, но он жив. Два дня он был на искусственном дыхании, но надежды не оправдались, и в организме произошли изменения, несовместимые с жизнью.
27 июля Илья Сегалович был отключен от аппарата искусственного жизнеобеспечения. Похороны состоялись 1 августа 2013 года на Троекуровском кладбище в Москве.