В 1930 году из Саратова приехал на заработки в Крым. Работал шофёром.
В посёлке Коктебель познакомился с планеристами на горе Клементьева .
В 1931 окончил Высшую лётно-планерную школу в Коктебеле и остался в ней лётчиком-инструктором.
C 1933—1934 работает в саратовском аэроклубе.
В 1934г в составе воздушного поезда из двух планеров пролетел по маршруту Саратов-Москва.
В 1935г установил рекорд продолжительности полета на двухместном планере, продержавшись в воздухе 26 часов, 29 минут.
В 1936 г. совершает рекордный полет над морем. впервые прокладывает рейс из Крыма на материк через море.
С 1937 по 1939 был командиром планерного отряда Центрального аэроклуба.
Весной 1937 года на планере ГН-7 конструктора Г. Ф. Грошева совершил ряд полетов на дальность, которые официально зарегистрировали как мировые рекорды: 539 км а потом 602 км, 652 км. За эти достижения он был награждён орденом «Знак Почета»
С 1939 по 1941 работал лётчиком-испытателем в ЦАГИ.
Перед войной с другими летчиками испытателями участвовал в тестировании немецких боевых самолетов. Виктор Леонидович провел всесторонние испытания немецкого истребителя «Фокке-Вульф-190». Этот эпизод хорошо описан в книге летчика испытателя В. И. Шелеста «Лечу за мечтой»
С апреля 1941 по май 1945 работал в ЛИИ.
В июле-августе 1941 В.Л. Расторгуев участвовал в обороне Москвы. Но ни в одном из полетов не встретился с немецкими летчиками.
2 сентября 1941 года выполнил первый полёт и провёл испытания планеров [Г-11] и А-7. 18 августа 1942 года — ЛС. Самолёты Як-3ПД 3 октября 1944 года, Як-3 с ВК-108 — 19 декабря 1944 года, Як-3РД — 22 января 1945 года, Як-3Т — 24 января 1945 года.
Провёл испытания:ЛаГГ-3 на флаттер (1941); Як-3 на штопор (1944); Як-5 (1944); Як-8 (1944); Як-10 (1945).
Зарекомендовал себя как выдающийся специалист по плоскому штопору.
Расторгуев впервые в стране испытал на штопор двухмоторный пикирующий бомбардировщик Пе-2, а в 1943 году вместе с Алексеем Гринчиком провел сложнейшие испытания истребителя Ла-5 на перевернутый штопор. Попав в такой штопор в воздушном бою из положения вверх колесами, молодые летчики покидали самолет. Результаты испытаний помогли на фронтах научиться усмирять сложные виды штопоров.
Марк Галлай в своей автобиографической книге "Испытано в небе" так написал о Викторе Леонидовиче:
В 1945 году перешёл на работу в ОКБ А. С. Яковлева. В эти годы отечественные КБ начали проводить активные разработки в области реактивной техники. В ОКБ А. С. Яковлева была разработана модификация Як-3РД с ЖРД РД-1 конструкции известного конструктора ракетных двигателей В. П. Глушко.
15 августа, при испытаниях после нормального включения ЖРД через 10…15 с упала тяга при одновременном падении давления керосина. Спустя ещё несколько секунд кабина наполнилась брызгами и парами керосина, попавшими в лицо и глаза летчика, что крайне затруднило пилотирование. Летчик выключил РД и благополучно сел на Центральном аэродроме.
На земле комиссия обнаружила обрыв шунтовой трубки керосиновой магистрали высокого давления. Неисправность устранили.
Самолет планировали показать на параде в день авиации.
Но 16 августа 1945 года при выполнении испытательного полёта В. Л. Расторгуев погиб.
После включения ЖРД самолет набрал высоту 2500 и, сделал «площадку» и плавно перешёл в пикирование, угол которого стал постепенно увеличиваться. На пикировании, сначала почти отвесном, а у земли 45…50°, самолет врезался в землю у поселка Сокол (сейчас станция метро Сокол).
Этот эпизод хорошо описан в книге летчика испытателя В. И. Шелеста «Лечу за мечтой».
Причину катастрофы установить не удалось В акте комиссии высказано предположение, что причиной катастрофы могла быть потеря летчиком способности управлять самолетом или поломка в системе управления рулем высоты.
Несколько расходится с этими версиями описание этого момента в мемуарах конструктора Евгения Адлера «Земля и небо». В своей книге он пишет:
Также не совпадает с официальной версией рассказ летчика-испытателя Тарощина Л. И.:
В. П. Глушко после облета и фотографирования советскими искусственными спутниками Луны предложил назвать один из открытых кратеров на обратной стороне Луны именем Расторгуева.
Благодаря поддержке В. П. Глушко, в 1967 г. была успешно завершена подготовка второй части «Атласа обратной стороны Луны», первой в мире Полной карты Луны и полного глобуса Луны.
Авторский коллектив «Атласа обратной стороны Луны»(часть 2) во главе с Ю. Н. Липским посвятил это издание памяти С. П. Королева. В. П. Глушко подарил экземпляр атласа жене летчика Расторгуевой Этте Львовне. Впоследствии американская сторона не согласилась с названиями кратеров и переименовала их в честь своих пилотов. Этот спор так и не был доведен до логического конца.
Виктор Расторгуев похоронен в Москве на Ваганьковском кладбище.
Дочь В. Л. Расторгуева Галина Викторовна тоже стала известным летчиком испытателем. Она поставила ряд международных рекордов на вертолетах.