Родился в семье крестьянина. Русский. Отец погиб в Первую мировую войну, мать умерла от тифа. Воспитывался в детском доме.
В ВМФ с 1935. Окончил Ейскую школу морских лётчиков. С 1937 старшина, пилот 71-го отдельного авиационного отряда Балтийского флота. Участвовал в советско-финской войны 1939—1940 гг, совершил 34 боевых вылета. Член КПСС с 1944 года
С началом Великой Отечественной войны на фронте. С сентября 1941 г. по май 1942 г. находился на формировании 73-го пикировочного авиаполка КБФ, изучал новую материальную часть, затем снова воевал. С октября 1942 года А. И. Грачёв — лётчик 15-го отдельного разведывательного авиаполка КБФ, командир звена 44-й эскадрильи.
Всего за время войны совершил более 420 боевых вылетов на бомбовые удары по кораблям, военно-морским базам, на разведку морских и сухопутных коммуникаций, аэрофотосъемку военно-морских баз, аэродромов, переднего края обороны и расположения артиллерийских батарей врага на Ленинградском фронте.
Алексей Грачёв первым из лётчиков на Балтике взялся за освоение новой техники — пикирующего бомбардировщика Пе-2, выполнял разведывательные экспериментальные полеты продолжительностью до 5 часов, установил на нём рекорды дальности и продолжительности полётов. 35 раз сталкивался с истребителями противника, провел 7 воздушных боёв, дважды приводил горящий самолёт с территории противника и производил посадку на воду, спасая жизнь экипажа. А. И. Грачёв уничтожил 4 артиллерийские батареи, железнодорожный эшелон, потопил 2 быстроходные десантные баржи, повредил 2 сторожевых катера, подводную лодку и сторожевой корабль противника, разбросал на его территории 3,5 млн агитлистовок. По его данным было потоплено 6 транспортов врага.
Из характеристики командующего военно-воздушными силами Краснознаменного Балтийского флота генерал-лейтенанта Самохина:
Погиб 8 мая 1945 г во время выполнения задания по разведке количества немецких судов, замеченных в море. Группа немецких лётчиков перелетала в Фленсбург, где и сдалась англичанам. Во время этого перелёта над Балтийским морем обер-лейтенант Герхард Тибен в районе Лиепаи обнаружил и сбил самолёт-разведчик Пе-2, в экипаже которого было сразу два Героя Советского Союза — пилот Алексей Грачёв и штурман Григорий Давиденко. Победу Тибена подтвердил не только его ведомый фельдфебель Фридрих Хангебраук (нем. Friedrich Hangebrauck), но и его механик, летевший в его «Фокке-Вульфе».
Именем Алексея Грачёва был назван рыболовецкий траулер; школа и улица в селе Ягодное Ставропольского района Самарской области. В Тольятти именем лётчика названа одна из улиц города.