Александр Николаевич Харчевский родился 9 мая 1950 года в городе Жашков Черкасской области Украинской ССР. Мать — медик, отец — директор райпромкомбината.
В 1968 году закончил среднюю школу, в 1972 году — Харьковское высшее военное авиационное училище летчиков.
С 1972 по 1978 год проходил службу на должностях летчика первого класса, инструктора, командира звена в 31-й истребительном полку в ГДР, а с 1978 года — в Липецке.
В 1986 году окончил Военно-воздушную академию им. Юрия Гагарина.
В 1993 году Харчевскому присвоено звание «Заслуженный военный лётчик Российской Федерации».
В 1997 году присуждена учёная степень — кандидат военных наук. С того же года — начальник 4-го Центра боевого применения и переучивания летного состава.
С 2000 года — начальник Липецкого гарнизона.
Является одним из ведущих летчиков ВВС РФ. На международных соревнованиях провел более 50 учебных боев с зарубежными военными летчиками и ни одного не проиграл. Имеет классную квалификацию «Военный лётчик-снайпер».
Участвовал в воздушном параде на Поклонной горе 9 мая 1995 года. В воздушной части парада на Красной площади 9 мая 2008 года лично пилотировал истребитель-бомбардировщик Су-34.
В 2000 году обеспечил перелёт на самолете Су-27 исполняющего обязанности Президента РФ Владимира Владимировича Путина из Краснодара в Грозный и обратно.
С 2006 года является начальником пилотажной группы «Соколы России».
17 мая 2011 года разразился скандал в СМИ. Лётчик-испытатель обвинил командование Липецкого авиацентра в коррупции в особо крупном размере, в том числе и Харчевского как руководителя вверенной ему части.