Герман Граф родился в городке Энген в Бадене. Будущий ас Люфтваффе был выходцем из бедной семьи. Получил достаточно скромное образование — в ремесленном училище он получил квалификацию слесаря, после чего работал на фабрике в должности обычного рабочего. Герман был талантливым футболистом, играл на позиции голкипера (уже в годы своей службы в авиации Рейха Граф был капитаном команды Люфтваффе «Красные орлы»), и, как говорят очевидцы его игры на футбольном поле, если бы не вмешалась война, Граф мог бы стать игроком экстра-класса.
Подобно многим немецким юношам, Граф увлекался планеризмом, что в 1936 году привело его в летную школу, а уже в 1938 году он законил расширенный курс подготовки пилота. Вначале Германа хотели оставить в качестве инструктора в его летной школе в Вильдпарке, но, учитывая его горячее желание стать летчиком-истребителем 31 мая 1939 года Графа зачислили в состав 2./JG 51 в звании унтер-офицера.
В начале Второй мировой войны, 1 сентября 1939 года, JG 51 находилась на границе с Францией. Граф, уже фельдфебель, совершил в составе своей Группы много вылетов по патрулированию, но не имел боевого контакта с вражескими самолетами за весь период этой Странной войны.
В начале 1940 года Графа отправили на дополнительную летную подготовку, пройдя которую, он получил звание лейтенанта 1 мая. 6 октября Герман был определен в 9-ю эскадрилию JG 52. Его ведомым в это время был Леопольд Штейнбац. Несколько дней спустя эскадра перебазировалась в Румынию, для обучения местных пилотов.
В мае 1941 года III./JG 52 была направлена в Грецию для поддержки операции «Меркурий» — вторжение на остров Крит. Здесь, в основном, 3-я Группа занималась штурмовкой наземных целей.
В начале июня подразделение возвращается в Румынию, и с 22 июня занимается поддержкой частей вермахта в осуществлении операции Барбаросса. 1 августа эскадра переводится на передовые аэродромы фронта на Украину, и 4 августа Граф одерживает свою первую воздушную победу в бою против И-16, когда его эскадрилия сопровождала Ju-87 на атаку наземных целей в районе Киева.
14 октября Граф и его ведомый Фюльграббе вели бой с 4-мя истребителями Як-1. по воспоминаниям Графа это был его самый тяжелый бой на восточном фронте:
Три «Яка» сбили быстро, но это было еще не все:
К началу 1942 года на личном счету Графа было уже 45 побед, за которые 24 января он был награжден Рыцарским крестом.
23 марта Герман был назначен командиром 9-й эскадрилии JG 52. Вскоре после этого он добился впечатляющих успехов, сбив 48 самолетов противника в течение 3-х недель. 14 мая за один день он одержал 8 воздушных побед и 17 мая получил Дубовые Листья к Рыцарскому кресту, достигнув отметки в 104 победы. Спустя 2 дня (19 мая 1942 года) Графу были вручены Мечи после добавления еще 2-х побед к своему послужному списку.
С августа JG 52 поддерживала операцию Группы армий «Юг» по продвижению к Сталинграду, а Граф продолжал одерживать победы одну за одной. Только в сентябре он сбил 64 вражеских самолета, включая 10 побед за один день 23 сентября. Эти успехи позволили Герману стать первым пилотом в мире, который одержал 200 воздушных побед. Данный факт не остался без внимания командования, и 16 марта 1942 года Герман Граф был награжден Бриллиантами к своему Рыцарскому кресту с Дубовыми Листьями и Мечами. Некоторое время спустя ас получил запрет на боевые вылеты, так как Верховное командование высказывало озабоченность в моральном состоянии немецких войск в случае гибели Графа. Данная забота была ненапрасной, так как к этому времени Герман уже несколько раз получал тяжелые повреждения своего самолета.
2 октября 1942 года Герман Граф одержал свою 200-ю победу, став 1-м пилотом в мире, добившимся такого результата. Позднее он вспоминал об этом бое:
В начале 1943 года майор Граф был отправлен во Францию для командования Истребительной группой «Восток», которая была сформирована из курсантов летной школы истребителей близ Бордо. 21 июня Герман был назначен командиром JGr 50 — Группы, оснащенной истребителями с высоким «потолком» для борьбы с английскими многоцелевыми самолетами «Москито». Здесь же Граф сформировал свой знаменитый Karaya Quartet.
В 1943 году Граф загорелся идеей спасти лучших немецких футболистов от гибели на фронте и, используя свою славу и влияние, перевел их в свою JGr 50 под предлогом того, что Группа нуждается в этих «крайне необходимых технических специалистах». В числе спортсменов был Фриц Вальтер, будущий капитан сборной ФРГ, выигравшей чемпионат мира по футболу 1954. Фриц был одной из звезд в футбольной команде Графа. По требованию Германа Вальтера переводили вместе с немецким асом из JGr 50 в JG 1, JG 11 и JG 52.
За время командования JGr 50 Граф сбил еще 3 самолета противника, включая 2 бомбардировщика B-17. В октябре 1943 года подразделение было расформировано Г. Герингом, а его части влились в состав 1-й Группы JG 301. Сам Герман Граф был повышен в звании до оберста и 11 ноября этого же года принял командование JG 11. Эскадра входила в состав ПВО Рейха и, соответственно, выполняла задачи по борьбе с налетами на страну бомбардировщиков Союзных войск. В этих боях, несмотря на официальный запрет Командования летать, Герман Граф одержал еще 6 воздушных побед в следующие четыре месяца.
29 марта 1944 года оберст Граф с ведомым вылетел на Me-109G-6 на перехват американских бомбардировщиков. Набрав высоту 9000 метров, они направились в сторону американцев. Вскоре к ним присоединился ещё один Me-109, но Граф приказал обоим ведомым вернуться на аэродром, а сам решил атаковать противника в одиночку. В бою с истребителями P-51 прикрытия ему удалось сбить одного из них. Остальные набросились на одиночный «Мессершмитт». Атаки следовали одна за другой. Граф как мог уворачивался от трасс, но одна очередь всё же настигла его. Граф был ранен в руку и бедро, а его самолёт повреждён. Он уже хотел прыгать, но в это время перед ним оказался один из «Мустангов». Граф нажал на гашетку, но выстрелов не последовало. Тогда он резко накренил самолёт и нанёс удар крылом по кабине (кусок крыла так и остался торчать в фюзеляже). «Мустанг» сорвался в штопор. «Мессершмитт» Графа тоже начал падать. С трудом ему удалось открыть фонарь и выбраться наружу. Парашют расскрылся на малой высоте. Приземлился в болото, но купол парашюта вытащил его из трясины. Проезжавший мимо крестьянин подобрал его и доставил в госпиталь.
После возвращения из госпиталя 1 октября Герман был назначен командиром своей старой части — JG 52, которая все ещё воевала на Восточном фронте. С отступлением немецких войск в это время Граф лишается возможности проведения воздушных боев.
До конца войны Граф доводит свой счет до 212 воздушных побед. Он сдался американцам 8 мая 1945 года. Герман ослушался приказа генерала Ганса Зейдемана, который приказывал ему и Эриху Хартманну лететь для сдачи в британский сектор, чтобы не допустить захвата 2-х обладателей Бриллиантов советскими войсками. Вместо этого Герман и Эрих остались со своей частью и сдались в плен 90-й пехотной дивизии ВС США. Американцы же, в соответствии с Ялтинскими соглашениями передали немцев, сражавшихся против советских войск, непосредственно СССР.
Всего за годы войны Герман Граф совершил более 830 боевых вылетов, одержал 212 воздушных побед, включая 6 над четырехмоторными бомбардировщиками.
Наряду с большинством летчиков JG 52 Граф был передан советской стороне после своей сдачи американцам. Благодаря нацистской пропаганде, которая прославила его как одного из самых известных летчиков Люфтваффе и как командующий эскадрой JG 52, Герман сразу стал лакомым куском для пропаганды уже советской. Освободили Графа 29 декабря 1949 года. Это досрочное освобождение явилось следствием того, что бывший командир JG 52 пошел на сотрудничество с советской стороной, став одним из лидеров антифашистского движения среди немецких заключенных. Впоследствии многие бывшие пилоты Люфтваффе критиковали его за это, например, Ганс Ханн, воздушный ас Второй мировой войны и военнопленный советских лагерей, в своей книге «Я расскажу правду» (англ. «I Tell the Truth»), вышедшей в 1950-х годах.
Это привело к тому, что Граф подвергся жесточайшей обструкции со стороны Ассоциации ветеранов Люфтваффе, которая в итоге по сути отреклась от него.
После освобождения Граф начал работать в системе продаж одной электронной компании в Бремене и спустя некоторое время стал начальником отдела продаж этой компании. В 1965 году Герману был поставлен диагноз — болезнь Паркинсона
Умер прославленный ас в своем родном городе Энгене 11 апреля 1988 года.
«Мы должны научиться думать по-новому. Сейчас я на стороне русских. И, на самом деле, я хочу жить с русскими … Я счастлив быть их пленным. Я знаю, что все, что я сделал до этого было неправильно и сейчас у меня одно лишь желание — летать в советских ВВС.»