Начал службу в июле 1911 года фаненюнкером (кандидатом в офицеры) в Баварском железнодорожном батальоне. В январе-октябре 1912 года учился в военном училище в Мюнхене. С 29 октября 1912 года субалтерн-офицер 8-го Баварского полевого артиллерийского полка.
До августа 1915 года служил в 8-м Баварском артиллерийском полку, с 9 марта 1915 года адъютант 1-го дивизиона. В августе 1915 года направлен на курсы лётчиков-наблюдателей при авиационном батальона 3b.
С 4 ноября 1915 года летчик-наблюдатель полевого авиационного батальона А 204. С октября 1916 по февраль 1917 года проходил подготовку летчика-истребителя в 1-м Баварском авиационном запасном батальона в Шляйсхайме. С 22 февраля 1917 года служил в 46-м авиационном батальона, с 4 апреля 1917 года — в 34-й истребительной эскадрилье. С 19 июня 1917 года — командир 34-й истребительной эскадрильи; одновременно 21 марта — 27 апреля 1918 года командовал 10-й авиагруппой, в апреле-июле 1918 года — авиагруппой «Грейм».
В марте 1918 года Грейм, вероятно, стал первым немецким лётчиком, уничтожившим британский танк.
Всего в Первую мировую войну Грейм одержал 28 воздушных побед.
12 ноября 1918 года переведен в 8-й Баварским полевой артиллерийский полк, а 30 декабря 1918 года назначен руководителем станции воздушной почты «Мюнхен» (по 14 октября 1919 года).
31 марта 1920 года уволен с военной службы.
Окончил двухгодичные юридические курсы при Мюнхенском университете, в 1922—1924 годах работал в банке.
В 1924—1927 годах обучал китайских военных лётчиков в Кантоне.
С января 1927 по март 1934 года руководил авиашколой Германского авиационного союза (DLV) в Вюрцбурге.
1 апреля 1934 года вернулся на военную службу и был назначен командиром авиагруппы «Дёберитц» в составе авиаэскадры «Рихтгофен». С 1 июля 1934 года командир 132-й авиаэскадры «Рихтгофен» и комендант авиабазы «Дёберитц». С 1 апреля 1935 года инспектор истребительной и штурмовой авиации, с 10 февраля 1936 года инспектор средств авиационной безопасности и снаряжения. С 1 июня 1937 года начальник Управления кадров Имперского министерства авиации.
С 31 января 1939 года командир 31-й, с 6 февраля 1939 года — 5-й авиадивизии.
Участник Польской кампании вермахта, после которой 25 октября 1939 года был назначен командиром V авиакорпуса, с которым в составе 3-го воздушного флота принял участие в Норвежской кампании, кампании на Западе и в «Битве над Англией». В основном корпус состоял из бомбардировщиков.
С июня 1941 года участвовал в военных действиях на советско-германском фронте. С 1 апреля 1942 года начальник Командования ВВС «Восток», созданного на советско-германском фронте на базе VIII и V авиакорпусов. 5 мая 1943 года авиационное командование преобразовано в 6-й воздушный флот, командиром которого стал Грейм. Считался одним из лучших летчиков и командиров люфтваффе.
24 апреля 1945 года Адольф Гитлер направил Грейму, находившемуся со штабом флота в Мюнхене, телеграмму с приказом прибыть в Имперскую канцелярию для доклада. С большим трудом Грейм и пилот Ханна Райч прорвались в Берлин. Утром 25 апреля они прибыли в Рёхлин, планируя воспользоваться вертолетом. Из-за его повреждения Грейм был вынужден воспользоваться самолетом «Фокке-Вульф-190». В сопровождении истребителей прикрытия самолет проскочил на бреющем полете позиции советских войск и сел на аэродроме Гатов. Отсюда Грейм и Райч вылетели в центральный район Берлина на «Фислер-Шторхе». Над Тиргартеном они были обстреляны советскими зенитками, и Грейм получил ранение в ногу. Райч взяла управление на себя и посадила самолет на автомагистраль близ Имперской канцелярии.
Утром 26 апреля, приняв Грейма, Гитлер сообщил ему об отстранении Геринга со всех должностей (рейхсминистр Имперского министерства авиации, рейхсмаршал (19 июля 1940)) и немедленно назначил Грейма главнокомандующим Люфтваффе. Последний, кому присвоено звание генерал-фельдмаршала авиации (нем. Generalfeldmarschall der Flieger).
В соответствии с приказом Гитлера 30 апреля тяжело раненный Грейм вместе с Райч вылетел в Плён у Киля — ставку преемника фюрера гросс-адмирала Дёница. Фактически Грейм уже не мог осуществлять руководство Люфтваффе: отдельные части действовали на своих участках без консультаций с центральным командованием, а штаб Люфтваффе сохранял верность Герингу.
9 мая вместе с Райч Грейм сдался американским военным властям в Китцбуле. Грейм находился под следствием до 23 мая, после чего был доставлен в Зальцбург. В ночь на 24 мая в тюремном лазарете он покончил жизнь самоубийством, отравившись капсулой с ядом, переданной ему Гитлером через Райч, когда они находились в бункере Имперской канцелярии.