Родился в п. Воронцовка на Урале (впоследствии Краснотурьинского горсовета Свердловской области) в семье Серова Константина Терентьевича и Серовой Любовь Фроловны. В августе 1918 года Константина Терентьевича назначили заведующим Богословской каменоломней. В Богословске (ныне город Карпинск Сверловской области) А.К. Серов прожил семь детских лет. Здесь он окончил четыре класса начальной школы, был принят в пионеры. В 1925 году семья Серовых переехала в Надеждинск, где Анатолий учился в школе ФЗУ, затем работал на металлургическом заводе помощником сталевара мартеновского цеха. В июне 1930 окончил Вольскую военно-теоретическую школу лётчиков и был переведён во 2-ю школу военных лётчиков и летнабов в Оренбурге. 17 декабря 1931 окончил 2-ю школу военных лётчиков и летнабов по 1-му разряду, ему было присвоено звание лётчика-истребителя.
С 1931 года служил в Гатчине старшим лётчиком и командиром звена авиаэскадрильи ВВС Ленинградского военного округа, затем был переведён в Московский военный округ.
В августе 1933 года направлен для прохождения службы на Дальний Восток. В 1934 году назначен командиром звена 26-й авиаэскадрильи ВВС Особой Краснознамённой Дальневосточной армии. Прослужил там до октября 1935 года.
В августе 1935 поступил в Военно-воздушную академию им. Жуковского.
С 1936 года служил командиром отряда лётчиков-испытателей.
C 1937 года участвовал (старший лейтенант, командир эскадрильи) в Гражданской войне в Испании под псевдонимом «Родриго Матео». Воевал на истребителе "И-15".
За время боевых действий в Испании он в паре с ведомым провел около 40 воздушных боев, сбил 15 самолётов противника, из них 8 — лично.
Организовал ночное дежурство истребителей над аэродромом. 27 мая 1937 года в ночном воздушном бою сбил один бомбардировщик противника и отогнал ещё два самолёта от аэродрома. Впоследствии, согласно книге З. Чалой «Анатолий Серов», успешно внедрил разработанную им методику ночных боёв в других эскадрильях.
15 октября 1937 года провёл уникальную операцию по штурму аэродрома противника силами истребительной авиации, без бомбардировщиков. Это было первое применение истребителей для штурма наземных целей. Отряд Серова потерь не имел, а на аэродроме было уничтожено около сорока самолётов противника.
С ноября 1937 года командовал истребительной авиагруппой. Группа под его командованием сбила около 70 самолётов противника.
2 марта 1938 полковнику Серову было присвоено звание Герой Советского Союза.
В мае 1938 он был назначен начальником Главной лётной инспекции ВВС.
Первый муж известной советской киноактрисы Валентины Серовой (Половиковой).
В 1939 году окончил Курсы усовершенствования командного состава при Академии Генерального штаба.
11 мая 1939 комбриг погиб в авиакатастрофе во время курсов усовершенствования начальствующего состава — осваивая «слепые» полёты вместе с Полиной Осипенко.
Прах А. Серова и П. Осипенко помещён в урнах в Кремлёвской стене на Красной площади в Москве.