Родился в селе Георгиевском (ныне Калинино) Ливенского уезда Орловской губернии, в семье сельского священника. Закончив Ливенское духовное училище, учится в Орловской семинарии, которую, однако, не заканчивает: сдав экстерном экзамены за курс гимназии, он в 1911 году поступает на механическое отделение Петербургского политехнического института, а с 1914 года, увлекшись авиацией, занимается на воздухоплавательных курсах при кораблестроительном отделении института.
В 1916 году, после защиты дипломного проекта, получает направление на авиационное отделение Русско-Балтийского вагонного завода (РБВЗ), где до 1918 года под руководством выдающегося русского конструктора И. И. Сикорского работает заведующим производством. Участвует в постройке самолёта «Илья Муромец».
Вскоре после революции 1917 Сикорский эмигрирует, Поликарпов остался в России. С 1918 работал на заводе «Дукс» (авиазавод № 1), где до 1923 года руководил техническим отделом.
В 1923 году под руководством Поликарпова созданы первый отечественный истребитель И-1 (ИЛ-400) и самолёт-разведчик Р-1, в 1927 году — истребитель И-3, в 1928 году — разведчик Р-5 и учебный самолёт У-2 (По-2).
В ноябре 1929 года был арестован ОГПУ по обвинению в «участии в контрреволюционной вредительской организации» и без суда приговорен к смертной казни. После двух месяцев ожидания расстрела, в декабре того же года (без отмены или изменения приговора) его направляют в «шарашку» — Особое конструкторское бюро (ЦКБ-39 ОГПУ), организованное в Бутырской тюрьме, а затем переведенное на Московский авиазавод № 39 им. В. Р. Менжинского.
Здесь совместно с Д. П. Григоровичем в 1930 году он разработал истребитель И-5, который находился на вооружении 9 лет. В 1931 году коллегия ОГПУ приговорила Поликарпова к десяти годам лагерей. Но после удачного показа Сталину, Ворошилову и Орджоникидзе самолета И-5, (пилоты — Чкалов и Анисимов), было решено считать приговор в отношении Поликарпова условным. В июле того же года Президиум ЦИК СССР принял решение об амнистии группы лиц, в том числе Поликарпова. Только в 1956 году — через 12 лет после смерти конструктора — Военная коллегия Верховного Суда СССР отменила прежнее решение Коллегии ОГПУ и прекратила дело в отношении Поликарпова.
В мае 1931 года Н. Н. Поликарпов получил назначение на должность заместителя начальника бригады № 3 ЦКБ-ЦАГИ П. О. Сухого.
В 1933 году начальник бригады № 2 ЦКБ на базе авиазавода № 39 руководителем которого (ЦКБ) был С. В. Ильюшин.
С 1938 года Главный конструктор КБ, размещённого на территории авиазавода № 156, а затем на заводе № 1.
В 1939 Поликарпов был направлен в командировку в Германию. В его отсутствие директор завода Павел Воронин и главный инженер П. В. Дементьев выделили из состава КБ часть подразделений и лучших конструкторов (в том числе Михаила Гуревича) и организовали новый Опытный конструкторский отдел, а по сути — новое КБ, под руководством Артема Микояна. Заодно Микояну передали проект нового истребителя И-200 (будущий МиГ-1), который Поликарпов направил в Наркомат авиационной промышленности (НКАП) на утверждение перед своей поездкой в Германию. Затем под Поликарпова в старом ангаре на окраине Ходынки был создан новый государственный завод № 51, не имевший никакой собственной производственной базы и даже здания для размещения КБ (в настоящее время — ОКБ и опытный завод им. П. О. Сухого, которому производство было передано после смерти Поликарпова). Даже на этом небольшом (по сравнению с предыдущим) заводе до эвакуации, на малой площадке в Новосибирске и после эвакуации были созданы опытные и предсерийные лучшие истребители времен Второй Мировой войны — И-185 и другие.
Руководил созданием истребителей Поликарпов И-15 (1934), И-16 (1933), И-153 («Чайка», 1939), которые создали основу отечественной истребительной авиации в предвоенные годы. Под руководством Поликарпова в 1938—1944 сконструированы опытные военные самолёты И-180, И-185, И-190, ТИС и др. На самолётах Поликарпова совершён ряд дальних перелётов, установлен мировой рекорд высоты. Под его руководством работали многие талантливые инженеры, включая В. К. Таирова.
С 1943 года Н. Н. Поликарпов — профессор Московского авиационного института. Скончался в 1944 году от рака желудка. Похоронен на Новодевичьем кладбище.
В авиационных кругах Н. Н. Поликарпова называли «королем истребителей»: на протяжении почти 10 лет советскую истребительную авиацию вооружали исключительно его машинами.