Джон Маккарти родился 4 сентября 1927 года в Бостоне, штат Массачусетс в семье иммигрантов, Джона Патрика и Иды Глатт Маккарти. Во время Великой депрессии семья была вынуждена часто менять место жительства, пока, наконец, отец Маккарти не нашёл работу в Лос Анджелесе, Калифорния.
У Маккарти рано проявились склонности к математике, в юности он самостоятельно изучал её по университетским учебникам, которые использовались в расположенном неподалёку Калифорнийском технологическом институте. В результате, поступив в университет, он смог сразу пропустить два первых года по математике. В 1948 году получил степень бакалавра математики в Калифорнийском технологическом институте и степень доктора философии по математике в Принстоне в 1951 году. После кратковременных должностей в Принстонском и Стэнфордском университетах, Дартмутском колледже и Массачусетском технологическом институте, он стал профессором в Стэнфорде в 1962 году, где он и оставался до своего ухода на пенсию в конце 2000-го.
Маккарти отстаивал использование математической логики для искусственного интеллекта. В 1958 году он предложил систему «принятия советов», которая позже вдохновила работы по ответам на запросы и логическому программированию. В том же году он изобрел язык программирования Лисп и опубликовал его описание в журнале Communications of the ACM в 1960 г.
Он также лауреат Медали Бенджамина Франклина в области компьютерных наук и когнитологии за 2003 год.