Джозеф Макконнелл родился 30 января 1922 года в Дувре (Нью-Гэмпшир). С детства он мечтал о карьере лётчика. Во время Второй мировой войны ему удалось попасть в военную авиацию, но не в истребительную, как он хотел, а в бомбардировочную. В качестве штурмана бомбардировщика B-24 он совершил много боевых вылетов в Европе. После окончания войны Макконнелл достиг своей цели: в 1948 году его перевели в истребительную авиацию.
Когда в 1950 году началась война в Корее, Макконнелл сразу подал рапорт о направлении его на театр военных действий. На этот момент ему было уже почти 30 лет, и командование считало его старым для лётчика-истребителя. Тем не менее, Макконнелл вновь сумел добиться своего. В августе 1952 года он был переведён в 39-ю эскадрилью 51-го авиакрыла истребителей-перехватчиков, базировавшуюся в Южной Корее. В первые месяцы службы ему ни разу не удалось встретить МиГ противника, хотя он, как и некоторые другие пилоты, нарушал запрет на полёты в воздушном пространстве Китая, надеясь встретить вражеские самолёты неподалеку от аэродромов их базирования. Лишь 14 января 1953 года Макконнелл сбил свой первый МиГ-15. С этого момента ему сопутствовал успех.
Во время службы в Корее Макконнелл летал на трёх разных F-86, причём все его самолёты носили имя собственное «Beautious Butch» («Красотка Батч»), происходившее от прозвища «Butch» его жены Пирл Браун. В январе 1953 года он сбил четыре самолёта, в феврале — один, в марте — два. 12 апреля он был сбит единственный раз в своей карьере. В тот день Макконнелл участвовал в прикрытии налёта на гидроэлектростанцию в Супхуне (Китай). Его самолёт подбил капитан Семён Федорец (913-й истребительный авиаполк), МиГ которого затем также был повреждён удачной очередью его жертвы. Оба пилота катапультировались; Макконнелл предварительно сумел дотянуть на своём «Сэйбре» до Жёлтого моря, и после приводнения его очень быстро эвакуировал вертолёт американской поисково-спасательной службы. Как он сказал своим товарищам, вернувшись на базу: «слегка ноги замочил».
Острое зрение позволяло Макконнеллу нарушать базовое правило лётчиков-истребителей, открывая огонь на достаточно большой дистанции. Особенно удачным для него стал день 18 мая, когда он в одном вылете сбил два МиГа, а в другом — ещё один, доведя тем самым свой список побед до 16 и став первым из двух американских «тройных асов» Корейской войны. По иронии судьбы, этот день стал последним в его боевой карьере. Командующий Дальневосточными ВВС генерал-лейтенант Гленн Баркус сказал: «Я хочу, чтобы этот человек находился по дороге домой в США до того, как я закончу эту фразу». Вместе с Макконнеллом от участия в боевых действиях был отстранён и его соперник Пит Фернандес, чей счёт побед был лишь немногим меньше. ВВС США не желали возможной потери на театре военных действий кого-либо из получивших широкую известность асов.
После Кореи Макконнелл стал лётчиком-испытателем. 25 августа 1954 года он погиб во время испытательного полёта на новой модификации «Сэйбра» F-86H. Расследовавшая катастрофу комиссия пришла к заключению, что самолёт разбился из-за ошибки наземного технического персонала, готовившего его к полёту.
За время службы в Корее капитан Джозеф Макконнелл одержал 16 подтверждённых ВВС США воздушных побед (все — над МиГ-15), совершив 106 боевых вылетов. Он является самым результативным американским лётчиком-истребителем в Корейской войне. Кроме того, он до сих пор остаётся наиболее результативным лётчиком-истребителем в истории реактивной авиации США. За свои достижения он был награждён Крестом «За выдающиеся заслуги», второй по значимости военной наградой страны.
В США был снят фильм «История Макконнелла» (1955). К моменту гибели пилота фильм ещё не был завершён, и поэтому в нём пришлось менять концовку.