Выходец из бедной семьи. Число и месяц рождения неизвестны.
Отец работал счетоводом в экспедиторской конторе фирмы Готлиб.
До 1915 года Яков Таубин — учащийся; после смерти отца — с 1915 по 1917 годы — рабочий.
В 1929 году поступил в Одесский институт технологии зерна и муки, на конструкторский факультет (не закончил).
В начале 1930-х годов увлёкся идеей создания автоматического гранатомёта.
В 1933 году для реализации своего замысла был направлен Главным военно-мобилизационным управлением на Ковровский инструментальный завод № 2. Позже группа специалистов во главе с Таубиным продолжила работу в Москве, где весной 1934 года было организовано самостоятельное конструкторское бюро — ОКБ-16 Наркомата вооружения, где в период с 1935 по 1938 годы под руководством Таубина был разработан первый в мире пехотный автоматический гранатомёт.
Гранатомёт Таубина имел калибр 40,6 мм и использовал боеприпасы, созданные на базе штатной винтовочной гранаты системы М. Г. Дьяконова. Это оружие имело магазинное питание и допускало стрельбу одиночными выстрелами и очередями, прямым огнём или по навесной траектории. Первоначально гранатомёт устанавливлся на треножный станок, позднее на лёгкий пехотный колёсный станок по типу станка для пулемёта «Максим».
Идея автоматического гранатомёта нашла противников в лице начальника Артиллерийского управления РККА Кулика и некоторых других военных руководителей. В 1937—1938 годах на сравнительных испытаниях миномётов и гранатомётов ротного звена гранатомёт Таубина был отвергнут, предпочтение было отдано 50-мм миномёту обр. 1938 года конструкции Б. И. Шавырина, который и был принят на вооружение. В ноябре 1938 года были проведены морские испытания гранатомётной системы Таубина на бронекатере типа «Д» Днепровской военной флотилии. По их результатам управление вооружения ВМФ заказало в январе 1939 года небольшую серию, но вскоре отказалось от этого заказа. В ограниченных количествах гранатомёт Таубина довольно успешно применялся Красной Армией в зимней войне с Финляндией, однако вскоре все работы по автоматическому гранатомёту были прекращены.
Известный историк артиллерии А. Широкорад прямо назвал людей оказывавших сильное давление на противников минометов - "минометной мафией".
Кроме этого Таубиным совместно с ведущим конструктором ОКБ М. Н. Бабуриным были разработаны:
23-мм пушка и пулемёт не были доведены до нужных характеристик в отпущенный КБ срок, что послужило одной из причин последовавших репрессий.
16 мая 1941 года Таубин с несколькими сотрудниками был арестован по обвинению в «участии в антисоветском заговоре», в «консервировании недоработанных образцов вооружения и в запуске в валовое производство технически несовершенных систем: 23-миллиметровой авиапушки, 12,7-мм пулемёта и других».
28 октября 1941 года по заключению НКВД и Прокурора СССР от 17.10.1941 расстрелян в посёлке Барбыш в Куйбышевской области (ныне парк им. Гагарина в черте Самары).
Реабилитирован 20 декабря 1955 года.
20 мая 1940 года «за успешное освоение новых образцов вооружения» был награждён орденом Ленина.