Образование получил в Военно-технической академии имени Ф. Э. Дзержинского (1928). В 1918 году вступил в Красную Армию. Участник Гражданской войны. С 1932 года преподавал в Военно-технической академии.
С 1937 года главный конструктор завода «Большевик», где под его руководством создан и принят на вооружение ряд образцов крупнокалиберных орудий для морской артиллерии. Участвовал в создании 100-мм корабельной универсальной пушки Б-34, 130-мм двухорудийной башенной установки.
В 1939 году направлен на Сталинградский оборонный завод № 221 «Баррикады», где возглавил особое конструкторское бюро (ОКБ-221). Под его руководством созданы орудия большой и особо большой мощности: 280-мм мортира (Бр-5), 210-мм пушка (Бр-17), 305-мм гаубица (Бр-18). Участвовал в разработке других артиллерийских орудий.
Совместно с В. Г. Грабиным основал под Москвой Центральное артиллерийское КБ в 1942 году. Принимал участие в создании 76-мм и 85-мм танковых пушек.
С июня 1944 года возвращается к работе по созданию морской и береговой артиллерии, назначен начальником Ленинградского филиала ЦАКБ . Коллективом КБ было создано большое количество современных образцов отечественного артиллерийского вооружения для кораблей ВМФ различных классов и береговой обороны, а также пусковые установки для ракетного вооружения различных родов войск.
С 1959 года перешел на научно-преподавательскую работу в ЛВМИ.
В 1943 году вместе с коллективом передал присуждённую ему Сталинскую премию в Фонд обороны:
И. И. Иванов умер 2 мая 1967 года. Похоронен в Ленинграде на Богословском кладбище.