По окончании образования должен был вследствие войны бежать из родины (Пруссия) в Гамбург, затем в Англию. Там поступил на морскую службу и участвовал в войне с французами; был учителем мореходного искусства. В 1817 году вышел в отставку и получил место директора навигационной школы в Гамбурге; написал учебник по навигации (нем. «Handbuch der Schiffahrtskunde»; 1820), выдержавший много изданий.
По приглашению Томаса Брисбена занял место наблюдателя в его частной обсерватории в Параматта близ Сиднея. Наблюдения Рюмкера послужили материалом для каталога 7385 южных звезд, так наз. «Brisbane Catalogue», 1835 г.
В 1831 году Рюмкер вернулся в Европу и получил место директора Гамбургской обсерватории. Результатом его деятельности был каталог «Mittlere Oerter von 12000 Fixsternen f?r 1836» и большой ряд статей в «Astronomische Nachrichten». Выйдя в отставку, поселился в Лиссабоне, где и умер. Место директора Гамбургской обсерватории занял его сын, Георг-Фридрих-Вильгельм (1832 ?1900).