Незабаром після початку роботи над He 59 міністерство оборони запропонувало компанії «Гейнкель флюгцойгверке» розробити новий двомісний розвідувальний гідролітак, який мав запускатися з катапульти та використовуватися у відкритому морі. В результаті на «Гейнкелі» було створено півтораплан змішаної конструкції з двигуном ВМW-VI 6.0 рідинного охолодження. Літак отримав позначення Hе 60.
Перший прототип піднявся в політ на початку 1933 року та виявився недостатньо спроможним через двигун BMW VI потужністю 492 кВт (660 к.с.), що не дозволяло підняти яке-небудь значне бойове навантаження. Другий прототип мав більш потужну версію двигуна BMW, але це лише незначно покращило його характеристики та літак виявився ненадійним, тому серійний літак повернувся до оригінального двигуна. У звичайній конфігурації He 60 був міцним літаком, сконструйованим (відповідно до специфікацій) для виконання польотів у відкритому морі. Як наслідок, він завжди мав недостатню потужність для своєї ваги, через що керованість була млявою, а літак був уразливим для ворожого вогню. Були вжиті спроби якимось чином вирішити проблему з його потужністю, оснастивши один літак двигуном Daimler-Benz DB 600, але двигуни не були доступні для виробництва.
Перші поставки He 60 розпочалися у червні 1933 року, новими гідролітаками оснащувалися навчальні підрозділи авіації Крігсмаріне. З 1934 року наймасовіша серійна версія He 60C почала надходити до підрозділів спостереження, й призначалися для запуску з катапульт усіх німецьких крейсерів. He 60 брав участь у бойових діях на боці іспанських націоналістичних сил під час Громадянської війни.
У 1939 році його почали заміняти спочатку на He 114, а згодом на Arado Ar 196, але він залишився на озброєнні кількох берегових розвідувальних штабів (ескадрилей), коли почалася Друга світова війна. У 1940 році Heinkel He 60 був знятий з фронтової служби, але повернувся до використання після вторгнення Німеччини в Радянський Союз у 1941 році, й використовувався для берегового патрулювання в Балтійському та Середземному морях. Усі He 60 були остаточно зняті з озброєння до жовтня 1943 року.