Das Landhaus Hechtsberg war zu seinen Anfangszeiten tatsächlich ein Teil des Martinshofs und erlangte erst später Eigenständigkeit als Herrengut.
Die Ländereien des immer weiter wachsenden Schwarzwaldhofs dehnten sich bis auf die Südseite der Kinzig aus. Der Martinshof grenzte damit an die Gemeinde Sulzbach und lag auf der Gemarkung der Stadt Hausach. Der damalige Eigentümer Sebastian Harter stellte dann aber einen Antrag an das Kinzig-Kreis-Direktorium, um der Gemeinde Sulzbach zugeteilt zu werden – und hatte Erfolg damit (1821). Nachdem er starb, heiratete Theresia Harter im Jahr 1828 Anton Kohler. Dieser erbaute fünf Jahre später (1833) auf der Südseite der Kinzig das Herrengut Hechtsberg. Dieses Gut war mit einer Holzbrücke über die Kinzig mit den nördlich gelegenen Ländereien verbunden. Wenige Jahre danach verstarb Anton Kohler.
Theresia Harter ging 1836 dann eine 3. Ehe mit Jakob Neef ein, dem Sohn des Ochsenwirts in Wolfach. Dieser verkaufte ein Jahr später große Teile des Martinshofs an den ersten Standesherr in Baden – zu dieser Zeit Karl Egon II. vom Haus Fürstenberg. Übrig blieb der Hechtsberg, der im Zuge des Verkaufs die Gaststättenerlaubnis vom Martinshof erhielt. Feld, Wiese und Wald südlich der Kinzig wurden von Jakob Neef nicht verkauft, sodass sie nun dem neuen und vollkommen eigenständigen Herrengut Hechtsberg gehörten.