Das Schicksal des Martinshofs war stets eng verwoben mit dem Kloster Alpirsbach. Das Kloster ist 1095 entstanden, wurde 1101 unter päpstlichen Schutz gestellt und 1123 bestätigte Kaiser Heinrich V. das Recht des Klosters zur freien Wahl von Abt und Vogt. Seit jeher besaß das Kloster Alpirsbach uneingeschränktes Besitz- und Verwaltungsrecht.
In dieser Zeit oder spätestens 1139 – je nachdem welcher Überlieferung wir Glauben schenken – stifteten Friedrich und Arnold von Wolfach dem Kloster das „Praedium Vischerbach“. Mit dieser Schenkung wollten sie, wie in dieser Zeit oft üblich, für das Seelenheil ihrer Vor- und Nachfahren sowie ihrer selbst sorgen. Die Martinskapelle, die dann vermutlich Namensgeber für den ganzen Hof wurde, kam sehr wahrscheinlich kurz danach hinzu. Die Mönche benötigten die Kapelle als einen ruhigen Rückzugsort zum Beten.
Bis in das 17. Jahrhundert hinein hatte die Verbindung zwischen dem Martinshof und dem Kloster Alpirsbach Bestand. Erst nach dem Ende der zahlreichen Wirren, die mit dem Dreißigjährigen Krieg ihren Höhepunkt erreichten und mit dem Westfälischen Frieden endeten, fungierte der Martinshof schlussendlich als eigenständiges Hofgut. Der Martinshof ging zu diesem Zeitpunkt in den Besitz des Herzogs Eberhard von Württemberg über.