Als der spektakuläre Plan eines eigenen permanenten Museums in Berlin gescheitert war, kauften die Brüder 1860 ein Schloss in Oberfranken und richteten es mit ihren asiatischen Artefakten und Landschaftsbildern als halb-öffentliches Museum ein. Dort empfingen sie internationale Gäste, eigens anreisende Wissenschaftler und Museumsdirektoren sowie fürstlichen und königlichen Besuch. Da die Jägersburg in Forchheim (Oberfranken) jedoch zu weit abgelegen von den großen Wissenschaftszentren war und finanzielle Engpässe die beiden Brüder Hermann und Robert bedrückten, wurde dieses Repräsentationsquartier nach einigen Jahren wieder aufgegeben. Nachdem die Bitte um Einrichtung eines Indischen Museums in München gescheitert war, wurden den Brüdern 1877 von König Ludwig II. immerhin Räumlichkeiten auf der Nürnberger Burg zugesprochen. Doch war auch dieses Ausstellungsarrangement nicht permanent, sodass letztendlich große Teile der Sammlungen verschenkt oder verkauft wurden und sich noch heute – über mehrere Kontinente hinweg verstreut – in privaten und öffentlichen Sammlungen befinden.