Der Fluss Hjoån, der die Stadt heute in der Mitte teilt, war früher die Grenze nach Norden. Hier am Rande der Stadt wurde im Jahr 1671 das Zollhäuschen des Nordtores errichtet, wo Händler, Handwerker und Bauern für ihre Waren Zoll entrichten mussten.
Außerhalb der Städte war der Handel verboten, und es war Pflicht der Bürgerschaft, einen Marktplatz zu errichten und Mauer und Zolltore zu unterhalten.
Die heutige Zollstube, die den Charakter der Hafenstraße stark prägt, stammt aus der ersten Hälfte des 18. Jahrhunderts.
Nach Abschaffung des so genannten Kleinen Zolls Anfang des 19. Jahrhunderts wurde das Häuschen für verschiedene Gewerbe verwendet: So waren hier unter anderem ein Bonbongeschäft, eine Boutique und ein Tapisserieladen untergebracht
