Olav var i byen mange ganger. I 1019 giftet han seg her med den svenske prinsessen Astrid.

Sarpsborg ble omtalt som én av seks byer i Norge på begynnelsen av 1100-tallet. Her møttes Borgartinget og her lå to kirker.Ruinen av Nikolaskirken fra ca 1115 ser du inne på museumsområdet.

Jordbruk, handel og håndverk var viktig for byen. I vest lå bymarkene, og det er funnet rester både av skoproduksjon og gullsmedvirksomhet. Fra Sarpsborg ble det eksportert varer som tømmer, jern og skinn.

Byens havn lå et stykke nedenfor fossen. I senmiddelalderen drev hanseatene mye av handelen og flere innbyggere på 1400- og 1500-tallet hadde utenlandske navn.

I 1567 ble byen satt fyr på av svenske tropper. Den ble ikke gjenoppført her men flyttet ned til Glommas utløp. Fra 1569 ble den kjent som Fredrikstad, mens området ved fossen ble kjent som "Gammelby".