Du kunne starte med at lave 2 sider "mappe1" og "mappe2". Under udgiv kunne de fx sættes i status privat.
Dernæst laver du "page1" og sætter "mappe1" som forældre og "page2" får "mappe2" som forældre.
Hvis du så anvender et tema med mulighed for menuer, så lægges alene "page1" og "page2" i menuen.
Adressen på disse vil så være:
http://www.minside.dk/mappe1/page1
http://www.minside.dk/mappe2/page2
Frygteligt besværligt, så det skal virkeligt være ønsket med denne fremgangsmåde.
EDIT: Men måske er der nogle gode plugins der giver større kontrol over permalinks. Google gav lige denne, men jeg har ingen erfaringer: wordpress.org/extend/plugins/permalink-editor/