Jeg tror det er browsercaching der byder ind, ikke dit cachingplugin. Alle dine assets (billeder, .js, .css) vil normalt blive cachet lokalt af din browser.
Jeg har kigget på dine http-headers, og jeg ser 2 nye problemer/muligheder.
1)
Din server returnerer en header der siger:
Cache-Control: max-age=3, must-revalidate
Det er nok denne header der gør at dine grafer flyver sådan frem og tilbage.
Det der står her, er at serveren opfordrer din browser til at cache dine assets lokalt, i 3 sekunder. Dvs. hvis det er mere end 3 sekunder siden du har åbnet en side, skal alting downloades igen. Hvis du sætter denne tid højere, vil flere af dine requests (efter det første) kunne klares med din korte svartid.
2)
Jeg har prøvet at sende et request med headeren
Accept-Encoding: gzip;
Men fik ikke noget positivt svar.
Det ser derfor ud for mig, som om din server ikke tilbyder gzip. gzip vil lade din server komprimere alle filer (som du kender det fra .zip-filer) inden de sendes til brugeren. Det kræver selvfølgelig flere ressourcer fra din server, men vil ofte spare en del sendetid mellem server og bruger (især på første request).
Så der er ihvertfald 2 server settings du kan undersøge og optimere på, de vil nok kunne hjælpe din average loadtid en del ned :-)