Also wenn die Nachbarn nicht gestört werden, ist doch erstmal alles OK ;)
Wenn du trotzdem noch dämmen willst, kannst du mal probieren, "Einsätze" aus Styropor für die Fenster zu basteln, vorrausgesetzt, sie sind einigermaßen tief, dass du sie reinschieben kannst.
Einfach abmessen, Styropor...