如果亲王降为郡王需要更换王府

这是肯定的。

清朝和硕亲王、多罗郡王、多罗贝勒等，和硕公主与固伦公主等，这是爵位等级和身份的区分，除非皇帝特赐之物，王府、公主府、服饰等不能逾制，否则轻被没收，重则削爵抄家。