依据《物业管理条例》第七条的规定，业主有缴纳物业费的法定义务，故卫先生不交物业费肯定是不行的。但是，依据《北京市高级人民法院关于审理物业管理纠纷案件的意见（试行）第22条规定：“有下列情形之一的，业主可以要求减收物业业务费用或要求返还多交的物业业务费用：（1）物业管理企业提供的业务项目和质量与合同约定标准差距明显的……”，也就是说物业公司不是入住后就可按合同约定的标准向业主收费，入住收费并不是天经地义的事，物业公司必须尽职尽责为业主提供符合合同约定标准的服务，才能按合同约定收取相应的物业费用。否则，业主可以少交物业费用，当然业主得有相应证据证明物业公司的服务存在不足。本纠纷中，结合卫先生所说的情况，物业公司连最基本的卫生管理、门禁管理都未做到，还涉嫌报复业委会筹备组成员，不仅连一般的物业服务都不到位，还有阻碍业主行使正当权利之嫌。所以，卫先生完全有理由可以少交物业费。
法律依据
《物业管理条例》第七条