施工现场是一个高风险的工作环境，特殊人群包括但不限于以下几类，他们在施工安全制度执行过程中需要特别关注：
新员工：新员工通常缺乏施工经验和相关知识，容易在施工现场出现安全意识不强、操作不规范等问题。因此，需要对新员工进行系统的安全培训，包括施工安全规章制度的学习、安全操作技能的培训等，确保其能够适应施工现场的工作要求。
外来劳务工人：在一些大型工程项目中，会有外来劳务工人参与施工作业。这些工人通常来自不同地区，施工安全标准和操作规程可能与其之前的工作环境有所不同，因此需要对外来劳务工人进行专门的安全培训和指导，确保他们能够正确理解并遵守施工安全制度。
残疾人员：在施工现场，可能会有一些残疾人员从事一些特定的工种。针对这些特殊人群，需要根据其残疾情况制定个性化的安全防护措施和工作安排，确保他们在施工过程中能够安全参与工作。
孕妇和老年工人：孕妇和老年工人在施工现场的安全风险更高，需要特别关注其工作环境和身体状况。对于孕妇，需要限制其从事一些高风险的工种，并提供额外的安全保护措施；对于老年工人，需要根据其身体状况合理安排工作内容和工作时间，确保其安全参与施工作业。
综上所述，对于施工安全制度的执行，需要考虑到不同特殊人群的需求，制定相应的安全管理措施和培训计划，确保所有人员在施工现场能够安全作业。