可以拒绝。

这是因为，图纸设计应与现场实际情况相符。只有这样，建造出来的建筑物才能满足其正常使用功能。否则，将会是一座有功能缺陷的建筑。

比如，实际的地基土质与设计不符，达不到承载力要求，做为施工单位有权拒绝施工。因为如果施工了，责任方就在施工单位了。