特殊工种退休晚了，保险是不会被退回的。

因从事特殊工种达到了规定的年限，且脱离特殊工种岗位时间距离法定退休年龄不足5年，可以办理退休手续。

在距离法定退休年龄不足5年的时间内，任何一年都可以办理提前退休手续，但是劳动者不主动提出书面申请，用人单位和人力资源和社会保障局的行政审批窗口，是不会主动或者强迫劳动者办理提前退休手续的，所以说在距离法定退休年龄5年时没有退休，继续缴纳社会保险，待提前退休时是不会退回的。