人才房退休后交给单位，因为人才房是为了留住人才，提供给他们的居住用房，人才房都是单位产权，属于周转房，个人没有确权登记，所以退休后单位就收回房子使用权，个人也要自觉遵守规定，按时交出人才房，以便单位外用来安置新来的有关人才。