不能不去。考上选调生之后，你必须服从组织的安排，按时到分配的单位报到。如果你对分配的单位不满意，可以提出申请重新分配单位，但不一定能获得批准。

如果你对分配的单位不满意，坚持不按时去报到，最后组织会取消你选调生的资格，并且记录在诚信档案。