主要原因：

1、秦军在当地已经扎根，不愿意回防秦国。

2、秦二世无道不得人心，秦军将领不愿意去救。

3、岭南地处偏远，回防非常困难，来不及救援。

秦国在灭六国的时候，军事力量非常强大，秦始皇在位的时候非常有野心，他想扩展自己的疆域，因此派出了五十万大军攻打岭南，这些大军在秦国快要灭亡的时候，没有选择回去救秦国，而是选择了自立。