2005年，我亲自承包了乙方（我的邻居）的耕地，现在已经建成了一座工厂大楼，现在他要从我这里收回他的土地，我该怎么办？

农村耕地是家庭承包所有制，其承包单位为户。在承包期限内，即便家里老人去世，但承包的农户依然存在的，该农户仍享有承包土地经营权，不发生继承问题。如果由于家庭成员户口全部转为非农，致使农户不存在的，那么发包方应收回承包地，也不存在继承问题。
在承包期内，发包方不得收回承包地。承包期内，承包方全家迁入小城镇落户的，应当按照承包方的意愿，保留其土地承包经营权或者允许其依法进行土地承包经营权流转。承包期内，承包方全家迁入设区的市，转为非农业户口的，应当将承包的耕地和草地交回发包方。
承包方不交回的，发包方可以收回承包的耕地和草地。承包期内，承包方交回承包地或者发包方依法收回承包地时，承包方对其在承包地上投入而提高土地生产能力的，有权获得相应的补偿。

土地承包经营权是不能继承的。土地承包经营权属于用益物权，只是占有、使用、和收益的权利，对土地没有所有权。而遗产是公民死亡遗留的个人合法财产，显然农村土地承包经营权不属于个人财产。
　　我国法律规定只有林地或者土地承包经营权是通过招标、拍卖、公开协商等方式取得土地承包经营权的承包人死亡时，其继承人可以在承包期内继续承包，一般耕地的承包经营权是不能继承的。
承包人死亡后发包单位可以将土地承包经营权收回。　　根据我国《农村土地承包法》第三十一条规定，承包人应得的承包收益，依照继承法的规定继承。　　林地承包的承包人死亡，其继承人可以在承包期内继续承包。
　　其中对于该条款的释义中规定，对因承包人死亡，承包经营的家庭消亡的，其承包地不允许继承，应当由集体经济组织收回，并严格用于解决人地矛盾。　　《农村土地承包法》第五十条规定，土地承包经营权通过招标、拍卖、公开协商等方式取得的，该承包人死亡，其应得的承包收益，依照继承法的规定继承;在承包期内，其继承人可以继续承包。

根据我国《农村土地承包法》　第二十条 ：耕地的承包期为三十年。草地的承包期为三十年至五十年。林地的承包期为三十年至七十年；特殊林木的林地承包期，经国务院林业行政主管部门批准可以延长。
根据我国《物权法》　第一百二十六条　耕地的承包期为三十年。草地的承包期为三十年至五十年。林地的承包期为三十年至七十年；特殊林木的林地承包期，经国务院林业行政主管部门批准可以延长。