若工厂偷偷搬迁且不给予赔偿，可采取以下措施：首先，收集相关证据，如劳动合同、工资条、工作证、考勤记录、工厂搬迁前的公告通知、与工厂负责人沟通搬迁及赔偿事宜的记录等，以证明与工厂存在劳动关系及工厂搬迁的事实。其次，尝试与工厂进行协商，明确表达自身诉求，要求其按照法律规定给予合理赔偿。协商过程中注意保留好沟通记录。若协商不成，可向劳动监察部门投诉，由劳动监察部门介入调查，责令工厂依法支付赔偿金。还可向劳动争议仲裁委员会申请仲裁，提交仲裁申请书及相关证据，通过仲裁程序来维护自身合法权益。仲裁裁决具有法律效力，若工厂不履行，可依法向法院申请强制执行。此外，若工厂搬迁导致劳动合同无法继续履行，且未与劳动者协商一致变更劳动合同，劳动者有权解除劳动合同，并要求工厂支付经济补偿。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。