单位扣押金的行为是否违法需视具体情况而定。根据现行法律法规，用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。若单位违反此规定扣押金，显然是违法的。劳动者有权要求用人单位退还所扣押金，并可向劳动行政部门投诉，由劳动行政部门责令用人单位限期退还劳动者本人，并以每人五百元以上二千元以下的标准处以罚款；给劳动者造成损害的，应当承担赔偿责任。然而，在一些特定行业或情形下，若有合法合规的约定且符合相关规定，可能存在合理收取押金的情况，但也必须严格按照法律程序和要求执行。总之，单位随意扣押金的行为通常违法，劳动者应维护自身合法权益，确保单位依法依规对待劳动权益相关事宜。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。