1932年1月18日，日本指使僧人天崎启升等5人制造事端，并最终引发了震惊中外的“1.28”上海事变。1.28上海事变从1月28日到3月1日，一共打了33天。在整个战争期间，除了19路军的拼死抵抗外，中国的便衣队更是让日本人头疼不已。

日本人表示当时市区内到处都有便衣队存在，在加上刚刚登陆的日本陆战队对地形不熟悉，因此在中国便衣队与之展开巷战的情况下，日军伤亡惨重，同时让在上海的日本居留民人心惶惶。

中国的便衣队伪装成了车夫，小商贩等普通百姓，因此很难被日军发现。根据日本人的报告指出中国的便衣队在帽子、戒指、衣襟等处都有着一定的标记，为了方便活动，必定是穿着一件长衫。在中国便衣队的层层阻击下，不但给日军陆战队造成了较大杀伤要让日本居留民组织起来的自警团伤亡不小。

因此日军为了围剿中国便衣队，在居留民自警团的配合下肆意在上海杀害和逮捕中国抗日人士。在当时只要一发现便衣队，便会统统枪杀。每天惨死在日本人手里的中国人多达300-500人。

当时在日本人俱乐部躲避战火的日本人大井传次郎的回忆中谈到：“俱乐部的后院堆放着几百具中国便衣队员的尸体，这些尸体后来全部被扔进了大海。”

这其中更为可恶的是，日本居留民自警团打着搜捕便衣队的名义大肆残害中国百姓。当时在上海的日本人因中国的抵制措施表示“要给中国点颜色看看”。因此在搜捕过程中，日本居留民变着花样的对中国人进行各种侮辱和虐杀。日本军方也因为在搜捕中国便衣队的过程中需要日本居留民的帮助，而对这种行为进行了纵容。