朱元璋是非常重视情报工作的，早在明朝建立之前，他就建立了一支专业的情报组织，即检校组织。杨宪，曾任明朝丞相的人，不仅是检校组织的成员，还是其中的骨干和领导人，其他如高见贤、夏煜、凌锐等人也是其中的领导人。
元至正二十七年(1367年)，朱元璋打败了张士诚，他在该地设立了浙东行省，并派自己的外甥李文忠担任行省右丞和总管军务，而杨宪则是作为属官跟随并辅佐李文忠。实际上，杨宪除了协助李文忠外，还负责监视他的职责。
不久之后，杨宪向朱元璋报告了李文忠的不法行为，指称他任用了儒士屠性、孙履、许元、王天锡、王橚等人干预公务。接到杨宪的报告后，朱元璋立即将这五人押解进京，屠性和孙履被处以死刑，其余三人则被发配充军。然而，明朝建立后，这个检校组织就不再存在了。
锦衣卫的前身是元至正二十四年(1364年)设立的拱卫司，此后该部门多次改名，先改为拱卫指挥使司，不久又改名为都尉司。到了洪武三年(1370年)六月，又改为亲军都尉府，负责管理左、右、中、前、后五卫军士，并设立了仪鸾司。
洪武十三年(1380年)的胡惟庸案之后，为了进一步加强皇权，监视和搜集朝臣的动向，朱元璋于洪武十五年(1382年)裁撤了亲军都尉府和仪鸾司，改设了锦衣卫。最初，锦衣卫的职责仅限于守卫、侦察逮捕和执行诏狱，主要从事侦察、逮捕、审问等活动。
锦衣卫在成立初期主要从事值宿和侦察的工作，真正展现其威力是在洪武十八年(1385年)。在锦衣卫指挥使毛骧的操作下，原本已经尘埃落定的胡惟庸案再度引起波澜，性质也从普通的“擅权枉法”变成了十恶不赦的“图谋造反”，其目的是为了为朱元璋屠杀大臣寻找借口。
然而，由于锦衣卫作为直接向皇帝负责的部门，为了将案件确立为铁案，采取了不择手段的方式，出现了“非法凌虐”的问题。面对外界的压力，朱元璋不得不在洪武二十年(1387年)下令将相关的刑具全部焚毁，并将囚犯交由刑部审理。朱元璋的这一举动只是为了平息民众的愤怒，实际上锦衣卫仍然发挥着它的作用。就在同年六月，广西都指挥使耿良因多次不法行为被贬为驯象卫指挥佥事，原因是“耿良在任期间多次违法，军士薛原桂控告他，之后镇抚张原进一步指证他有二十余项违法事实，上命锦衣卫严密调查，证据确凿，所以贬斥他”。
从洪武十八年(1385年)到洪武二十三年(1390年)，短短五年的时间里，在锦衣卫的行动下，与“胡惟庸案”有关的功臣中有一公、二十侯受牵连，而受到连坐、死罪、黥面、流放等惩罚的人更是数以万计。清中期的文学家赵翼曾感慨道：“难道有背叛者已经死去，而同谋的人竟然十余年后才败露吗?这只不过是借胡惟庸的名义，通过审讯词句将他们牵连进来，就像收割麦子和捕捉猴子一样炫耀而已。”然而，毛骧作为皇帝的得力助手，在“胡惟庸案”结束后，最终也被处死以平息民众的愤怒。
太子朱标去世后，朱元璋为了确保江山稳固，顺利传位给下一任皇帝，将目光转向了一些傲慢自大的将领，其中包括蓝玉等人。于是，在洪武二十六年(1393年)二月，锦衣卫指挥蒋瓛举报蓝玉谋反，结果牵连到十三侯和二伯，成千上万人被连坐，处以死刑、黥面、流放等惩罚。朱元璋还颁布了《逆臣录》，公布了一公、十三侯、二伯的名单。和毛骧一样，蒋瓛在制造完“蓝玉案”后，也被处死。
通过前后两起大案，朱元璋逐渐认识到如果任由锦衣卫这样办事下去，将会造成巨大的危害。因此，在“蓝玉案”之后，朱元璋在洪武二十六年(1393年)下令禁止锦衣卫参与司法事件的处理，所有大小事务都由法司负责。“诏内外狱毋得上锦衣卫，诸大小咸径法曹;终高皇帝世，锦衣卫不再参与司法事务，逐渐被削弱。”锦衣卫仅保留了值宿和侦察的两项职责。
