从很早的时候起，人们就向往着能像鱼儿一样在水中自由游泳。2000多年前，有个国王叫亚历山大，他想到水下去逍遥，就下令工匠们给他做了一个玻璃容器，他躺在这个容器里沉到海底，并在海底停留了一些时候，看到了水下奇异的水族生活。这可以看作早期人们对潜水装置的探索。
17世纪初，荷兰有个物理学家，名叫科尼利斯·德雷尔，为了使潜水船能在水中前进，他做了长时间的研究和试验。17世纪20年代，他用一条最大的潜水船，装载12名水手，用浆划船前进。这种潜水船是用木料制成的，在船体外面蒙上了一层涂油的牛皮，下潜深度为4至5米，船内装有羊皮囊作为水柜。羊皮囊内灌进了水，船就下潜;把羊皮囊内的水挤压出去船就上浮到水面。这种潜水船要算是世界上最早的潜艇雏形了。
18世纪美国独立战争时，英国的战舰在美国的海面和港口横冲直撞，激起了美国人的义愤。有一个叫戴维特·布斯涅尔的美国人，很早就想造一条潜水船到水下做一次旅行。由于战争爆发，他改变了主意，打算建造一条水下战舰，从水下去攻击英国的水面战舰。于是，他很快设计制成了一条小艇，起名叫“海龟”。“海龟”艇是木制的外壳，形状很像一个尖头向下的鹅蛋。艇底有一个小水柜，艇内有一个小水泵，向水柜灌水时，小艇就潜入水中;当水泵把水柜的水抽出时，小艇就上浮。艇上还装有一个手摇螺旋桨，可使小艇在水下前进。艇外挂有一个大炸药桶。进攻时，小艇开到敌舰的正下方，然后用长矛似的钻子去钻敌舰的船底，钻好后把炸药桶挂上，启动定时爆炸装置，当小艇离开后，炸药桶自动爆炸，就可以摧毁敌舰。“海龟”艇制成后，曾奉命攻击英国的快速战舰“鹰”号。当“海龟”艇潜到“鹰”号的船底下方时，驾驶员埃兹拉·里选择钻孔的位置不对，钻不进去，他怕所带的氧气用完，于是放弃了攻击，浮出水面，准备返航。这时，英国海军巡逻艇发现了它，就把它当作怪物进行追捕。“海龟”艇跑不过巡逻艇，埃兹拉·里急中生智，把炸药桶放了出来，并点燃了定时爆炸装置，轰隆!一声巨响，吓得英国巡逻艇调头就跑，埃兹拉·里安全返回了基地。
18世纪末，爱尔兰裔的美国人罗伯特·富尔顿建造了一艘小巧玲珑的潜艇，名叫“触鱼”。该潜艇长7米，形状像子弹，艇体为铁架铜壳，有水柜，能使艇沉浮。艇上还有一台手摇螺旋桨，保证水下行驶;还有一根可以折叠的桅杆，并装有风帆，能使艇在水上航行。它使用的武器是水雷。这条潜艇从材料、设备到武器，都比“海龟”艇有较大的改进，所以比“海龟”艇潜得深，攻击威力大。
19世纪中叶，德国人威廉·鲍尔对罗伯特·富尔顿的潜艇加以改进，制成了“火焰”号潜艇，装置一对踏车作为动力。它就像现在的自行车一样，用脚踏飞轮，带动螺旋桨转动，使艇前进。19世纪60年代，美国国内爆发了“南北战争”。南军建造的“大卫”号潜艇，是以小型蒸汽机作为动力的，这是潜艇在动力上由人力改为机器的第一次重大改进。1863年10月的一个夜晚，“大卫”号潜艇袭击了北军的“克伦威尔”号铁甲舰，使其受了伤。1864年2月17日傍晚，南军又使用“亨利”号潜艇，用长竿鱼雷(鱼雷绑在一根长竿上)炸沉了北军的一艘巡洋舰“休斯敦”号，成为历史上第一艘击沉战舰的潜艇。1863年，法国建造了一艘很大的潜艇，叫“潜水员”号，长约47米，排水量420吨，艇上安装了80马力的压缩空气发动机作为动力。这个艇在水下航行的稳定性能差。到1881年，爱尔兰籍美国人霍兰，在解决潜艇水下航行稳定性方面取得了进展，他用升降舵来保持潜艇水下航行时的稳定。19世纪80年代，法国又制造了一艘名叫“吉姆诺特”号的潜艇。这艘潜艇装上了蓄电池，使用了55马力的电动机做动力，这是潜艇动力上的又一次重大改革。1898年，霍兰又研制了一种潜艇，以汽油发动机做动力，水下最大航行速度为5节(1节为每小时l海里)，水上可达7节，这艘潜艇还可以水下发射鱼雷。1899年，有个名叫芬贝夫的人，制成了一艘名叫“纳维尔”号的潜艇，有两层壳体，在艇的内壳外又包上一层外壳。内外壳之间的空间用来装水，叫水柜，可使潜艇下潜上浮，使潜艇具备了较好的潜浮和航海性能。水下航行速度可达8节，水上航行速度达到11节，并能给蓄电池充电。这一重大改进，为现代潜艇打下了良好的基础。
在第一次世界大战前几年，潜艇越造越大，越造越好，由于使用了柴油机做动力，航速有很大的提高，武器装备也比以前多了。第一次世界大战一开始，潜艇就投入到大规模的海战中。1914年9月22日，德国的一艘潜艇在1小时15分钟内，用6个鱼雷击沉了英国3艘12万吨的巡洋舰，充分显示了潜艇的威力。到了第二次世界大战期间，世界各国建造的潜艇总数已达到1600多艘。随着潜艇数量的增加，种类也在增多，用途也越来越广。潜艇的排水量，已从数百吨发展到2000多吨。
不仅出现了小型、中型、大型潜艇，而且还出现了执行特殊任务的袖珍潜艇。第一次世界大战期间，为了提高潜艇的攻击和自卫能力，安装了火炮。但火炮在水中阻力很大，影响了潜艇的速度，以后又把火炮拆除了，增加了鱼雷发射管的数量，这样不仅提高了潜艇水下航行的速度，而且也增大了潜艇的攻击威力。第二次世界大战后，有的国家把常规动力改为核动力。1954年，美国的“舡鱼”号潜艇首先采用了核动力。核动力使潜艇有了较大的航速，它比常规动力的速度大一倍多，而且能长时间在水下航行，它可以绕地球跑好几圈而不需要增添燃料，而且它能够90%以上的时间在水下活动，大大提高了隐蔽性。而装备了弹道导弹的核潜艇，已经成为一支战略打击力量。
