中国新石器时代的石刀和青铜时代早期的青铜小刀，可以看作是刀的雏形。
商代的青铜大刀，刀身较宽、刀尖翘起，可供作战用。有的在刀脊背处附铸精美的花纹，但发现的数量较少。还有一种小型青铜刀，与戈、弓矢一起装备战士，供近身防卫之需，全长仅30厘米左右，柄端以马、羊等动物头像为装饰，或做成环形。商周时期还使用过一种背部有銎孔的异形青铜刀，可装长柄，但发现数量很少。
西汉时期，由于钢铁冶锻技术的进步，开始出现新型的钢铁刀。这种刀直体长身，薄刃厚脊，短柄，柄首加有扁圆状的环，故习称“环首刀”。在河北满城西汉中山靖王刘胜墓中出土的环首刀，是早期的典型制品。刀身脊背平直，刀柄略窄于刀身，缠有粗的丝缑，以便把握，刀环以金片包缠，套有髹漆木鞘，鞘上附有金带，颇为华美。环首刀在西汉时期发展较快，适于劈砍的短柄钢刀遂成为步兵和骑兵的主要格斗兵器。在河南洛阳西郊的一批西汉墓中，就有23座墓出土有较长的环首刀，长度为85～114厘米。在山东苍山发现东汉永初六年（112）制造的环首钢刀，全长111.5厘米，刀身宽3厘米，刀脊的厚度与刀身的宽度大约是1∶3，刀身上饰错金火焰纹，并有隶书铭文记明为“卅_”。检验表明，是用炒钢反复折叠锻打制成，刃部还经过淬火，质量优良。
环首刀一直沿用到魏晋南北朝时期，从画像砖和石窟寺的壁画中，可以看出环首刀和长盾配合是当时步兵的主要装备。在这一时期，刀的形状和系佩方式也有变化。江苏镇江东晋墓中出土的铁刀，刀身加宽，刀头由斜方形改为前锐后斜的形状；其中有一把刀的柄部制成圆銎形，可以插装长柄，是少见的新式样。宁夏固原北周李贤墓出土的环首刀，刀把包银，外附髹漆木鞘，鞘上装有银质双耳，表明已由_式佩系法（见剑）改为悬垂于腰带上的双附耳式佩系法，这是受到古代伊朗影响的产物。
隋唐时期，军队装备的刀主要是横刀和陌刀，并普遍使用装有双附耳的刀鞘。横刀又称佩刀、短柄。《新唐书・兵志》记，它是每个士兵必备的兵器。陌刀是长柄尖锋两刃刀，为盛唐以后流行的兵器，主要供步兵使用。
北宋时期，短柄单手握执的刀称“手刀”，从北宋庆历年间刊印的《武经总要》所载的图像看，刀身较宽，刀头微上翘，前锐后斜，刀柄与刀身间有护手，柄端没有传统的扁圆形环。但从出土的实物看，当时有的手刀柄末端仍做成环形。长柄刀有多种式样。《武经总要》列举有掉刀、屈刀、掩月刀、戟刀、眉尖刀、笔刀等。南宋时期，手刀的制造工艺更精。江苏丹徒曾出土一把钢刀，全长83.3厘米，柄末端呈环形，柄身之间有格，刀脊錾刻“两淮制置印侍郎任内咸淳六年造”铭文，表明制作于1270年。经检验是夹钢制品，工艺要求很高。元明时期，火铳、鸟铳等火器相继出现，军队的装备逐步发生改变，但短柄的刀仍然是步兵和骑兵必备的兵器。
明代戚继光在《练兵实纪》中，指明骑兵、步兵都用的兵器就有腰刀，并很注意腰刀制作的质量。他的军队中也装备有长柄的夹刀和长刀。这种情况，一直沿至清代后期。
