少林寺面对少室山，背依五乳峰。据史书记载：少林寺的第一位住持是一个叫跋陀的小乘教和尚，北魏孝文帝元宏太和二十年(496)，他从古印度跋涉来到中国，得到虔信佛教的孝文帝的崇拜。因跋陀喜欢隐居幽静之处，孝文帝就让人在少室山下密林深处为他建了一座寺院，取名少林寺。跋陀在寺内收弟子百人，并翻译了随身带来的经典。跋陀圆寂后因无传灯接宗的规矩，其弟子也分散各地传道。数十年后，少林寺成为大乘教的基地。南朝末年，菩提达摩经过三年海上飘泊来到中国宣传大乘佛教。他先在广州光孝寺讲道传教，后被梁武帝接到南京相见。梁武帝以为自己建寺、写经、度僧造像甚多，积有不少功德，而达摩却说“无功德”，所作皆是“有为之事”，不是实在的功德。二人话不投机，达摩便以五叶芒苇作舟渡江，入魏，来到嵩山少林寺，创立了禅宗。他 所传的禅宗不重玄理，而主张坐禅“壁观”，以面壁沉思，屏息众念来领悟禅理，这种简便易行的修养方法自然易于推广，使得后来禅宗成为中国佛教的主流派别，达摩则被中国禅门定为初祖。唐代宗赐谥“圆觉禅师”。由于达摩所传的大乘教对当时流行于中国广大地区的旧禅法是一种革新，因此斗争激烈。达摩去世后，他的弟子们形成了以慧能为首的南宗和以禅秀为首的北宗。南北宗在教义上无多大区别，但在修行上北宗倡导“渐悟”，而南宗倡导“顿悟”，主张“放下屠刀，立地成佛”。经过十几年的争执，至唐德宗时，南宗终于取代了北宗的势力。

　　少林寺曾一次被废，二次被焚。被废发生在北周武帝时，当时国内信佛人数占居民一半，生产受到影响，损害了皇室利益。于是建德三年(574)周武帝下令禁佛、道二教。少林寺被废弃，僧众纷纷遣散回乡。七世纪初，少林和尚们因在李世民征战中助战有功，受到唐王大力支持，又重建少林寺。至宋时，寺已聚僧二千多人，楼台殿阁五千余间，占地36公顷，藏经近万卷，号称“天下第一名刹”。清雍正年间(1723—1735)皇帝怕武僧造反，放火围攻寺院，将少林寺置于火海中。乾隆以后又加以重修。1928年，军阀石友三纵火又将名刹付之一炬，这次大火损失严重，火势延续五个昼夜，七进院落只剩下二、三间，无数经典、法器等贵重文物化为焦土。解放后又多次整修，逐渐恢复往昔模样。现寺共七进，总面积约三万多平方米，规模宏大，并有常住院、初祖庵、二祖庵、三祖庵、塔林、甘露台、祠堂及南园等附属建筑。

　　 山门为一殿，面阔三间，雕脊彩瓦，吻兽生动，系清雍正十三年(1735)所建。门上“少林寺”横匾原悬于天王殿，兵火后移此，为清圣祖玄烨亲书。殿内有弥勒佛坐像和韦驮护法神像各一尊。山门后甬道两旁立有唐、宋、元、明、清各代碑铭三十余座，为少林寺有名的“碑林”。其中有王知敬写的大唐天台御制诗书碑，元代日僧邵元撰文的息庵禅师碑，明代的释迦双迹灵相图，扶桑园沙门德始书写的淳拙和尚碑以及书法家米芾“第一山”刻石，明代董其昌书写的天言道公碑，清乾隆的御书碑，吴道子的观音画像碑等。其中以北宋苏轼的《观音赞碑》和元代赵孟頫的《裕公碑》为最佳。

　　二进院为天王殿。该殿与四进的藏经阁和三进的大雄宝殿均被毁，现已重修好，内有四大天王像。三进大雄宝殿于1986年重建。殿内柱基均为雕刻高1米多的石狮。藏经阁遗址前后，除钟楼遗址上放重5.5吨的金代大铁钟外，神座上放明代弘治元年(1488)铸的1.75米高的地藏王铁像和石碑等文物，东配殿为紧那罗王殿和东客堂，西配殿是六祖堂和西客堂。

　　方丈院在第五进院落，这是兵火后山门内幸存的第一所建筑。中为方丈室，是历代住持和尚居住的地方。乾隆十五年(1750)高宗弘历曾留宿于此，因此一度易名“龙庭”。站在方丈室门口南望少室山主峰，山坡上横卧一块巨石，约10多平方米，每当夏季雨过天晴，阳光直射石上放射出奇异光彩，遥望如白雪一片，晶莹夺目，故称“少室晴雪”，为中岳八景之一。

　　出方丈室拾级而上，高台上有一座琉璃佛殿，称“达摩殿”，又叫“立雪亭”，相传为禅宗二祖慧可立雪断臂处。慧可，少为儒生，博览群书，通达老庄易学，后出家，精研三藏内典。在40岁左右遇达摩于嵩山洛阳一带游化，即拜他为师。达摩闭门面壁，置之不理，慧可便在门外等候，时数九寒天，大雪过膝，慧可站立雪中不动，第二天达摩仍不许入室，于是慧可砍下左臂献于达摩前，表示求道至诚，达摩才把木棉架裟和钵盂传他，作为传法的凭证。“衣钵传真”的典故便出于此。亭内佛龛中供奉达摩铜像。亭正中悬挂乾隆御书“雪印心珠”横匾。亭外东墙镶嵌金代模刊的苏轼观音像和观音赞、金代刻制的二祖慧可画像、明代左思明的“炼魔台”三字刻石等。

　　过了立雪亭便是毗卢阁，又称千佛殿，系明末重建。佛龛中供明代铸造的毗卢佛铜像。殿东、西、北墙上有大型彩色壁画——五百罗汉。高7米，面积330多平方米，其规模之大为全国同类壁画中所罕见。五百罗汉形貌奇特，分为35组，各表达一个故事，据说色彩数年一更。整个三层画面采用重彩平涂法，朱黑和谐，勾勒粗劲有力。线条简炼，笔法流畅。东壁是明代雕刻的阿弥陀佛玉石像。殿内地面上有48个排列成深20厘米的陷坑，据说是少林武僧练拳习武的脚坑遗址。

　　千佛殿的西厢为地藏殿，东厢为白衣殿。白衣殿内供奉白衣观音铜像一尊。殿内三面墙上绘有彩色壁画，均系晚清所制。北面和南面绘的是众僧徒手和持械练拳习武的动作，所以千佛殿亦称拳谱殿或锤谱殿，北面山墙上绘湛举和尚在殿前指导僧徒拳赛的情景。后壁北端二间绘“十三和尚救驾唐王”与“活捉郑将王仁则”的传统故事。神罩两侧绘制的是降龙伏虎图，东北和东南壁角是文殊骑青狮和普贤骑白象等。

　　出寺向西北行一公里，便是初祖庵。这座寺院主要是为了纪念禅宗初祖达摩上山修行而建。庵内有山门、大殿、千佛洞，现存主要建筑为一殿、两亭和千佛阁等。大殿建于北宋宣和七年(1125)，木构梁架，斗栱都是典型的宋代风格，是河南现存木构建筑中之杰作。殿内梁柱用16棂石柱和弯曲圆木叠成，柱上雕刻的武士、游龙、舞凤、飞天、凤戏牡丹、群鹤闹莲等图，工艺精细，神态生动，体现了宋代中叶绘画和雕刻技艺的水平。大殿东南有古柏一株，相传为禅宗六祖慧能所植，俗称马柏。殿后两亭有宋代书法家的碑石四十余品。初祖庵不远的五乳峰中有一“达摩洞”。洞前立有一片明万历三十二年(1604)雕刻的双柱单孔石坊，洞内有“面壁石”一块，据说是由于达摩在此静坐面壁九年其影入石所致。佛徒们视此为至宝，可惜已毁于兵火。

　　二祖庵位于钵盂峰上，庵内有大殿、碑碣数道，庵外有古柏及唐、元、明代砖塔三座，庵南有一块巨石叫“石削石芙蓉”，传为慧可断臂养伤处，名“养臂台”。庵前有四眼泉水，虽相隔咫尺，但水味各异。据说慧可在此养伤时吃水困难，达摩知道后便用锡杖点几下，所点之处便涌出泉水，故称“卓锡泉”。南面还有觅心台，为慧可行经处。