由于清政府对五世班禅暧昧的及不得力的支持，以及前藏的达赖系统对其有意的排挤，加之五世班禅本人主观上的原因，其僧人气质远远大于政治家的气质，导致了在五世班禅时期，尽管扎什伦布寺的属寺和属民数量急速增长，但扎什伦布寺本身的僧侣人数却减少了一半，达到了历史最低的奇怪现象的出现。

　　五世班禅罗桑益西（１６６３—１７３７年）生活的时代，是西藏地方历史上波澜壮阔、纷繁复杂的一个时代。在短短的７０多年间，西藏不仅出现了三个达赖喇嘛，而且也成为一座硝烟不息的战场：固始汗入藏、第司·桑结嘉措与拉藏汗兵戎相见、准噶尔入侵、噶伦内乱等，一系列对西藏历史产生重大影响的战争都发生在这一时期。而对五世班禅来说，他也先后受到清政府册封、扩大辖地、屡次招请等殊宠。同时五世班禅的青壮年时代正是西藏宗教领袖频繁更换或不能主事的时代（五世达赖圆寂时，班禅１９岁；第司·桑结嘉措向全藏宣布五世达赖圆寂的消息时，班禅３４岁；其后六世达赖两易其人；七世达赖１３岁才从塔尔寺入藏），在这样一个背景下，按照常规，承接四世班禅开创的有利局面，同时依恃清政府的支持，这应该是一个五世班禅有所作为、扩大本人及整个班禅系统影响的时代，但事实上却并非如此，请看以下的几组数字：

　　四世班禅圆寂时（１６６２年），扎什伦布寺共有僧侣５０００人，楼房３０００间，属寺５１处，僧侣４０００人，谿卡１６处，牧区有部落１０余处。

　　五世达赖时期（１６１７—１６８２年），扎什伦布寺共有２５００僧人，居民５００户，每年收入粮食２６００克（１克约等于２８市斤）。

　　到五世班禅圆寂的１７３７年，扎什伦布寺有属寺３２７座，僧侣共１３，６７１人，属民６７５２户。１７９１年，廓尔喀入侵西藏时，扎什伦布寺的僧人又恢复到了四、五千人。

　　从这组数字我们可以发现这样一个问题：扎什伦布寺的僧人数在惯常情况下总保持四、五千人左右，但在五世班禅时期，尽管扎什伦布寺的属寺和属民数量急速增长，但扎什伦布寺本身的僧侣人数却减少了一半，达到了历史最低，为什么会产生这种奇怪的现象呢？

　　首先，五世班禅时期，扎什伦布寺属寺和属民的增加，是寺属谿卡增加的结果。１７０６年，拉藏汗为了使格鲁派寺院，接受他所遴选的五世达赖的转世灵童，不仅给三大寺送了许多谿卡，而且还将“达纳仁钦则全部牧区和列普的全部农牧区、涅日地区的庄园百姓等划归扎什伦布寺”。１７１９年左右，准噶尔将领策凌敦多布把后藏仁钦则宗本的庄园、百姓和江孜章子宗本的庄园、百姓，一律赠给班禅。１７２８年，清世宗又把扎什伦布寺以西一直到阿里地区，全部划归班禅管辖，但班禅只接受了拉孜、昂仁、彭措林３个宗。随着这些宗和谿卡归并扎什伦布寺，在这些土地上的寺院、属民也就属于扎什伦布寺了。此外，寺属土地的增多，也增加了扎什伦布寺发展属寺的空间和经济实力，这是一个自然而然的过程。

　　问题就出在这个过程中，为什么作为寺院的主体——僧侣会锐减呢？这还需要做进一步的分析，以找出此反常现象的原因。依据上面的史料，我们不难看出五世班禅时期，班禅系统的寺庙和僧侣人数，增长主要集中在１７０６—１７２８年之间。而这段时间也是整个格鲁派实力大增的主体时期。根据《论西藏政教合一制度》的叙述，１６９４年，格鲁派僧人数为３５，０８７人，到１７３３年，这个数字猛增至３５６，２３０人（其中达赖系统３４２，５６０人，班禅系统１３，６７０人），增长了整整１０倍。但在这段时间，甚至在一个更长的时间段里，即从四世班禅圆寂时的１６９２年到１７３３年，班禅系统的僧侣仅仅由９０００人增至１３，６７０人，不到两倍。所以作为格鲁派的另外一大活佛系统——班禅系统，在格鲁派整体实力突飞猛进地增长时，其实力的增长速率与整体实力的增长，是极不匹配的。不仅如此，在格鲁派的其他两大寺院——哲蚌寺、色拉寺的僧侣人数分别增至４２００人和２８５０人的同时，班禅系统的主寺——扎什伦布寺的人数还在缩减。这只能说明，在这一时期班禅系统的整体影响力在下降。因为僧人人数的下降，至少说明了僧人对扎什伦布寺，及当时的班禅系统的一个态度问题，而“一个人对某事物持什么态度，取决于该事物在个人心目中的评价，该事物对个人意义的大小以及个人对众多价值的择优选择”。此外，从个人的、局部的因素来看，虽然僧人是社会生活的脱离者，但是宏观地来看，僧侣依旧生活在社会中。尤其在１７—１８世纪的西藏，兵灾不断，寺院成为那些无力自保的农奴们的避难所。对于那些穿梭在各个寺院间的绝大多数下层僧侣来说，信仰的牵引绝对是其次的，哪里能提供最大可能的保护，哪里能赏给他们最多的酥油、茶叶、糌粑、银钱，他们就投向那里。而藏传佛教寺院对僧人的去留问题又无明确的限制，这一传统甚至保留到了近代。对此，近代学者作了这样的描述：“凡蒙古、青海、西康以及其他各地来藏学经之喇嘛，径投扎什伦布寺而不入拉萨三大寺，或曾入三大寺又转本寺，均无不可，悉听个人自便，并无限制。”由此，五世班禅时，扎什伦布寺僧侣数量反常地缩减，不得不使人联想到他的影响力的问题。由拉藏汗选定的、经过五世班禅多次肯定的“六世达赖”益西嘉措，居然遭到三大寺上层的反对，就是很好的例证。