此项排行榜是以国防经费、正规兵人数、武器输出、武器输入、电脑普及、国际纷争参战等六大指标来排出前五十名军事大国。排名的基准主要根据，除了六大指标，计算方式则是将全球约两百个国家在每一项指标中分别排出一到五十名，第一名的得五十分，第二名四十九分类推，一直到第五十名得一分，六大指标的得分加总满分为三百分，综合排名则是按照总分来排名。

　　评论质疑，日本每年投入大笔军事经费，与美国进行军事合作，却只排名22，以前默默无闻的韩国却高居第2，中国列第4，世界公认的军事强国俄罗斯，出人意料地没能进入前5名。分析认为，日本这项军力排行榜，把自己军事能力压低，以求扩充武力的依据。

　　日本的军事力量到底如何呢？如果从日本军事现代化水平、战争潜力等方面来考察，就会发现日本的军力远远超过《宝岛》杂志所评估的水平。日本自卫队经过几十年的发展，已经成为亚太地区乃至世界上一支强大的军事力量。近年来，日本每年的军费投入一直保持在全球前几位。日本军事装备在世界上保持极高的水平和性能，连美国尖端武器中都有日本制造的零件。美国积极与日本联合构建导弹防御系统，其中的目的也是为了更好地利用日本的领先技术。此外，日本自卫队远程作战能力扩张势头凶猛，同时还在加速打造进攻性武器。日本政府将每年军费预算的大部分用于研制和购买各种进攻性武器。

　　日本这家刊物的世界军力评估并不能反映各国和各地区真正的军事实力。比如，从纯军事角度而言，军力水平很大程度体现在日常军事训练的专业化程度上，日本自卫队每年与驻日美军举行高水平联合演习，战备程度很高，而这项标准却没有列入评估范围之内。

　　评论认为，日本不但刻意压低自身军事实力，更可以从排名看出对于邻国韩国、中国的军事戒心。不过，客观来说，日本受限于和平宪法，在6大指标中有武器输出和国际纷争参战两项没有得分，以这样的标准来评，日本得到22名，并非太离谱的结果。