Wikiwand AI

文字の出現頻度

From Wikipedia, the free encyclopedia

文字の出現頻度(もじのしゅつげんひんど、英: Letter frequency)とは、書記言語においてアルファベット(ひらがな、漢字)などの文字が出現する回数の平均をまとめたものを指す。文字の頻度分析はアラブ人数学者のアル=キンディー(801–873)が暗号解読を行うために確立したことから始まる[1]。またヨーロッパにおいては文字の頻度分析は1450年に活字が発明され、活字に必要な各字形の量を推定するために重要性を増した[2]。一方言語学者の間では未知の表記体系に対する言語同定の技法として文字の頻度分析を行っている[3]。

英語における文字の出現頻度

文字の出現頻度や頻度分析は暗号文やハングマン、スクラブル、Wordleのような単語パズルゲームにおいて利用されており[4]、米国のテレビ番組『ホイール・オブ・フォーチュン』においても利用されている[5]。エドガー・アラン・ポーの小説『黄金虫』では英文字の出現頻度の知見を活かして暗号文の解読を行った記述がある古い文献の一つであり[6]、キャプテン・キッド秘蔵の財宝のありかを示すメッセージを頻度分析により解読している[7]。

ハーバード・ジムは暗号学入門著書『Codes and Secret Writing』において英語の出現頻度は "ETAON RISHD LFCMU GYPWB VKJXZQ" の順序で出現頻度が高いとし、2文字(連接文字)に関しては "TH HE AN RE ER IN ON AT ND ST ES EN OF TE ED OR TI HI AS TO"、同じ文字が連続して出現する順序は "LL EE SS OO TT FF RR NN PP CC" である[8]。なお、出現頻度の加算方法の違いによって数値は多少変動する場合がある。

文字の出現頻度は一部のキーボード配列のデザインにも影響を与えている[9]。ブリッケンデルファー型タイプライターやDvorak配列、Colemak配列などは出現頻度の高い文字をホームポジションに配置している[10]。

背景

カリフォルニア・ジョブ・ケースは19世紀に発明された印刷時に必要となる活字を収納するケースであり、文字の普遍性に応じて各文字のスペースが区切られている[11]。

文書中における文字の出現頻度は暗号解読において研究され、特にアラブ人数学者のアル=キンディー(801–873)が頻度分析の手法を確立したことで広まったとされる(頻度分析を用いて解読できる暗号は頻度分析の前から存在するガイウス・ユリウス・カエサルが発明したシーザー暗号が挙げられ[12]、頻度分析自体はより以前から研究されていた可能性がある。)[1]。1450年にはヨーロッパにおいて活版印刷が発明され、活字ケースの区画スペースの大きさがそれぞれ違うことからも読み取れるように、活版印刷に必要な各文字の字形の量を推定する必要が生じたことで文字の出現頻度分析の重要性が増した[2]。

すべての言語において厳密な文字の出現頻度の分布は文字の書き手によって使用する文法や単語が異なるため、求めることが不可能である[13]。しかしながら、ほとんどの言語において一定量の文書内での文字の出現頻度は特有の分布が現れる。例として、(互いに理解することが困難とされ、)極端な言語の変遷を経た古英語と現代英語それぞれの文字の出現頻度においても類似した特徴を持つことがある[14]。聖書のある一節における両者の文字の出現頻度は高い順に、古英語: enaid sorhm tgþlwu æcfy ðbpxz、現代英語: eotha sinrd luymw fgcbp kvjqxz となり[15]、違いとしては第一にそれぞれでのみ使用されている文字が存在することが挙げられるが、両者とも ⟨e⟩ が最も出現頻度の高い文字である[16]。

英語圏でのライノタイプを使用していた職人の長年の経験と習慣から文字の出現頻度の高い順から低い順に etaoin shrdlu cmfwyp vbgkqj xz であると考えられており[17]、フランス語圏においては elaoin sdrétu cmfhyp vbgwqj xz の出現頻度であると考えられていた[18]。

モールス符号。Eを短点一つ、Aを長点一つ...と文字の出現頻度が高い順に短い符号が割り当てられている[19]。

各アルファベットのモールス符号を通信にかかる時間が短いまとまり順に並べると e it san hurdm wgvlfbk opxcz jyq となる[注釈 1]。文字の出現頻度はMurray Codeのような他の電信システムにおいても考慮されている[21]。

文字の出現頻度における同様の利用例としてはハフマン符号のような現代のデータ圧縮などが挙げられる[22]。

文字の出現頻度は単語の出現頻度(英語版)と同様に書き手や記述されている内容によって異なった出現頻度となる[23]。フィクション小説を例としてみると、文章の時制が過去形で書かれることが多くなることから[24]、⟨d⟩ の出現頻度が高くなるとされている。またX線に関するエッセイの文字の出現頻度は ⟨x⟩ が異様に高くなることが考えられる[13]。加えて、執筆者の言葉の言い回しからも文字の出現頻度は影響を受けるとされる[25]。例として、芥川龍之介の文体と菊池寛の文体は文字の頻度分析によって明確に区別することが可能であると検証されている[26]。単文字、バイグラム、トライグラム、単語の出現頻度、単語の長さ、文章の長さを求めることで文章の表現方法が類似している著者の作品に対して、識別することが可能となる[27][13]。

より厳密な文字の出現頻度は大規模な文書データを分析することで求めることができる。大規模な文書データに対する分析は現代のコンピュータと大規模なテキストコーパスを使用することで容易に行うことができる。より具体的には(出版記事、宗教文書、学術文書、フィクション小説など)さまざまな資料をもとに出現頻度を求めることができる[28]。

また同じ言語を使用する地域ごとにも文字の出現頻度はそれぞれ違いがある。例として、米国では "analyze"、"apologize"、"recognize" のように ⟨z⟩ が含まれた単語を用いているが、英国においてはこれらの単語がそれぞれ "analyse"、"apologise"、"recognise" のように異なった綴りで書かれている[29]。このことから米国における ⟨z⟩ の出現頻度は英国とは異なった出現頻度とされる[30]。

アルファベットにおいて出現頻度の高い上位十二文字の割合は約 80% にも達する[31]。また上位八文字のみについても出現頻度は 65% に達する。文字の出現頻度はいくつかのランク関数によく適合し、中でも2つパラメータを持つベータランク関数が最も適合する[32]。パラメータを持たないランク関数も文字の出現頻度の分布に適合される(これらのランク関数はタンパク質構造におけるアミノ塩基の出現頻度を表す際にも使用されている[33])[34]。VIC暗号(英語版)やストラドリング・チェッカーボード(英語版)に基づいた暗号を使用するスパイは通常 "a sin to err"(2つ目の "r" を省略)[35][36] や "at one sir"[37] といった語呂合わせを用いて出現頻度の高い八文字を記憶する。

日本語における文字の出現頻度

平仮名

平仮名の出現頻度は以下の表の通りである[38][39]。分析に使用したデータにおける平仮名の総数は 20,711,361文字である[38]。

さらに見る 順位, 平仮名 ...
順位平仮名度数割合
1の1,918,3139.262%9.262
 
2に1,108,8405.354%5.354
 
3た1,067,5665.155%5.155
 
4い1,060,2845.119%5.119
 
5は937,8114.528%4.528
 
6を936,3564.521%4.521
 
7と927,9384.480%4.48
 
8る916,6524.425%4.425
 
9が860,7424.156%4.156
 
10し848,1324.095%4.095
 
11で764,8343.693%3.693
 
12て758,3163.661%3.661
 
13な720,1563.477%3.477
 
14か537,2942.594%2.594
 
15っ467,3502.257%2.257
 
16れ450,8052.177%2.177
 
17ら423,2942.044%2.044
 
18も396,1421.913%1.913
 
19う352,9651.704%1.704
 
20す340,6541.645%1.645
 
21り333,9991.613%1.613
 
22こ312,2271.508%1.508
 
23だ280,9111.356%1.356
 
24ま278,5991.345%1.345
 
25さ258,9601.250%1.25
 
26き233,5051.127%1.127
 
27め223,8061.081%1.081
 
28く221,9601.072%1.072
 
29あ204,2560.986%0.986
 
30け199,3620.963%0.963
 
31ど196,5550.949%0.949
 
32ん190,0680.918%0.918
 
33え163,6640.790%0.79
 
34よ154,2060.745%0.745
 
35つ153,9990.744%0.744
 
36や146,1560.706%0.706
 
37そ131,6110.635%0.635
 
38わ123,0770.594%0.594
 
39ち99,1830.479%0.479
 
40み89,2640.431%0.431
 
41せ83,4440.403%0.403
 
42ろ73,4670.355%0.355
 
43ば72,2280.349%0.349
 
44お65,8700.318%0.318
 
45じ56,8570.275%0.275
 
46べ56,0050.270%0.27
 
47ず53,2560.257%0.257
 
48げ49,1260.237%0.237
 
49ほ48,7520.235%0.235
 
50へ47,0130.227%0.227
 
51び32,3120.156%0.156
 
52む31,2120.151%0.151
 
53ご26,9650.130%0.13
 
54ね23,4900.113%0.113
 
55ぶ23,2800.112%0.112
 
56ぐ21,5490.104%0.104
 
57ぎ19,8650.096%0.096
 
58ひ19,1480.092%0.092
 
59ょ14,4250.070%0.07
 
60づ13,1250.063%0.063
 
61ぼ12,4020.060%0.06
 
62ざ12,1080.058%0.058
 
63ふ11,6060.056%0.056
 
64ゃ11,5220.056%0.056
 
65ぞ10,0470.049%0.049
 
66ゆ8,4860.041%0.041
 
67ぜ6,8930.033%0.033
 
68ぬ5,1240.025%0.025
 
69ぱ4,3490.021%0.021
 
70ゅ2,7550.013%0.013
 
71ぴ1,6080.008%0.008
 
72ぽ1,3150.006%0.006
 
73ぷ9860.005%0.005
 
74ぺ4770.002%0.002
 
75ぁ1250.001%0.001
 
76ぇ1060.001%0.001
 
77ぢ820.000%
78ゑ750.000%
79ゐ480.000%
80ぉ210.000%
81ぃ210.000%
82ゎ30.000%
83ぅ10.000%
閉じる

片仮名

片仮名の出現頻度は以下の表の通りである[40][39]。分析に使用したデータにおける片仮名の総数は 3,608,288文字である[40]。

さらに見る 順位, 片仮名 ...
順位片仮名度数割合
1ン290,9488.063%8.063
 
2ル189,4425.250%5.25
 
3ス178,2144.939%4.939
 
4ト162,8024.512%4.512
 
5ア127,8453.543%3.543
 
6イ120,8073.348%3.348
 
7ラ117,2033.248%3.248
 
8リ106,7442.958%2.958
 
9ク98,2092.722%2.722
 
10ッ86,8942.408%2.408
 
11カ82,9822.300%2.3
 
12シ80,6262.235%2.235
 
13タ75,3192.087%2.087
 
14ロ75,3012.087%2.087
 
15ド74,2572.058%2.058
 
16ジ61,1711.695%1.695
 
17フ61,1151.694%1.694
 
18レ60,6081.680%1.68
 
19メ60,2301.669%1.669
 
20コ58,7241.628%1.628
 
21マ56,1231.555%1.555
 
22プ54,1591.501%1.501
 
23テ53,4041.480%1.48
 
24ム50,7581.407%1.407
 
25チ48,4371.342%1.342
 
26バ44,9701.246%1.246
 
27ビ44,4621.232%1.232
 
28グ40,4331.121%1.121
 
29キ39,6081.098%1.098
 
30ウ39,3231.090%1.09
 
31サ39,2021.086%1.086
 
32ニ38,7111.073%1.073
 
33ナ38,0471.054%1.054
 
34エ36,4581.010%1.01
 
35ブ35,9200.995%0.995
 
36パ35,4160.982%0.982
 
37セ34,8830.967%0.967
 
38オ34,7180.962%0.962
 
39ィ33,7470.935%0.935
 
40デ32,6650.905%0.905
 
41ュ32,6160.904%0.904
 
42ミ29,2620.811%0.811
 
43ャ28,1440.780%0.78
 
44ボ26,6510.739%0.739
 
45ダ26,3960.732%0.732
 
46ツ24,5410.680%0.68
 
47ポ23,7420.658%0.658
 
48ベ22,7550.631%0.631
 
49ネ22,4620.623%0.623
 
50ガ22,0610.611%0.611
 
51ハ21,8390.605%0.605
 
52ワ21,7840.604%0.604
 
53ソ20,7840.576%0.576
 
54ケ20,6330.572%0.572
 
55モ20,0700.556%0.556
 
56ノ19,5720.542%0.542
 
57ズ19,2400.533%0.533
 
58ピ18,6920.518%0.518
 
59ホ18,2040.505%0.505
 
60ェ17,8170.494%0.494
 
61ョ17,7310.491%0.491
 
62ペ14,8810.412%0.412
 
63ゴ13,9310.386%0.386
 
64ヤ12,5260.347%0.347
 
65ギ10,7320.297%0.297
 
66ヨ10,3180.286%0.286
 
67ザ10,1440.281%0.281
 
68ァ10,1210.280%0.28
 
69ゼ7,6890.213%0.213
 
70ヒ7,2890.202%0.202
 
71ヘ7,1290.198%0.198
 
72ユ6,6530.184%0.184
 
73ゲ6,4810.180%0.18
 
74ォ6,2450.173%0.173
 
75ヌ2,8970.080%0.08
 
76ゾ2,6400.073%0.073
 
77ヴ1,1450.032%0.032
 
78ゥ1,0500.029%0.029
 
79ヂ1490.004%0.004
 
80ヅ1270.004%0.004
 
81ヲ1220.003%0.003
 
82ヱ730.002%0.002
 
83ヰ400.001%0.001
 
84ヵ140.000%
85ヮ90.000%
86ヶ20.000%
閉じる

漢字

文化庁によりまとめられた日本語における漢字の出現頻度上位50文字は以下の表の通りである[41]。分析に使用されたデータは総数177,276,398文字であり、そのうち漢字は51,258,216文字であった[42]。出現頻度の高い上位100文字はすべて常用漢字である[43]。

さらに見る 順位, 漢字 ...
順位漢字割合
1人1.156%
2一0.996%
3大0.737%
4日0.709%
5年0.668%
6出0.629%
7言0.614%
8本0.612%
9生0.605%
10分0.594%
順位漢字割合
11見0.586%
12者0.539%
13上0.536%
14中0.535%
15自0.532%
16事0.522%
17思0.496%
18行0.493%
19時0.482%
20手0.478%
順位漢字割合
21間0.475%
22子0.467%
23二0.461%
24的0.445%
25気0.432%
26合0.426%
27前0.407%
28国0.389%
29会0.381%
30方0.379%
順位漢字割合
31場0.372%
32学0.371%
33第0.366%
34物0.357%
35作0.355%
36入0.348%
37定0.347%
38私0.341%
39後0.333%
40三0.332%
順位漢字割合
41目0.331%
42家0.322%
43地0.319%
44法0.314%
45業0.312%
46十0.308%
47性0.304%
48当0.304%
49部0.300%
50体0.297%
順位漢字割合
51立0.295%
52用0.292%
53理0.291%
54動0.291%
55書0.287%
56下0.282%
57実0.281%
58同0.277%
59話0.273%
60小0.273%
順位漢字割合
61女0.273%
62何0.268%
63代0.268%
64月0.266%
65意0.265%
66長0.261%
67感0.258%
68文0.249%
69今0.247%
70取0.247%
順位漢字割合
71力0.244%
72関0.244%
73対0.243%
74発0.241%
75知0.237%
76高0.236%
77度0.232%
78社0.228%
79心0.225%
80田0.225%
順位漢字割合
81内0.222%
82全0.221%
83新0.221%
84来0.218%
85通0.217%
86所0.114%
87化0.213%
88持0.213%
89現0.213%
90最0.210%
順位漢字割合
91考0.210%
92世0.210%
93以0.209%
94名0.208%
95彼0.206%
96明0.205%
97主0.203%
98不0.202%
99条0.202%
100外0.200%
閉じる

1993年の調査では、日本において使用される字体の異なる漢字の総数(異なり字)は計4476文字であり、出現頻度の高い漢字の上位500文字で出現頻度は約8割に達する[44]。また、出現頻度の高い漢字上位1600文字での出現頻度は約99%を占め、残りの約3000文字においては全体の1%程度の出現頻度となっている[44]。

文字種別の出現頻度

日本語における記号、数字、平仮名、片仮名、漢字、アルファベットの文字の種類別の出現頻度は以下の通りとなる。

さらに見る 調査年, 文字種別出現頻度 ...
調査年文字種別出現頻度詳細出典
平仮名片仮名漢字アルファベット記号数字
1964年56.0%6.3%35.9%0.2%1.6%1964年当時の雑誌九十種に対する調査。総数83,923文字。[45]
1981年40.2%4.9%40.7%2.0%8.3%3.9%1981年当時のRICOHが保有する事務文書に対する調査。総数76,100文字。[46]
1994年35.7%16.0%26.9%3.9%17.6%1994年当時の雑誌七十種に対する調査。総数2,116,736文字。[45]
2000年34.06%6.34%41.46%0.46%15.58%2.10%1993年の新聞記事に対する調査。総数5,500万文字。[47]
閉じる

英語における文字の出現頻度

さらに見る 文字, 英語における相対出現頻度 ...
文字 英語における相対出現頻度[48][49]
A8.2%8.2
 
B1.5%1.5
 
C2.8%2.8
 
D4.3%4.3
 
E12.7%12.7
 
F2.2%2.2
 
G2.0%2
 
H6.1%6.1
 
I7.0%7
 
J0.15%0.15
 
K0.77%0.77
 
L4.0%4
 
M2.4%2.4
 
N6.7%6.7
 
O7.5%7.5
 
P1.9%1.9
 
Q0.095%0.095
 
R6.0%6
 
S6.3%6.3
 
T9.1%9.1
 
U2.8%2.8
 
V0.98%0.98
 
W2.4%2.4
 
X0.15%0.15
 
Y2.0%2
 
Z0.074%0.074
 
閉じる

文字の相対出現頻度

英話者が長期間使用したキーボード。E、O、T、H、A、S、I、N、R のキーには激しい摩耗が見られ、D、L、U、Y、M、W、F、G、C、B、P のキーにはある程度の摩耗が見られ、K、V、J、Q、X、Z のキーには摩耗がほとんど見られない。

文字の出現頻度を算出する方法は大きく三種類存在し、各方法によって文字の出現頻度の分布は大きく異なってくる。一つ目は辞書の見出し語として書かれている基本語(英語版)ごとに文字の出現頻度を加算する方法である[50]。以下の節ではこの方法により文字の出現頻度を求めている。二つ目は基本語の "abstract" を "abstracts"、"abstracted"、"abstracting" のように語形変化の単語ごとに文字の出現頻度を加算する方法である。この方法では、インターネット上で頻出する英単語のリストから文字の出現頻度を求める場合に、⟨s⟩ のような文字の出現頻度がより現れるとされる。すなわち、⟨s⟩ は複数形や三人称単数現在形の動詞中に付け加えられる文字であるため、非基本語の単語中に普遍的に現れる文字となっている。三つ目は実際の文書中に使用されている単語そのままを文字の出現頻度として加算する方法であり、これにより "the"、"then"、"both"、"this" のような単語の頻出により ⟨th⟩ の出現頻度がより現れるとされる。そして、絶対的な文字の出現頻度が求められるこの方法ではキーボードのレイアウトや古来の印刷機における文字の頻出度合いについて求めることができる。

英英辞典『Concise Oxford dictionary』を辞典内における単語の頻出度合を無視して文字の出現頻度を分析すると、順番は "EARIOTNSLCUDPMHGBFYWKVXZJQ" であった[50]。

この出現頻度順はロベルト・ルワンド著『Cryptological Mathematics』を引用したパベル・ミツカ氏のウェブサイトにまとめられていたものである[51]。

ルワンドによると、文字の出現頻度の高い順から並べると、etaoinshrdlcumwfgypbvkjxqz となることが言及されている。このルワンドの出現頻度順はコーネル大学の「Math Explorer's Project」による40000文字に対する文字の出現頻度順とは異なった並びとなっている[52]。

英語における空白記号の出現頻度は英文字の出現頻度が最も高い ⟨e⟩ の約2倍となっており[53]、非アルファベット文字(数字、句読点など)総計の出現頻度は ⟨t⟩ と ⟨a⟩ の間となる4番目(空白記号も含めた順位)に位置している[54]。

単語の頭文字・末尾の文字の相対出現頻度

さらに見る 文字, 英単語の頭文字 ...
相対出現頻度[55]
文字 英単語の頭文字
A11.7%
B4.6%
C4.8%
D2.5%
E2.9%
F4.1%
G1.7%
H5.4%
I5.8%
J0.54%
K0.49%
L2.4%
M3.9%
N2.2%
O7.3%
P3.9%
Q0.19%
R2.6%
S6.9%
T16.2%
U1.2%
V0.65%
W6.1%
X0.002%
Y0.82%
Z0.021%
文字 英単語の末尾の文字
A2.9%
B0.1%
C0.51%
D10.6%
E20.4%
F4.3%
G3.1%
H2.6%
I0.6%
J0.01%
K0.92%
L3.2%
M1.7%
N8.9%
O4.3%
P0.6%
Q0.001%
R6%
S12.5%
T9.3%
U0.4%
V0.03%
W0.9%
X0.127%
Y5.96%
Z0.029%
閉じる

単語の頭文字の出現頻度を分析することは物理的空間におけるファイルや索引の量を割り当てるために重要視されている[56]。アルファベット 26 文字に対応したファイリングキャビネット(英語版)の引き出しを準備する場合に、各文字ごとに一つの引き出し、つまり 1:1 の割当を行うのではなく、頭文字の出現頻度に沿った引き出しの割当を行うことが合理的であると考えられる。すなわち、出現頻度の低い VWXYZ をまとめて一つの引き出しに割り当てる、出現頻度の高い ⟨s, a, c⟩ では Aa-An、Ao-Az、Ca-Cj、Ck-Cz、Sa-Si、Sj-Sz のように複数の引き出しを割り当てることが考えられる。同様の事例としては複数の巻に分かれた百科事典の構成や図書館において書籍の識別の名前の頭文字の分布を均等にするための Cutter number が挙げられる[57]。

英単語全体および頭文字の出現頻度の分布は両者ともにジップ分布に従い、またユール分布(英語版)にも十分従うことが知られている[58]。

一般的に数字の最初の桁の出現頻度の分布は数字全体の分布と比べて有意に差があるとされており、これはベンフォードの法則として知られている(ベンフォードの法則節を参照)[59]。

ピーター・ノーヴィグは光学文字認識(OCR)を用いてGoogle Booksのデータにおける100,000単語以上出現する単語を対象にした英単語の頭文字の出現頻度が分析された[60]。

ラテン文字を使用する言語における文字の相対出現頻度

さらに見る 文字, 英語 ...
文字 英語[61] フランス語[62] ドイツ語[63] スペイン語[64] ポルトガル語[65] イタリア語[66] トルコ語[67] スウェーデン語[68] ポーランド語[69] オランダ語[70] デンマーク語[71] アイスランド語[72] フィンランド語[73] チェコ語[74] ハンガリー語[75] ウェールズ語[76] リトアニア語[77] スロベニア語[78] エスペラント語[79] ルーマニア語[80] マレー語[81] インドネシア語[81]
a 8.672%7.636%6.516%11.525%14.634%11.745%11.920%9.383%8.965%7.49%6.025%10.110%12.217%6.219%8.89%10.241%11.191%10.466%11.71%9.95%19.9%20.39%
b 1.485%0.901%1.886%2.215%1.043%0.927%2.844%1.535%1.482%1.58%2.000%1.043%0.281%1.558%1.94%1.867%1.484%1.939%1.08%1.07%3.2%2.64%
c 3.424%3.260%2.732%4.019%3.882%4.501%0.963%1.486%3.988%1.24%0.565%~0%0.281%1.607%0.646%1.776%0.602%0.662%0.86%5.28%0.3%0.76%
d 3.904%3.669%5.076%5.010%4.992%3.736%4.706%4.702%3.293%5.93%5.858%1.575%1.043%3.602%1.92%5.136%2.580%3.390%2.93%3.45%2.9%5.00%
e 12.155%14.715%16.396%13.702%13.101%11.792%8.912%10.149%7.921%18.91%15.453%6.418%7.968%7.695%11.6%8.116%5.621%10.707%9.26%11.47%8.7%8.28%
f 2.302%1.066%1.656%0.692%1.023%1.153%0.461%2.027%0.312%0.81%2.406%3.013%0.194%0.273%0.548%2.675%0.347%0.110%1.01%1.18%0.0%0.21%
g 1.945%0.866%3.009%1.768%1.303%1.644%1.253%2.862%1.377%3.40%4.077%4.241%0.392%0.273%3.79%3.412%1.795%1.638%1.16%0.99%1.6%3.66%
h 4.745%0.937%4.577%1.973%1.281%0.136%1.212%2.090%1.072%2.38%1.621%1.871%1.851%1.271%1.26%1.479%0.276%1.047%0.35%0.47%2.6%2.74%
i 7.532%7.529%6.550%6.247%6.186%10.143%8.600%*5.817%8.286%6.50%6.000%7.578%10.817%4.353%4.25%7.569%12.959%9.042%10.40%9.96%8.0%7.98%
j 0.187%0.813%0.268%0.493%0.379%0.011%0.034%0.614%2.343%1.46%0.730%1.144%2.042%2.119%1.48%0.078%2.338%4.675%3.40%0.24%1.9%0.87%
k 0.600%0.074%1.417%0.026%0.015%0.009%4.683%3.140%3.411%2.25%3.395%3.314%4.973%3.737%4.85%0.040%4.171%3.704%4.22%0.11%5.8%5.14%
l 4.237%5.456%3.437%4.967%2.779%6.510%5.922%5.275%2.136%3.57%5.229%4.532%5.761%3.842%6.71%3.358%3.502%5.266%5.73%4.48%3.8%3.26%
m 2.647%2.968%2.534%3.157%4.738%2.512%3.752%3.471%2.911%2.21%3.237%4.041%3.202%3.227%3.82%2.593%3.579%3.305%3.29%3.10%3.5%4.21%
n 7.337%7.095%9.776%6.712%4.446%6.883%7.487%8.542%5.600%10.03%7.240%7.711%8.826%6.535%6.82%8.552%5.144%6.328%8.04%6.47%9.3%9.33%
o 7.377%5.796%2.594%8.683%9.735%9.832%2.476%4.482%7.590%6.06%4.636%2.166%5.614%8.666%3.65%6.280%6.743%9.084%8.44%4.07%1.3%1.26%
p 2.124%2.521%0.670%2.510%2.523%3.056%0.886%1.839%3.101%1.57%1.756%0.789%1.842%3.413%0.48%0.819%2.734%3.374%2.60%3.18%4.5%2.61%
q 0.110%1.362%0.018%0.877%1.204%0.505%00.020%0.003%0.009%0.007%00.013%0.001%~0%0.004%0.005%05.63%0.00%0.0%0.01%
r 6.625%6.693%7.003%6.871%6.530%6.367%6.722%8.431%4.571%6.41%8.956%8.581%2.872%3.697%2.65%7.085%5.669%5.010%06.82%8.3%4.64%
s 6.633%7.948%7.270%7.977%6.805%4.981%3.014%6.590%4.263%3.73%5.805%5.630%7.862%4.516%6.99%2.854%7.881%5.053%6.25%4.40%3.8%4.15%
t 8.598%7.244%6.154%4.632%4.336%5.623%3.314%7.691%3.966%6.79%6.862%4.953%8.750%5.727%6.96%1.842%5.332%4.329%5.51%6.04%3.2%5.58%
u 2.691%6.311%4.166%3.927%3.639%2.813%3.235%1.919%2.347%1.99%1.979%4.562%5.008%3.144%0.392%2.723%4.586%1.879%3.19%6.20%4.5%4.62%
v 1.061%1.838%0.846%1.138%1.575%2.097%0.959%2.415%0.034%2.85%2.332%2.437%2.250%4.662%2.31%0.052%2.656%3.764%1.86%1.23%0.3%0.18%
w 1.673%0.049%1.921%0.027%0.037%0.033%00.142%4.549%1.52%0.069%00.094%0.009%~0%4.642%0.037%000.03%0.3%0.48%
x 0.202%0.427%0.034%0.515%0.453%0.008%00.159%0.019%0.036%0.028%0.046%0.031%0.076%~0%0.040%0.073%000.11%0.0%0.03%
y 1.551%0.708%0.039%1.433%0.006%0.020%3.336%0.708%3.857%0.035%0.698%0.900%1.745%1.909%2.56%8.971%1.433%000.07%1.9%1.88%
z 0.132%0.326%1.134%0.467%0.470%1.181%1.500%0.070%5.620%1.39%0.034%00.051%2.199%4.3%0.009%0.345%2.103%0.48%0.71%0.3%0.04%
à 0.0005%0.486%0~0%0.072%0.635%0000000000.000%0.0003%00000
â 0.0006%0.051%000.562%~0%~0%000000000.147%0.0002%000.91%00
á 0.005%000.502%0.118%0000001.799%02.236%3.44%0.0002%0.002%00000
å 0.0007%0000001.34%001.190%~0%0.003%0000.0002%00000
ä 0.002%00.578%00001.80%00003.577%000.001%0.001%00000
ã 0.0005%0000.733%000000000000.0003%00000
ą 0.00009%00000001.021%00000000.542%00000
ā 0.002%0000000000000000.001%00000
ă 00000000000000000.0002%004.06%00
æ 0.0008%0000000000.872%0.867%00000.0002%00000
œ 0.00008%0.018%00000000000000000000
ç 0.001%0.085%0~0%0.530%01.156%0000~0%00000.0004%00000
ć 0.0006%00000000.448%00000000.0003%00000
ĉ 0%000000000000000000.80%000
č 0.0005%0000000000000.949%000.430%1.483%0000
ch 00000000000001.171%00.949%000000
ď 00000000000000.022%00000000
dd 0000000000000002.927%000000
ð 0.0004%00000000004.393%00000.0001%00000
è 0.002%0.271%0~0%00.263%0000000000.0005%0.0004%00000
é 0.011%1.504%00.433%0.337%000~0%000.647%01.335%4.25%0.0001%0.004%00000
ê 0.0003%0.218%000.450%~0%0000000000.026%0.0001%00000
ë 0.0006%0.008%00000000000000.002%0.0002%00000
ė 0.00005%0000000000000001.664%00000
ę 0.0001%00000001.131%00000000.172%00000
ě 0.00008%0000000000001.646%00000000
ē 0.0003%0000000000000000.0004%00000
ff 0000000000000000.382%000000
ĝ 0000000000000000000.74%000
ğ 0.0001%000001.125%0000000000.0001%00000
ng 0000000000000000.366%000000
ĥ 0000000000000000000.04%000
î 0.0002%0.045%000~0%~0%000000000.008%0.0001%001.40%00
ì 0.0001%0000(0.030%)0000000000.0001%0.0001%00000
í 0.003%000.725%0.132%0.030%000001.570%03.270%0.47%~0%0.002%00000
ï 0.0002%0.005%00000000000000.008%000000
ı 0.0002%000005.114%*0000000000.0002%00000
į 00000000000000000.485%00000
ī 0.0005%0000000000000000.0007%00000
ĵ 0000000000000000000.12%000
ł 0.0007%00000001.746%00000000.001%00000
ľ 0000000000000~0%00000000
ll 0000000000000001.031%000000
ñ 0.0009%000.311%0000000000000.0005%00000
ń 0.0002%00000000.185%00000000.0003%00000
ň 00000000000000.081%00000000
ņ 00000000000000000.0001%00000
ò 0.0002%00000.002%0000000000.0002%0.0001%00000
ö 0.003%00.443%0000.777%1.31%0000.777%0.444%00.784%0.002%0.001%00000
ô 0.0005%0.023%000.635%~0%0000000000.101%0.0001%00000
ó 0.003%000.827%0.296%~0%000.823%000.994%00.031%0.597%0.0002%0.002%00000
ő 0.00008%00000000000000.823%0000000
õ 0.00005%0000.040%000000000000.0001%00000
ø 0.001%0000000000.939%000000.0003%00000
ph 0000000000000000.066%000000
ř 0.0001%0000000000001.217%00000000
rh 0000000000000000.398%000000
ŝ 0000000000000000000.38%000
ş 0.0003%000001.780%0000000000.0003%001.55%00
ś 0.0003%00000000.683%00000000.0002%00000
š 0.0008%00000000000~0%0.805%001.134%0.996%0000
ß 0.0003%00.307%00000000000000.0002%00000
ť 00000000000000.043%00000000
ț 00000000000000000001.00%00
þ 0.0001%00000000001.455%0000000000
th 0000000000000001.294%000000
ù 0.00008%0.058%000(0.166%)0000000000.000%0.0001%00000
ú 0.0008%000.168%0.207%0.166%000000.613%00.103%0.098%~0%0.0005%00000
û 0.0001%0.060%000~0%~0%000000000.003%000000
ü 0.003%00.995%0.012%0.026%01.854%00000000.617%0.002%0.001%00000
ű 000000000000000.117%0000000
ů 00000000000000.695%00000000
ŭ 0000000000000000000.52%000
ų 00000000000000001.2602%00000
ū 0.0007%0000000000000000.4079%00000
ẃ 000000000000000~0%000000
ẁ 000000000000000~0%000000
ŵ 0000000000000000.033%000000
ẅ 0000000000000000.0006%000000
ỳ 000000000000000~0%000000
ý 0.0001%00~0%00000000.228%01.072%0~0%0.0001%00000
ŷ 000000000000000~0%000000
ÿ 0~0%00000000000000.0005%000000
ź 000000000.061%0000000000000
ż 0.00009%00000000.885%00000000.0002%00000
ž 0.0003%00000000000~0%0.995%000.797%0.646%0000
閉じる

*: İ および ı を参照。

下記の図はいくつかの国におけるラテン文字26文字の出現頻度を可視化したものである。各国はいずれも英語と同様に25文字程度のアルファベットを使用している[82]。

さらに見る エスペラント語, スペイン語 ...
エスペラント語
スペイン語
ポルトガル語
イタリア語
フランス語
英語
ドイツ語
オランダ語
スウェーデン語
ポーランド語
トルコ語
閉じる

出現頻度のランキング

以下の表はいくつかの言語において出現頻度の高い10文字を並べたものである。

さらに見る 言語, 順序 ...
閉じる

キリル文字を使用する言語における相対出現頻度

以下の表はキリル文字を使用する言語における文字の出現頻度を表している。

ロシア語は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,351,370文字(210,844単語)のもので、そのうち 1,086,255文字を集計している[85]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。

ロシア語における出現頻度の高い文字(アルファベット)は ⟨O⟩、⟨E⟩、⟨A⟩ となる[85]。

さらに見る 文字, ロシア語 ...
文字 ロシア語[85] マケドニア語[86] タジク語[87][88] ウクライナ語[89] カザフ語[90] セルビア語[91] シュグナン語[92] ルシャン語[93] ウズベク語[94] ブルガリア語[95] モンゴル語[96] ベラルーシ語[97] タタール語[98] キルギス語[99]
А 7.50%13.293%16.54%8.07%12.796%12.182%11.100%14.779%15.203%12.323%12.098%15.52%11.006%13.56%
Б 2.01%1.434%4.45%1.77%1.823%1.590%1.745%1.742%3.655%1.533%2.543%1.78%2.798%3.32%
В 4.33%4.343%1.58%5.35%0.083%3.636%1.795%1.667%1.248%4.449%1.299%2.90%0.757%0.06%
Г 1.72%1.505%1.87%1.55%1.339%1.741%0.914%1.436%3.462%1.567%6.464%1.91%2.913%2.73%
Д 3.09%3.911%6.77%3.38%5.060%3.719%7.488%6.909%4.322%3.526%4.514%2.72%3.052%4.10%
Е 8.50%8.945%2.13%4.95%8.391%9.383%3.103%1.799%1.711%8.972%0.375%3.46%7.218%4.76%
Ё 0.20%00.54%00.002%0000.563%00.134%0.36%0.000%0.007%
Ж 1.01%0.568%0.07%0.93%1.095%0.604%0.085%0.166%0.523%0.708%1.732%0.58%0.065%2.47%
З 1.48%1.979%2.43%2.32%1.624%1.620%1.814%2.241%1.627%2.292%1.036%2.43%1.485%1.46%
И 7.09%9.160%7.35%6.26%1.285%9.443%8.332%6.823%13.813%8.875%4.474%0.03%4.438%3.15%
Й 1.21%00.71%1.38%1.743%03.727%3.940%1.564%0.590%4.296%1.20%1.086%2.18%
К 3.30%3.672%2.71%3.54%2.421%3.748%1.979%1.917%2.852%3.390%0.186%3.35%4.995%6.90%
Л 4.96%2.959%1.24%3.69%5.670%3.077%2.073%1.931%6.072%3.284%6.160%3.35%6.516%5.09%
М 3.10%2.309%4.19%3.03%3.025%3.587%3.664%3.845%3.415%2.465%2.241%2.64%2.997%2.61%
Н 6.70%7.077%6.84%6.81%6.216%5.268%5.475%5.437%7.120%7.136%8.183%6.31%7.129%6.38%
О 11.07%10.679%8.45%9.42%2.430%9.907%4.310%4.540%4.648%9.079%4.760%3.41%1.796%3.52%
П 2.47%2.926%1.05%2.90%1.451%2.780%1.308%1.504%0.543%2.928%0.108%2.49%1.393%2.88%
Р 4.33%5.090%7.35%4.48%5.972%4.596%4.971%5.366%5.740%4.920%5.289%4.63%6.818%6.65%
С 4.97%4.751%2.74%4.24%4.016%4.977%2.587%2.738%2.623%5.081%2.984%3.82%2.834%2.56%
Т 5.97%7.462%3.57%5.35%6.028%4.215%5.690%5.092%4.104%7.604%3.431%3.45%5.289%5.70%
У 2.22%2.262%4.67%3.36%1.636%4.640%4.748%5.843%3.306%1.312%3.780%2.48%2.598%4.15%
Ф 0.21%0.347%1.10%0.28%0.087%0.184%0.589%1.242%0.444%0.210%0.027%0.18%0.409%0.06%
Х 0.95%0.146%1.54%1.19%0.157%0.684%2.431%2.440%0.703%0.655%4.830%1.12%0.722%0.03%
Ц 0.39%0.857%00.83%0.120%0.713%0.941%0.638%0.057%0.595%0.705%2.31%0.166%0.003%
Ч 1.40%0.925%0.84%1.41%0.005%1.077%1.456%1.403%1.263%1.338%1.222%1.42%1.481%1.20%
Ш 0.72%0.916%2.61%0.76%1.343%1.206%0.700%0.660%2.036%0.615%0.837%1.02%1.788%1.61%
Щ 0.30%000.56%0.002%00000.612%0.0003%00.006%0%
Ъ 0.02%00.13%00.008%0000.193%1.832%~0%0.01%0.109%0%
Ы 2.36%0007.974%000001.246%4.56%5.522%5.54%
Ь 1.84%001.77%0.037%0000.192%0.014%0.721%1.18%0.403%0.007%
Э 0.36%00.13%00.045%0000.505%07.612%1.05%0.293%0.94%
Ю 0.47%00.05%0.93%0.031%0000.216%0.138%0.240%0.69%0.189%0.10%
Я 1.96%00.58%2.48%0.343%0000.558%1.957%0.528%3.16%1.085%0.12%
А̄ 0000002.811%3.036%000000
ә 00000.777%00000006.647%0
В̌ 0000002.658%2.357%000000
Ѓ 00.106%000000000000
Ғ 000.23%01.863%00.489%0.276%0.435%00000
Г̌ 0000000.414%0.238%000000
Д̌ 0000001.456%1.251%000000
Ђ 000000.258%00000000
Ӗ 0000000.254%0000000
Є 0000.61%0000000000
Җ 0000000000000.463%0
Ҙ 0000000.163%0.146%000000
Ѕ 00.009%000000000000
Ӣ 000.66%0001.304%1.020%000000
І 0000%6.160%0000005.09%00
Ї 0000.65%0000000000
Ј 01.511%0003.282%00000000
Ќ 00.264%000000000000
Қ 000.39%02.782%00.738%0.588%2.470%00000
Љ 00.015%0000.504%00000000
ң 00001.294%00000001.014%0.87%
Њ 00.555%0000.727%00000000
Ӧ 00000000.230%000000
О̄ 00000000.644%000000
ө 00000.973%000002.733%00.905%2.91%
Т̌ 0000000.479%0.531%000000
Ћ 000000.617%00000000
Ў 0000001.668%00001.95%00
Ӯ 001.18%0000.964%0.136%1.822%00000
У̊ 00000000.078%000000
Ү 00000.887%000003.210%01.212%3.27%
ұ 00000.998%000000000
Ҳ 002.55%000001.165%00000
Х̌ 0000001.358%1.370%000000
һ 00000.008%00000000.404%0
Ҷ 000.74%0001.140%1.047%000000
Џ 00.025%000000000000
閉じる

アラビア文字を使用する言語における相対出現頻度

アラビア文字における文字の出現頻度は以下の表の通りとなる。アラビア語の分析において使用したデータにおける語の総数は 1,297,259語、文字の総数は 5,122,132文字である[100]。

さらに見る 文字, アラビア語 ...
文字 アラビア語[100] ウイグル語[101][102] ペルシア語[103] ウルドゥー語[104] マレー語[105] シンド語[106]
ا 12.50%8.23%19.979%12.235%15.127%11.725%
آ 0.15%000.472%00
أ 2.89%00000
إ 1.00%00000
ب 4.67%1.98%5.495%2.713%3.838%2.104%
ٻ 000000.363%
ڀ 000000.260%
پ 02.00%0.826%1.661%0.701%1.788%
ت 2.61%4.84%6.191%3.848%5.756%3.228%
ٿ 000000.845%
ٽ 000000.818%
ٺ 000000.268%
ٹ 0000.764%00
ث 0.87%00.182%0.127%0.071%0.113%
ج 1.23%0.52%1.325%1.535%2.386%3.786%
ڄ 000000.139%
جهہ 000000.683%
ڃ 000000.149%
چ 01.33%0.462%0.651%0.437%0.689%
ڇ 000000.245%
ح 1.86%01.187%0.911%0.477%0.872%
خ 0.79%0.68%1.589%0.641%0.152%0.587%
د 2.67%2.70%9.027%2.601%5.289%2.538%
ڌ 000000.486%
ڏ 000000.817%
ڊ 000000.352%
ڍ 000000.091%
ڈ 0000.333%00
ذ 0.96%00.260%0.144%0.041%0.142%
ر 4.20%5.28%5.896%6.668%5.543%5.968%
ڙ 000000.624%
ڑ 0000.260%00
ز 0.52%1.38%2.721%0.825%0.122%0.603%
ژ 00.02%0.122%0.005%0.030%0
س 2.47%2.82%2.181%3.611%5.503%3.341%
ش 0.73%2.34%1.721%0.967%0.234%0.883%
ص 1.04%00.458%0.595%0.152%0.500%
ض 0.44%00.200%0.260%0.030%0.183%
ط 0.50%00.373%0.401%0.061%0.322%
ظ 0.18%00.137%0.189%0.010%0.184%
ع 4.01%00.860%1.156%0.589%0.997%
غ 0.33%1.19%0.140%0.182%0.010%0.146%
ف 2.84%0.16%0.953%0.994%0.345%0.797%
ڤ 00003.563%0
ڦ 000000.044%
ق 2.69%4.21%0.782%0.989%1.289%0.828%
ك 2.04%3.36%0.401%000
ڭ 01.08%0000
ڪ 000000.319%
ک 0007.107%3.056%1.240%
گ 00.94%0.920%1.169%1.462%0.890%
ڳ 000000.166%
گهہ 000000.396%
ڱ 000000.025%
ل 12.07%5.34%3.315%3.481%5.279%3.305%
م 6.52%3.83%7.150%4.879%5.756%3.833%
ن 6.61%5.16%8.970%5.040%9.695%9.630%
ڻ 000001.153%
ں 0002.670%00
و 5.80%2.23%7.326%6.046%8.660%8.170%
ۇ 03.60%0000
ۆ 00.77%0000
ۈ 01.47%0000
ۋ 00.92%0000
ؤ 0.09%000.059%00
ه 5.08%08.160%03.046%0
ە 06.07%0000
ہ 0005.441%00
ة 1.42%000.004%00
ۂ 0000.008%00
ھ 00.82%01.455%06.567%
ء 0.31%3.64%0.189%0.045%0.315%2.139%
ى 1.29%15.41%000.041%0
ی 00010.453%00
ي 6.36%2.87%0.502%09.726%13.659%
ې 01.86%0000
ئ 0.28%001.208%00
ے 0005.193%00
ۓ 0000.003%00
لا 00.93%0000
ال 00001.208%0
閉じる

ペルシア語に関してはペルシア文字を、ウルドゥー語に関してはウルドゥー文字を、マレー語に関してはジャウィ文字を参照。

ブラーフミー系文字を使用する言語における文字の相対出現頻度

以下では主に南アジア、東南アジアの言語で使用されているブラーフミー系文字(インド系文字)における文字の相対出現頻度についてまとめる。

デーヴァナーガリーを使用する言語

ヒンディー語

以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 978,430文字(238,604単語)のもので、そのうち 736,216文字を集計している[107]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。

ヒンディー語における出現頻度の高い文字(デーヴァナーガリー)は ⟨ ा⟩、⟨क⟩、⟨ े⟩ となる[107]。

さらに見る 文字, ヒンディー語における文字の出現頻度 ...
文字 ヒンディー語における文字の出現頻度[107]
ँ0.30%0.3
 
ं3.44%3.44
 
ः0.01%0.01
 
अ1.01%1.01
 
आ0.66%0.66
 
इ0.31%0.31
 
ई0.20%0.2
 
उ0.78%0.78
 
ऊ0.05%0.05
 
ऋ0.00%
ए1.34%1.34
 
ऐ0.03%0.03
 
ऑ0.03%0.03
 
ओ0.10%0.1
 
औ0.94%0.94
 
क7.14%7.14
 
ख0.70%0.7
 
ग1.31%1.31
 
घ0.20%0.2
 
च1.16%1.16
 
छ0.45%0.45
 
ज1.39%1.39
 
झ0.19%0.19
 
ञ0.01%0.01
 
ट0.57%0.57
 
ठ0.17%0.17
 
ड0.75%0.75
 
ढ0.09%0.09
 
ण0.13%0.13
 
त2.89%2.89
 
थ1.15%1.15
 
द1.68%1.68
 
ध0.36%0.36
 
न3.48%3.48
 
प2.66%2.66
 
फ0.35%0.35
 
ब1.78%1.78
 
भ0.67%0.67
 
म3.28%3.28
 
य2.20%2.2
 
र5.91%5.91
 
ल2.45%2.45
 
व1.62%1.62
 
श0.76%0.76
 
ष0.27%0.27
 
स3.78%3.78
 
ह4.82%4.82
 
़0.67%0.67
 
ा8.22%8.22
 
ि3.20%3.2
 
ी3.47%3.47
 
ु1.45%1.45
 
ू0.81%0.81
 
ृ0.10%0.1
 
ॅ0.00%
े6.85%6.85
 
ै1.96%1.96
 
ॉ0.10%0.1
 
ो2.21%2.21
 
ौ0.15%0.15
 
्3.02%3.02
 
閉じる

ガルワーリー語

ガルワーリー語における文字(デーヴァナーガリー)の出現頻度は以下の表の通りである[108]。

さらに見る 文字, ガルワーリー語における相対出現頻度 ...
文字 ガルワーリー語における相対出現頻度
र3.656%3.656
 
न3.112%3.112
 
क2.403%2.403
 
ल2.116%2.116
 
प2.077%2.077
 
म1.779%1.779
 
स1.698%1.698
 
द1.362%1.362
 
अ1.355%1.355
 
ज1.320%1.32
 
ब1.227%1.227
 
ण1.195%1.195
 
त1.116%1.116
 
च1.048%1.048
 
ट0.984%0.984
 
य0.905%0.905
 
ग0.823%0.823
 
आ0.710%0.71
 
इ0.670%0.67
 
ह0.592%0.592
 
व0.514%0.514
 
ए0.470%0.47
 
छ0.406%0.406
 
ड0.364%0.364
 
थ0.301%0.301
 
ख0.277%0.277
 
उ0.234%0.234
 
फ0.190%0.19
 
श0.189%0.189
 
भ0.173%0.173
 
ध0.160%0.16
 
ढ0.160%0.16
 
ई0.148%0.148
 
ट0.136%0.136
 
ओ0.098%0.098
 
ष0.082%0.082
 
ऐ0.033%0.033
 
ऊ0.031%0.031
 
औ0.023%0.023
 
ङ0.019%0.019
 
घ0.009%0.009
 
झ0.006%0.006
 
閉じる

また、ガルワーリー語の母音のみの出現頻度は以下の通りとなる[108]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
अ26.336%26.336
 
आ10.476%10.476
 
इ6.844%6.844
 
ई4.168%4.168
 
ए3.670%3.67
 
उ3.357%3.357
 
ओ1.713%1.713
 
ऐ1.051%1.051
 
औ0.081%0.081
 
ऊ0.074%0.074
 
閉じる

マラーティー語

マラーティー語における文字(デーヴァナーガリー)の出現頻度上位100文字は以下の表の通りである[109]。

さらに見る 順位, 文字 ...
順位 文字 マラーティー語における相対出現頻度
1त3.657%3.657
 
2र3.413%3.413
 
3क2.803%2.803
 
4न2.760%2.76
 
5व2.573%2.573
 
6अ2.055%2.055
 
7स2.026%2.026
 
8प1.693%1.693
 
9ल1.661%1.661
 
10आ1.648%1.648
 
11का1.497%1.497
 
12म1.378%1.378
 
13च्या1.175%1.175
 
14ता1.137%1.137
 
15ले1.078%1.078
 
16वि1.064%1.064
 
17वा1.044%1.044
 
18ती1.010%1.01
 
19ला1.002%1.002
 
20ना0.962%0.962
 
21सा0.959%0.959
 
22मा0.951%0.951
 
23या0.930%0.93
 
24प्र0.930%0.93
 
25रा0.925%0.925
 
26ग0.925%0.925
 
27य0.908%0.908
 
28ते0.889%0.889
 
29ण0.845%0.845
 
30चा0.804%0.804
 
31चे0.799%0.799
 
32हे0.755%0.755
 
33ने0.715%0.715
 
34ज0.694%0.694
 
35च0.680%0.68
 
36द0.666%0.666
 
37ची0.660%0.66
 
38पा0.647%0.647
 
39उ0.635%0.635
 
40ही0.625%0.625
 
41सं0.601%0.601
 
42नि0.593%0.593
 
43ब0.587%0.587
 
44त्या0.582%0.582
 
45हो0.577%0.577
 
46ड0.572%0.572
 
47ली0.570%0.57
 
48री0.562%0.562
 
49णा0.544%0.544
 
50श0.537%0.537
 
51ट0.529%0.529
 
52ळ0.507%0.507
 
53ह0.504%0.504
 
54हा0.500%0.5
 
55ल्या0.466%0.466
 
56के0.451%0.451
 
57जा0.441%0.441
 
58भा0.441%0.441
 
59ए0.419%0.419
 
60ण्या0.410%0.41
 
61इ0.397%0.397
 
62मु0.397%0.397
 
63नी0.382%0.382
 
64शा0.381%0.381
 
65दा0.367%0.367
 
66तो0.364%0.364
 
67ये0.349%0.349
 
68सू0.348%0.348
 
69रि0.348%0.348
 
70ध0.345%0.345
 
71णि0.345%0.345
 
72यां0.339%0.339
 
73रू0.331%0.331
 
74से0.331%0.331
 
75ति0.329%0.329
 
76रे0.315%0.315
 
77णे0.311%0.311
 
78वे0.302%0.302
 
79त्यां0.296%0.296
 
80गा0.294%0.294
 
81दे0.293%0.293
 
82ख0.291%0.291
 
83मि0.282%0.282
 
84शि0.281%0.281
 
85झा0.275%0.275
 
86ध्ये0.262%0.262
 
87हि0.253%0.253
 
88बा0.250%0.25
 
89ळे0.249%0.249
 
90पु0.242%0.242
 
91मी0.238%0.238
 
92त्र0.238%0.238
 
93क्ष0.231%0.231
 
94दि0.228%0.228
 
95ढ0.227%0.227
 
96सु0.226%0.226
 
97की0.226%0.226
 
98म्ह0.225%0.225
 
99शी0.224%0.224
 
100धा0.211%0.211
 
閉じる

ベンガル語

ベンガル語で使用されるベンガル文字における文字の出現頻度は以下の表の通りである[110]。

さらに見る 文字, ベンガル語における相対出現頻度 ...
文字 ベンガル語における相対出現頻度
া12.966%12.966
 
ে7.812%7.812
 
র6.627%6.627
 
ি5.221%5.221
 
ন5.503%5.503
 
ত4.356%4.356
 
ক4.341%4.341
 
ব3.814%3.814
 
ম3.189%3.189
 
ল3.094%3.094
 
প2.908%2.908
 
হ2.652%2.652
 
অ2.393%2.393
 
স2.381%2.381
 
দ2.363%2.363
 
য়1.895%1.895
 
ু1.259%1.259
 
ী1.191%1.191
 
য1.176%1.176
 
জ1.025%1.025
 
শ0.907%0.907
 
ছ0.855%0.855
 
গ0.813%0.813
 
ও0.804%0.804
 
খ0.684%0.684
 
ং0.648%0.648
 
ধ0.603%0.603
 
ট0.567%0.567
 
ষ0.547%0.547
 
থ0.524%0.524
 
ভ0.442%0.442
 
ূ0.432%0.432
 
ণ0.426%0.426
 
চ0.405%0.405
 
ঃ0.364%0.364
 
ফ0.280%0.28
 
ঁ0.258%0.258
 
ড়0.202%0.202
 
ড0.142%0.142
 
ৎ0.140%0.14
 
ঠ0.128%0.128
 
ঘ0.109%0.109
 
ঞ0.086%0.086
 
ঔ0.084%0.084
 
ৈ0.047%0.047
 
ঝ0.040%0.04
 
ঢ0.032%0.032
 
ঢ়0.013%0.013
 
ঙ0.006%0.006
 
ৃ0.003%0.003
 
閉じる

またベンガル語の辞書の見出し語における文字の出現頻度は া ্র িন তকবপ ু মসলদ ে োঅগযচ জশ ীটহ য়ষধভণ ড়আ ঁখউ ৃফ ংূঙ ছইডথঘ ঞঠ ৈ ৌঝ ওএ ঃঢঢ় ঈঐঔঋঊৎ の順である[111]。

タイ語

タイ語のタイ文字における文字の出現頻度は以下の表の通りとなる[112]。分析に使用したデータにおける文字の総数は 354,221,260文字である[112]。

さらに見る 順位, 文字 ...
順位文字度数割合
1า25,209,7747.12%7.12
 
2ร22,980,5596.49%6.49
 
3น21,539,5716.08%6.08
 
4ก15,639,1074.42%4.42
 
5 ่15,567,8434.39%4.39
 
6อ14,043,6693.96%3.96
 
7เ13,502,7773.81%3.81
 
8ง13,446,5963.80%3.8
 
9 ้12,088,6613.41%3.41
 
10 ั11,622,0443.28%3.28
 
11ม11,480,0763.24%3.24
 
12ย11,414,4973.22%3.22
 
13ว9,370,5492.65%2.65
 
14 ี9,345,5322.64%2.64
 
15ท8,848,5082.50%2.5
 
16ด8,219,2612.32%2.32
 
17ล8,098,2632.29%2.29
 
18 ิ7,284,3842.06%2.06
 
19ต7,048,8411.99%1.99
 
20ห6,658,9521.88%1.88
 
21ส6,652,2191.88%1.88
 
22บ6,467,8471.83%1.83
 
23ะ6,424,5031.81%1.81
 
24ค6,148,2241.74%1.74
 
25ป6,002,4291.69%1.69
 
26จ5,808,5061.64%1.64
 
27แ4,568,2501.29%1.29
 
28ไ4,255,0531.20%1.2
 
29พ4,029,3541.14%1.14
 
30ข4,028,7581.14%1.14
 
31ใ3,834,2421.08%1.08
 
32ช3,773,3561.07%1.07
 
33 ุ3,656,0691.03%1.03
 
34 ื3,655,7551.03%1.03
 
35 ์2,919,2010.82%0.82
 
36 ู2,724,7730.77%0.77
 
37 ็2,690,2610.76%0.76
 
38ำ2,562,9730.72%0.72
 
39โ1,951,2750.55%0.55
 
40ธ1,816,4700.51%0.51
 
41 ึ1,772,3430.50%0.5
 
42ผ1,732,1320.49%0.49
 
43ศ1,529,3760.43%0.43
 
44ถ1,404,0480.40%0.4
 
45ณ1,365,7930.39%0.39
 
46ซ1,181,4120.33%0.33
 
47ษ1,154,0370.33%0.33
 
48ญ1,133,0410.32%0.32
 
49ภ975,3230.28%0.28
 
50ฐ745,0570.21%0.21
 
51ฟ499,8720.14%0.14
 
52ฉ485,7060.14%0.14
 
53ๆ339,0920.10%0.1
 
54ฒ234,9630.07%0.07
 
55ฝ215,6520.06%0.06
 
56ฎ196,3160.06%0.06
 
57ฏ147,9100.04%0.04
 
58ฯ142,5850.04%0.04
 
59 ๊139,2720.04%0.04
 
60ฤ138,8060.04%0.04
 
61๒138,7590.04%0.04
 
62๑131,8190.04%0.04
 
63ฮ119,5340.03%0.03
 
64๐113,6030.03%0.03
 
65ฑ106,7310.03%0.03
 
66ฃ105,5050.03%0.03
 
67๕96,0320.03%0.03
 
68๓80,2810.02%0.02
 
69ฬ66,7040.02%0.02
 
70๔65,8820.02%0.02
 
71ฆ55,0740.02%0.02
 
72๖42,9170.01%0.01
 
73 ๋40,7400.01%0.01
 
74๗35,6670.01%0.01
 
75๘33,2960.01%0.01
 
76๙29,2400.01%0.01
 
77ฌ27,0890.01%0.01
 
78ฅ13,1070.00%
79 ํ4,6570.00%
80ฦ2,6280.00%
81 ฺ1720.00%
82฿420.00%
83ๅ330.00%
84๚190.00%
85๏50.00%
86๛40.00%
87 ๎20.00%
閉じる

タイ文字の子音における文字の出現頻度は高い順に รนกองมยวทดลตหสบคปจพขชธผศถณซษญภฐฟฉฒฝฎฏฤฮฑฃฬฆฌฅฦ である[112]。またタイ文字の母音、記号、数字における文字の出現頻度は高い順に า ่เ ้ ั ี ิะแไใ ุ ื ์ ู ็ ำโ ึๆฯ ๊๒๑๐๕๓๔๖ ๋๗๘ ํ ฺ฿ๅ๚๏๛ ๎ である[112]。

ビルマ語

ビルマ語で使用されるビルマ文字の基本字母における文字の出現頻度は以下の表の通りである[113]。ビルマ文字では 33 の文字が基本字母として存在している[113]。

さらに見る 文字, ビルマ語における相対出現頻度 ...
文字 ビルマ語における相対出現頻度
က7.449%7.449
 
ခ0.086%0.086
 
ဂ0.685%0.685
 
ဃ1.199%1.199
 
င1.455%1.455
 
စ11.301%11.301
 
ဆ3.168%3.168
 
ဇ2.226%2.226
 
ဈ0.086%0.086
 
ည0.599%0.599
 
ဋ0.086%0.086
 
ဌ7.020%7.02
 
ဍ10.103%10.103
 
ဎ1.370%1.37
 
ဏ2.055%2.055
 
တ5.051%5.051
 
ထ6.592%6.592
 
ဒ0.171%0.171
 
ဓ2.483%2.483
 
န5.651%5.651
 
ပ3.339%3.339
 
ဖ1.455%1.455
 
ဗ1.027%1.027
 
ဘ0.342%0.342
 
မ1.969%1.969
 
ယ8.818%8.818
 
ရ1.969%1.969
 
လ0.086%0.086
 
ဝ0.086%0.086
 
သ0%
ဟ0%
ဠ0%
အ0%
閉じる

また、ビルマ語の基本字母と併せて用いられる表音機能を持つ符号における出現頻度は以下の通りとなる[113]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
ြ 7.705%7.705
 
၂8.990%8.99
 
ေ12.842%12.842
 
ါ7.791%7.791
 
း2.997%2.997
 
ံ14.812%14.812
 
့29.966%29.966
 
ိ9.075%9.075
 
ွ3.767%3.767
 
ှ1.627%1.627
 
ု1.027%1.027
 
ူ1.284%1.284
 
ဲ9.161%9.161
 
်3.253%3.253
 
閉じる

タミル語

タミル語で使用されるタミル文字における文字の出現頻度は以下の表の通りである[注釈 3][115]。

さらに見る 文字, タミル語における相対出現頻度 ...
文字 タミル語における相対出現頻度
ஸ0.15%0.15
 
ஜ0.16%0.16
 
ு0.86%0.86
 
ூ0.04%0.04
 
ஶ்ரீ0.04%0.04
 
ொ0.01%0.01
 
ோ0.01%0.01
 
று0.68%0.68
 
ற1.94%1.94
 
நு0.06%0.06
 
ந2.09%2.09
 
சு0.15%0.15
 
ச2.14%2.14
 
கூ0.19%0.19
 
வ3.61%3.61
 
லு0.23%0.23
 
ல3.05%3.05
 
ரு1.28%1.28
 
ர1.33%1.33
 
ஐ0.05%0.05
 
ை2.81%2.81
 
டீ0.01%0.01
 
டி0.67%0.67
 
ீ0.43%0.43
 
ி6.45%6.45
 
றா0.22%0.22
 
ய3.08%3.08
 
ளு0.21%0.21
 
ள2.03%2.03
 
னு0.18%0.18
 
ன3.78%3.78
 
கு1.06%1.06
 
க6.98%6.98
 
ழு0.14%0.14
 
ப4.57%4.57
 
ழ0.55%0.55
 
ா6.16%6.16
 
து1.55%1.55
 
த5.85%5.85
 
மு0.53%0.53
 
ம3.91%3.91
 
டு0.81%0.81
 
ட2.30%2.3
 
ஂ0.05%0.05
 
்18.48%18.48
 
ஞ0.10%0.1
 
ங0.63%0.63
 
ணா0.02%0.02
 
ண1.07%1.07
 
ஓ0.03%0.03
 
ஒ0.27%0.27
 
ஊ0.04%0.04
 
உ0.59%0.59
 
ஏ0.11%0.11
 
எ0.91%0.91
 
னா0.31%0.31
 
ெ0.91%0.91
 
சூ0.01%0.01
 
ே1.21%1.21
 
ஆ0.35%0.35
 
அ1.27%1.27
 
ஈ0.03%0.03
 
இ1.03%1.03
 
ஃ0.00%
閉じる

シンハラ語

シンハラ語で使用されるシンハラ文字における文字の出現頻度は以下の表の通りである[116]。

さらに見る 文字, シンハラ語における相対出現頻度 ...
文字 シンハラ語における相対出現頻度
ං0.738%0.738
 
ඃ0.002%0.002
 
අ1.403%1.403
 
ආ0.340%0.34
 
ඇ0.387%0.387
 
ඈ0.012%0.012
 
ඉ0.357%0.357
 
ඊ0.027%0.027
 
උ0.364%0.364
 
ඌ0.010%0.01
 
ඍ0.006%0.006
 
ඎ0.000%
ඏ0.000%
ඐ0.000%
එ0.307%0.307
 
ඒ0.057%0.057
 
ඓ0.004%0.004
 
ඔ0.120%0.12
 
ඕ0.044%0.044
 
ඖ0.003%0.003
 
ක8.152%8.152
 
ඛ0.094%0.094
 
ග3.149%3.149
 
ඝ0.062%0.062
 
ඞ0.000%
ඟ0.198%0.198
 
ච0.525%0.525
 
ඡ0.042%0.042
 
ජ0.783%0.783
 
ඣ0.000%
ඤ0.020%0.02
 
ඥ0.080%0.08
 
ඦ0.000%
ට3.749%3.749
 
ඨ0.052%0.052
 
ඩ1.097%1.097
 
ඪ0.007%0.007
 
ණ1.382%1.382
 
ඬ0.051%0.051
 
ත5.953%5.953
 
ථ0.235%0.235
 
ද4.449%4.449
 
ධ0.667%0.667
 
න10.643%10.643
 
ඳ0.370%0.37
 
ප4.233%4.233
 
ඵ0.021%0.021
 
බ1.622%1.622
 
භ0.379%0.379
 
ම6.226%6.226
 
ඹ0.178%0.178
 
ය8.347%8.347
 
ර7.493%7.493
 
ල4.915%4.915
 
ව8.728%8.728
 
ශ0.746%0.746
 
ෂ0.653%0.653
 
ස5.124%5.124
 
හ2.653%2.653
 
ළ0.928%0.928
 
ෆ0.124%0.124
 
⟨්‍ය⟩0.496%0.496
 
⟨ර්‍◌⟩0.000%
⟨◌්‍ර⟩1.194%1.194
 
෴0%
閉じる

マラヤーラム語

マラヤーラム語で使用されるマラヤーラム文字における文字の出現頻度は以下の表の通りである[117][118]。

さらに見る 文字, マラヤーラム語における相対出現頻度 ...
文字 マラヤーラム語における相対出現頻度
്14.915%14.915
 
ി6.605%6.605
 
ന6.547%6.547
 
ു6.463%6.463
 
ക6.386%6.386
 
ത5.303%5.303
 
ാ4.462%4.462
 
യ3.720%3.72
 
ര3.261%3.261
 
ട3.167%3.167
 
പ2.932%2.932
 
വ2.637%2.637
 
െ2.632%2.632
 
മ2.508%2.508
 
ല2.272%2.272
 
ം2.269%2.269
 
റ1.784%1.784
 
ച1.668%1.668
 
ണ1.600%1.6
 
സ1.576%1.576
 
ള1.384%1.384
 
ങ1.288%1.288
 
ോ1.170%1.17
 
േ1.037%1.037
 
അ1.027%1.027
 
ൽ0.825%0.825
 
ർ0.825%0.825
 
ദ0.721%0.721
 
ശ0.600%0.6
 
ൊ0.549%0.549
 
ൂ0.525%0.525
 
ഷ0.502%0.502
 
ൾ0.500%0.5
 
എ0.495%0.495
 
ീ0.451%0.451
 
ഞ0.409%0.409
 
ൻ0.398%0.398
 
ഗ0.391%0.391
 
ആ0.366%0.366
 
ധ0.365%0.365
 
ഴ0.337%0.337
 
ഇ0.336%0.336
 
ഒ0.291%0.291
 
ഭ0.275%0.275
 
ഹ0.261%0.261
 
ബ0.246%0.246
 
ഉ0.228%0.228
 
ജ0.224%0.224
 
ഥ0.176%0.176
 
ഡ0.143%0.143
 
ൈ0.140%0.14
 
ഫ0.119%0.119
 
ൃ0.117%0.117
 
ഖ0.114%0.114
 
ഈ0.097%0.097
 
ഏ0.074%0.074
 
ഓ0.060%0.06
 
ഠ0.055%0.055
 
ൺ0.045%0.045
 
ൗ0.040%0.04
 
ഘ0.028%0.028
 
ഊ0.017%0.017
 
ഛ0.013%0.013
 
ഐ0.011%0.011
 
ഃ0.005%0.005
 
ൌ0.005%0.005
 
ഢ0.002%0.002
 
ഔ0.001%0.001
 
ഋ0.000%
閉じる

カンナダ語

カンナダ語の母音におけるカンナダ文字の出現頻度は以下の表の通りである[119]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
ಅ29.036%29.036
 
ಆ11.189%11.189
 
ಇ16.346%16.346
 
ಈ1.875%1.875
 
ಉ10.885%10.885
 
ಊ0.156%0.156
 
ಋ0.276%0.276
 
ೠ0.000%
ಌ0.000%
ೡ0.000%
ಎ0.905%0.905
 
ಏ2.527%2.527
 
ಐ0.061%0.061
 
ಒ1.421%1.421
 
ಓ1.339%1.339
 
ಔ0.189%0.189
 
ಁ0.000%
ಂ4.070%4.07
 
ಃ0.165%0.165
 
಼0.001%0.001
 
್19.561%19.561
 
閉じる

また、カンナダ語の子音におけるカンナダ文字の出現頻度は以下の通りとなる[119]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
್5.663%5.663
 
ಕ6.219%6.219
 
ಖ0.348%0.348
 
ಗ6.168%6.168
 
ಘ0.131%0.131
 
ಙ0.0003%0.0003
 
ಚ1.241%1.241
 
ಛ0.023%0.023
 
ಜ1.355%1.355
 
ಝ0.011%0.011
 
ಞ0.040%0.04
 
ಟ2.136%2.136
 
ಠ0.075%0.075
 
ಡ2.741%2.741
 
ಢ0.014%0.014
 
ಣ0.943%0.943
 
ತ6.810%6.81
 
ಥ0.457%0.457
 
ದ7.860%7.86
 
ಧ0.800%0.8
 
ನ7.278%7.278
 
ಪ2.933%2.933
 
ಫ0.251%0.251
 
ಬ2.433%2.433
 
ಭ0.750%0.75
 
ಮ4.382%4.382
 
ಯ3.893%3.893
 
ರ10.270%10.27
 
ಱ0.001%0.001
 
ಲ6.394%6.394
 
ಳ2.778%2.778
 
ೞ0.0003%0.0003
 
ವ5.478%5.478
 
ಶ1.128%1.128
 
ಷ0.956%0.956
 
ಸ5.711%5.711
 
ಹ2.331%2.331
 
閉じる

テルグ語

テルグ語の母音におけるテルグ文字の出現頻度は以下の表の通りである[120]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
అ19.224%19.224
 
ఆ12.826%12.826
 
ఇ13.133%13.133
 
ఈ3.180%3.18
 
ఉ11.556%11.556
 
ఊ1.321%1.321
 
ఋ0.189%0.189
 
ౠ0.000%
ఌ0.000%
ౡ0.000%
ఎ2.585%2.585
 
ఏ4.079%4.079
 
ఐ1.107%1.107
 
ఒ0.959%0.959
 
ఓ4.071%4.071
 
ఔ0.128%0.128
 
ఁ0.001%0.001
 
ం7.934%7.934
 
ః0.071%0.071
 
్17.638%17.638
 
閉じる

また、テルグ語の子音におけるテルグ文字の出現頻度は以下の通りとなる[120]。

さらに見る 文字, 相対出現頻度 ...
文字 相対出現頻度
్6.093%6.093
 
క7.431%7.431
 
ఖ0.231%0.231
 
గ3.300%3.3
 
ఘ0.077%0.077
 
ఙ0.0004%0.0004
 
చ3.809%3.809
 
ఛ0.032%0.032
 
జ1.481%1.481
 
ఝ0.002%0.002
 
ఞ0.018%0.018
 
ట4.072%4.072
 
ఠ0.039%0.039
 
డ3.322%3.322
 
ఢ0.027%0.027
 
ణ0.493%0.493
 
త5.731%5.731
 
థ0.369%0.369
 
ద4.624%4.624
 
ధ0.836%0.836
 
న9.127%9.127
 
ప5.648%5.648
 
ఫ0.404%0.404
 
బ1.459%1.459
 
భ0.750%0.75
 
మ4.536%4.536
 
య3.884%3.884
 
ర10.669%10.669
 
ఱ0.001%0.001
 
ల7.990%7.99
 
ళ0.428%0.428
 
ఴ0.000%
వ4.896%4.896
 
శ1.059%1.059
 
ష1.024%1.024
 
స5.320%5.32
 
హ0.819%0.819
 
閉じる

その他の言語における文字の相対出現頻度

ギリシア語

以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,442,382文字(235,614単語)のもので、そのうち 1,161,745文字を集計している[121]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。

ギリシア語における出現頻度の高い文字(ギリシア文字)は ⟨A⟩、⟨O⟩、⟨E⟩ となる[121]。

さらに見る 文字, ギリシア語における文字の出現頻度 ...
文字 ギリシア語における文字の出現頻度[121]
Α12.98%12.98
 
Β0.74%0.74
 
Γ1.62%1.62
 
Δ1.55%1.55
 
Ε9.48%9.48
 
Ζ0.31%0.31
 
Η4.78%4.78
 
Θ1.16%1.16
 
Ι9.18%9.18
 
Κ3.66%3.66
 
Λ2.54%2.54
 
Μ3.55%3.55
 
Ν6.17%6.17
 
Ξ0.42%0.42
 
Ο9.48%9.48
 
Π3.95%3.95
 
Ρ4.12%4.12
 
Σ6.67%6.67
 
Τ7.89%7.89
 
Υ3.96%3.96
 
Φ0.72%0.72
 
Χ1.26%1.26
 
Ψ0.15%0.15
 
Ω1.71%1.71
 
閉じる

ヘブライ語

以下の表は Stefan Trost の分析結果をまとめたものである。分析には "WordCreator" の機能 Unicode Counter を使用した。分析にあたって利用したコーパスは 1,230,923文字(279,679単語)のもので、そのうち 937,426文字を集計している[122]。ただし、分析するコーパスによっては相対出現頻度は多少異なることがある。

ヘブライ語における出現頻度の高い文字(ヘブライ文字)は ⟨י⟩、⟨ה⟩、⟨ו⟩ となる[122]。

さらに見る 文字, ヘブライ語における文字の出現頻度 ...
文字 ヘブライ語における文字の出現頻度[122]
א6.11%6.11
 
ב4.57%4.57
 
ג1.26%1.26
 
ד2.49%2.49
 
ה10.48%10.48
 
ו10.01%10.01
 
ז1.28%1.28
 
ח2.39%2.39
 
ט1.19%1.19
 
י10.67%10.67
 
ך0.78%0.78
 
כ2.60%2.6
 
ל7.12%7.12
 
ם2.92%2.92
 
מ4.43%4.43
 
ן1.06%1.06
 
נ2.76%2.76
 
ס1.43%1.43
 
ע3.11%3.11
 
ף0.26%0.26
 
פ1.63%1.63
 
ץ0.12%0.12
 
צ1.20%1.2
 
ק2.06%2.06
 
ר5.40%5.4
 
ש4.25%4.25
 
ת4.84%4.84
 
閉じる

中国語

中国語における文字(漢字)の出現頻度の上位20文字は以下の表の通りである[123]。分析では2009年にインターネット上で人気のあった8つの小説から計12,379,116文字について調査したものである[124]。

さらに見る 文字, 中国語における相対出現頻度 ...
文字中国語における相対出現頻度
的3.47%3.47
 
了2.05%2.05
 
一1.99%1.99
 
是1.67%1.67
 
不1.51%1.51
 
这1.23%1.23
 
我1.16%1.16
 
人1.04%1.04
 
在1.00%1
 
地0.93%0.93
 
道0.92%0.92
 
有0.90%0.9
 
他0.90%0.9
 
来0.87%0.87
 
个0.72%0.72
 
说0.69%0.69
 
你0.69%0.69
 
上0.66%0.66
 
大0.64%0.64
 
就0.59%0.59
 
閉じる

中国の古文書における文字の出現頻度上位10文字は以下の表の通りである[123]。「不」、「一」、「人」の三文字は各年代において出現頻度が上位10位以内の高い頻度で表れる文字であった[123]。

さらに見る 年代, 順序 ...
年代順序詳細
7-10世紀不人山无风 一日云有何『全唐詩』に記載されている総数2,602,310文字に対する分析[124]。
10-13世紀人风花一不 春无云月天『全宋詞』に記載されている総数1,417,778文字に対する分析[124]。
13-14世紀云我不你的 是人一来了『元詩選』に記載されている総数2,172,631文字に対する分析[124]。
14-20世紀了不一道来 人的是我个『西遊記』、『水滸伝』、『三国志演義』、『紅楼夢』に記載されている総数2,506,684文字に対する分析[124]。
閉じる

また、中国語の拼音(ピンイン)入力におけるアルファベットの出現頻度は以下の表の通りである[125]。分析には小説から約50万字、新聞記事から約130万字、ネットの投稿から約120万字を抽出したデータを使用している[126]。⟨i⟩、⟨a⟩、⟨n⟩ の三つの文字の出現頻度が高く、⟨v⟩ が最も出現頻度の低い文字であった[126]。

さらに見る 文字, 中国語の拼音入力における相対出現頻度 ...
文字 中国語の拼音入力における相対出現頻度
A10.52%10.52
 
B1.42%1.42
 
C1.40%1.4
 
D3.28%3.28
 
E6.97%6.97
 
F0.89%0.89
 
G6.90%6.9
 
H7.17%7.17
 
I13.96%13.96
 
J2.42%2.42
 
K0.65%0.65
 
L1.79%1.79
 
M1.06%1.06
 
N11.91%11.91
 
O5.88%5.88
 
P0.42%0.42
 
Q1.03%1.03
 
R0.92%0.92
 
S2.97%2.97
 
T1.16%1.16
 
U7.94%7.94
 
V0.10%0.1
 
W1.16%1.16
 
X1.92%1.92
 
Y2.92%2.92
 
Z3.26%3.26
 
閉じる

韓国語

韓国語のハングルにおける字母(ハングル字母)の出現頻度は以下の通りとなる[127]。

さらに見る 順位, 字母 ...
順位字母位置度数割合
5ㄱ初声1,171,0385.372%5.372
 
20ㄱ終声411,5381.888%1.888
 
36ㄲ初声64,9970.298%0.298
 
56ㄲ終声6,0680.028%0.028
 
63ㄳ終声3570.002%0.002
 
16ㄴ初声596,8932.738%2.738
 
4ㄴ終声1,328,0906.092%6.092
 
60ㄵ終声2,7900.013%0.013
 
43ㄶ終声30,3760.139%0.139
 
9ㄷ初声800,7853.673%3.673
 
49ㄷ終声18,5350.085%0.085
 
35ㄸ初声72,6040.333%0.333
 
15ㄹ初声610,2112.799%2.799
 
10ㄹ終声776,8913.564%3.564
 
55ㄺ終声7,3300.034%0.034
 
57ㄻ終声4,3440.020%0.02
 
61ㄼ終声2,1830.010%0.01
 
67ㄽ終声50.000%
65ㄾ終声1310.001%0.001
 
66ㄿ終声780.000%
59ㅀ終声3,0230.014%0.014
 
18ㅁ初声429,6611.971%1.971
 
24ㅁ終声258,5421.186%1.186
 
23ㅂ初声359,0291.647%1.647
 
29ㅂ終声133,7290.613%0.613
 
52ㅃ初声16,0370.074%0.074
 
46ㅄ終声25,8680.119%0.119
 
11ㅅ初声756,4773.470%3.47
 
30ㅅ終声114,5920.526%0.526
 
44ㅆ初声29,1840.134%0.134
 
25ㅆ終声219,1861.005%1.005
 
1ㅇ初声2,105,5879.659%9.659
 
14ㅇ終声617,2052.831%2.831
 
12ㅈ初声748,5093.434%3.434
 
50ㅈ終声17,1730.079%0.079
 
48ㅉ初声20,4340.094%0.094
 
26ㅊ初声200,2660.919%0.919
 
54ㅊ終声9,9440.046%0.046
 
39ㅋ初声48,0970.221%0.221
 
64ㅋ終声3020.001%0.001
 
31ㅌ初声106,6790.489%0.489
 
47ㅌ終声25,3410.116%0.116
 
33ㅍ初声98,9860.454%0.454
 
51ㅍ終声16,9380.078%0.078
 
13ㅎ初声635,2992.914%2.914
 
45ㅎ終声26,9480.124%0.124
 
2ㅏ中声1,926,0078.835%8.835
 
21ㅐ中声409,7681.880%1.88
 
37ㅑ中声63,7280.292%0.292
 
58ㅒ中声3,7690.017%0.017
 
7ㅓ中声942,8194.325%4.325
 
22ㅔ中声393,6951.806%1.806
 
19ㅕ中声422,4901.938%1.938
 
42ㅖ中声44,3940.204%0.204
 
8ㅗ中声862,0733.955%3.955
 
28ㅘ中声162,6560.746%0.746
 
53ㅙ中声11,2150.051%0.051
 
32ㅚ中声99,7940.458%0.458
 
34ㅛ中声94,5760.434%0.434
 
17ㅜ中声592,4192.718%2.718
 
38ㅝ中声57,3730.263%0.263
 
62ㅞ中声2,0350.009%0.009
 
40ㅟ中声47,5060.218%0.218
 
41ㅠ中声47,1350.216%0.216
 
6ㅡ中声1,151,9765.285%5.285
 
27ㅢ中声179,8180.825%0.825
 
3ㅣ中声1,355,5276.218%6.218
 
閉じる

韓国語のハングルにおける文字(音節)の出現頻度上位100文字は以下の通りである[128]。

さらに見る 順位, 文字 ...
順位文字度数割合
1이314,8693.550%3.55
 
2다265,0712.988%2.988
 
3는232,3842.620%2.62
 
4의172,1261.940%1.94
 
5에171,9431.938%1.938
 
6을162,5791.833%1.833
 
7고152,8621.723%1.723
 
8가150,9181.701%1.701
 
9하144,0511.624%1.624
 
10지133,6911.507%1.507
 
11로113,9201.284%1.284
 
12한113,1501.276%1.276
 
13그108,1641.219%1.219
 
14은106,1291.196%1.196
 
15서103,1211.162%1.162
 
16기102,7091.158%1.158
 
17어99,9431.127%1.127
 
18도88,3140.996%0.996
 
19나86,7640.978%0.978
 
20를84,7740.956%0.956
 
21사84,2470.950%0.95
 
22아80,0430.902%0.902
 
23리78,5320.885%0.885
 
24있77,8580.878%0.878
 
25자75,3460.849%0.849
 
26들69,4230.783%0.783
 
27대67,8550.765%0.765
 
28으66,3900.748%0.748
 
29인64,2610.724%0.724
 
30시62,3380.703%0.703
 
31해60,1360.678%0.678
 
32라58,4850.659%0.659
 
33것58,3860.658%0.658
 
34수58,1650.656%0.656
 
35니57,1520.644%0.644
 
36게56,9450.642%0.642
 
37정54,4070.613%0.613
 
38보49,0190.553%0.553
 
39일45,9320.518%0.518
 
40적45,4750.513%0.513
 
41만44,6720.504%0.504
 
42부43,8800.495%0.495
 
43주43,8790.495%0.495
 
44과43,6850.492%0.492
 
45제43,6310.492%0.492
 
46면42,5680.480%0.48
 
47었40,3550.455%0.455
 
48전39,5530.446%0.446
 
49여39,5290.446%0.446
 
50상39,3450.444%0.444
 
51장37,8850.427%0.427
 
52요37,3910.422%0.422
 
53구36,9670.417%0.417
 
54문34,1090.385%0.385
 
55내33,9640.383%0.383
 
56우33,1450.374%0.374
 
57성31,6920.357%0.357
 
58거31,2820.353%0.353
 
59동31,0410.350%0.35
 
60생30,3640.342%0.342
 
61되30,3170.342%0.342
 
62마30,1840.340%0.34
 
63러30,0510.339%0.339
 
64국29,2410.330%0.33
 
65소29,1050.328%0.328
 
66화29,0680.328%0.328
 
67신28,9180.326%0.326
 
68무28,6600.323%0.323
 
69했28,1760.318%0.318
 
70원27,5820.311%0.311
 
71스26,8040.302%0.302
 
72오26,3410.297%0.297
 
73야26,0090.293%0.293
 
74위25,9640.293%0.293
 
75경25,9320.292%0.292
 
76말25,6180.289%0.289
 
77와25,1680.284%0.284
 
78조25,0550.282%0.282
 
79없24,9750.282%0.282
 
80모24,7640.279%0.279
 
81데24,5120.276%0.276
 
82비24,2660.274%0.274
 
83할23,7060.267%0.267
 
84계23,6530.267%0.267
 
85안23,1520.261%0.261
 
86까23,0160.259%0.259
 
87중22,9160.258%0.258
 
88세22,7640.257%0.257
 
89때22,6180.255%0.255
 
90미22,3730.252%0.252
 
91려22,0400.248%0.248
 
92회22,0330.248%0.248
 
93학21,9900.248%0.248
 
94관21,9760.248%0.248
 
95선21,9730.248%0.248
 
96간21,9390.247%0.247
 
97치21,9100.247%0.247
 
98진21,7190.245%0.245
 
99공21,3070.240%0.24
 
100실21,2800.240%0.24
 
閉じる

また、1950年代に調査された韓国の文書中におけるハングルの出現頻度の高い30文字は 이는다하 에가고올지어 의은서그아 로라기도한 나니를것있 리으여사들 の順である[129]。また、1950年代に調査された韓国語の文書中における漢字の出現頻度の高い30文字は 國生地人自 十一分物年 學大字發身 民氣方間會 日事對行上 當實等二法 である[130]。

台湾語

以下の表では台湾語における出現頻度の高い音節上位20文字を記載する[131][132]。なお、台湾語は文字の表記法として主に漢字(全漢)、漢字ローマ字混用(漢羅)、ローマ字(全羅)の三つ存在しているため、以下の表では漢字およびローマ字が混合した出現頻度となっている[133]。

さらに見る 文字, 台湾語における相対出現頻度 ...
文字台湾語における相対出現頻度
ê4.2252%4.2252
 
是1.8029%1.8029
 
人1.3831%1.3831
 
(数字)1.2566%1.2566
 
有1.2495%1.2495
 
無1.0347%1.0347
 
來1.0218%1.0218
 
我0.9500%0.95
 
一0.9415%0.9415
 
講0.9312%0.9312
 
伊0.9055%0.9055
 
tī0.7983%0.7983
 
會0.7355%0.7355
 
去0.6659%0.6659
 
著0.6157%0.6157
 
m̄0.6023%0.6023
 
個0.5901%0.5901
 
就0.5896%0.5896
 
台0.5429%0.5429
 
真0.5375%0.5375
 
閉じる

アムハラ語

アムハラ語で使用されるゲエズ文字(アムハラ文字)における文字の出現頻度は以下の表の通りである[134]。分析に使用したデータの文字の総数は 12,222,876文字である[134]。

さらに見る 文字, アムハラ語における相対出現頻度 ...
文字 アムハラ語における相対出現頻度
ሀ2.28%2.28
 
ለ7.62%7.62
 
ሐ0.62%0.62
 
መ8.45%8.45
 
ሠ0.69%0.69
 
ረ6.68%6.68
 
ሰ4.73%4.73
 
ሸ0.57%0.57
 
ቀ2.42%2.42
 
በ6.77%6.77
 
ቨ0.08%0.08
 
ተ7.96%7.96
 
ቸ2.59%2.59
 
ኀ0.28%0.28
 
ነ9.58%9.58
 
ኘ0.78%0.78
 
አ5.09%5.09
 
ከ3.29%3.29
 
ኸ0.07%0.07
 
ወ5.16%5.16
 
ዐ0.73%0.73
 
ዘ1.79%1.79
 
ዠ0.05%0.05
 
የ7.54%7.54
 
ደ4.10%4.1
 
ጀ0.72%0.72
 
ገ4.03%4.03
 
ጠ2.08%2.08
 
ጨ0.47%0.47
 
ጰ0.18%0.18
 
ጸ0.39%0.39
 
ፀ0.20%0.2
 
ፈ1.71%1.71
 
ፐ0.31%0.31
 
閉じる

ゴート語

現在は死語となっているゴート語のゴート文字における文字の出現頻度は以下の表の通りである[135]。

さらに見る 文字, ゴート語における相対出現頻度 ...
文字 ゴート語における相対出現頻度
𐌰19.49%19.49
 
𐌱1.53%1.53
 
𐌲2.64%2.64
 
𐌳3.73%3.73
 
𐌴3.92%3.92
 
𐌵0.56%0.56
 
𐌶0.78%0.78
 
𐌷3.07%3.07
 
𐌸4.94%4.94
 
𐌹13.97%13.97
 
𐌺1.43%1.43
 
𐌻2.43%2.43
 
𐌼3.70%3.7
 
𐌽8.97%8.97
 
𐌾3.00%3
 
𐌿5.70%5.7
 
𐍀0.30%0.3
 
𐍁0.001%0.001
 
𐍂3.02%3.02
 
𐍃7.66%7.66
 
𐍄2.88%2.88
 
𐍅2.46%2.46
 
𐍆1.46%1.46
 
𐍇0.12%0.12
 
𐍈0.43%0.43
 
𐍉1.80%1.8
 
𐍊0.0005%0.0005
 
閉じる

関連の出現頻度

単語の出現頻度

ジップの法則

続いて文字の出現頻度ではなく、単語の出現頻度について言及する。ある自然言語のコーパスにおける単語の出現頻度はジップの法則に従った分布となる[136][137]。これは出現頻度の最も高い単語は二番目の単語の約二倍の出現頻度となることをいう[137]。

エスペラント語で書かれたあるフィクション小説のコーパスにおける単語の出現頻度は以下の通りとなった:

la 9864、kaj 4195、mi 3934、de 2819、li 2543、esti 2395、al 1969... と続いている[138]。

ジップの法則は集合の要素(文書内における単語など)を出現頻度の高い順に並べ、それぞれに順位を対応させると、各順位の出現確率 p(n) はその順位 n の逆数におおよそ比例することを示している。ある順位における相対出現頻度は以下の式で与えられる[137]:

順位が高い 1、2、3、4、5 の順番に出現確率は 1、1/2、1/3、1/4、1/5 の比率を成している。したがってジップの法則から各順位ごとの出現確率はお互いに関連した関係であるといえる[137]。実際、上記の分析結果についても出現頻度はジップの法則に従っているといえる。

日本語

日本語における語(見出し語)の出現頻度は以下の表の通りである[139]。

下記の表は割合を表示せず、順位のみを記載する。

さらに見る 順位, 単語 ...
順位 単語
1の
2に
3は
4た
5を
6だ
7が
8て
9と
10ます
順位 単語
11も
12で
13ている、てる
14です
15れる
16という、つう
17事
18えー、ええ
19言う
20のです、んです
順位 単語
21あの、あのう、あのー
22する
23まー、まあ
24の
25ある
26ね
27ない
28なる
29か
30その
順位 単語
31けれど
32から
33よう
34思う
35で
36か
37が
38物
39そう
40何
順位 単語
41と
42私
43てしまう
44それ
45とか
46この
47無い
48行く
49のだ、んだ
50せる
順位 単語
51これ
52もう
53である
54時
55な
56ず
57ので、んで
58人
59よ
60こう
順位 単語
61から
62ば
63や
64来る
65その
66まで
67見る
68たり
69今
70良い、いい
順位 単語
71所
72自分
73ん
74あー
75やはり、やっぱり
76たい
77やる
78中
79いる
80できる
順位 単語
81など
82として
83後
84また
85ちょっと
86てくる
87だけ
88くらい、ぐらい
89ではない
90えーと
順位 単語
91方
92ていく、てく
93訳
94へ
95どう
96し
97本当
98持つ
99出る
100ため
閉じる

英語

英単語の出現頻度は以下の表の通りである[140]。ただし、単語の出現回数の加算方法としては英語の辞書の見出し語(基本語)ごとに行っており、be には is、was、are、were などが合算された数となるが、I と me は各々別の単語として加算されている。

下記の表は割合を表示せず、順位のみを記載する。

さらに見る 順位, 単語 ...
順位 単語
1the
2be
3to
4of
5and
6a
7in
8that
9have
10I
順位 単語
11it
12for
13not
14on
15with
16he
17as
18you
19do
20at
順位 単語
21this
22but
23his
24by
25from
26they
27we
28say
29her
30she
順位 単語
31or
32an
33will
34my
35one
36all
37would
38there
39their
40what
順位 単語
41so
42up
43out
44if
45about
46who
47get
48which
49go
50me
閉じる

英語版の AWK には単語の頻度分析に関するプログラムがまとめられており、より高度な分析を行うプログラムについては下記のプログラム節に記載されている。

数字の出現頻度

スーパーマーケットに並んでいる商品。日本においては価格の末尾の数字は 8 であることが多いとされる[141]。

低価格帯

アルファベットや平仮名に限らず、数字においても特徴的な出現頻度の事例が知られている。例として、日本のスーパーマーケットにおける商品の金額の末尾(一の位)の数字は 8 であることが多いことが知られている[142]。一方、アメリカやヨーロッパ、英語圏などのスーパーマーケットで見かける金額の末尾(一の位)の数字は 9 であることが多いことが知られている[143]。具体例として、商品の価格が200円でなく199円として売られていることが挙げられる。1997年の『Marketing Bulletin』によると、ニュージーランドの新聞の広告に記載された商品価格における末尾の桁の 60% が 9 であったことが知られている[144]。

これらの事象を確認することは、大規模な統計的調査や統計学者による分析を行う必要なく容易に確かめることができる。

ベンフォードの法則

一方で潜在的な例として、企業の財務会計における数字の最初の桁に関する頻度について挙げることができる[145]。すなわち、最初の桁に現れる数字の出現頻度は互いに等しくなく、偏りがあることが知られており、これはベンフォードの法則と名づけられている。このベンフォードの法則によれば、数字の最初の桁において 1 である確率は 30% 程度であるが、9 である確率は 5% 未満である。このことから数字の最初の桁における分布をより正確に求めることで、不自然な偏りを検出し、不正や詐欺を発見するのに役立たせることができる[145]。

数字の最初の桁における各数字の出現頻度を定量的に表すと、以下の表の通りとなる[146]。ただし、最初の桁の数値を d とし、d の出現確率を P(d) とする。

さらに見る d, P(d) ...
dP(d)P(d) の度数
130.1%30.1
 
217.6%17.6
 
312.5%12.5
 
49.7%9.7
 
57.9%7.9
 
66.7%6.7
 
75.8%5.8
 
85.1%5.1
 
94.6%4.6
 
閉じる

ベンフォードの法則では、対象となるデータセットが大規模なものでかつ一つ一つのデータが複数の桁を持ち、可能な限り実在するデータに対して現れる法則となる[147]。

十進数の数字における最初の桁の出現確率は 10 を底とする対数を用いて表される。すなわち、最初の桁の数値 d の出現確率は以下の式で与えられる[59]:

これはすなわち、数字を横軸にとり、出現確率を縦軸とすると、各数字の出現確率は対数によって描かれる分布となる。したがって、数字の最初の桁における出現確率は特有の分布に従う[148]。

大規模なデータセットに対する数字の二桁目の出現頻度についても同様に偏りのある分布となる[147]。しかしながら、数字の右側の桁の出現頻度を求めようとすると、次第にベンフォードの法則には従わなくなり、各数字の出現確率が均等(各数字約10%の出現確率)に近づいていくことが知られている[149]。

なお、スーパーマーケットなどの低価格帯における末尾の数字は 8(9)であることが多いため、この性質は当てはまらない[150]。

単語の長さ

単語の長さを算出する方法は主に三種類存在する[151]。一つ目は語の形態に応じて語の長さを算出する方法である。これはある単語に対してその本体の自立部分と、助詞、助動詞などの付属部分を別々のものとみなして計算する方法である[152]。二つ目は語の表記に応じた語の長さを算出する方法である。これはある単語に対して文字として表記されているそのままの文字数を一つの単語として計算する方法である[153]。三つ目は語の音に応じた語の長さを算出する方法である。これはある単語に対してそれぞれの文字を拍(モーラ)に応じて語の長さを計算する方法である[153]。

1986年に出版された『中央公論』1年分のデータを標本とした日本語における単語の長さの平均は、形態別の算出方法では 1.8723 となり、表記別の算出方法では 3.6704 であり、音別の算出方法では 4.7798 であった[152]。

実装

AWKによる頻度分析プログラム

説明

以下に記載されているコードはエスペラント語における頻度分析を行うプログラムで AWK によって書かれている。出力形式として ASCII、HTML、Wikitable およびヒストグラムを対応している[注釈 4]。頻度分析が可能な項目として以下のものが挙げられる:

  • (単なる)文字の出現頻度
  • 単語の頭文字の出現頻度
  • 単語の末尾の文字の出現頻度
  • 単語の長さの平均値とその分布
  • 単語の出現頻度

BEGINパターンでは分析する頻度の機能を自由に有効・無効化することができ、出力形式のフォーマットを指定することもできる。通常下記のプログラムの頻度分析は大規模なテキストコーパスの分析についても数十秒の実行時間で終了することが多い。しかし、計算機の処理速度やテキストコーパスの規模によっては単語の出現頻度を求めるのに数十分かかる場合がある。したがって、始めて分析するコーパスの実行においては単語の出現頻度分析を無効にして実行すること推奨する。

単語の出現頻度算出機能の一つとして単語を品詞ごとに分けて名詞(-O)、形容詞(-A)、副詞(-E)、(分詞を含まない)動詞、およびその他の品詞ごとに分類することができる。

言い換えれば、複数形と対格形については基本的に -O、-A、-E の形として導かれる。すなわち、"vin" や "tiujn" のような単語はそれぞれ "vi" や "tiu" となる。また動詞の語尾 "-as"、"-is"、"-os"、"-us"、"-u" は "-i" として導かれる。動詞の分詞についても -O、-A、-E の単語になり、例えば "amantojn" は "amanto" となり "ami" にはならない。

BEGINパターンに含まれている例外の単語処理(正規表現の部分)に注意を払う必要がある。これらの処理によって頻度分析において "nun" を "nu" の対格形としてではなく、"kaj" は "ka" の複数形ではなく、"unu" が "uni" の命令形ではないことを正しく判別する。もっともすべての単語を正しく処理できるわけではない。例として、エスペラント由来でない名前の "Simon" では "simo" と誤って変形されてしまう。これを回避するために必要に応じて該当のリストを拡張することが可能である。

プログラムの使用方法として、下記の折り畳みボックス内のコードをコピーし、テキストファイルに貼り付け保存(frequency.awk)。これをターミナルにて以下のコマンドを実行する:

awk -f frequency.awk text.cx >result.cx

もしくは各環境に対応したコマンドを実行する。なお、このプログラムを実行するためには実行環境内に AWK をインストールしておく必要がある。Linux、Unix 環境ではデフォルトでは AWK が搭載されており、Mac も同様に動作すると考えられる。Windows については Gnu-a website からプログラムファイルをダウンロードすることでプログラムを実行することができる。

このプログラムを実行することによって任意のコーパスに対して単語の頭文字および末尾の文字の出現頻度、単文字の出現頻度、単語の長さの平均値と分布、あるいは単語の出現頻度の頻度分析が可能となる。

プログラム

AWK
BEGIN {
# 以下のコードは適宜修正してください

# 分析に関する設定項目 - 1: 有効化、0: 無効化

LETTER_FREQUENCY  = 1
FIRST_LETTERS_OF_WORD = 1
LAST_LETTERS_OF_WORD = 1
WORD_LENGTH  = 1
WORD_FREQUENCY  = 1 # 実行に時間がかかる

# 出力形式に関する設定項目 - 1: 有効化、0: 無効化

FORMAT_ASCII = 1
FORMAT_HTML = 1
FORMAT_WIKI = 1

# 例外の単語

NO_VERB = "^(tiu|kiu|neniu|unu|c[x]u|c[x]iu)$"
NO_ALL_WORD = "^(kaj|tuj|nun|kun|sen|ajn|plej|malplej|tamen|amen|kvin)$"
NO_ROMAN = "^(mil|((c|ci|cim|ĉ|div|divid|il|l|lic|lim|m|v|vic|vid|viv)i))$"

# lili、livi、vili もローマ数字の例外のとして挙げられるが、ほとんど場合で考慮する必要はない

start_time=systime(); # systime() 関数が使用できない環境下では除去する必要がある。

# ==================================================================================
version="Version: 2012-01-18 17:00 Pejno Simono";

FS="[ \n\t\",.;:!?()]"; # 考慮する
}

{
gsub(/[-]/,"");
for(i=1; i<=NF; i++)
if($i~/^[a-zA-Z][a-zA-Z]+$/) # 少なくとも2文字以上
{
s=tolower($i);
if(s!~/^[ivxlcdm]+$/ || s~NO_ROMAN) # ローマ数字以外
{
n=0;
for(j=1; j<=length(s); ) # 任意の文字
{
c=substr(s,j,1);
if (c~/^[cghjsu]/)
if (substr(s,j+1,1)=="x" && substr(s,j+2,1)!="x")
c=substr(s,j,2);
if(j==1)
first[c]++; # 単語の頭文字
letter[c]++;
letters++;
j+=length(c); # 単語中の "x" まで飛ばす(X-方式)
n++;
}
last[c]++; # 単語の末尾の文字

if(n>1) # 単語の長さが 1 より大きい場合のみ
{
length[n]++; # 単語の長さ
sum+=n;
words++;

if(WORD_FREQUENCY==1)
{
s=tolower($i); # すべての単語に対して
j=length(s);
if(j>2)
{
if(s!~NO_VERB)
n=sub(/(as|is|os|us|u)$/,"i",s);
if(n==0 && s!~NO_ALL_WORD)
sub(/(jn|j|n)$/,"",s);
}
word[s]++;
}

}
}
}
}

END {
FIRST=1;
LAST=2;
ALL=3;
LENGTH=4;
WORDS=5;

ASCII=1;
HTML=2;
WIKI=3

asciiwidth=50;
htmlwidth=400; # pixel
wikiwidth=400; # pixel

if(LETTER_FREQUENCY>0)
{
if (FORMAT_ASCII>0) printout(ALL,ASCII);
if (FORMAT_HTML>0) printout(ALL,HTML);
if (FORMAT_WIKI>0) printout(ALL,WIKI);
}
if(FIRST_LETTERS_OF_WORD>0)
{
if (FORMAT_ASCII>0) printout(FIRST,ASCII);
if (FORMAT_HTML>0) printout(FIRST,HTML);
if (FORMAT_WIKI>0) printout(FIRST,WIKI);
}
if(LAST_LETTERS_OF_WORD>0)
{
if (FORMAT_ASCII>0) printout(LAST,ASCII);
if (FORMAT_HTML>0) printout(LAST,HTML);
if (FORMAT_WIKI>0) printout(LAST,WIKI);
}
if(WORD_LENGTH>0)
{
if (FORMAT_ASCII>0) printout(LENGTH,ASCII);
if (FORMAT_HTML>0) printout(LENGTH,HTML);
if (FORMAT_WIKI>0) printout(LENGTH,WIKI);
}
if(WORD_FREQUENCY>0)
{
if(FORMAT_ASCII>0) printout(WORDS,ASCII);
if(FORMAT_HTML>0) printout(WORDS,HTML);
if(FORMAT_WIKI>0) printout(WORDS,WIKI);
}

if(start_time>0) print time_needed();
print version;
}

function printout(mode,format)
{
if(mode==FIRST)
return printout2(mode,format,first);
if(mode==LAST)
return printout2(mode,format,last);
if(mode==ALL)
return printout2(mode,format,letter);
if(mode==LENGTH)
return printout2(mode,format,length);
if(mode==WORDS)
return printout2(mode,format,word);
}

function printout2(mode,format,A)
{
setup(mode);
if(format==ASCII)
return printoutASCII(mode,A);
if(format==HTML)
return printoutHTML(mode,A);
if(format=WIKI)
return printoutWIKI(mode,A);
}

function setup(mode)
{
_col=2;
_asc=0;
_colhdr="letter";
_colalign="center";
_counted="words";
_count=words;
_mez=", average word length";
_mez2="letters";

if(words>0)
_av=sum/words; # 単語の長さの平均値
if(mode==FIRST)
{
_title="First letters of a word";
return;
}
if(mode==LAST)
{
_title="Last letters of a word";
return;
}
if(mode==ALL)
{
_title="All letter";
_counted="letters";
_count=letters;
return;
}
if(mode==LENGTH)
{
_title="Word length";
_col=1;
_asc=1;
_colhdr="length";
return;
}
if(mode==WORDS)
{
_title="Word frequencies";
_colhdr="word";
_colalign="left";
}
}

function printoutASCII(mode,A, i,j,B,w,s,fmt)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=asciiwidth/j;
print "<" "pre>";
printf("=== %s ===\n\n",_title);
if(mode==WORDS)
fmt="%-20s\t%8s %s\n";
else
fmt="%-6s\t%8s %s\n";
printf(fmt,_colhdr,"number","probability\n")
if(mode==WORDS)
fmt="%-20s\t%s %6.2f%% %s\n";
else
fmt="%-6s\t%s %6.2f%% %s\n";
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf(fmt, s, thou(B[j,2],8), 100.0*B[j,2]/_count, hist(B[j,2]*w));
}
printf("\nEl %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf "\n</" "pre>\n\n";
}

function hist(w, s)
{
w-=0.5;
while(w-- > 0)
s=s "*";
return s;
}

function printoutHTML(mode,A, i,j,B,w,s)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=htmlwidth/j;
printf("<table border=1>\n");
printf("<tr><th colspan=4>%s</th></tr>\n",_title);
printf("<tr><td align=%s>%s</td><td align=right>number</td>", _colalign, _colhdr);
printf("<td align=center colspan=2>probability</td>\n");
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf("<tr><td align=%s><b>%s</b></td>", _colalign, s);
printf("<td align=right>%s</td>", thou(B[j,2]),0);
printf("<td align=right>%0.2f%%</td>", 100.0*B[j,2]/_count);
printf("<td align=left><div style=\"width:%dpx;",B[j,2]*w);
printf("height:2ex;background:blue;\">&#160;</div></td>\n");
}
printf("<tr><th colspan=4>El %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf("</th></tr>\n");
printf("</table>\n\n");
}

function printoutWIKI(mode,A, i,j,B,w,s)
{
if(_count<1)
{
print "file empty";
return;
}
i=sillysort(A,B,_col,_asc);
if(mode!=LENGTH) # 最高値
j=B[1,2]
else
j=getmax(B);
w=100.0*j/_count;
w=wikiwidth/w;
printf("{| class=\"wikitable\"\n");
printf("! align=center colspan=4 | %s\n",_title);
printf("|-\n! align=%s | %s !! align=right | number !! align=right colspan=2 | probability\n",_colalign,_colhdr);
for(j=1; j<=i; j++)
{
s=B[j,1];
if(mode!=WORDS)
s=toupper(s);
printf("|-\n| align=%s | <b>%s</b> ",_colalign,s);
printf("|| align=right | %s ", thou(B[j,2],0));
printf("|| align=right | {{bartable|%0.2f|%%|%0.3f}}\n", 100.0*B[j,2]/_count, w);
}
printf("|-\n! colspan=4 | El %s %s", thou(_count,0), _counted);
if(mode==LENGTH)
printf("%s %0.2f %s", _mez, _av, _mez2);
printf("\n");
printf("|}\n\n");
}

function getmax(A, i,j,M)
{
for(i in A)
{
split(i, M, SUBSEP);
if(M[2]==2)
if(A[i]>j)
j=A[i];
}
return j;
}

function sillysort(A,B,col,asc, i,j,n,t)
{
for(j in A)
{
i++;
B[i,1]=j;
B[i,2]=A[j];
n=i;
if (asc==0) # desc
{
while(n>1 && B[n,col]+0>B[n-1,col]+0)
{
t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t;
t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t;
n--;
}
}
else # asc
{
while(n>1 && B[n,col]+0<B[n-1,col]+0)
{
t=B[n-1,1]; B[n-1,1]=B[n,1]; B[n,1]=t;
t=B[n-1,2]; B[n-1,2]=B[n,2]; B[n,2]=t;
n--;
}
}
}
return i;
}

function time_needed( h,m,s,eps)
{
eps=0.000001;
s=systime()-start_time;
m=int(s/60);
s-=m*60-eps;
h=int(m/60);
m-=h*60-eps;
return sprintf("Run time (hms): %i:%02i:%02i\n",h,m,s);
}

function thou(v,n, s)
{
s=sprintf("%d_",v);
while(s~/[0-9][0-9][0-9][0-9]/) # エレガント
sub(/[0-9][0-9][0-9][,_]/, ",&",s); # 興味深い
sub(/_/,"",s); # エレガントでない
while(length(s)<n)
s=" " s;
return s;
}

function _thou(v,n, i,j,s,t)
{
s=sprintf("%d",v);
for(i=length(s); i>0; i--)
{
t=substr(s,i,1) t;
if(++j%3==0)
t="," t;
}
while(length(t)<n)
t=" " t;
return t;
}

脚注

参考文献

関連項目

外部リンク

Related Articles

Timelines

Top Qs

Fact Checks