Created
May 17, 2024 00:45
-
-
Save gh640/962ea29a25b8ae98904650ce621ee3af to your computer and use it in GitHub Desktop.
tiktoken GPT-4o Japanese hiragana or katakana
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| 3022 | ー | |
|---|---|---|
| 3385 | の | |
| 3826 | い | |
| 3829 | し | |
| 4025 | ン | |
| 4156 | ・ | |
| 4344 | で | |
| 4868 | す | |
| 5042 | ま | |
| 5205 | は | |
| 5280 | に | |
| 5330 | と | |
| 5525 | ス | |
| 5598 | た | |
| 5662 | ト | |
| 5711 | て | |
| 5784 | な | |
| 6339 | イ | |
| 6632 | が | |
| 6660 | ッ | |
| 6676 | ん | |
| 6996 | る | |
| 7052 | ル | |
| 7128 | か | |
| 7277 | を | |
| 7297 | り | |
| 7500 | さ | |
| 7787 | ク | |
| 8334 | っ | |
| 8446 | も | |
| 8468 | こ | |
| 8547 | ラ | |
| 8574 | う | |
| 8870 | ら | |
| 8930 | お | |
| 9007 | リ | |
| 9472 | れ | |
| 9763 | ー� | |
| 10294 | あ | |
| 10372 | ・・ | |
| 10398 | ア | |
| 10459 | く | |
| 11275 | そ | |
| 11792 | だ | |
| 11852 | き | |
| 12016 | レ | |
| 12288 | タ | |
| 12504 | コ | |
| 13094 | グ | |
| 13231 | ロ | |
| 13548 | フ | |
| 13668 | シ | |
| 14141 | メ | |
| 14214 | カ | |
| 14274 | 無し | |
| 14383 | ド | |
| 14429 | ます | |
| 14515 | プ | |
| 14652 | さん | |
| 14974 | ジ | |
| 15121 | です | |
| 15161 | よ | |
| 15353 | サ | |
| 15376 | ち | |
| 15707 | け | |
| 16056 | テ | |
| 16211 | ご | |
| 16797 | ィ | |
| 16836 | ブ | |
| 17693 | め | |
| 17768 | マ | |
| 17868 | バ | |
| 17897 | み | |
| 18290 | つ | |
| 18368 | キ | |
| 18524 | ど | |
| 18606 | え | |
| 18871 | 名無し | |
| 19111 | ズ | |
| 19160 | や | |
| 19280 | せ | |
| 19285 | チ | |
| 19418 | ック | |
| 19913 | ュ | |
| 20353 | ャ | |
| 20473 | わ | |
| 20951 | デ | |
| 20968 | ニ | |
| 21225 | ウ | |
| 21477 | ット | |
| 21641 | ・・・ | |
| 21744 | ント | |
| 21870 | セ | |
| 22440 | して | |
| 22708 | オ | |
| 23085 | した | |
| 23130 | ム | |
| 23760 | エ | |
| 24065 | パ | |
| 24935 | ビ | |
| 25439 | ース | |
| 25540 | ば | |
| 25607 | ミ | |
| 25686 | ピ | |
| 25965 | ョ | |
| 26051 | ポ | |
| 26139 | 名無しさん | |
| 27160 | ール | |
| 27354 | ナ | |
| 27500 | から | |
| 27903 | ダ | |
| 28131 | ェ | |
| 28144 | ね | |
| 28565 | あり | |
| 29236 | ろ | |
| 29884 | じ | |
| 30651 | ング | |
| 30677 | って | |
| 31234 | ケ | |
| 31632 | イン | |
| 31815 | ネ | |
| 31859 | この | |
| 31901 | います | |
| 31933 | ード | |
| 32552 | ました | |
| 32651 | ラン | |
| 32894 | その | |
| 32994 | ゃ | |
| 33030 | イト | |
| 34022 | ワ | |
| 34471 | ート | |
| 34507 | 名無し | |
| 34803 | また | |
| 35372 | ス | |
| 35918 | メント | |
| 36201 | さい | |
| 36389 | ベ | |
| 36454 | ペ | |
| 36608 | ざ | |
| 36743 | ず | |
| 36962 | ガ | |
| 36976 | リー | |
| 37104 | ツ | |
| 37541 | ハ | |
| 37748 | ホ | |
| 37938 | モ | |
| 38236 | スト | |
| 38720 | します | |
| 38763 | フ� | |
| 39065 | する | |
| 39342 | 」と | |
| 39700 | ・ | |
| 40026 | へ | |
| 40045 | ーム | |
| 41114 | ージ | |
| 41460 | コメント | |
| 41523 | ップ | |
| 41642 | ア | |
| 41675 | ソ | |
| 41977 | ゴ | |
| 42523 | ショ | |
| 42562 | ノ | |
| 42917 | った | |
| 42993 | ょ | |
| 43147 | では | |
| 43644 | ター | |
| 43759 | ザ | |
| 44178 | くだ | |
| 44286 | む | |
| 44900 | ください | |
| 44948 | 名無しさん | |
| 44965 | ボ | |
| 44968 | ござ | |
| 45165 | ほ | |
| 45525 | ログ | |
| 45996 | でも | |
| 46050 | イズ | |
| 46105 | しか | |
| 46231 | コ | |
| 47334 | それ | |
| 47592 | ない | |
| 47968 | ディ | |
| 48669 | とう | |
| 49017 | お | |
| 50198 | いう | |
| 51978 | ュー | |
| 52703 | ぱ | |
| 52753 | カ | |
| 53147 | ンク | |
| 53217 | こと | |
| 53607 | ありが | |
| 53852 | ヤ | |
| 54125 | レ | |
| 54282 | ピー | |
| 54342 | まで | |
| 54459 | これ | |
| 54516 | シ | |
| 55078 | べ | |
| 55080 | そう | |
| 55300 | ありがとう | |
| 55914 | ブ | |
| 56076 | ただ | |
| 56204 | フ | |
| 57684 | ります | |
| 57692 | ション | |
| 57843 | サ | |
| 57987 | ラック | |
| 58490 | び | |
| 58956 | しかし | |
| 58997 | ませ | |
| 59361 | ブログ | |
| 59809 | ございます | |
| 59866 | そして | |
| 60445 | フォ | |
| 60456 | サイズ | |
| 60677 | メ | |
| 60788 | こん | |
| 60922 | ひ | |
| 61437 | ティ | |
| 61503 | ライ | |
| 61842 | っぱ | |
| 62943 | げ | |
| 63355 | スタ | |
| 63366 | ません | |
| 63386 | しい | |
| 63462 | サイト | |
| 63601 | ギ | |
| 63738 | セット | |
| 63837 | ゲ | |
| 64170 | いい | |
| 64479 | ＠お | |
| 64598 | され | |
| 64655 | いて | |
| 65629 | フィ | |
| 66082 | にな | |
| 66881 | ーカ | |
| 66972 | クリ | |
| 67023 | より | |
| 67637 | ちら | |
| 67759 | バー | |
| 67920 | ファ | |
| 67938 | ーツ | |
| 67985 | という | |
| 68129 | ラー | |
| 68572 | っぱい | |
| 68697 | しく | |
| 68708 | ャン | |
| 68857 | には | |
| 68871 | ンサ | |
| 69284 | ぶ | |
| 69609 | バ | |
| 69686 | ァ | |
| 69719 | ので | |
| 69874 | ンド | |
| 69920 | いっぱい | |
| 70352 | ランド | |
| 70387 | ォ | |
| 70588 | オ | |
| 70628 | こちら | |
| 72250 | ーパ | |
| 72342 | きを | |
| 72683 | よう | |
| 72760 | ッド | |
| 73045 | など | |
| 73890 | マ | |
| 73904 | キング | |
| 73977 | ある | |
| 74066 | リア | |
| 74074 | なん | |
| 74221 | 」を | |
| 74259 | レス | |
| 74885 | リンク | |
| 75119 | スポ | |
| 75206 | ・・・・ | |
| 75636 | ッグ | |
| 75712 | 読む | |
| 75900 | その他 | |
| 76286 | ・・・ | |
| 76364 | の | |
| 76427 | ですが | |
| 76897 | ＠お腹 | |
| 77101 | ンズ | |
| 77123 | ックス | |
| 77298 | ＠お腹いっぱい | |
| 77764 | ーク | |
| 77798 | いました | |
| 77939 | イント | |
| 78169 | パ | |
| 78239 | イル | |
| 78470 | コミ | |
| 78566 | レビ | |
| 78673 | でき | |
| 79607 | ぐ | |
| 79768 | ぁ | |
| 79854 | しました | |
| 80294 | キ | |
| 80665 | ページ | |
| 80875 | 見る | |
| 81212 | ゼ | |
| 81791 | プ | |
| 81896 | お願 | |
| 81971 | ぎ | |
| 82159 | エ | |
| 82198 | テゴ | |
| 82412 | ステ | |
| 82488 | ちゃ | |
| 82714 | っと | |
| 82744 | クセ | |
| 82904 | ふ | |
| 82965 | ーパー | |
| 83001 | コン | |
| 83142 | なし | |
| 83252 | ト | |
| 83662 | シャ | |
| 83699 | ラ | |
| 83989 | けば | |
| 84068 | につ | |
| 84251 | ユ | |
| 84305 | 。また | |
| 84384 | ク | |
| 84900 | フト | |
| 85478 | ちは | |
| 85490 | ケ | |
| 85498 | ウン | |
| 85545 | どう | |
| 85633 | コピー | |
| 85774 | ぜ | |
| 86165 | 風吹けば | |
| 86169 | いる | |
| 86449 | リ | |
| 86563 | タイ | |
| 86793 | ヶ | |
| 87123 | 風吹けば名無し | |
| 87186 | 続きを | |
| 87353 | わせ | |
| 88716 | ーマ | |
| 89584 | デ | |
| 89874 | んな | |
| 89941 | ディース | |
| 90156 | ホ | |
| 90255 | 」の | |
| 90288 | 恐縮です | |
| 90602 | ＠恐縮です | |
| 90678 | ゆ | |
| 90798 | 、お | |
| 90896 | ーカー | |
| 91243 | ープ | |
| 91659 | と思 | |
| 91667 | こんに | |
| 91694 | との | |
| 92005 | ッチ | |
| 92182 | レン | |
| 92253 | 合わせ | |
| 92486 | バック | |
| 92559 | ランキング | |
| 92639 | ヒ | |
| 92994 | ポイント | |
| 93101 | ょう | |
| 93460 | ヴ | |
| 93672 | カテゴ | |
| 93724 | プロ | |
| 93852 | すす | |
| 93926 | ありがとうございます | |
| 94079 | まと | |
| 94408 | について | |
| 94642 | すすめ | |
| 95197 | ケース | |
| 95363 | ハ | |
| 95839 | こんにちは | |
| 95928 | でした | |
| 96389 | ンサー | |
| 96558 | まとめ | |
| 97294 | お願い | |
| 97712 | ロ | |
| 97907 | ーー | |
| 98451 | いた | |
| 98560 | ・・・ | |
| 99114 | ロー | |
| 99174 | アル | |
| 100291 | ービ | |
| 100365 | アクセ | |
| 100392 | ーブ | |
| 100702 | ラス | |
| 100875 | なら | |
| 101370 | ヘ | |
| 101540 | えば | |
| 101560 | あります | |
| 101606 | がお | |
| 102351 | 問い | |
| 102586 | とな | |
| 102823 | プレ | |
| 103114 | との差 | |
| 103269 | ジャ | |
| 103429 | ジ | |
| 103554 | しょう | |
| 103912 | ため | |
| 103941 | ヶ月 | |
| 104099 | コピー | |
| 104293 | ちゃん | |
| 105097 | 問い合わせ | |
| 105182 | イク | |
| 105224 | ダ | |
| 105456 | ーン | |
| 105931 | 続きを読む | |
| 106170 | ニュ | |
| 106368 | さて | |
| 106409 | ございました | |
| 107090 | タ | |
| 107105 | を | |
| 107384 | いや | |
| 107842 | ザー | |
| 107871 | への | |
| 108006 | ケース | |
| 108576 | 風吹けば名無し | |
| 108629 | ヨ | |
| 108809 | まして | |
| 109289 | プリ | |
| 109418 | ここ | |
| 109574 | レディース | |
| 109585 | ラックバック | |
| 109762 | ポ | |
| 110160 | 」は | |
| 110484 | レビュー | |
| 110774 | ベ | |
| 111317 | ぞ | |
| 111395 | ービス | |
| 111410 | ケット | |
| 111469 | セ | |
| 111674 | ブランド | |
| 112142 | ライン | |
| 113862 | ありがとうございました | |
| 114495 | ウ | |
| 114545 | もう | |
| 114998 | アイ | |
| 115032 | ブル | |
| 115283 | ンダ | |
| 115557 | メンズ | |
| 115726 | オン | |
| 115763 | ヽ | |
| 115811 | 口コミ | |
| 115868 | チェ | |
| 116478 | ウェ | |
| 116908 | はこちら | |
| 116995 | 送り | |
| 117391 | この記事 | |
| 117789 | おすすめ | |
| 118303 | ルト | |
| 118712 | トラックバック | |
| 119438 | かわ | |
| 119590 | ンス | |
| 119995 | なく | |
| 120288 | イス | |
| 120362 | 送りします | |
| 120447 | 。しかし | |
| 120725 | グ | |
| 121151 | 知ら | |
| 121242 | まず | |
| 121562 | ーバ | |
| 121587 | は | |
| 121885 | だけ | |
| 121986 | スーパー | |
| 122223 | ています | |
| 122369 | とは | |
| 122561 | ろしく | |
| 122636 | もの | |
| 123086 | がお送りします | |
| 123184 | キャ | |
| 123406 | 。その | |
| 123622 | スポンサー | |
| 123780 | がお送 | |
| 124101 | ータ | |
| 124225 | 」が | |
| 124256 | サービス | |
| 124494 | イド | |
| 124694 | シュ | |
| 124747 | さら | |
| 124770 | イヤ | |
| 124836 | ーズ | |
| 124871 | しています | |
| 125438 | ーテ | |
| 125442 | アクセス | |
| 125535 | ウト | |
| 126128 | コード | |
| 126318 | あ | |
| 126809 | パン | |
| 127098 | スマ | |
| 127115 | ころ | |
| 127204 | おります | |
| 127240 | ネル | |
| 127850 | フォーム | |
| 128194 | ぼ | |
| 128237 | ニュース | |
| 129438 | のお | |
| 129655 | フェ | |
| 129739 | ぷ | |
| 129758 | 取り | |
| 130170 | レー | |
| 130423 | ミ | |
| 130685 | スク | |
| 130799 | 下さい | |
| 131230 | テ | |
| 131454 | しゃ | |
| 131656 | ですね | |
| 131888 | よろしく | |
| 132285 | カテゴリ | |
| 132623 | たい | |
| 133169 | える | |
| 133197 | 込み | |
| 133706 | 商品の | |
| 134133 | ド | |
| 134466 | スター | |
| 134549 | メール | |
| 134564 | クト | |
| 134572 | いつ | |
| 134599 | づ | |
| 135053 | ご了承 | |
| 135062 | の日 | |
| 135396 | ワイト | |
| 135581 | かった | |
| 136526 | お問い合わせ | |
| 137015 | お願いします | |
| 137077 | まり | |
| 137416 | 付き | |
| 137782 | そんな | |
| 137814 | そこ | |
| 137950 | 今回は | |
| 137951 | さらに | |
| 138288 | 入り | |
| 139122 | カラー | |
| 139427 | バッグ | |
| 139693 | れば | |
| 139754 | ところ | |
| 139832 | これは | |
| 140118 | イ | |
| 140502 | ダー | |
| 141036 | ジェ | |
| 141644 | だから | |
| 142015 | ロン | |
| 142621 | チ | |
| 143114 | テル | |
| 143402 | サイズ | |
| 143679 | ナー | |
| 143729 | ーチ | |
| 143814 | 名無しの | |
| 143825 | キー | |
| 144397 | ーデ | |
| 144444 | 好き | |
| 144531 | ありません | |
| 144556 | ーナ | |
| 144583 | カード | |
| 144595 | 」に | |
| 144943 | ）は | |
| 145354 | ッズ | |
| 145461 | なので | |
| 145713 | ボ | |
| 145815 | くら | |
| 146281 | クリック | |
| 146381 | ッション | |
| 146591 | は禁止 | |
| 146703 | りました | |
| 146906 | の名無しさん | |
| 147058 | VIPがお送りします | |
| 147131 | 」という | |
| 147368 | ビ | |
| 147416 | われ | |
| 147589 | ーション | |
| 147847 | いただ | |
| 147857 | みに | |
| 147965 | に | |
| 148049 | 。それ | |
| 148190 | ご | |
| 148229 | モ | |
| 148343 | ニ | |
| 148386 | 、その | |
| 148634 | 払い | |
| 148707 | セン | |
| 148746 | してください | |
| 149022 | 、と | |
| 149890 | 祝い | |
| 150026 | と | |
| 150066 | レット | |
| 150163 | あと | |
| 150665 | ）の | |
| 150692 | ールド | |
| 150817 | イトル | |
| 150902 | なお | |
| 151226 | 」です | |
| 151245 | ばん | |
| 151505 | タン | |
| 151852 | アン | |
| 151927 | なた | |
| 152245 | イン | |
| 152249 | タグ | |
| 152546 | できます | |
| 152705 | タイプ | |
| 153243 | 知らせ | |
| 153294 | デル | |
| 153386 | カー | |
| 153773 | ことで | |
| 154042 | ジュ | |
| 154079 | 転載は禁止 | |
| 154494 | アップ | |
| 154752 | なる | |
| 155012 | ワ | |
| 155652 | もっと | |
| 156498 | じゃ | |
| 156964 | また | |
| 157003 | ンプ | |
| 157095 | リング | |
| 157351 | でしょう | |
| 157573 | もし | |
| 157628 | ホーム | |
| 157904 | ゾ | |
| 158141 | ネット | |
| 158163 | ビー | |
| 158209 | を書 | |
| 158266 | 、ご | |
| 158316 | 。ただ | |
| 158341 | 私は | |
| 158438 | を見る | |
| 158622 | じめ | |
| 158777 | によ | |
| 159118 | ベント | |
| 159336 | しゃれ | |
| 159556 | もち | |
| 159656 | ブラック | |
| 159717 | マン | |
| 160028 | こんばん | |
| 160043 | ラム | |
| 160112 | クロ | |
| 160209 | ゲーム | |
| 160440 | ゼント | |
| 160674 | ほん | |
| 161177 | とも | |
| 161544 | ベル | |
| 161786 | キャン | |
| 161833 | トップ | |
| 162021 | ッシュ | |
| 162163 | ほど | |
| 162982 | ーフ | |
| 163300 | ネ | |
| 163626 | ニュー | |
| 163799 | ニー | |
| 163827 | リーズ | |
| 164175 | メリ | |
| 164403 | アイ | |
| 164454 | があります | |
| 164518 | インチ | |
| 164609 | ブラ | |
| 164690 | ペ | |
| 164870 | すると | |
| 164885 | テン | |
| 165732 | かな | |
| 166006 | ファ | |
| 166490 | ーポ | |
| 166599 | まだ | |
| 166780 | にも | |
| 167309 | 日の | |
| 167408 | はい | |
| 167770 | その他 | |
| 167782 | 、この | |
| 167898 | ろん | |
| 167945 | この | |
| 168092 | アウト | |
| 168248 | チェック | |
| 168396 | 平均との差 | |
| 168699 | タイトル | |
| 168766 | メーカー | |
| 169020 | ロード | |
| 169037 | 」で | |
| 169195 | 中央値との差 | |
| 169214 | ゴ | |
| 169651 | まあ | |
| 170065 | さん | |
| 170231 | ーワ | |
| 170411 | 今日は | |
| 170450 | えて | |
| 170597 | チャ | |
| 170657 | リエ | |
| 170937 | もちろん | |
| 171169 | の場合 | |
| 171237 | フォン | |
| 171403 | スーパーコピー | |
| 171566 | ラク | |
| 172369 | の記事 | |
| 172432 | フィール | |
| 172627 | 例えば | |
| 172712 | なの | |
| 173276 | になります | |
| 174481 | ッフ | |
| 174603 | ニメ | |
| 174766 | スーパー | |
| 174771 | ーティ | |
| 175129 | ショップ | |
| 175144 | シャ | |
| 175239 | リン | |
| 175513 | ソ | |
| 175739 | と言 | |
| 175869 | を書く | |
| 176084 | ぜひ | |
| 176315 | として | |
| 176394 | ジョ | |
| 176890 | ブラック | |
| 177115 | ピ | |
| 177401 | ユー | |
| 177495 | れる | |
| 177731 | ンタ | |
| 177776 | あなた | |
| 177961 | ライト | |
| 177976 | ご了承ください | |
| 178076 | イブ | |
| 178655 | オンライン | |
| 178757 | こんばんは | |
| 178826 | しま | |
| 179657 | 日は | |
| 179731 | ーダ | |
| 179799 | になる | |
| 179943 | 読み | |
| 180038 | そこで | |
| 180119 | ちな | |
| 180276 | ブランド | |
| 180415 | ライブ | |
| 180478 | ですよ | |
| 180798 | ーーーー | |
| 181062 | ドル | |
| 181067 | つまり | |
| 181199 | ーブル | |
| 181308 | 。そして | |
| 181357 | 感じ | |
| 181360 | ザイン | |
| 181603 | 、それ | |
| 181618 | ジャン | |
| 182131 | 目です | |
| 182547 | ナ | |
| 182863 | だった | |
| 182943 | ）が | |
| 183299 | 当に | |
| 183311 | 。でも | |
| 183457 | セル | |
| 183480 | スメ | |
| 183558 | が | |
| 183897 | クロ | |
| 184926 | な | |
| 185024 | カテゴリー | |
| 185051 | クラ | |
| 185100 | こう | |
| 185145 | ドラ | |
| 185522 | ヴィ | |
| 185573 | 申し | |
| 185631 | ビュー | |
| 185829 | ホテル | |
| 185887 | れて | |
| 186120 | ギ | |
| 186585 | とか | |
| 186933 | 届け | |
| 187088 | コン | |
| 187415 | 高さ | |
| 187451 | モデル | |
| 187542 | ちなみに | |
| 187794 | ナル | |
| 188322 | バッグ | |
| 188599 | された | |
| 188840 | のみ | |
| 188888 | マー | |
| 188929 | テレビ | |
| 189265 | ピング | |
| 189641 | をご | |
| 190526 | よ | |
| 190535 | ーワード | |
| 190841 | っています | |
| 191082 | プレ | |
| 191251 | ・｀ | |
| 191902 | コメント | |
| 191951 | 愛い | |
| 192065 | イベント | |
| 192335 | ゅ | |
| 192474 | スペ | |
| 192528 | たり | |
| 192583 | しております | |
| 192627 | 楽し | |
| 193702 | ても | |
| 193903 | なが | |
| 193953 | の商品 | |
| 194096 | ぷん | |
| 194118 | りまして | |
| 194528 | ・・・。 | |
| 195002 | プロフィール | |
| 195044 | ーぷん | |
| 195179 | お気 | |
| 195803 | ノ | |
| 195892 | キャ | |
| 196032 | ウォ | |
| 196095 | ぇ | |
| 196269 | ぽ | |
| 196965 | ニング | |
| 196993 | されています | |
| 197494 | カル | |
| 197513 | ＠おーぷん | |
| 197837 | 。この | |
| 197845 | 「あ | |
| 197932 | 日に | |
| 197989 | シリーズ | |
| 198315 | まぁ | |
| 198348 | スタッフ | |
| 198353 | テーマ | |
| 199164 | ガ | |
| 199196 | ´・ | |
| 199649 | 、名無し | |
| 199773 | ッピング |
Author
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
See also: