zakuroishikuro · May 2, 2023 14:18
diff --git a/tiktoken_search_long_word.py b/tiktoken_search_long_word.py
 import tiktoken
 import heapq
 import re

 ONLY_JAPANESE = True
 CONTAINS_NON_SYMBOL = True
 MODEL = "gpt-3.5-turbo"
 #MODEL = "gpt-4"

 enc = tiktoken.encoding_for_model(model)

 # 文字列が日本語かどうかを判断する関数
 def is_japanese(string):
    pattern = r'[ぁ-んァ-ン一-龥]'
    return bool(re.search(pattern, string))

 # 文字列が記号以外を含むかを判断する関数
 def contains_non_symbol(text):
    # 正規表現パターンを定義
    pattern = r'[^!-/:-@\[-`{-~\s]'  # 記号以外の文字にマッチするパターン
    
    # 正規表現パターンにマッチする文字列があるかどうかを確認
    match = re.search(pattern, text)
    return match is not None

 # トークンを扱うクラス
 class Token:
    def __init__(self, token: int):
        self.token = token
        self.string = enc.decode([token])
        self.length = len(self.string)
    
    # トークン長さを比較するためのメソッド
    def __lt__(self, other):
        return self.length < other.length
    
 heap = []

 try:
  # トークンを生成して条件に合うものをヒープに追加
  for i in range(10000000000):
      t = Token(i)
      if t.length < 2:
          continue
      
      if ONLY_JAPANESE and not is_japanese(t.string):
          continue
      
      if CONTAINS_NON_SYMBOL and not contains_non_symbol(t.string):
          continue
      
      heapq.heappush(heap, t)

      # ヒープのサイズが1000を超えたら、最小要素を削除
      if len(heap) > 1000:
          heapq.heappop(heap)
 except:
  pass

 result = []

 # ヒープから要素を取り出して結果リストに追加
 while heap:
    result.append(heapq.heappop(heap).string)

 # 結果リストを逆順にして出力
 words = list(reversed(result))

 def to_markdown_table(strs):
    # ヘッダー行を作成
    header = "|no|length|token|string|\n"
    header += "|--:|--:|--:|:--|\n"
    
    # 各行のデータを作成
    rows = ""
    for i, s in enumerate(strs):
        cleaned = s.replace("\n", "<br>")
        rows += f"|{i+1}|{len(s)}|{enc.encode(s)[0]}|`{cleaned}`|\n"
    
    # ヘッダー行と各行のデータを結合して完全な表を作成
    table = header + rows
    return table

 print(to_markdown_table(words))
diff --git a/tiktoken_search_long_word_en.md b/tiktoken_search_long_word_en.md
diff --git a/tiktoken_search_long_word_en_alpha.md b/tiktoken_search_long_word_en_alpha.md
diff --git a/tiktoken_search_long_word_ja.md b/tiktoken_search_long_word_ja.md
	import tiktoken
	import heapq
	import re

	ONLY_JAPANESE = True
	CONTAINS_NON_SYMBOL = True
	MODEL = "gpt-3.5-turbo"
	#MODEL = "gpt-4"

	enc = tiktoken.encoding_for_model(model)

	# 文字列が日本語かどうかを判断する関数
	def is_japanese(string):
	pattern = r'[ぁ-んァ-ン一-龥]'
	return bool(re.search(pattern, string))

	# 文字列が記号以外を含むかを判断する関数
	def contains_non_symbol(text):
	# 正規表現パターンを定義
	pattern = r'[^!-/:-@\[-`{-~\s]' # 記号以外の文字にマッチするパターン

	# 正規表現パターンにマッチする文字列があるかどうかを確認
	match = re.search(pattern, text)
	return match is not None

	# トークンを扱うクラス
	class Token:
	def __init__(self, token: int):
	self.token = token
	self.string = enc.decode([token])
	self.length = len(self.string)

	# トークン長さを比較するためのメソッド
	def __lt__(self, other):
	return self.length < other.length

	heap = []

	try:
	# トークンを生成して条件に合うものをヒープに追加
	for i in range(10000000000):
	t = Token(i)
	if t.length < 2:
	continue

	if ONLY_JAPANESE and not is_japanese(t.string):
	continue

	if CONTAINS_NON_SYMBOL and not contains_non_symbol(t.string):
	continue

	heapq.heappush(heap, t)

	# ヒープのサイズが1000を超えたら、最小要素を削除
	if len(heap) > 1000:
	heapq.heappop(heap)
	except:
	pass

	result = []

	# ヒープから要素を取り出して結果リストに追加
	while heap:
	result.append(heapq.heappop(heap).string)

	# 結果リストを逆順にして出力
	words = list(reversed(result))

	def to_markdown_table(strs):
	# ヘッダー行を作成
	header = "\|no\|length\|token\|string\|\n"
	header += "\|--:\|--:\|--:\|:--\|\n"

	# 各行のデータを作成
	rows = ""
	for i, s in enumerate(strs):
	cleaned = s.replace("\n", "<br>")
	rows += f"\|{i+1}\|{len(s)}\|{enc.encode(s)[0]}\|`{cleaned}`\|\n"

	# ヘッダー行と各行のデータを結合して完全な表を作成
	table = header + rows
	return table

	print(to_markdown_table(words))
no	length	token	string
1	7	64960	`生命周期函数`
2	7	97135	`ありがとうござ`
3	5	64179	`生命周期`
4	5	98128	`自动生成`
5	5	90115	`こんにちは`
6	5	86790	`ありがとう`
7	4	65053	`监听页面`
8	4	72315	`ください`
9	4	90178	`コメント`
10	4	65884	`不能为空`
11	4	92099	`删除成功`
12	4	87474	`無しさん`
13	4	77190	`初始化`
14	4	76718	`微软雅黑`
15	3	10178	`��态`
16	3	80003	`，默认`
17	3	96557	`管理员`
18	3	81628	`查询`
19	3	82554	`方法`
20	3	58004	`下午`
21	3	43568	`無し�`
22	3	86758	`使用`
23	3	92318	`时间`
24	3	10178	`��索`
25	3	76455	`手机号`
26	3	67986	`验证码`
27	3	61689	`います`
28	3	10178	`��取`
29	3	82363	`如果`
30	3	81646	`默认`
31	3	49055	`请输入`
32	3	75631	`软雅黑`
33	3	73051	`是否`
34	3	10178	`��加`
35	3	75259	`页面`
36	3	64173	`删除`
37	3	63397	`命周期`
38	3	48858	`创建`
39	3	10178	`��作`
40	3	60205	`用户名`
41	3	71668	`输出`
42	3	73590	`メント`
43	3	79108	`设计器`
44	3	70284	`不存在`
45	3	5809	`�始化`
46	3	81976	`请求`
47	3	56716	`返回`
48	3	85777	`ありが`
49	3	75493	`数据库`
50	3	79203	`更新`
51	3	41771	`获取`
52	3	54154	`设置`
53	3	79908	`动生成`
54	3	96407	`商品`
55	3	80673	`しかし`
56	3	81526	`示例`
57	3	64171	`修改`
58	3	83439	`添加`
59	3	85155	`初始化`
60	3	63362	`数据`
61	3	78434	`します`
62	3	51142	`用户`
63	3	67658	`字符串`
64	3	90147	`服务器`
65	3	79721	`ました`
66	3	87641	`こんに`
67	3	70158	`输入`
68	3	70694	`文件`
69	3	80539	`そして`
70	3	98261	`注意`
71	3	72069	`参数`
72	3	70897	`ださい`
73	3	99496	`若要`
74	3	81506	`请选择`
75	2	48044	`一个`
76	2	48463	`默认`
77	2	5809	`�认`
78	2	48552	`ック`
79	2	48706	`存在`
80	2	38641	`です`
81	2	31091	`名称`
82	2	48785	`数`
83	2	64178	`ール`
84	2	39045	`，请`
85	2	48974	`服务`
86	2	65164	`连接`
87	2	39926	`して`
88	2	32296	`输入`
89	2	5809	`�回`
90	2	49491	`字符`
91	2	50027	`验证`
92	2	40195	`下`
93	2	51107	`更新`
94	2	66383	`」と`
95	2	40452	`管理`
96	2	5809	`�建`
97	2	67016	`しか`
98	2	51330	`この`
99	2	31867	`选�`
100	2	51431	`第`
101	2	51450	`取消`
102	2	41007	`方法`
103	2	32626	`返回`
104	2	26239	`修改`
105	2	21082	`时间`
106	2	51477	`创建`
107	2	51504	`选择`
108	2	41190	`操作`
109	2	69362	`支付`
110	2	51747	`为空`
111	2	51510	`订单`
112	2	33005	`类型`
113	2	70090	`北京`
114	2	52254	`查询`
115	2	43955	`添加`
116	2	52414	`ント`
117	2	52563	`表示`
118	2	44689	`的`
119	2	33200	`错误`
120	2	27996	`文件`
121	2	5809	`�名`
122	2	62789	`注册`
123	2	63091	`自`
124	2	63289	`下载`
125	2	63344	`如果`
126	2	82805	`测试`
127	2	82912	`位置`
128	2	63679	`注`
129	2	83125	`文章`
130	2	83639	`最`
131	2	83687	`数字`
132	2	83800	`产品`
133	2	84131	`分钟`
134	2	84410	`商`
135	2	85284	`按钮`
136	2	65218	`上`
137	2	65305	`消息`
138	2	65316	`さい`
139	2	65529	`对象`
140	2	65571	`是否`
141	2	65575	`ード`
142	2	86867	`配置`
143	2	87109	`不`
144	2	66677	`记录`
145	2	87646	`成`
146	2	67075	`ット`
147	2	67117	`输出`
148	2	67287	`姓名`
149	2	67494	`说明`
150	2	90091	`正确`
151	2	5809	`�试`
152	2	90261	`来源`
153	2	68042	`コ`
154	2	68438	`通过`
155	2	69049	`当前`
156	2	5809	`�藏`
157	2	92019	`其中`
158	2	69847	`こん`
159	2	69905	`格式`
160	2	92382	`定义`
161	2	92527	`登`
162	2	92672	`同时`
163	2	70262	`对`
164	2	93393	`实`
165	2	70453	`查`
166	2	70472	`如`
167	2	70525	`发`
168	2	94249	`分享`
169	2	94668	`邮箱`
170	2	70774	`类`
171	2	53626	`上传`
172	2	70924	`数组`
173	2	71461	`重新`
174	2	53802	`监听`
175	2	5809	`�始`
176	2	71600	`设计`
177	2	71634	`スト`
178	2	53900	`また`
179	2	71638	`分类`
180	2	97655	`正在`
181	2	54140	`文`
182	2	5809	`�单`
183	2	33541	`ます`
184	2	5809	`�能`
185	2	71733	`异常`
186	2	71689	`以上`
187	2	98390	`备注`
188	2	72209	`版本`
189	2	54253	`不能`
190	2	44915	`内容`
191	2	99007	`”的`
192	2	72456	`网络`
193	2	54581	`描述`
194	2	72661	`でも`
195	2	72794	`隐藏`
196	2	54926	`する`
197	2	45018	`设置`
198	2	33765	`参数`
199	2	5809	`�数`
200	2	15024	`し�`
201	2	20600	`用户`
202	2	72873	`方`
203	2	72917	`进行`
204	2	55031	`から`
205	2	73071	`提交`
206	2	55121	`显示`
207	2	45059	`生成`
208	2	73117	`发送`
209	2	73164	`联系`
210	2	55642	`处理`
211	2	73548	`系统`
212	2	55951	`是`
213	2	45191	`状态`
214	2	33904	`函数`
215	2	73740	`编号`
216	2	73751	`点击`
217	2	56051	`した`
218	2	73769	`更`
219	2	73958	`中`
220	2	56386	`开始`
221	2	45277	`列表`
222	2	74318	`公司`
223	2	74412	`字`
224	2	56438	`所有`
225	2	74662	`在`
226	2	74445	`项目`
227	2	45472	`输`
228	2	33967	`密码`
229	2	28469	`信息`
230	2	74770	`可以`
231	2	75320	`程序`
232	2	57903	`あり`
233	2	75630	`雅黑`
234	2	58119	`编辑`
235	2	75761	`排序`
236	2	75976	`首页`
237	2	58426	`その`
238	2	46031	`字段`
239	2	5809	`�述`
240	2	76171	`イン`
241	2	76099	`关闭`
242	2	76217	`执行`
243	2	76417	`单位`
244	2	58721	`事件`
245	2	58521	`作者`
246	2	76502	`日`
247	2	59243	`和`
248	2	76868	`方式`
249	2	59363	`生`
250	2	46885	`日期`
251	2	46239	`提示`
252	2	35959	`请求`
253	2	22820	`失败`
254	2	81543	`没有`
255	2	81665	`结束`
256	2	81951	`控`
257	2	82267	`确认`
258	2	76947	`って`
259	2	82900	`数量`
260	2	77121	`ござ`
261	2	59505	`手机`
262	2	82973	`時間`
263	2	5809	`�权`
264	2	83047	`开`
265	2	83337	`链接`
266	2	77181	`では`
267	2	5809	`�行`
268	2	47012	`获取`
269	2	83741	`声明`
270	2	77195	`条件`
271	2	84095	`亿元`
272	2	77219	`記事`
273	2	59757	`分`
274	2	84389	`され`
275	2	84477	`ート`
276	2	77693	`それ`
277	2	77750	`ログ`
278	2	59795	`中国`
279	2	47030	`图片`
280	2	36515	`登录`
281	2	5809	`�ん`
282	2	85701	`これ`
283	2	85997	`当`
284	2	86206	`需要`
285	2	86222	`解`
286	2	86348	`全部`
287	2	86429	`资源`
288	2	86614	`ちは`
289	2	86741	`评论`
290	2	77937	`路径`
291	2	78021	`退出`
292	2	59914	`加载`
293	2	78111	`宋体`
294	2	47043	`商品`
295	2	87219	`问题`
296	2	87327	`报道`
297	2	78657	`例如`
298	2	88240	`视频`
299	2	88367	`可能`
300	2	88435	`文字`
301	2	88852	`以下`
302	2	88905	`电话`
303	2	89186	`有效`
304	2	89408	`今年`
305	2	89902	`任务`
306	2	78699	`とう`
307	2	5809	`�性`
308	2	78767	`ージ`
309	2	78983	`イト`
310	2	60251	`结果`
311	2	47200	`代码`
312	2	37395	`页面`
313	2	29706	`删除`
314	2	90354	`结`
315	2	90620	`ただ`
316	2	90756	`详情`
317	2	91082	`主`
318	2	91466	`一页`
319	2	91495	`，并`
320	2	91547	`发布`
321	2	91951	`审核`
322	2	91967	`图`
323	2	92056	`权限`
324	2	5809	`�新`
325	2	92193	`（笑`
326	2	79656	`相关`
327	2	61496	`标题`
328	2	61398	`ース`
329	2	92517	`关`
330	2	92555	`万元`
331	2	61633	`注意`
332	2	92693	`無料`
333	2	93132	`大小`
334	2	93298	`ピー`
335	2	93413	`或`
336	2	93474	`节点`
337	2	93488	`ラン`
338	2	93598	`若`
339	2	93636	`小时`
340	2	93994	`其他`
341	2	94134	`自治`
342	2	80019	`新`
343	2	5809	`�件`
344	2	94550	`ング`
345	2	94632	`ア`
346	2	80050	`ス`
347	2	61648	`完成`
348	2	47577	`地址`
349	2	47566	`设`
350	2	94720	`新增`
351	2	94785	`提`
352	2	94983	`加`
353	2	95371	`を`
354	2	95604	`いう`
355	2	96153	`，则`
356	2	52591	`フ�`
357	2	97150	`，在`
358	2	80356	`属性`
359	2	80073	`搜索`
360	2	97718	`の`
361	2	5809	`�断`
362	2	61710	`确定`
363	2	47585	`保存`
364	2	98369	`さん`
365	2	98580	`价格`
366	2	98711	`我的`
367	2	98739	`我们`
368	2	80804	`示`
369	2	62205	`名`
370	2	99379	`移到`
371	2	99480	`功能`
372	2	99502	`长度`
373	2	100066	`送料`
374	2	100207	`在线`
375	2	81194	`金额`
376	2	62249	`周期`
377	2	5809	`�示`
378	2	38129	`使用`
379	2	5809	`�数`
380	2	5809	`�除`
381	2	20675	`数据`
382	2	19653	`成功`