wincode commited on
Commit
d738890
·
verified ·
1 Parent(s): ccf4695

Upload tokenizer.json with huggingface_hub

Browse files
Files changed (1) hide show
  1. tokenizer.json +528 -0
tokenizer.json ADDED
@@ -0,0 +1,528 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "type": "word-level",
3
+ "version": 1,
4
+ "special_tokens": {
5
+ "<pad>": 0,
6
+ "<bos>": 1,
7
+ "<eos>": 2,
8
+ "<unk>": 3
9
+ },
10
+ "vocab": [
11
+ "<pad>",
12
+ "<bos>",
13
+ "<eos>",
14
+ "<unk>",
15
+ "the",
16
+ ".",
17
+ "a",
18
+ ",",
19
+ "of",
20
+ "-",
21
+ "in",
22
+ "to",
23
+ "not",
24
+ "was",
25
+ "and",
26
+ "end",
27
+ "it",
28
+ "with",
29
+ "only",
30
+ "who",
31
+ "be",
32
+ "did",
33
+ "but",
34
+ "old",
35
+ "at",
36
+ "seemed",
37
+ "bargain",
38
+ "wandering",
39
+ "keeper",
40
+ "for",
41
+ "first",
42
+ "could",
43
+ "that",
44
+ "what",
45
+ "name",
46
+ "would",
47
+ "found",
48
+ "cost",
49
+ "understood",
50
+ "this",
51
+ "changed",
52
+ "understand",
53
+ "offered",
54
+ "than",
55
+ "into",
56
+ "from",
57
+ "quiet",
58
+ "hollow",
59
+ "years",
60
+ "one",
61
+ "forgotten",
62
+ "longest",
63
+ "river",
64
+ "stranger",
65
+ "those",
66
+ "an",
67
+ "stone",
68
+ "path",
69
+ "is",
70
+ "lantern",
71
+ "spoken",
72
+ "key",
73
+ "broken",
74
+ "door",
75
+ "more",
76
+ "year",
77
+ "home",
78
+ "there",
79
+ "mirror",
80
+ "even",
81
+ "you",
82
+ "still",
83
+ "slowly",
84
+ "walked",
85
+ "companion",
86
+ "nothing",
87
+ "once",
88
+ "heart",
89
+ "life",
90
+ "while",
91
+ "walking",
92
+ "edges",
93
+ "harmless",
94
+ "quaint",
95
+ "come",
96
+ "near",
97
+ "say",
98
+ "why",
99
+ "craft",
100
+ "uncovered",
101
+ "buried",
102
+ "again",
103
+ "when",
104
+ "carried",
105
+ "morning",
106
+ "story",
107
+ "trouble",
108
+ "them",
109
+ "tide",
110
+ "boundary",
111
+ "met",
112
+ ":",
113
+ "watched",
114
+ "reeds",
115
+ "said",
116
+ "weighed",
117
+ "way",
118
+ "whatever",
119
+ "decided",
120
+ "both",
121
+ "away",
122
+ "few",
123
+ "knew",
124
+ "forget",
125
+ "lived",
126
+ "must",
127
+ "on",
128
+ "night",
129
+ "folk",
130
+ "know",
131
+ "whether",
132
+ "mourn",
133
+ "or",
134
+ "rejoice",
135
+ "unsurprised",
136
+ "waited",
137
+ "patiently",
138
+ "learn",
139
+ "live",
140
+ "new",
141
+ "shape",
142
+ "studied",
143
+ "some",
144
+ "changes",
145
+ "made",
146
+ "choose",
147
+ "undone",
148
+ "shared",
149
+ "work",
150
+ "then",
151
+ "appeared",
152
+ "confession",
153
+ "answered",
154
+ "anger",
155
+ "mended",
156
+ "long",
157
+ "ago",
158
+ "young",
159
+ "kept",
160
+ "set",
161
+ "out",
162
+ "across",
163
+ "recover",
164
+ "barred",
165
+ "by",
166
+ "guarded",
167
+ "remembering",
168
+ "art",
169
+ "accepted",
170
+ "though",
171
+ "expected",
172
+ "lighter",
173
+ "before",
174
+ "tongue",
175
+ "child",
176
+ "crown",
177
+ "half",
178
+ "blind",
179
+ "archivist",
180
+ "apothecary",
181
+ "carver",
182
+ "heir",
183
+ "judge",
184
+ "musician",
185
+ "reader",
186
+ "polisher",
187
+ "wind",
188
+ "listener",
189
+ "hedge",
190
+ "inventor",
191
+ "toll",
192
+ "dream",
193
+ "stitched",
194
+ "seamstress",
195
+ "knot",
196
+ "weaver",
197
+ "clockwork",
198
+ "tinkerer",
199
+ "lonely",
200
+ "reluctant",
201
+ "ferryman",
202
+ "translator",
203
+ "glass",
204
+ "exiled",
205
+ "cartographer",
206
+ "retired",
207
+ "monster",
208
+ "hunter",
209
+ "comet",
210
+ "watcher",
211
+ "soft",
212
+ "blacksmith",
213
+ "storm",
214
+ "marshes",
215
+ "had",
216
+ "reaches",
217
+ "singing",
218
+ "whispering",
219
+ "'",
220
+ "s",
221
+ "loudest",
222
+ "sunken",
223
+ "wound",
224
+ "binding",
225
+ "sharpest",
226
+ "blade",
227
+ "swiftest",
228
+ "winter",
229
+ "brightest",
230
+ "deepest",
231
+ "cleverest",
232
+ "lie",
233
+ "song",
234
+ "waits",
235
+ "listen",
236
+ "hope",
237
+ "promise",
238
+ "finds",
239
+ "need",
240
+ "stubborn",
241
+ "grief",
242
+ "outlives",
243
+ "outwaits",
244
+ "remembers",
245
+ "redeems",
246
+ "rewrites",
247
+ "unspoken",
248
+ "outlasts",
249
+ "unmakes",
250
+ "memory",
251
+ "silence",
252
+ "water",
253
+ "names",
254
+ "patient",
255
+ "lies",
256
+ "paper",
257
+ "been",
258
+ "seed",
259
+ "safe",
260
+ "passage",
261
+ "true",
262
+ "no",
263
+ "their",
264
+ "bridge",
265
+ "bone",
266
+ "sky",
267
+ "indigo",
268
+ "wilds",
269
+ "field",
270
+ "mountain",
271
+ "caverns",
272
+ "stargrove",
273
+ "tidemarsh",
274
+ "pale",
275
+ "marshlands",
276
+ "mossy",
277
+ "city",
278
+ "moth",
279
+ "duskwood",
280
+ "frozen",
281
+ "tundra",
282
+ "verdant",
283
+ "mire",
284
+ "ember",
285
+ "steppes",
286
+ "crystal",
287
+ "vale",
288
+ "lacquered",
289
+ "lake",
290
+ "coral",
291
+ "glasslands",
292
+ "copper",
293
+ "hills",
294
+ "saltwood",
295
+ "fields",
296
+ "bramblewilds",
297
+ "glittering",
298
+ "dunes",
299
+ "ashen",
300
+ "coast",
301
+ "obsidian",
302
+ "reach",
303
+ "vexing",
304
+ "cliffs",
305
+ "like",
306
+ "courage",
307
+ "reading",
308
+ "tides",
309
+ "trading",
310
+ "favours",
311
+ "borrowing",
312
+ "eyes",
313
+ "birds",
314
+ "roots",
315
+ "folding",
316
+ "distance",
317
+ "summoning",
318
+ "rain",
319
+ "pouring",
320
+ "map",
321
+ "weighing",
322
+ "hearts",
323
+ "starlight",
324
+ "weaving",
325
+ "light",
326
+ "thread",
327
+ "iron",
328
+ "sleep",
329
+ "bargaining",
330
+ "shadows",
331
+ "promises",
332
+ "candles",
333
+ "knitting",
334
+ "wounds",
335
+ "freezing",
336
+ "moments",
337
+ "steaming",
338
+ "air",
339
+ "lost",
340
+ "silver",
341
+ "stolen",
342
+ "never",
343
+ "sold",
344
+ "village",
345
+ "fires",
346
+ "hiding",
347
+ "realm",
348
+ "mortal",
349
+ "begin",
350
+ "shaping",
351
+ "hero",
352
+ "dreams",
353
+ "wolf",
354
+ "love",
355
+ "someone",
356
+ "remembered",
357
+ "three",
358
+ "questions",
359
+ "less",
360
+ "will",
361
+ "salt",
362
+ "rust",
363
+ "where",
364
+ "turn",
365
+ "forest",
366
+ "eats",
367
+ "strangers",
368
+ "shadow",
369
+ "traded",
370
+ "version",
371
+ "themselves",
372
+ "ten",
373
+ "younger",
374
+ "creature",
375
+ "bark",
376
+ "slow",
377
+ "between",
378
+ "two",
379
+ "feuding",
380
+ "villages",
381
+ "single",
382
+ "tree",
383
+ "small",
384
+ "impossible",
385
+ "exchange",
386
+ "answer",
387
+ "woven",
388
+ "apologies",
389
+ "forgot",
390
+ "how",
391
+ "flow",
392
+ "gate",
393
+ "opens",
394
+ "moss",
395
+ "wyrm",
396
+ "crane",
397
+ "moon",
398
+ "calf",
399
+ "crow",
400
+ "o",
401
+ "wisp",
402
+ "spider",
403
+ "dusk",
404
+ "serpent",
405
+ "whisper",
406
+ "hare",
407
+ "sun",
408
+ "bleached",
409
+ "heron",
410
+ "badger",
411
+ "velvet",
412
+ "viper",
413
+ "bramble",
414
+ "cat",
415
+ "copperfin",
416
+ "koi",
417
+ "mist",
418
+ "lynx",
419
+ "hearted",
420
+ "golem",
421
+ "stag",
422
+ "crab",
423
+ "cinder",
424
+ "rat",
425
+ "owl",
426
+ "mossback",
427
+ "tortoise",
428
+ "frost",
429
+ "salamander",
430
+ "vapour",
431
+ "eel",
432
+ "gilded",
433
+ "beetle",
434
+ "well",
435
+ "whispered",
436
+ "drawing",
437
+ "place",
438
+ "exist",
439
+ "showing",
440
+ "room",
441
+ "glimmer",
442
+ "fox",
443
+ "thorn",
444
+ "lizard",
445
+ "sealed",
446
+ "letter",
447
+ "dead",
448
+ "king",
449
+ "clock",
450
+ "running",
451
+ "backwards",
452
+ "standing",
453
+ "middle",
454
+ "empty",
455
+ "we",
456
+ "your",
457
+ "cannot",
458
+ "closed",
459
+ "have",
460
+ "are",
461
+ "feeds",
462
+ "kindness",
463
+ "does",
464
+ "road",
465
+ ";",
466
+ "most",
467
+ "costs",
468
+ "hooded",
469
+ "traveller",
470
+ "outrun",
471
+ "earned",
472
+ "preserves",
473
+ "ruins",
474
+ "equal",
475
+ "measure",
476
+ "brave",
477
+ "seldom",
478
+ "journey",
479
+ "postponed",
480
+ "lend",
481
+ "piece",
482
+ "truth",
483
+ "travels",
484
+ "travel",
485
+ "patience",
486
+ "quietest",
487
+ "form",
488
+ "tuition",
489
+ "living",
490
+ "pay",
491
+ "smallest",
492
+ "weighs",
493
+ "hand",
494
+ "took",
495
+ "shattered",
496
+ "held",
497
+ "habit",
498
+ "feeling",
499
+ "direction",
500
+ "simply",
501
+ "ours",
502
+ "beware",
503
+ "thing",
504
+ "rarely",
505
+ "its",
506
+ "price",
507
+ "land",
508
+ "can",
509
+ "break",
510
+ "twice",
511
+ "same",
512
+ "debts",
513
+ "do",
514
+ "ignored",
515
+ "heal",
516
+ "given",
517
+ "secret",
518
+ "returns",
519
+ "needed",
520
+ "forge",
521
+ "also",
522
+ "test",
523
+ "truly",
524
+ "keep",
525
+ "mercy",
526
+ "give"
527
+ ]
528
+ }