Home Explore Help
Register Sign In
ai-model
/
intent
6
0
Fork 0
Files Issues 0 Pull Requests 0 Wiki
Branch: master
Branches Tags
intent
/
m3e
/
special_tokens_map.json

special_tokens_map.json 695 B
Permalink History Raw

12345678910111213141516171819202122232425262728293031323334353637 
  1. {
    2. 

  2.   "cls_token": {
    3. 

  3.     "content": "[CLS]",
    4. 

  4.     "lstrip": false,
    5. 

  5.     "normalized": false,
    6. 

  6.     "rstrip": false,
    7. 

  7.     "single_word": false
    8. 

  8.   },
    9. 

  9.   "mask_token": {
    10. 

  10.     "content": "[MASK]",
    11. 

  11.     "lstrip": false,
    12. 

  12.     "normalized": false,
    13. 

  13.     "rstrip": false,
    14. 

  14.     "single_word": false
    15. 

  15.   },
    16. 

  16.   "pad_token": {
    17. 

  17.     "content": "[PAD]",
    18. 

  18.     "lstrip": false,
    19. 

  19.     "normalized": false,
    20. 

  20.     "rstrip": false,
    21. 

  21.     "single_word": false
    22. 

  22.   },
    23. 

  23.   "sep_token": {
    24. 

  24.     "content": "[SEP]",
    25. 

  25.     "lstrip": false,
    26. 

  26.     "normalized": false,
    27. 

  27.     "rstrip": false,
    28. 

  28.     "single_word": false
    29. 

  29.   },
    30. 

  30.   "unk_token": {
    31. 

  31.     "content": "[UNK]",
    32. 

  32.     "lstrip": false,
    33. 

  33.     "normalized": false,
    34. 

  34.     "rstrip": false,
    35. 

  35.     "single_word": false
    36. 

  36.   }
    37. 

  37. }
    38.