system.tokenizers

Выполнение запросов в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Поэтому для получения полного обзора всех данных требуется функция clusterAllReplicas. Подробности см. здесь.

Отображает все доступные токенизаторы. Их можно использовать в функциях tokens, hasAllTokens, hasAnyTokens и текстовом индексе.

Столбцы:

name (String) — Имя токенизатора
type (String) — Тип токенизатора

Пример

SELECT * FROM system.tokenizers;

┌─name────────────┬─type────────────┐
│ ngrams          │ Ngrams          │
│ splitByNonAlpha │ SplitByNonAlpha │
│ sparseGrams     │ SparseGrams     │
│ tokenbf_v1      │ SplitByNonAlpha │
│ ngrambf_v1      │ Ngrams          │
│ array           │ Array           │
│ splitByString   │ SplitByString   │
│ sparse_grams    │ SparseGrams     │
└─────────────────┴─────────────────┘