فهم فهارس تخطي البيانات في ClickHouse

• اسم الفهرس. يُستخدم اسم الفهرس لإنشاء ملف الفهرس في كل قسم. كما يُطلب أيضًا كمعلمة عند حذف الفهرس أو تجسيده.
• تعبير الفهرس. يُستخدم تعبير الفهرس لحساب مجموعة القيم المخزنة في الفهرس. ويمكن أن يكون مزيجًا من الأعمدة والعوامل البسيطة و/أو مجموعة فرعية من الدوال التي يحددها نوع الفهرس.
• TYPE. يتحكم نوع الفهرس في الحساب الذي يحدد ما إذا كان من الممكن تخطي قراءة كل كتلة فهرس وتقييمها.
• GRANULARITY. تتكون كل كتلة مفهرسة من GRANULARITY من الحبيبات. على سبيل المثال، إذا كانت درجة تحبيب الفهرس الأساسي للجدول 8192 صفًا، وكانت درجة تحبيب الفهرس 4، فستتكون كل “كتلة” مفهرسة من 32768 صفًا.

• skp_idx_{index_name}.idx، ويحتوي على قيم التعبير المرتبة
• skp_idx_{index_name}.mrk2، ويحتوي على الإزاحات المقابلة داخل ملفات أعمدة البيانات المرتبطة.

CREATE TABLE skip_table
(
  my_key UInt64,
  my_value UInt64
)
ENGINE MergeTree primary key my_key
SETTINGS index_granularity=8192;

INSERT INTO skip_table SELECT number, intDiv(number,4096) FROM numbers(100000000);

SELECT * FROM skip_table WHERE my_value IN (125, 700)

┌─my_key─┬─my_value─┐
│ 512000 │      125 │
│ 512001 │      125 │
│    ... |      ... |
└────────┴──────────┘

8192 rows in set. Elapsed: 0.079 sec. Processed 100.00 million rows, 800.10 MB (1.26 billion rows/s., 10.10 GB/s.

ALTER TABLE skip_table ADD INDEX vix my_value TYPE set(100) GRANULARITY 2;

ALTER TABLE skip_table MATERIALIZE INDEX vix;

SELECT * FROM skip_table WHERE my_value IN (125, 700)

┌─my_key─┬─my_value─┐
│ 512000 │      125 │
│ 512001 │      125 │
│    ... |      ... |
└────────┴──────────┘

8192 rows in set. Elapsed: 0.051 sec. Processed 32.77 thousand rows, 360.45 KB (643.75 thousand rows/s., 7.08 MB/s.)

SET send_logs_level='trace';

<Debug> default.skip_table (933d4b2c-8cea-4bf9-8c93-c56e900eefd1) (SelectExecutor): Index `vix` has dropped 6102/6104 granules.

• الفهرس الأساسي bloom_filter، ويأخذ معاملًا اختياريًا واحدًا لمعدل “الإيجابيات الكاذبة” المسموح به بين 0 و1 (إذا لم يُحدَّد، تُستخدم القيمة .025).
• الفهرس المتخصص tokenbf_v1 (مهمل). يأخذ ثلاثة معاملات، وكلها مرتبطة بضبط Bloom filter المستخدم: (1) حجم المرشح بالبايت (المرشحات الأكبر تقل فيها الإيجابيات الكاذبة، لكن على حساب قدر من مساحة التخزين)، و(2) عدد دوال hash المطبقة (ومرة أخرى، تؤدي زيادة دوال hash إلى تقليل الإيجابيات الكاذبة)، و(3) قيمة seed لدوال hash الخاصة بـ Bloom filter. راجع الحاسبة هنا لمزيد من التفاصيل حول كيفية تأثير هذه المعاملات في عمل Bloom filter. يعمل هذا الفهرس فقط مع أنواع البيانات String وFixedString وMap. ويُقسَّم تعبير الإدخال إلى تسلسلات من المحارف تفصل بينها محارف غير أبجدية رقمية. على سبيل المثال، ستحتوي قيمة العمود This is a candidate for a "full text" search على الرموز This is a candidate for full text search. وهو مخصص للاستخدام في عمليات البحث LIKE وEQUALS وIN وhasToken() وعمليات البحث المشابهة عن الكلمات والقيم الأخرى داخل السلاسل النصية الأطول. على سبيل المثال، قد يكون أحد الاستخدامات الممكنة هو البحث عن عدد صغير من أسماء الأصناف أو أرقام الأسطر في عمود يحتوي على أسطر سجلات تطبيقات حرة التنسيق.
• الفهرس المتخصص ngrambf_v1 (مهمل). يعمل هذا الفهرس بالطريقة نفسها التي يعمل بها فهرس token. ويأخذ معاملًا إضافيًا واحدًا قبل إعدادات Bloom filter، وهو حجم ngrams المطلوب فهرستها. والـ ngram هي سلسلة محارف طولها n من أي محارف، لذا فإن السلسلة A short string مع حجم ngram مقداره 4 ستُفهرس على النحو التالي:
  'A sh', ' sho', 'shor', 'hort', 'ort ', 'rt s', 't st', ' str', 'stri', 'trin', 'ring'
  

بالنسبة لأعباء عمل البحث النصي الكامل، يُوصى باستخدام الفهرس النصي المخصص (انظر Text index for full-text search) بدلًا من الفهرسين المهملين tokenbf_v1 أو ngrambf_v1. يوفر الفهرس النصي inverted index حقيقيًا مع أداء بحث أفضل، وسلوك أكثر قابلية للتنبؤ، ومرونة وأداء أعلى مقارنةً بفهارس Bloom filter المعتمدة على الرموز.

• عند إدراج البيانات ويُعرَّف الفهرس كتعبير دالي (مع تخزين ناتج التعبير في ملفات الفهرس)، أو
• عند معالجة الاستعلام ويُطبَّق التعبير على قيم الفهرس المخزنة لتحديد ما إذا كان ينبغي استبعاد كتلة.

• use_skip_indexes (0 أو 1، والقيمة الافتراضية 1). لا يمكن لجميع الاستعلامات استخدام فهارس التخطي بكفاءة. إذا كان من المرجح أن يشمل شرط التصفية معظم الحبيبات، فإن تطبيق فهرس تخطي البيانات يفرض تكلفة غير ضرورية، وقد تكون كبيرة أحيانًا. اضبط القيمة على 0 للاستعلامات التي لا يُتوقع أن تستفيد من أي من فهارس التخطي.
• force_data_skipping_indices (قائمة بأسماء الفهارس مفصولة بفواصل). يمكن استخدام هذا الإعداد لمنع بعض أنواع الاستعلامات غير الفعّالة. في الحالات التي يكون فيها الاستعلام عن جدول مكلفًا جدًا ما لم يُستخدم فهرس تخطٍ، فإن استخدام هذا الإعداد مع اسم فهرس واحد أو أكثر سيؤدي إلى إرجاع استثناء لأي استعلام لا يستخدم أيًا من الفهارس المُدرجة. وهذا من شأنه أن يمنع الاستعلامات المكتوبة بشكل سيئ من استهلاك موارد الخادم.

SELECT timestamp, url FROM table WHERE visitor_id = 1001`

• دليل أفضل الممارسات
• أمثلة على فهارس تخطي البيانات
• إدارة فهارس تخطي البيانات
• معلومات جدول النظام