ClickHouse pour l'analyse de la distribution

ClickHouse transforme des milliards de lignes de log en analyses en moins d'une seconde. KumoMTA documente le schéma en amont, et la plupart des ESP l'utilisent dès le premier jour.

Exemple de table :

CREATE TABLE kumomta_events (
  ts DateTime,
  type LowCardinality(String),
  tenant LowCardinality(String),
  campaign LowCardinality(String),
  domain LowCardinality(String),
  egress_source LowCardinality(String),
  response_code UInt16,
  enhanced_code LowCardinality(String),
  bounce_category LowCardinality(String),
  recipient String,
  message_id String
) ENGINE = MergeTree
ORDER BY (ts, tenant, domain);

Les requêtes de tous les jours :

-- Delivery rate per destination, last hour
SELECT domain,
       countIf(type='Delivered') / countIf(type IN ('Delivered','Bounced')) AS delivery_rate
FROM kumomta_events
WHERE ts > now() - INTERVAL 1 HOUR
GROUP BY domain ORDER BY delivery_rate DESC;

-- Top bounce categories per tenant
SELECT tenant, bounce_category, count() AS n
FROM kumomta_events WHERE type='Bounced' AND ts > today()
GROUP BY tenant, bounce_category ORDER BY n DESC LIMIT 50;

C'est là que la délivrabilité cesse d'être une affaire de devinettes. Vous pouvez répondre en quelques secondes à « notre distribution vers Yahoo se dégrade-t-elle ? ».