Clojure Killer App (updated)

Для каждого языка программирования обязательно нужна хотя бы одна технология, которая сделает его (язык) популярным. Для Java -- это J2EE, для Ruby -- Ruby on Rails, для Python -- Django. Все это так или иначе связано с вебом. Поэтому, когда появился Clojure, многие ждали, что появится и качественный фреймворк для разработки сайтов на Clojure. Однако, сегодняшний уровень развития web-технологий для Clojure пока что не производит впечатления. Может быть потому, что Clojure предназначен быть номером один в несколько других областях?
19 сентября Nathanmarz открыл исходники проекта Storm, проекта, используемого в Twitter для анализа потоков твитов. Storm -- детище Backtype, недавно купленной Twitter-ом. У Backtype есть еще несколько открытых проектов, среди которых -- Cacalog (Clojure-обертка над Hadoop) и ElephantDB.
И Hadoop, и Storm -- технологии, позволяющие легко параллелить вычисления на кластере. Главное отличие между ними в том, что Hadoop выполняет конечные map/reduce задания, в то время, как Storm способен обрабатывать бесконечные потоки данных. Hadoop -- это технология пакетной обработки данных, а Storm -- обработки в real-time.
Storm почти целиком написан на Clojure. 98% функционала Storm -- это Clojure. Правда, если посчитать процент кода на Clojure и процент кода на других языках -- то здесь Clojure займет около 50%. Остальной код -- это привязки к прочим языка программирования, таким как Java и Python.
У Storm-а несколько своеобразная терминология. Минимальными структурными единицами проекта на Storm являются источники (spout) и фильтры (bolts). Термин bolt сложно перевести на русский язык более-менее правильно, но его суть в том, что bolt преобразовывает поток данных из источника в другой поток данных. Так что воспользуемся значением глагола to bolt -- просеивать через сито. Хотя как знать, может Nathanmarz имел в виду именно фонтан (spout) и молния (bolt) -- это я пока что не успел выяснить.
Источники и фильтры объединяются в топологию, про которую подробнее стоит почитать здесь.
Ниже -- пример очень простого приложения на Storm.

(ns storm-test.core
  (:import [backtype.storm StormSubmitter LocalCluster])
  (:use [backtype.storm clojure config])
  (:gen-class))

(defspout number-spout ["number"]
  [conf context collector]
    (spout
     (nextTuple []
                (Thread/sleep 100)
                (emit-spout! collector [17]))
     (ack [id])))

(defbolt neg-bolt ["neg"] [tuple collector]
  (let [result (- (.getInteger tuple 0))]
    (emit-bolt! collector [result] :anchor tuple :p 2)
    (ack! collector tuple)))

(defn mk-topology []
  (topology
   {1 (spout-spec number-spout)}
   {2 (bolt-spec {1 :shuffle} neg-bolt)}))

(defn run-local! []
  (let [cluster (LocalCluster.)]
    (.submitTopology cluster "test" {TOPOLOGY-DEBUG true} (mk-topology))
    (Thread/sleep 1000)
    (.shutdown cluster)))

Функция run-local! создает фиктивный кластер на одном компьютере, позволяющий просто запустить программу локально. На этот кластер подается топология, созданная функцией mk-topology.
В функции mk-topology вызывается topology с двумя параметрами: словарем источников и словарем фильтров.
Запись {1 (spout-spec number-spout)} означет, что создается spout с айдишником 1 при помощи функции number-spout.
Аналогично, запись{2 (bolt-spec {1 :shuffle} neg-bolt)} означает, что создается bolt с айдишником 2 при помощи функции neg-bolt, будет получать данные из источника 1.
Функция number-spout создает spout, который 10 раз в секунду способен выдать вектор с одним единственным данным. Предполагается, что данные spout должен получать из внешних источников, например, очередей сообщений, таких как Kestrel. Здесь же для наглядности я просто передаю число 17.
Функция neg-bolt получает данные из number-spout и отдает их же, но со знаком "минус". Параметр tuple -- это объект класса Tupple, умеющего извлекать типизированные данные из внутреннего массива.
Файл проекта project.clj выглядит так:

(defproject storm-test "1.0.0-SNAPSHOT"
  :description "My first Storm project"
  :aot :all
  :dependencies [[org.clojure/clojure "1.2.1"]
                 [org.clojure/clojure-contrib "1.2.0"]]
  :dev-dependencies [[storm "0.5.3"]])

Запускать проект нужно через lein repl следующим образом:

> (use 'storm-test.core)
> (run-local!)

Короче, думаю, час Clojure настал.

Updation: Выяснил у Nathanmarz-а насчет терминов. Вот что он пишет:
 "Spout" is meant to mean "source of streams", like how a water spout
is a source of a stream of water.
"Bolt" is meant to refer to lightning, as in a "storm" is composed of
"lightning bolts".

Таким образом, думаю, стоит переводить термины следующим образом:
spout -- источник
bolt -- молния.