Архитектура программной системы.

Программная система представляет из себя две консольные утилиты:

• индексатор (программа построения индексного файла)
• фильтр (программа для осуществления выборки потоков по условиям из индексного файла)

Программная система использует (может использовать) при работе следующие файлы:

• файлы, содержащие индексируемые данные.
• индексный файл.
• шаблон, описывающий формат внутреннего представления записи в разрабатываемой программной системе.
• файл, описывающий условия поиска.
• файл для вывода результата выборки.

Подсистемы индексатора:

• чтения и анализа шаблона записи.
• доступа к базе потоков (отдельная для каждого поддерживаемого формата представления этой базы).
  1. данные могут быть представлены в нескольких файлах. (соблюдение временной непрерывности и последовательности данных не играет определяющей роли, т.к. для их хранения в индексном файле используются сбалансированные деревья и при добавлении записей, данные автоматически располагаются в правильном порядке)
  2. максимальный размер файла определяется ограничениями файловой системы.
  3. формат представления данных в обрабатываемых файлах соответствует принятому в flow-tools для хранения записей NetFlow v5.
  4. последовательный доступ к данным.
• представления записи во внутренней структуре, не привязанной к формату базы потоков. (данная структура должна обеспечивать гибкое представление различных по характеру и количеству полей записей, однако, для каждого индексного файла добавляемые записи должны быть однородными)
  1. общий вид записи описывается шаблоном.
  2. шаблон для NetFlow v5 фиксирован.
• добавления записей в индексный файл.
  1. число записей может быть очень велико (миллионы).
  2. добавление осуществляется при однократной обработке данных (расширение индексного файла не предусмотрено).

Подсистемы фильтра:

• чтения условий поиска.
  1. условие может точно идентифицировать запись.
  2. условие может идентифицировать запись не по всем полям точными значениями.
  3. условие может идентифицировать запись по подмножеству полей, где для каждого поля возможно задание диапазона значений.
• доступа к индексному файлу.
• обхода индексного файла по условиям.
• представления записи во внутренней структуре.
• вывода выборки записей.
  1. вывод всех удовлетворяющих условиям записей.