Анализ log-файла прокси-сервера

SQUID записывает все запросы к Интернет ресурсам в файл access.log. Записи прокси-сервера, при загрузке страницы www.yandex.ru

1035920061.561 2050 195.131.31.242 TCP_MISS/200 36229 GET http://www.yandex.ru / - DIRECT/213.180.194.129 text/html

1035920065.748 151 195.131.31.242 TCP_MISS/200 580 GET http://u099.40.spylog. com/cnt? - DIRECT/194.67.35.196 image/gif

1035920066.661 852 195.131.31.242 TCP_REFRESH_HIT/200 709 GET http://www.yand ex.ru/i/i16-news.gif - DIRECT/213.180.194.129 image/gif

1035920067.634 1886 195.131.31.242 TCP_MISS/302 275 GET http://bs.yandex.ru/co unt/2BC9DE40/315/1849/00000000/12396/39246 - DIRECT/213.180.194.113 text/html

1035920068.864 1003 195.131.31.242 TCP_HIT/200 778 GET http://www.yandex.ru/i/ fs24.gif - NONE/- image/gif

1035920070.720 276 195.131.31.242 TCP_MISS/403 1111 GET http://engine.awaps.n et/0/507/600060.swf? - ANY_PARENT/прокси.wplus.net text/html

1035920073.529 424 195.131.31.242 TCP_REFRESH_HIT/200 1853 GET http://www.yan dex.ru/i/yandex-big.gif - DIRECT/213.180.194.129 image/gif

1035920074.632 358 195.131.31.242 TCP_REFRESH_HIT/200 643 GET http://www.yand ex.ru/i/c-b-top.gif - DIRECT/213.180.194.129 image/gif

1035920075.878 427 195.131.31.242 TCP_REFRESH_HIT/200 527 GET http://www.yand ex.ru/i/c-b-bot2.gif - DIRECT/213.180.194.129 image/gif

1035920076.320 442 195.131.31.242 TCP_REFRESH_HIT/200 624 GET http://www.yand ex.ru/i/ya-home.gif - DIRECT/213.180.194.129 image/gif

1035920077.673 759 195.131.31.242 TCP_REFRESH_HIT/200 547 GET http://www.yand ex.ru/i/i-pochta1.gif - DIRECT/213.180.194.129 image/gif

1035920077.732 87 195.131.31.242 TCP_REFRESH_HIT/200 518 GET http://www.yand ex.ru/i/i-narod1.gif - DIRECT/213.180.194.129 image/gif

1035920077.733 2922 195.131.31.242 TCP_MISS/302 273 GET http://bs.yandex.ru/co unt/4B72C24F/368/9072/00000000/12809/40627 - DIRECT/213.180.194.113 text/html

1035920077.833 2229 195.131.31.242 TCP_MISS/302 272 GET http://bs.yandex.ru/co unt/6106B141/316/9643/00000000/13550/43058 - DIRECT/213.180.194.113 text/html

1035920080.038 579 195.131.31.242 TCP_REFRESH_HIT/200 543 GET http://www.yand ex.ru/i/i-goods.gif - DIRECT/213.180.194.129 image/gif

1035920080.040 241 195.131.31.242 TCP_REFRESH_HIT/200 533 GET http://www.yand ex.ru/i/i-guru1.gif - DIRECT/213.180.194.129 image/gif

1035920082.342 227 195.131.31.242 TCP_REFRESH_HIT/200 961 GET http://bs.yande x.ru/resource/logo_24.gif - DIRECT/213.180.194.113 image/gif

1035920082.342 160 195.131.31.242 TCP_REFRESH_HIT/200 332 GET http://bs.yande x.ru/resource/spacer.gif - DIRECT/213.180.194.113 image/gif

1035920082.391 90 195.131.31.242 TCP_REFRESH_HIT/200 811 GET http://www.yand ex.ru/i/direct_24x24.gif - DIRECT/213.180.194.129 image/gif

1035920083.228 837 195.131.31.242 TCP_REFRESH_HIT/200 670 GET http://www.yand ex.ru/i/games_24.gif - DIRECT/213.180.194.129 image/gif

1035920085.950 746 195.131.31.242 TCP_REFRESH_HIT/200 742 GET http://www.yand ex.ru/i/money_24x24.gif - DIRECT/213.180.194.129 image/gif

1035920085.981 314 195.131.31.242 TCP_REFRESH_HIT/200 1019 GET http://www.yan dex.ru/i/n_bar.gif - DIRECT/213.180.194.129 image/gif

1035920086.729 748 195.131.31.242 TCP_REFRESH_HIT/200 492 GET http://www.yand ex.ru/i/i16-tv.gif - DIRECT/213.180.194.129 image/gif

1035920087.769 1038 195.131.31.242 TCP_REFRESH_HIT/200 4521 GET http://bs.yand ex.ru/resource/mobile001.gif - DIRECT/213.180.194.113 image/gif

1035920088.754 985 195.131.31.242 TCP_REFRESH_HIT/200 476 GET http://www.yand ex.ru/i/i16-today.gif - DIRECT/213.180.194.129 image/gif

1035920088.802 684 195.131.31.242 TCP_REFRESH_HIT/200 426 GET http://my.yande x.ru/i/w15.gif - DIRECT/213.180.193.61 image/gif

1035920089.621 818 195.131.31.242 TCP_REFRESH_HIT/200 1054 GET http://www.yan dex.ru/i/artlebedev2002.gif - DIRECT/213.180.194.129 image/gif

1035920091.043 703 195.131.31.242 TCP_REFRESH_HIT/200 1466 GET http://www.yan dex.ru/i/i-ptichka.gif - DIRECT/213.180.194.129 image/gif

1035920091.522 608 195.131.31.242 TCP_REFRESH_HIT/200 695 GET http://www.yand ex.ru/i/i-my.gif - DIRECT/213.180.194.129 image/gif

Как видно, только одна страница порождает множество запросов различных ресурсов (страница, картинки и т.п) и не только с запрашиваемого ресурса (например банеры загружаются как правило с других ресурсов).

Для анализа их работы проведем исследование формата одной строчки файла:

1032862411.262 (1) 96 (2) 10.128.15.4 (3) TCP_MEM_HIT/200 (4) 2581 (5) GET http://www.ru/eng/images/ssilki.jpg (6) board\sag NONE/- (7) image/jpeg (8)

(1) Первый параметр: время в UNIX формате.

(2) Второй параметр показывает время прохождения запроса через кэш-сервер и для составления статистических отчетов значения не имеет.

(3) Третий параметр представляет из себя адрес компьютера, сделавшего запрос.

(4) Четвертый параметр - результат поиска в Кэш-базе данного ресурса. В нашем примере прокси-сервер нашел данную картинку в памяти сервера.

(5) Пятый параметр это размер запрашиваемого ресурса в байтах

(6) Шестой параметр это URL запрашиваемого ресурса

(7) Седьмой параметр это логин пользователя, запросившего ресурс. В данном примере авторизация производиться через Windows домен, поэтому в примере отображен логин(sag) и домен(board) Windows-пользователя.

(8) Восьмой параметр - это тип запрашиваемого ресурса (в нашем случае это картинка).