Apache-Logging für Fortgeschrittene

Alles, was den Apache betrifft, kann hier besprochen werden.

Apache-Logging für Fortgeschrittene

Postby Totengraeber » 11. June 2008 14:03

Einen wunderschönen guten Tag die Damen und Herrn Administratoren,

nach etlichen Stunden der erfolglosen Suche im weiten, weiten Netz habe ich mich nun doch entschlossen, anderen leuten mit meinem Problem auf den Senkel zu gehen.

Kurz zu meinem Setup hier:
Wir haben mehrere Apache-Server hier die im Prinzip ein Cluster bilden. Jeder dieser Apache-Nodes liefert alle 320 dort gehosteten virtual Hosts aus. Das Logging wurde vor kurzem so umgestellt, dass kein virtual Host mehr für sich ein Log hat. Alles läuft jetzt in ein gemeinsames Log im Format vCombined rein, wobei vCombined nichts anderes wie Combined ist, nur dass noch der VirtualHost davor gestellt wird.
Einmal nachts, nachdem Logrotation wieder zugeschlagen hat, werden die LogFiles von allen Servern per Skript auf einen Internen WebServer geschoben. Dort werden die ganzen unterschiedlichen Logs dann in chronologischer Reihenfolge zu einem einzigen großen Log zusammengefügt und anschließend von einem Skript anhand des VirtualHost-Feldes in einzelne Logs nach Host aufgesplittet. An diesem Punkt habe ich also für jeden einzelnen Host ein LogFile, wo chronologisch korrekt die Einträge aller Apache-Server vorhanden sind.

So weit so gut. Nun möchte ich den Mist abe rauch irgendwie übersichtlich auswerten. Bei den üblichen Verdächtigen (AWStats, Webalize) habe ich nur ein Problem:
Theroretisch müsste ich jetzt für jede (!) Domain (=320) ein ConfigFile schreiben, die Statistikdaten 320mal updaten und hätte dann 320 Statistik-Seiten. Ganz klasse. Ich möchte &%§&!!!!!

Nun die Frage aller Fragen die mich nicht mehr schlafen lässt:
Gibt es irgendwo ein FreeWare (OpenSource o.ä.) Programm, mit dem ich Den Mist so auswerten kann, dass ich hinterher eine(!) Statistik-Site hab, wo ich mir den Traffic einer Domain anschauen oder aber auch mal den Traffic mehrer Domains vergleichen kann? ne Übersicht der am meisten Frequentierten Domains oder der am wenigsten aufgerufenen Domains und so nette Sachen. Eine Auswertung der User-Agents/Referer/Such-Strings und dergleichen dazu wäre auch noch traumhaft. Sowas muss es doch geben. Ich bin doch nicht der einzigste Admin, der zu faul ist 320 einzelne Statistik-Seiten aufzurufen und Werte in ein Excel zu kopieren, nur um den Traffic von ein paar Domains auch mal zu vergleichen...

In der großen Hoffnung auf Hilfe,
Tot
Totengraeber
 
Posts: 15
Joined: 11. June 2008 13:39

Postby DJ DHG » 11. June 2008 16:10

Moin Moin!

Ich würde den Apache in MySql loggen lassen.
Damit lässt sich leichter arbeiteten.
Anbindungen an MySql gibt es bekannt reichlich, was dann die später Auswertung
mit ein wenig Script / Programmieraufwand recht einfach macht.

http://bitbrook.de/software/mod_log_mysql/

mfg DJ DHG
User avatar
DJ DHG
AF Moderator
 
Posts: 2455
Joined: 27. December 2002 13:50
Location: Kiel

Postby Totengraeber » 11. June 2008 17:49

Hm, MySQL... bei uns in der Firma das Tabu-Thema. Kriegt man auch ein Logging nach MSSQL hin?
Totengraeber
 
Posts: 15
Joined: 11. June 2008 13:39

Postby DJ DHG » 11. June 2008 18:15

Ein Modul für MsSql gibt es meines Wissens nach nicht.
Was aber noch geht, wäre "Piped Logs".

http://httpd.apache.org/docs/2.2/logs.html#piped

mfg DJ DHG
User avatar
DJ DHG
AF Moderator
 
Posts: 2455
Joined: 27. December 2002 13:50
Location: Kiel

Postby Totengraeber » 12. June 2008 07:49

Was Piped Logs sind weiß ich schon. Ich versteh jetzt nur nicht ganz, wie mir das weiterhelfen soll. Stehe da jetzt irgendwie auf dem Schlauch :?
Totengraeber
 
Posts: 15
Joined: 11. June 2008 13:39

Postby DJ DHG » 12. June 2008 13:57

Sorry, hätte ein wenig ausführlicher sein können.

Ich meinte damit, dass die Logs einfach an ein externes Programm / Script gereicht werden.
Und das Script / Programm die Daten dann in die DB schreibt.

mfg DJ DHG
User avatar
DJ DHG
AF Moderator
 
Posts: 2455
Joined: 27. December 2002 13:50
Location: Kiel

Postby Totengraeber » 17. June 2008 06:54

Hm, achso. Naja, dachte das wäre vielleicht einfacher möglich. Aber gut. Werd dann wohl erst mal mit den alten Möglichkeiten weiter leben müssen. Wir wollen sowieso Ende des Jahres ein neues CMS einführen. Wenn das wieder auf Apache läuft, werde ich auf das Thema nochmal zurück kommen. Für eine Lösung, die nur noch ein halbes Jahr läuft werd ich jetzt wohl nicht mehr so viel Aufwand stecken. Aber schönen Dank so weit schon mal :-)
Totengraeber
 
Posts: 15
Joined: 11. June 2008 13:39


Return to Apache

Who is online

Users browsing this forum: No registered users and 4 guests