Major redesign. All input is handled through XML. Raw input data is first
[gnucomo.git] / src / gcm_input / gcm_input.cpp
1 /**************************************************************************
2 **  (c) Copyright 2002, Andromeda Technology & Automation
3 ** This is free software; you can redistribute it and/or modify it under the
4 ** terms of the GNU General Public License, see the file COPYING.
5 ***************************************************************************
6 ** MODULE INFORMATION *
7 ***********************
8 **      FILE NAME      : gcm_input.cpp
9 **      SYSTEM NAME    : Gnucomo - Gnu Computer Monitoring
10 **      VERSION NUMBER : $Revision: 1.12 $
11 **
12 **  DESCRIPTION      :  Application to store client messages into the database
13 **                      The client message contains a log file from one of the
14 **                      system logs. Gcm_input parses the log file and enters
15 **                      the raw data into the 'log' table of the gnucomo database.
16 **
17 **                      The system log may arrive in one of several forms:
18 **                      1. Log file (archived or not) from a client machine.
19 **                      2. Log file from a client system, arriving in a clear Email.
20 **                      3. Log file from a client machine, arriving in an
21 **                         encrypted Email.
22 **
23 **                      additional information we need that may not be availble in
24 **                      the content of the log is:
25 **                      - FQDN of the client.
26 **                      - Time of arrival of the log
27 **                      - Service that created the log.
28 **
29 **                      If the log arrives in an Email, these items probably are
30 **                      available in the mail header. Otherwise, they have to be
31 **                      provided as command line arguments.
32 **
33 **                      Command line arguments:
34 **                      -c <name>        Configuration name (default = gnucomo).
35 **                      -d <date>        Date and time of log arrival.
36 **                      -h <hostname>    FQDN of the client.
37 **                      -i               Incremental - partial list of parameters.
38 **                      -s <service>     Service that created the log.
39 **                      -T               Test mode. Do not alter the database.
40 **                      -v               Verbose (debug) output.
41 **                      -V               Print version and exit.
42 **
43 **  EXPORTED OBJECTS : 
44 **  LOCAL    OBJECTS : 
45 **  MODULES  USED    :
46 ***************************************************************************
47 **  ADMINISTRATIVE INFORMATION *
48 ********************************
49 **      ORIGINAL AUTHOR : Arjen Baart - arjen@andromeda.nl
50 **      CREATION DATE   : Aug 29, 2002
51 **      LAST UPDATE     : Nov 26, 2003
52 **      MODIFICATIONS   : 
53 **************************************************************************/
54
55 /*****************************
56    $Log: gcm_input.cpp,v $
57    Revision 1.12  2003-12-04 10:38:09  arjen
58    Major redesign. All input is handled through XML. Raw input data is first
59    transformed into an XML document for further processing.
60    A collection of polymorphic classes handle the transformation of various
61    input formats into XML.
62    Classifying input data is done with a finite improbability calculation.
63
64    Revision 1.11  2003/10/27 13:00:15  arjen
65    Catch exceptions from the database library
66
67    Revision 1.10  2003/09/03 06:58:31  arjen
68    Changed version string to 0.0.8
69
70    Revision 1.9  2003/09/01 06:59:26  arjen
71    A date without the time for the '-d <date> option will
72    assume midnight on that date.
73
74    Revision 1.8  2003/08/16 15:30:19  arjen
75    Fixed a gcc 2 vs. gcc 3 problem
76
77    Revision 1.7  2003/08/14 10:28:37  arjen
78    Use parameters from a new section 'logging' with three configuration parameters:
79       method       - Output method to use for logging.
80       destination  - Name of the log output destination.
81       level        - Log level: Verbose output if greater than 0.
82
83    Revision 1.6  2003/08/11 16:56:16  arjen
84    Different kinds of log files are parsed by a collection of objects
85    of different classes, derived from the base class line_cooker
86    Depending on the message content or the message_type element in
87    XML, one of these objects is selected.
88
89    Logrunner is integrated with gcm_input. Although its functionality
90    is still limited, a connection between logrunner and gcm_input
91    is beginning to form.
92
93    Revision 1.5  2003/08/05 08:11:06  arjen
94    Added two configuration parameters:
95       logfile   - Log to this file instead of stderr.
96       verbosity - Verbose output if greater than 0.
97    Added '-i' option for incremental parameter updates
98
99    Revision 1.4  2003/03/29 08:42:00  arjen
100    Exit without reading any input if the database connection fails.
101
102    Revision 1.3  2002/11/09 08:04:27  arjen
103    Added a reference to the GPL
104
105    Revision 1.2  2002/11/04 10:13:36  arjen
106    Use proper namespace for iostream classes
107
108    Revision 1.1  2002/10/05 10:25:49  arjen
109    Creation of gcm_input and a first approach to a web interface
110
111 *****************************/
112
113 static const char *RCSID = "$Id: gcm_input.cpp,v 1.12 2003-12-04 10:38:09 arjen Exp $";
114
115 #include <fstream>
116
117 #include <getopt.h>
118
119 #include "message.h"
120 #include "log_filter.h"
121 #include "rpm_filter.h"
122
123 #include "xml_cooker.h"
124 #include "syslog_cooker.h"
125 #include "irix_syslog_cooker.h"
126 #include "access_cooker.h"
127 #include "error_cooker.h"
128
129 bool verbose = false;
130 bool testmode = false;
131 bool incremental = false;
132 std::ostream *Log = &std::cerr;
133
134 static char *Version = "gcm_input version 0.0.8 - Sep 04, 2003";
135
136
137 /*=========================================================================
138 **  NAME           : main
139 **  SYNOPSIS       : int main(int argc, char *argv[])
140 **  PARAMETERS     : 
141 **  RETURN VALUE   : 
142 **
143 **  DESCRIPTION    : Parse command line arguments and establish a connection
144 **                   to the database.
145 **                   When we have a database connection, parse the log file
146 **                   from stdin.
147 **
148 **  VARS USED      :
149 **  VARS CHANGED   :
150 **  FUNCTIONS USED :
151 **  SEE ALSO       :
152 **  LAST MODIFIED  : Aug 11, 2003
153 **=========================================================================
154 */
155
156 int main(int argc, char *argv[])
157 {
158    const char *usage = "Usage: gcm_input [-c configname] [-h hostname] [-i] [-d date]"
159                        " [-s service] [-T] [-v] [-V]\n";
160
161    gnucomo_config    cfg;
162    char             *config_name = "gnucomo";
163    std::ofstream    logfile;
164
165
166    /*   Parse command line arguments */
167
168    UTC    arrival = Now();
169    String  hostname(""), service("");
170    int     option;
171
172
173    while ((option = getopt(argc, argv, "c:h:d:s:iTvV")) != -1)
174    {
175       switch (option)
176       {
177       case 'c':
178          config_name = optarg;
179          break;
180
181       case 'h':
182          hostname = optarg;
183          break;
184
185       case 'd':
186          arrival = String(optarg);
187          if (!date(arrival).proper())
188          {
189             std::cerr << "gcm_input: Invalid date string: " << optarg
190                       << "(" << arrival << ").\n";
191             exit(1);
192          }
193          else if (!hour(arrival).proper())
194          {
195             arrival = UTC(date(arrival), hour(0,0,0));
196          }
197          break;
198
199       case 's':
200          service = optarg;
201          break;
202
203       case 'i':
204          incremental = true;
205          break;
206
207       case 'T':
208          testmode = true;
209          break;
210
211       case 'v':
212          verbose = true;
213          break;
214
215       case 'V':
216          std::cout << Version << "\n";
217          exit(0);
218
219       case '?':
220       case ':':
221          std::cerr << usage;
222          exit(1);
223       }
224    }
225    /*  Get the configuration file */
226
227    if (!cfg.read(config_name))
228    {
229       std::cerr << "Can not read Gnucomo configuration file for " << config_name << ".\n";
230       exit(1);
231    }
232
233    String log_method      = cfg.find_parameter("logging", "method");
234    String log_destination = cfg.find_parameter("logging", "destination");
235    int    level           = cfg.find_parameter("logging", "level");
236
237    if (log_method == "file" && log_destination != "")
238    {
239 #if __GNUC__ == 2
240       logfile.open(log_destination, _IO_APPEND); // for gcc 2
241 #else
242       logfile.open(log_destination, std::ios_base::app); // for gcc 3
243 #endif
244       if (!logfile)
245       {
246          std::cerr << "Can't open logfile " << log_destination << " for writing.\n";
247       }
248       else
249       {
250          Log = &logfile;
251       }
252    }
253    verbose = verbose || level > 0;
254
255    if (verbose)
256    {
257       *Log << "Hostname = " << hostname;
258       *Log << " Arrival = " << arrival;
259       *Log << " Service = " << service << "\n";
260       *Log << "Config OK.\n";
261    }
262
263    /*  Try to connect to the database */
264
265    gnucomo_database db(&cfg);
266
267    if (db.is_connected())
268    {
269
270       client_message      msg(&std::cin, db);
271
272       message_filter      shortcircuit(hostname, arrival, service);
273       log_filter          lf(hostname, arrival, service);
274       rpm_filter          rf(hostname, arrival, service);
275
276       syslog_cooker       slc;
277       irix_syslog_cooker  islc;
278       access_cooker       alc;
279       error_cooker        elc;
280       xml_cooker          xlc;
281       rpm_cooker          rlc;
282
283       msg.add_cooker(&xlc,  &shortcircuit);
284       msg.add_cooker(&slc,  &lf);
285       msg.add_cooker(&islc, &lf);
286       msg.add_cooker(&alc,  &lf);
287       msg.add_cooker(&elc,  &lf);
288       msg.add_cooker(&rlc,  &rf);
289
290       if (msg.classify(hostname, arrival, service) > 0.9)
291       {
292          try
293          {
294             msg.enter();
295          }
296          catch (std::exception &e)
297          {
298             *Log << "Caught an exception: " << e.what() << "\n";
299          }
300       }
301       return 0;
302    }
303    else
304    {
305       *Log << "gcm_input: Can not connect to database.\n";
306       *Log << "Gcm_input finished at " << Now() << ".\n";
307       return 1;
308    }
309 }
310