Read IRIX system logs.
[gnucomo.git] / src / gcm_input / message.cpp
index dac561a..0e9dca9 100644 (file)
@@ -8,7 +8,7 @@
 ***********************
 **      FILE NAME      : message.cpp
 **      SYSTEM NAME    : Gnucomo - Gnu Computer Monitoring
-**      VERSION NUMBER : $Revision: 1.5 $
+**      VERSION NUMBER : $Revision: 1.8 $
 **
 **  DESCRIPTION      :  Implementation of the message handling classes
 **
 ********************************
 **      ORIGINAL AUTHOR : Arjen Baart - arjen@andromeda.nl
 **      CREATION DATE   : Sep 16, 2002
-**      LAST UPDATE     : Dec 20, 2002
+**      LAST UPDATE     : Feb 28, 2003
 **      MODIFICATIONS   : 
 **************************************************************************/
 
 /*****************************
    $Log: message.cpp,v $
-   Revision 1.5  2002-12-20 17:42:34  arjen
-   BUGFIX: The hostname in a system log may contain digits as well as letters
+   Revision 1.8  2003-03-16 09:42:40  arjen
+   Read IRIX system logs.
+
+   Revision 1.7  2003/02/21 08:08:05  arjen
+   Gcm_input also detects packages that are removed from the system.
+   Determining the version number of a package in a RPM
+   list is improved. Only the last one or two parts of the string that
+   begin with a '-' and a number are considered the version.
+
+   Revision 1.6  2003/02/05 09:37:51  arjen
+   Create notifications when a new package is discovered
+   in a 'rpm -qa' list or when the version of a package is changed.
 
    Revision 1.4  2002/12/06 22:26:28  arjen
    Set the value of log.processed to FALSE when inserting a
@@ -47,8 +57,9 @@
 
 *****************************/
 
-static const char *RCSID = "$Id: message.cpp,v 1.5 2002-12-20 17:42:34 arjen Exp $";
+static const char *RCSID = "$Id: message.cpp,v 1.8 2003-03-16 09:42:40 arjen Exp $";
 
+#include <algorithm>
 #include "message.h"
 
 extern bool verbose;   /*  Defined in the main application */
@@ -87,7 +98,7 @@ bool operator >> (message_buffer &b, String &s)
          b.buffer.push_back(l);
 
          //   next_line keeps pointing to the end.
+
          s = l;
          input_ok = true;
       }
@@ -118,6 +129,7 @@ static const String mail_date_re("[[:alpha:]]{3}, [ 123]?[0-9] [[:alpha:]]{3} [0
 static const String unix_date_re("[[:alpha:]]{3} [[:alpha:]]{3} [ 123][0-9] [0-9]{2}:[0-9]{2}:[0-9]{2} [0-9]{4}");
 
 static const regex re_syslog(syslog_date_re + " [[:alnum:]]+ [[:alpha:]]+.*:.+");
+static const regex re_syslog_irix(syslog_date_re + " [0-7][A-T]:[[:alnum:]]+ [[:alpha:]]+.*:.+");
 static const regex re_PGP("-----BEGIN PGP MESSAGE-----");
 static const regex re_dump("^ *DUMP: Date of this level");
 static const regex re_accesslog("(GET|POST) .+ HTTP");
@@ -203,6 +215,15 @@ double client_message::classify(String host, UTC arriv, String serv)
             std::cout << "Syslog detected.\n";
          }
       }
+      else if (line == re_syslog_irix)
+      {
+         certainty = 1.0;
+         classification = SYSLOG_IRIX;
+         if (verbose)
+         {
+            std::cout << "IRIX Syslog detected.\n";
+         }
+      }
       else if (line == re_PGP)
       {
          certainty = 1.0;
@@ -280,7 +301,7 @@ double client_message::classify(String host, UTC arriv, String serv)
 **  VARS CHANGED   :
 **  FUNCTIONS USED :
 **  SEE ALSO       :
-**  LAST MODIFIED  : Nov 29, 2002
+**  LAST MODIFIED  : Feb 19, 2003
 **=========================================================================
 */
 
@@ -288,6 +309,14 @@ int client_message::enter()
 {
    long   nr_lines = 0;
    String line;
+   String qry;
+
+   String change_notification("");
+   String create_notification("");
+   bool initial_entry = false;
+
+   std::list<String>  packages;
+
 
    /*  Double-check the classification of the message */
 
@@ -299,7 +328,7 @@ int client_message::enter()
    if (mail_header)
    {
       //  Skip the mail header.
+
       while (input >> line && line != "");
    }
 
@@ -318,6 +347,27 @@ int client_message::enter()
       std::cout << "Object id for " << hostname << " is " << objectid << "\n";
    }
 
+   if (classification == RPMLIST)
+   {
+
+      int n_packages;
+
+      /*   Read all packages, so we will know which ones are  */
+      /*   missing at the end.                                */
+
+      qry = "select name from parameter where objectid='";
+      qry += objectid + "' and class='package'";
+      n_packages = database.Query(qry);
+      initial_entry = n_packages == 0;
+
+      std::cout << n_packages << " packages in database.\n";
+      for (int t = 0; t < n_packages; t++)
+      {
+         packages.push_back(database.Field(t, "name"));
+      }
+      std::cout << "Package list built: " << packages.size() << ".\n";
+   }
+
    /*  Scan the input line by line, entring records into the database */
 
    String rest;   //  Rest of the line to be parsed
@@ -339,6 +389,9 @@ int client_message::enter()
       case SYSLOG:
             check = &re_syslog;
             break;
+      case SYSLOG_IRIX:
+            check = &re_syslog_irix;
+            break;
       case ACCESSLOG:
             check = &re_accesslog;
             break;
@@ -402,11 +455,78 @@ int client_message::enter()
 
                insertion += "'" + objectid + "',";
                insertion += "'" + rest(0,i) + "',";
-               insertion += "'" + log_date.format() + " " + log_time.format() + "',";
-               insertion += "'" + arrival.format() + "',";
+               insertion += "'" + log_date.format("%Y-%m-%d") + " " + log_time.format() + "',";
+               insertion += "'" + arrival.format("%Y-%m-%d %T") + "',";
                insertion += "'" + SQL_Escape(line) + "',FALSE";
                insertion += ")";
-            
+
+               if (testmode)
+               {
+                  std::cout << insertion << "\n";
+               }
+               else
+               {
+                  database.Query(insertion);
+               }
+
+               if (verbose)
+               {
+                  std::cout << "\n\n";
+               }
+
+               nr_lines++;
+            }
+            else
+            {
+               std::cerr << "   Hostname " << rest(0,i) << " does not match.\n";
+            }
+            break;
+
+         case SYSLOG_IRIX:
+            log_date = line;
+            log_time = line;
+            if (log_date.Year() < 0 || log_date.Year() > 2500)
+            {
+               //  The year is not in the log file. Assume the year of arrival,
+               //  unless this puts the log entry at a later date than the arrival date.
+               //  This happens e.g. when a log entry from December arrives in Januari.
+
+               log_date = date(log_date.Day(), log_date.Month(), date(arrival).Year());
+               if (log_date > date(arrival))
+               {
+                  log_date = date(log_date.Day(), log_date.Month(), date(arrival).Year() - 1);
+               }
+            }
+
+            if (verbose)
+            {
+               std::cout << "   Log timestamp  = " << log_date << " " << log_time << "\n";
+            }
+            rest = line << 19;
+            i = rest.index(' ');
+            if (rest(0,i) == hostname(0,i))
+            {
+               rest <<= i + 1;
+               if (verbose)
+               {
+                  std::cout << "   Hostname matches.\n";
+                  std::cout << "   rest = " << rest << "\n";
+               }
+               for (i = 0; isalpha(rest[i]) && i < ~rest; i++);
+               if (verbose)
+               {
+                  std::cout << "   Service name = " << rest(0,i) << "\n";
+               }
+
+               /*   Insert a new record into the log table   */
+
+               insertion += "'" + objectid + "',";
+               insertion += "'" + rest(0,i) + "',";
+               insertion += "'" + log_date.format("%Y-%m-%d") + " " + log_time.format() + "',";
+               insertion += "'" + arrival.format("%Y-%m-%d %T") + "',";
+               insertion += "'" + SQL_Escape(line) + "',FALSE";
+               insertion += ")";
+
                if (testmode)
                {
                   std::cout << insertion << "\n";
@@ -442,11 +562,11 @@ int client_message::enter()
             }
             insertion += "'" + objectid + "',";
             insertion += "'" + service + "',";
-            insertion += "'" + log_date.format() + " " + log_time.format() + "',";
-            insertion += "'" + arrival.format() + "',";
+            insertion += "'" + log_date.format("%Y-%m-%d") + " " + log_time.format() + "',";
+            insertion += "'" + arrival.format("%Y-%m-%d %T") + "',";
             insertion += "'" + SQL_Escape(line) + "',FALSE";
             insertion += ")";
-            
+
             if (testmode)
             {
                std::cout << insertion << "\n";
@@ -476,11 +596,11 @@ int client_message::enter()
             }
             insertion += "'" + objectid + "',";
             insertion += "'" + service + "',";
-            insertion += "'" + log_date.format() + " " + log_time.format() + "',";
-            insertion += "'" + arrival.format() + "',";
+            insertion += "'" + log_date.format("%Y-%m-%d") + " " + log_time.format() + "',";
+            insertion += "'" + arrival.format("%Y-%m-%d %T") + "',";
             insertion += "'" + SQL_Escape(line) + "',FALSE";
             insertion += ")";
-            
+
             if (testmode)
             {
                std::cout << insertion << "\n";
@@ -500,21 +620,42 @@ int client_message::enter()
 
          case RPMLIST:
             //  Scan a list of packages and versions from "rpm -a".
-           //  A similar listing can be created on IRIX 6.5 by using the
-           //  command "showprods -3 -n|awk '{printf "%s-%s\n",$2,$3}'|grep -v ^[-=] \
-           //            |grep -v Version-Description".
-           //
+            //  A similar listing can be created on IRIX 6.5 by using the
+            //  command "showprods -3 -n|awk '{printf "%s-%s\n",$2,$3}'|grep -v '^[-=]' \
+            //            |grep -v Version-Description".
+            //
             //  We have to separate the package name and the version.
             //  The separation is marked by a '-', followed by a digit.
+            //  However, there may be other sequences of '-'digit in the package name,
+            //  do we have to scan ahead until there is at most one such sequence
+            //  left in the version string. The '-'digit seqeunce inside the
+            //  version usually separates the version and the release number.
+
+            int  version_start, next_version_start;
+
             i = line.index('-');
-            while (!(line[i] == '-' && isdigit(line[i + 1])))
+            version_start = i;
+            next_version_start = i;
+
+            while (i < ~line - 1)
             {
+               while (i < ~line - 1 && !(line[i] == '-' && isdigit(line[i + 1])))
+               {
+                  i++;
+               }
+               if (i < ~line - 1)
+               {
+                  version_start = next_version_start;
+                  next_version_start = i;
+               }
                i++;
             }
-            String package(line(0,i));
-            String version(line(i+1, ~line));
+            
+            String package(line(0,version_start));
+            String version(line(version_start + 1, ~line));
             String paramid;
+            String remark;
+            String insert_h;
 
             if (verbose)
             {
@@ -524,12 +665,24 @@ int client_message::enter()
 
             //  Construct a qry to check the package's existance
 
-            String qry = "select paramid from parameter where objectid='";
+            qry = "select paramid from parameter where objectid='";
             qry += objectid + "' and class='package' and name='";
             qry += package + "'";
 
             if (database.Query(qry) == 1)
             {
+               std::list<String>::iterator  lp;
+
+               lp = find(packages.begin(), packages.end(), package);
+               if (lp != packages.end())
+               {
+                  packages.erase(lp);
+               }
+               else
+               {
+                  std::cerr <<  "Could NOT find " << package << " in list.\n";
+               }
+
                paramid = database.Field(0, "paramid");
                qry = "select value from property where paramid='";
                qry += paramid + "' and name='version'";
@@ -544,6 +697,36 @@ int client_message::enter()
                   {
                      std::cout << "  Parameter " << package << " has different version\n";
                   }
+                  insertion = "update property set value='";
+                  insertion += version + "' where paramid='";
+                  insertion += paramid + "' and name='version'";
+
+                  insert_h = "insert into history (paramid, modified, change_nature, changed_property, new_value)";
+                  insert_h += " values ('";
+                  insert_h += paramid + "', '" + arrival.format("%Y-%m-%d %T") + "', 'MODIFIED', 'version', '";
+                  insert_h += version + "')";
+
+                  database.Query(insertion);
+                  database.Query(insert_h);
+
+                  if (change_notification == "")
+                  {
+                     remark = "Gnucomo detected a different version for package parameter(s) ";
+                     change_notification = database.new_notification(objectid, "property modified", remark);
+                  }
+
+                  if (change_notification != "")
+                  {
+                     insertion = "insert into parameter_notification (notificationid, paramid) values ('";
+                     insertion += change_notification + "', '";
+                     insertion += paramid + "')";
+
+                     database.Query(insertion);
+                  }
+                  else
+                  {
+                     std::cerr << "gcm_input ERROR: Cannot create 'property modified' notification.\n";
+                  }
                }
                else
                {
@@ -555,7 +738,6 @@ int client_message::enter()
             }
             else
             {
-               String insert_h;
 
                if (verbose)
                {
@@ -585,7 +767,7 @@ int client_message::enter()
                insertion += version + "', 'STATIC')";
                insert_h = "insert into history (paramid, modified, change_nature, changed_property, new_value)";
                insert_h += " values ('";
-               insert_h += paramid + "', '" + arrival.format() + "', 'CREATED', 'version', '";
+               insert_h += paramid + "', '" + arrival.format("%Y-%m-%d %T") + "', 'CREATED', 'version', '";
                insert_h += version + "')";
 
                if (testmode)
@@ -596,6 +778,26 @@ int client_message::enter()
                {
                   database.Query(insertion);
                   database.Query(insert_h);
+                  if (!initial_entry)
+                  {
+                     if (create_notification == "")
+                     {
+                        remark = "Gnucomo detected new parameter(s) of class package";
+                        create_notification = database.new_notification(objectid, "parameter created", remark);
+                     }
+                     if (create_notification != "")
+                     {
+                        insertion = "insert into parameter_notification (notificationid, paramid) values ('";
+                        insertion += create_notification + "', '";
+                        insertion += paramid + "')";
+
+                        database.Query(insertion);
+                     }
+                     else
+                     {
+                        std::cerr << "gcm_input ERROR: Cannot create 'parameter created' notification.\n";
+                     }
+                  }
                }
             }
 
@@ -615,6 +817,73 @@ int client_message::enter()
       }
    }
 
+   if (classification == RPMLIST)
+   {
+      std::list<String>::iterator  lp;
+      String     remove_notification("");
+
+      /*
+       *     If there are any packages left in the list, they seem to have
+       *     disappeared from the system.
+       */
+
+      for (lp = packages.begin(); lp != packages.end(); lp++)
+      {
+         String paramid;
+         String remark;
+         String insert;
+
+         //  Construct a qry to check the package's existance
+
+         qry = "select paramid from parameter where objectid='";
+         qry += objectid + "' and class='package' and name='";
+         qry += *lp + "'";
+
+         if (database.Query(qry) == 1)
+         {
+            paramid = database.Field(0, "paramid");
+            qry ="select change_nature from history where paramid='";
+            qry += paramid + "' order by modified desc";
+            if (database.Query(qry) <= 0)
+            {
+               std::cerr << "Database ERROR: no history record for parameter " << *lp << ".\n";
+            }
+            else if (database.Field(0, "change_nature") != "REMOVED")
+            {
+               if (verbose)
+               {
+                 std::cout << "Removing parameter " << *lp << ".\n";
+               }
+
+               insert = "insert into history (paramid, modified, change_nature)";
+               insert += " values ('";
+               insert += paramid + "', '" + arrival.format("%Y-%m-%d %T") + "', 'REMOVED')";
+
+               database.Query(insert);
+
+               if (remove_notification == "")
+               {
+                  remark = "Gnucomo detected that package(s) have disappeared ";
+                  remove_notification = database.new_notification(objectid, "parameter removed", remark);
+               }
+
+               if (remove_notification != "")
+               {
+                  insert = "insert into parameter_notification (notificationid, paramid) values ('";
+                  insert += remove_notification + "', '";
+                  insert += paramid + "')";
+
+                  database.Query(insert);
+               }
+               else
+               {
+                  std::cerr << "gcm_input ERROR: Cannot create 'parameter removed' notification.\n";
+               }
+            }
+         }
+      }
+   }
+
    if (verbose)
    {
       std::cout << nr_lines << " lines parsed from the log file.\n";