Integrare PostgreSQL con Logstash per il monitoraggio real-time
Abstract
Logstash è uno strumento molto usato che permette il monitoraggio in tempo reale dei log di una infrastruttura distribuita, usando ElasticSearch e Kibana. In un tale contesto è molto importante che, un componente cruciale come PostgreSQL, possa integrarsi facilitante in questa architettura.
In uno scenario semplicistico, le normali righe di log di PostgreSQL possono essere processate da Logstash attraverso la sua notevole capacità di analizzare file di testo.
Tuttavia, attraverso l’estensione ‘redislog’, PostgreSQL è in grado di consegnare a Logstash i propri log direttamente in formato JSON. Il server Redis infatti agisce tipicamente da “broker” per la consegna di eventi a Logstash. Una volta estratte da Redis, le righe di log vengono immediatamente inserite in ElasticSearch come oggetti JSON e resi disponibili all’utente attraverso l’interfaccia web di Kibana.
In questa presentazione si esploreranno anche alcune possibili evoluzioni future di questo approccio, includendo, per esempio, una implementazione generica basata su AMPQ.
Redislog: https://github.com/2ndquadrant-it/redislog
Relatori
Gabriele Bartolini (2ndQuadrant)
Gabriele è Principal Consultant per 2ndQuadrant. Programmatore open source di lunga data, Gabriele ha scritto applicazioni in C e C++ per ambiente Linux/Unix per oltre 10 anni, specializzandosi in motori di ricerca e Web Analitycs.
Gabriele è laureato in Statistica. La sua esperienza verte su data mining e data warehouse. È responsabile del team italiano di 2ndQuadrant e un membro attivissimo della comunità internazionale di PostgreSQL. È co-fondatore delle associazioni Italian PostgreSQL Users Group e PostgreSQL Europe.
Fra gli hobby di Gabriele troviamo il calcio e suonare la sua chitarra Fender Stratocaster.
Marco Nenciarini (2ndQuadrant)
Marco ha lavorato come amministratore di sistema per più di 15 anni. È sviluppatore Debian dal 2001 e co-fondatore di Italian PostgreSQL User Group (ITPUG) e di Prato Linux User Group (PLUG). Si occupa di tutto ciò che riguarda la gestione e la progettazione di database PostgreSQL e lo sviluppo di estensioni e strumenti di amministrazione. È lo sviluppatore principale del progetto Barman.
Tra le sue competenze vi sono l’amministrazione di sistemi GNU / Linux e, in particolare, virtualizzazione, sistemi di posta elettronica, crittografia e sicurezza.
Come gli altri membri della squadra 2ndQuadrant, Marco lavora con molta passione e dedizione. Vive a Prato con la moglie e i figli. Ama il Tai Chi che pratica da due anni.