Article publié le 7 Septembre 2018

Un petit tutoriel sur la manière la plus facile de mettre en place une réplication Master/Slave d’une instance PostgreSQL. Une réplication Master/Slave est extrêmement utile. Elle vous permettra d’avoir un failover et donc une continuité de service en cas de perte de votre master mais également de répartir la charge en redirigeant toute les requête read-only (select) sur votre slave.

Dans ce tutoriel, deux instances PostgreSQL seront installées sur deux machines distinctes.

 La version utilisée lors de la rédaction de ce tutoriel est la version 10.  Si vous utilisez une version différente de postgresql, ce tutoriel sera toujours valable, seul le chemin du répertoire d’installation de postgresql et certaines commandes changeront légèrement.

1)  Configuration du Master

– Éditez votre fichier postgresql.conf (sa localisation diffère en fonction de la distribution et de la version de PostgreSQL installé) et faites les modifications suivantes:

listen_addresses = ‘*’

wal_level = hot_standby

max_wal_senders = <nombre de noeuds dans votre cluster>    # Logiquement 2 dans notre cas master/slave

synchronous_standby_names = ‘<hostname du master>’

wal_keep_segments = 100

– Créez un user dédié à la réplication via cette requête SQL:

create user replica replication;

– Éditez le fichier pg_hba.conf et rajoutez la ligne suivante (permettant ainsi la connexion de votre slave sur votre master):

host     replication     replica     <ip de votre slave>   trust

– Redémarrez enfin votre service PostgreSQL

2) Configuration du Slave

– Arrêtez votre instance PostgreSQL.

– Supprimez tout le contenu du répertoire data situé dans le répertoire d’installation de votre instance PostgreSQL

– Lancez la commande suivante afin d’établir le lien avec votre master:

pg_basebackup -D <pgsql_path>/data -h <ip ou fqdn du master> -U replica

– Éditez ou créez si il n’existe pas déja le fichier recovery.conf situé dans le répertoire data et ajoutez y les lignes suivantes:

standby_mode=on

trigger_file=’/tmp/promotedb’

primary_conninfo=’host=<ip ou fqdn du master> port=5432 user=replica application_name='<valeur de synchronous_standby_name indiqué dans le postgresql.conf du master>’

– Changez le owner du répertoire data (suite à sa précédente suppression celui ci a été recréé avec le user root):

chown -R postgres:postgres <pgsql_path>/data

 hot_standby=on

Afin de rédiger ce tuto j’ai utilisé 2 machines: vdahmane5 comme master et vdahmane6 comme slave.

Pour tester, j’ai créé une nouvelle base de données sur le master:

Je me connecte ensuite sur le slave et vérifie que la création de la base « testreplica » a bien faite:

La réplication fonctionne!

 Attention toutefois, si jamais des données sont directement insérées dans le slave, votre réplication sera par terre. Il vous faudra la reconstuire.

Article publiée le 27 Décembre 2016

Je continue dans ma lancée des tutoriels concernant l’installation et la configuration de base de données multi instance (cf: tuto sur l’installation d’une base Mysql multi instance: http://journaldunadminlinux.fr/tuto-installation-dune-mysql-multi-instance/).

Si vous ne connaissez rien du tout sur postgresql je vous suggère d’aller faire un tour sur le tuto d’installation de postgres: http://journaldunadminlinux.fr/tuto-installation-dune-mysql-multi-instance/

Ci-dessous la procédure pour configurer un serveur postgresql en multi instance

• Procédez à l’installation de PostgreSQL via la commande apt-get install postgresql postgresql-common postgresql-contrib
• Faites, une sauvegarde du fichier de configuration /etc/postgresql/9.4/main/postgresql.conf
• Copier la configuration ci-dessous dans votre fichier postgresql.conf:

data_directory = '/var/lib/postgresql/9.4/main'

hba_file = '/etc/postgresql/9.4/main/pg_hba.conf'

ident_file = '/etc/postgresql/9.4/main/pg_ident.conf'

external_pid_file = '/var/run/postgresql/9.4-main.pid'

listen_addresses = 'localhost'

port = 5432

max_connections = 100

unix_socket_directories = '/var/run/postgresql'

ssl = true

shared_buffers = 1024MB

work_mem = 16MB

maintenance_work_mem = 1024MB

checkpoint_segments = 64

checkpoint_completion_target = 0.9

effective_cache_size = 1024MB

log_min_duration_statement = 500

log_line_prefix = '%m %d '

datestyle = 'iso, mdy'

lc_messages = 'en_US.UTF-8'

lc_monetary = 'en_US.UTF-8'

lc_numeric = 'en_US.UTF-8'

lc_time = 'en_US.UTF-8'

default_text_search_config = 'pg_catalog.english'

ssl_cert_file = '/etc/ssl/certs/ssl-cert-snakeoil.pem'

ssl_key_file = '/etc/ssl/private/ssl-cert-snakeoil.key'

• Créez les dossiers de stockage  avec les bons droits:

• Créez la nouvelle instance

su - postgres /usr/lib/postgresql/9.4/bin/initdb -D /srv//pg cp /etc/postgresql/9.4/main/*conf /etc/postgresql/9.4/<instance name>

• Éditez et modifier le fichier /etc/postgresql/9.4/<instance name>/postgresql.conf avec les bonnes informations

• Redémarrez PostgreSQL

Quelques commandes pour aider (version « 9.4 »  adapter bien évidemment):

Lister les Clusters :   pg_lsclusters

Arrêter une instance: pg_ctlcluster 9.4 <instance name> stop

Démarrer une instance: pg_ctlcluster 9.4 instance1 start

Article publiée le 27 Décembre 2016

PostgreSQL est pour moi la meilleure alternative à Oracle. Elle allie performance, fiabilité et simplicité d’administration. Ayant eu pas mal de galère avec MySQL que je trouve plus « fragile » j’ai vite été séduis par la robustesse de PostGRESQL.

1) Installation

Debian/Ubuntu

apt-get install postgresql-*

RedHat/Centos

La version de postgresql contenu dans les dépôts de ces distributions sont un peu veilles. Je vous suggère d’ajouter les dépots yum officiel:

CentOS/RHEL 7 # rpm -Uvh http://yum.postgresql.org/9.4/redhat/rhel-7-x86_64/pgdg-centos94-9.4-1.noarch.rpm CentOS/RHEL 6 # rpm -Uvh http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1.noarch.rpm CentOS/RHEL 5 # rpm -Uvh http://yum.postgresql.org/9.4/redhat/rhel-5-x86_64/pgdg-redhat94-9.4-1.noarch.rpm

9.4 correspond à la version de postgreSQL, rien ne vous empêche d’installer une version supérieur/inférieur en modifiant le lien.

Ensuite procédez à l’installation (encore une fois le numéro de la version est à adapter)

yum install postgresql94-server postgresql94

Initialisez l’instance postgresql:

/usr/pgsql-9.4/bin/postgresql94-setup initdb

2) Configuration

• Emplacement des fichiers de configuration sous RedHat/Centos: /var/lib/pgsql/9.4/data/postgresql.conf
• Emplacement des fichiers de configuration sous Debian/Ubuntu: /etc/postgresql/9.4/main/

Modifiez le fichier de configuration postgresql.conf avec la configuration suivante:

data_directory = ‘/var/lib/postgresql/9.4/main’
hba_file = ‘/etc/postgresql/9.4/main/pg_hba.conf’
ident_file = ‘/etc/postgresql/9.4/main/pg_ident.conf’
external_pid_file = ‘/var/run/postgresql/9.4-main.pid’

listen_addresses = ‘*’
port = 5432
max_connections = 200
unix_socket_directories = ‘/var/run/postgresql’
ssl = true

shared_buffers = 512MB
work_mem = 16MB
maintenance_work_mem = 2048MB

checkpoint_segments = 64
checkpoint_completion_target = 0.9

effective_cache_size = 1024MB

log_min_duration_statement = 500
log_line_prefix = ‘%m %d ‘

datestyle = ‘iso, mdy’
#lc_messages = ‘en_US.UTF-8’
#lc_monetary = ‘en_US.UTF-8’
#lc_numeric = ‘en_US.UTF-8’
#lc_time = ‘en_US.UTF-8’

lc_messages = ‘fr_FR.UTF-8’
lc_monetary = ‘fr_FR.UTF-8’
lc_numeric = ‘fr_FR.UTF-8’
lc_time = ‘fr_FR.UTF-8’
default_text_search_config = ‘pg_catalog.english’

ssl_cert_file = ‘/etc/ssl/certs/ssl-cert-snakeoil.pem’
ssl_key_file = ‘/etc/ssl/private/ssl-cert-snakeoil.key’

Modifiez le fichier pg_hba.conf afin d’autoriser la connexion d’un client extérieur à votre base (à adapter selon la configuration de votre réseau):

# DO NOT DISABLE!
# If you change this first entry you will need to make sure that the
# database superuser can access the database using some other method.
# Noninteractive access to all databases is required during automatic
# maintenance (custom daily cronjobs, replication, and similar tasks).
#
# Database administrative login by Unix domain socket
local all postgres peer

# TYPE DATABASE USER ADDRESS METHOD

# « local » is for Unix domain socket connections only
local all all peer
# IPv4 local connections:
host all all 127.0.0.1/32 md5
host all all 192.1.1.137/24 md5
host all all 192.168.0.0/24 md5

Enfin redémarrez postgresql afin de charger la conf.

3) Connexion

Pour vous connecter à votre instance postgreSQL vous avez le choix entre deux méthodes:

• En ligne de commande:

[user@dbserver ~]$ psqlsu – postgres

[postgres@dbserver ~]$ psql

 

Vous serez ainsi connecter au client en ligne de commande Postgresql. Afin d’avoir un apercu des commandes tapez \h.

Pour plus d’info n’hésitez pas à consulter la documentation officiel : http://docs.postgresql.fr/

• Via une interface graphique

Il est également possible d’utiliser une interface graphique afin d’administrer votre instance postgreSQL.

Cette interface graphique du nom de PGADMIN est disponible en libre téléchargement: https://www.pgadmin.org/

Autre tutoriel sur postgresql:

Tuto | Installation d’un serveur PostgreSQL multi-instances

Tutoriel | Configurer la réplication master/slave d’une instance PostgreSQL

Article publiée le 26 Décembre 2016

Un petit tutoriel sur l’installation d’une base de données MySQL multi instance. Ce type d’installation vous sera particulièrement utile si votre serveur héberge plusieurs instances applicative. En effet admettons que vous hébergiez plusieurs instances applicatives, au lieu de créer une base de données par application, vous pourrez créer une instance MySQL dédié par application. L’avantage est que vous pourrez effectuer un tunning précis de votre base de données par application.

•  Procédez à l’installation de mysql via la commande apt-get install mysql-server

•  Faites une sauvegarde du fichier de configuration original /etc/mysql/my.cnf et modifier le de la manière suivante (le fichier de configuration est bien sur à adapter. Dans cette exemple j’ai décidé de créer trois instances MySQL):

[client]

port            = 3306

socket          = /var/run/mysqld/mysqld.sock

[mysqld_safe]

socket          = /var/run/mysqld/mysqld.sock

nice            = 0

[mysqld]

#user           = mysql

[mysqldump]

quick

quote-names

max_allowed_packet      = 16M

[mysql]

#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]

key_buffer              = 16M

!includedir /etc/mysql/conf.d/

[mysqld1]

user            = mysql1

pid-file        = /var/run/mysqld1/mysqld.pid

socket          = /var/run/mysqld1/mysqld.sock

port            = 33061

basedir         = /usr

datadir         = /var/lib/mysql1

tmpdir          = /tmp

lc-messages-dir = /usr/share/mysql

skip-external-locking

bind-address            = 127.0.0.1

general_log_file        = /var/log/mysql1/mysql.log

general_log             = 1

key_buffer              = 16M

max_allowed_packet      = 16M

thread_stack            = 192K

thread_cache_size       = 8

myisam-recover          = BACKUP

query_cache_limit       = 1M

query_cache_size        = 16M

expire_logs_days        = 10

max_binlog_size         = 100M

[mysqld2]

user            = mysql2

pid-file        = /var/run/mysqld2/mysqld.pid

socket          = /var/run/mysqld2/mysqld.sock

port            = 33062

basedir         = /usr

datadir         = /var/lib/mysql2

tmpdir          = /tmp

lc-messages-dir = /usr/share/mysql

skip-external-locking

bind-address            = 127.0.0.1

general_log_file        = /var/log/mysql2/mysql.log

key_buffer              = 16M

max_allowed_packet      = 16M

thread_stack            = 192K

thread_cache_size       = 8

myisam-recover          = BACKUP

query_cache_limit       = 1M

query_cache_size        = 16M

log_error               = /var/log/mysql2/error.log

expire_logs_days        = 10

max_binlog_size         = 100M

[mysqld3]

user            = mysql3

pid-file        = /var/run/mysqld3/mysqld.pid

socket          = /var/run/mysqld3/mysqld.sock

port            = 33063

basedir         = /usr

datadir         = /var/lib/mysql3

tmpdir          = /tmp

lc-messages-dir = /usr/share/mysql

skip-external-locking

bind-address            = 127.0.0.1

general_log_file        = /var/log/mysql3/mysql.log

general_log             = 1

key_buffer              = 16M

max_allowed_packet      = 16M

thread_stack            = 192K

thread_cache_size       = 8

myisam-recover          = BACKUP

query_cache_limit       = 1M

query_cache_size        = 16M

log_error               = /var/log/mysql3/error.log

expire_logs_days        = 10

max_binlog_size         = 100M

Article publiée le 13 Mars 2016

Ce tutoriel vous expliquera comment installer Oracle 12c et créer une instance Oracle.

Oracle ne supporte son produit que pour les distributions de la famille RedHat (Centos, Oracle Linux Server) c’est pourquoi mon tutoriel ne sera pas adapté pour les distributions de la famille Debian (Ubuntu Server etc…)

Ce tutoriel a été testé via une RedHat 7 mais peut être utilisé sur une version antérieure de RedHat ou de CentOS

Si vous vous connectez sur votre machine depuis un poste Windows via Putty, la configuration d’un X11 Forwarding (Export Display) est nécessaire.

Un tutoriel sur le sujet est disponible ici: http://journaldunadminlinux.fr/activer-x11-forwarding-pour-ssh/

SELinux doit également être désactivé: http://journaldunadminlinux.fr/activer-ou-desactiver-selinux/

Désactivez le firewall : service iptables stop

1) Prérequis

Les sources d’Oracle sont disponibles sur le site officiel. Il vous suffit de vous créer un compte afin de télécharger les sources:

Créez le user oracle:

useradd oracle

Créez les groupes oracles:

groupadd  oinstall

groupadd  dba

groupadd  oper

Affectez votre user oracle aux groupe créés ci-dessous:

usermod -a -G oinstall oracle && usermod -a -G dba oracle && usermod -a -G oper oracle

Créez un mot de passe pour votre user oracle

passwd oracle

Donnez les bon droits au répertoire cible oracle:

chown -R oracle:oinstall <repertoire> && chmod -R 775  <repertoire>

2) Installation

Loguez vous avec votre user oracle (sans oublier le X11 Forwarding)

Décompressez les deux archives zip:

unzip -e linuxamd64_12102_database_1of2.zip && unzip -e linuxamd64_12102_database_2of2.zip

La décompression a créé le répertoire database, placez vous sur ce répertoire et exécutez le fichier « runInstaller »:

./runInstaller

– La fenêtre suivante apparaîtra:

Renseignez, si vous le désirez, votre adresse mail sinon décochez « Je souhaite recevoir les mises à jour de sécurité via My Oracle Support et cliquez sur le bouton « Suivant ».

– Cliquez sur « Créer et configurer une base de données » puis cliquez sur le bouton « Suivant »

– Cochez « Classe serveur » puis cliquez sur le bouton « Suivant »

– Cochez « Installation d’une base de données mono-instance » puis cliquez sur le bouton « Suivant »:

– Sélectionnez « Installation standard » puis cliquez sur le bouton « Suivant »:

– Spécifiez les répertoires d’installations ainsi que le mot de passe d’administration et cliquez sur le bouton « Suivant »:

– Indiquez le répertoire d’inventaire puis cliquez sur le bouton « Suivant »:

L’assistant d’installation va vérifier que tous les prérequis sont comblés.

Vous allez voir que beaucoup de ces prérequis manquent!

– Cliquez sur le bouton « Corriger et vérifier une nouvelle fois »:

– Une fenêtre d’avertissement va alors apparaître vous demandant d’exécuter un script en root.

Ce script va faire le paramétrage kernel approprié pour vous!

Une fois le script exécuté sur votre machine cliquez sur le bouton « OK »

– La fenêtre de départ va réapparaître vous affichant l’état d’exécution du script. Cliquez sur l’onglet « Résultat de la vérification » pour installer les paquets manquants.

Installez via yum les paquets indiqués:

Pour vous aider 😉 : yum install compat-libcap1* libstdc++-devel* gcc-c++ ksh libaio-devel*

Cliquez sur « Vérifiez à nouveau ». Normalement, la liste des prérequis manquants sera vide. Vous pouvez alors cliquez sur le bouton « Suivant ».

Si un prérequis vous gêne et que vous désirez continuer l’installation sans le combler cochez « Ignorer tout » et cliquez sur le bouton « Suivant ».

– Vérifiez les paramètres d’installation et cliquez sur le bouton « Installer »

– L’installation d’Oracle démarre (c’est le moment d’aller prendre votre café ;-)):

– Vers la fin de l’installation une fenêtre vous demandant d’exécuter deux scripts va apparaître.

Exécutez les puis cliquez sur le bouton « OK »

-Durant l’installation, Oracle va paramétrer pour vous l’instance par défaut:

– Il ne vous reste plus qu’à attendre la fin de l’installation

– Nous allons ensuite  paramétrer les variables d’environnements via le .bashrc. Rajoutez les lignes suivantes dans votre fichier .bashrc (à la racine du répertoire home de votre user dans notre cas /home/oracle/bashrc)!

ORACLE_BASE=/oracle
ORACLE_HOME=$ORACLE_BASE/product/12.1.0/dbhome_1
ORACLE_SID=orcl
export ORACLE_SID
PATH=$ORACLE_HOME/bin:$PATH
export PATH
export ORACLE_BASE ORACLE_HOME ORACLE_SID
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib
export LD_LIBRARY_PATH

Bien entendu, il faut que vous l’adaptiez en fonction du répertoire d’installation que vous avez choisi durant l’installation.

3) Managez votre instance Oracle

– Se connecter à votre instance:

sqlplus /nolog

connect system

– Stopper votre instance:

sqlplus /nolog

connect sys as sysdba

shutdown immediate

– Démarrez votre instance:

sqlplus /nolog

connect sys as sysdba

startup

4) Créer une nouvelle base de données

– Paramétrez votre export display (X11 Forwarding).

– Lancer l’assistant de création de base de données : cd $ORACLE_HOME/bin/dbca

Quand la fenêtre ci-dessous apparaîtra, cochez « Créer une base de données » puis cliquez sur le bouton « Suivant »:

Renseignez les champs « Nom global de base de données » ainsi que les champs concernant le mot de passe d’administration puis cliquez sur le bouton « Suivant »:

– Faites un check de la page récapitulative puis cliquez sur le bouton « Fin »:

L’assistant va créer pour vous votre nouvelle base de données

Une fois terminée la fenêtre suivante apparaît:

Cliquez sur le bouton « Fermer »

Une fois que votre base sera créée, n’oubliez pas de changer la variable $ORACLE_SID avant de tenter de vous y connecter avec le client sqlplus.

Votre base est désormais opérationnelle!

Article publiée le 21 Février 2016

Ce tutoriel vous expliquera la marche à suivre complète pour installer le système de base de donnée  IBM DB2 V10.5.

IBM ne supporte DB2 que pour RedHat c’est pourquoi ce tutoriel ne sera adapté que pour les distributions RedHat/Centos.

1) Installation

Connectez-vous sur votre machine en paramétrant correctement votre EXPORT DISPLAY  car l’installation de DB2 se fait via une interface graphique.

(tuto X11 Forwarding dispo ici: http://journaldunadminlinux.fr/activer-x11-forwarding-pour-ssh/).

Après avoir téléchargé les sources de DB2 V10.5 sur le site d’IBM, décompressez l’archive avec la commande tar -xvf <le nom de votre archive>.

Normalement vous devriez avoir le contenu suivant :

Dans un premier temps, nous allons exécuter le script db2prereqcheck afin de vérifier que les prérequis soient comblés avant de lancer l’installation:

./db2prereqcheck

Erreurs possibles qui peuvent être remontées par le script db2prereqcheck:

Désactivation de SElinux: il est nécessaire de désactiver SElinux pour installer DB2.
Un tuto est disponible ici :http://journaldunadminlinux.fr/activer-ou-desactiver-selinux/

Erreur avec OpenIB: yum install rdma*

Erreur avec PAM: yum install pam*

Une fois les prérequis remplis, il ne reste plus qu’à lancer l’installation en exécutant le fichier db2setup:
./db2setup

Cliquez sur « Installation d’un produit » et sélectionnez la version de DB2 que vous désirez en cliquant sur le bouton « installez une nouvelle version ».

Cliquez sur suivant:

Acceptez les conditions et cliquez sur suivant:

Sélectionnez l’installation standard et cliquez sur suivant:

Cliquez sur suivant:

Sélectionnez votre répertoire d’installation et cliquez sur suivant:

Indiquez le mot de passe du user que l’install de DB2 va créez et cliquez sur suivant:

Cochez « créez une instance dB2 » et cliquez sur suivant:

Cochez « instance Monopartition » et cliquez sur suivant:

Indiquez le mot de passe pour le user db2inst1 et cliquez sur suivant:

Même chose pour db2fenc1:

Ce paramétrage est facultatif mais utile, je vous conseille de renseigner un serveur SMTP afin de recevoir les notifications de DB2 (l’état de santé de DB2, etc…):

Faites un check du récapitulatif et lancez l’installation en cliquant sur terminer:

L’installation se lance :

Une fois l’installation terminée la fenêtre suivante apparaitra:

2) Administration en ligne de commande

Pour administrer DB2 connectez vous avec le user db2inst1:

su – db2inst1

Ci-dessous tout les binaires d’administration de DB2.

Ci-dessous une liste des commandes DB2  basiques et leurs fonctions:

db2: Lance un client DB2 en ligne de commande:

db2stop: arrêt de l’instance DB2

db2start : démarre l’instance DB2

db2licm -l : affiche la licence DB2

db2 get dbm cfg: Affiche les informations de configurations:

db2mtrk -i -d -v -r 10: Affiche les informations mémoires.

db2 list db directory: Affiche les bases disponibles

db2ls: Affiche la version de DB2

Vous pouvez trouver l’intégralité des commandes DB2 et leurs fonctions sur le site d’IBM.

Vous avez maintenant une base de donnée IBM DB2 installée. Il ne vous reste plus qu’à installer votre client préféré pour commencer à créer vos bases et à les administrer (client officiel DB2, TOAD etc…).