Déploiement de Oracle Real Application Cluster (RAC) sur Cisco UCS et EMC CLARiiON

Déploiement de Oracle Real Application Cluster (RAC) sur
Cisco UCS et EMC CLARiiON

Introduction
Cet article présente une configuration certifiée d’Oracle Real Application Cluster
(RAC) sur une infrastructure composée d’un Unified Computing System (UCS) de
Cisco et d’un système de stockage EMC CLARiiON. La configuration matérielle du
système, les aspects innovants de l’architecture ainsi que le résultat de différents
tests sont les sujets abordés dans cet article.

L’UCS de Cisco fournit toute l’infrastructure nécessaire au déploiement du cluster
Oracle RAC: les serveurs, le réseau, la virtualisation et l’accès au stockage. Toute
cette infrastructure a également la particularité d’être gérée au sein d’une entité de
management unique, ce qui fait de l’UCS une fondation idéale pour les déploiements
d’Oracle RAC.

Oracle RAC
Oracle RAC est un système de gestion de bases de données relationnelles
(SGBDR). La particularité de l’option RAC d’Oracle Enterprise est d’accroitre la haute
disponibilité et l’extensibilité de la base de données. Cela permet aux entreprises
d’apporter une réponse à l’augmentation rapide et continue du volume de données
ainsi qu’aux exigences de haute performance.

Oracle RAC se base sur le concept de cluster et utilise donc une approche de
déploiement horizontale (scale-out) qui permet d’augmenter la puissance de calcul
totale du cluster en augmentant le nombre de serveurs. Cette approche est
particulièrement intéressante avec des serveurs de type x86 qui permettent de
fournir de très bonnes performances à un coût relativement bas. L’architecture du
système UCS offre une évolutivité importante et permet ainsi de simplifier
l’implémentation d’une application en cluster telle qu’Oracle RAC.

Dans cette configuration certifiée, les versions d’Oracle implémentées sont Oracle
Database 10g Release 2 et Oracle Database 11g Release 1 avec la technologie Real
Application Clusters (RAC).

Description de la configuration certifiée physique de l’UCS
Le système UCS utilisé pour la configuration certifiée est constitué de deux châssis UCS
5108 avec 4 lames UCS B200 M1 dans chacun des châssis. Chacun de ces 8 serveurs
est équipé de deux processeurs Intel Xeon 5500 quad-cœurs à 2.93GHz et de 24GB de
mémoire. Cette configuration à 8 nœuds est présentée dans la Error! Reference
source not found.

                         Figure 1: Schéma de la configuration certifiée

C’est une configuration minimale qui peut être étendue en interne (en rajoutant des
serveurs dans les deux châssis existants) et horizontalement (en rajoutant des châssis
UCS) en terme de mémoire, CPU et stockage.

Deux UCS 6120XP sont utilisés pour interconnecter le système avec le LAN et le SAN.
Ces « Fabric Interconnects » sont des switches 20-Ports avec des caractéristiques
« lossless », une très faible latence et une connectivité unifiée 10Gb DCB/FCoE sur
l’ensemble du cluster. Un module 8-ports 4Gb Fibre Channel est intégré dans chacun
des Fabric Interconnects pour offrir un accès Fibre Channel natif vers le système de

stockage EMC CLARiiON (à travers le switch SAN MDS9124). Ces deux Fabrics
Interconnects permettent non-seulement d’avoir une isolation physique entre les
réseaux publics et privés dans le cluster (avec l’utilisation de Private VLANs), mais aussi
de gérer les deux types de réseaux dans le cas improbable d’une panne.

Deux UCS 2104XP Fabric Extender sont intégrés dans chacun des châssis pour
amener la connectivité réseau aux serveurs. Chacun de ces Fabric Extenders utilise
deux des quatre uplinks 10Gb disponibles pour s’interconnecter avec les Fabric
Interconnects.

Les serveurs blades sont équipés de cartes Converged Network Adapter (CNA) de type
UCS M71KR-Q. Ces derniers offrent une connectivité 10Gb vers chacun des Fabric
Extenders présents dans un châssis. La carte CNA permet d’interconnecter les serveurs
lames avec les environnements Ethernet et Fibre Channel. La configuration matérielle
certifiée de l’UCS est décrite dans la Figure 2: Liste des composants pour la configuration du
système UCS

                 Figure 2: Liste des composants pour la configuration du système UCS

Description de la configuration physique de l’EMC CLARiiON
La configuration de l’EMC CLARiiON CX4-960 suit les « best practices » et les
recommandations d’EMC sur la distribution des LUNs dans la base de données ainsi
que sur la répartition de l’espace de stockage sur les disques du CX4:
105 disques Fibre Channel
15 disques Enterprise Flash Disks (EFDs)

Les groupes RAID utilisés dans les tests de la base de données sont présentés dans la
Figure 3: Groupes RAID utilisés dans les tests de base de donnée La configuration des
LUNs est décrite sur la Figure 4: Configuration des LUNs. Il est important de répartir les
LUNs sur les storage processors (SP) de manière équitable pour gérer au mieux la
performance et la redondance. L’UCS va créer un LUN par RAID group pour les disques
Fibre Channel et quatre LUNs par groupe RAID pour sur les disques flash.

Figure 3: Groupes RAID utilisés dans les tests de base de donnée

                  Figure 4: Configuration des LUNs

Description des étapes de la configuration
Voici un résumé des étapes à suivre pour obtenir un système fonctionnel dont la
configuration physique a été décrite dans les paragraphes précédents:
Câblage physique de l’infrastructure, tel que décrit dans la Figure 1: Schéma de la
configuration certifiée.
Configuration des services profiles sur UCS
Configuration du zoning sur le SAN
Configuration du stockage
Installation de l’environnement RedHat et application des patches
Installation Oracle ClusterWare et de la base de données
Test de la configuration

L’étape 2 est une phase importante de la configuration logicielle de UCS. Celle-ci est
simplifiée grâce à certaines fonctionnalités clés de UCS tels que le service profile ou le
service profile template.

Avec UCS l’ensemble des paramètres d’un serveur-lame ne sont plus lié au hardware
mais configurables au niveau de l’UCS Manager en un service profile qui sera associé
ensuite à une lame sans ‘personnalité’ hardware prédéfinie. Ce profile définit en fait un
serveur logique dissocié du matériel. Il représente le serveur et l’identifie complètement
sans qu’il soit nécessaire de connaitre précisément la lame du système auquel il est
attaché. Le service profile complet comporte les éléments suivants:
Le nom du profile et un UUID défini ou à sélectionner dans un pool disponible au niveau
du système UCS.
Le « storage profile » avec entre autre le VSAN et bien-sûr les WWPN et WWN des
vHBAs configurés directement ou à travers des pools d’adresses.
Le « network profile » avec les paramètres réseaux des vNICs (VLANs, failover …) et
les adresses MAC configurées directement ou sélectionnées dans un pool d’adresses.
Le « boot policy » définissant l’ordre du boot et éventuellement la configuration
nécessaire au SAN boot.
Le mode d’assignement de ce profile qui peut être directement dédié à une lame
spécifique (par exemple la lame 4 du châssis 2) ou sélectionner dans un pool de lames
ayant des caractéristiques identiques.
Des « policies » qui permettent d’accéder au management de la lame extérieurement à
l’UCS Manager en s’appuyant sur des interfaces standardisées telles qu’IPMI.

Dans le cas de Oracle RAC, un seul type de service profile est nécessaire pour chacun
des huit serveurs, c’est pourquoi un service profile template est utilisé. Le template
permet de préparer des profiles et de les associer à un ensemble de serveurs dès que
ceux-ci sont disponibles. Une fois le template créé, il est très facile d’en dériver des
services profiles qui sont directement appliqués sur les serveurs qui composent
l’architecture.

Cette méthode de configuration des serveurs joue énormément sur la simplicité, la
souplesse et la rapidité de l’installation initiale ou de l’ajout de nouveaux châssis.

Les détails de la configuration de l’UCS et du système de stockage CLARiiON peuvent
être retrouvés dans l’article original :
http://www.cisco.com/en/US/prod/collateral/ps10265/ps10280/white_paper_c11-
562881_ps9670_Products_White_Paper.html

Test de performance
Pour évaluer la performance du cluster, ce dernier a été soumis pendant 24 heures à un
mélange réaliste de deux types de charges: Online Transaction Processing (OLTP) avec
des données transactionnelles et Decision Support System (DSS) avec des données
historiques de décision. Ce type de charge est nettement supérieur à la charge typique
observée sur des déploiements de bases de données Oracle.

La charge OLTP contient beaucoup d’opérations de type update ou insert sur des
données aléatoires, tandis que la charge DSS porte plutôt sur des données
séquentielles et engendre des requêtes read parallèles sur des tables de grande taille.

Remarque : Il est important de noter que les résultats suivants sont des tests et non pas
des benchmarks. Les chiffres montrés ci-après ne doivent pas être utilisés à titre de
comparaison car aucun paramétrage précis n’a été fait. Le but de l’exercice a été
d’observer l’architecture UCS sous une charge importante pendant une longue période
de temps.

Les résultats suivantes ont été observées :
L’utilisation du CPU était très consistante : autour de 40% sur chacun des huit serveurs
Aucune saturation dans chaque sous-système : CPU, disque et réseau
     I/O FCoE entre 1.8 et 2.0GB par seconde, qui peut être re-divisé en 1.4GB d’I/O
        Fibre Channel et 450MB de communication LAN
     L’utilisation moyenne des ports 10Gb Ethernet au niveau des Fabric
        Interconnects est de l’ordre de 40%.
     Pas d’occurrences de goulots d’étranglement ou de temps d’attente
     Temps de service I/O du stockage excellent

Cette performance peut être attribuée à :
    L’architecture simplifiée de l’UCS qui se base sur un Fabric unifié à 10Gb.
    La cohésion entre l’UCS et la baie EMC CLARiiON munie de ses disques EFD
       haute performance.

Trafic FCoE et ratio Lecture/Ecriture
    La Figure 5: Trafic FCoE observé sur les Fabric Interconnects présente un
       échantillon d’un test de charge de 24 heures. Une combinaison de flux de lecture

et d’écriture est observée sur les Fabric Interconnects. Ces I/O sont la
      combinaison du trafic Oracle RAC (~450MB) et d’I/O Fibre Channel (1.4GB).

              Figure 5: Trafic FCoE observé sur les Fabric Interconnects

Bande passante utilisée par le Fibre Channel
La Figure 6: Throughput Fibre Channel présente la bande passante utilisée par les I/O
Fibre Channel servis par le système de stockage. Elle est autour de 1.4GB/sec.

                         Figure 6: Throughput Fibre Channel

Disponibilité en cas de panne
Ce paragraphe examine la capacité de l’UCS à faire face aux cas de panne. Il est
démontré ci-dessous que le failover quasi-instantané dans tous les cas de pannes

permet à l’UCS d’améliorer la disponibilité globale du système après un cas de panne
inattendu sur un lien ou un port.

La Figure 7 présente les différents scenarios de panne (indiqués par des nombres) qui
ont été testés pendant que le système était soumis aux charges décrites dans les
paragraphes précédents.
La Figure 8 résume ces scenarios de pannes et décrit comment l’architecture d’UCS fait
face à ces pannes rares de liens, de ports, ou de Fabric Interconnects.

                 Figure 7: Scénarios de tests pour les cas de pannes

Figure 8: Résultat des différents cas de pannes

Avantages de la configuration
L’architecture décrite dans cet article et testée dans les sections précédentes présente
un grand nombre d’avantages par rapport aux architectures systèmes classiques. En
voici quelques uns :
     Déploiement et opération simplifiés : tout le cluster Oracle RAC fonctionne sur un
       seul système unifié. Les administrateurs n’auront plus besoin de configurer
       chacun des éléments hardware indépendamment : tous les éléments de l’UCS
       sont provisionnés par le Cisco UCS Manager qui permet aussi bien de configurer
       le firware d’un serveur que les paramètres d’identité de toutes les connexions
       réseau.
     Les concepts de « service profiles » et « service profile templates » de l’UCS
       permettent de configurer automatiquement et déployer un serveur en seulement
       quelques minutes.
     L’UCS s’appuie sur un réseau unifié 10Gb où les trafics IP et Fibre Channel sont
       consolidés, ce qui permet une simplification importante du câblage dans le rack.
     Haute performance : les serveurs lames UCS B-Series s’appuie sur des
       processeurs Intel Xeon 5500 qui supporte la virtualisation et le hyperthreading.
     Il est possible d’équiper un serveur avec un maximum de 384GB de mémoire
       RAM avec grâce à la technologie Cisco Extended Memory Blade Server sur les
       lames de type UCS B250 M1.

Conclusion
Utilisant une approche innovante pour améliorer l’infrastructure des Data Centers, Cisco
Unified Computing System intègre les entités calcul, réseau, accès au stockage et
virtualisation en une architecture modulaire et extensible qui est administrée comme un
seul système.

Cisco et Oracle travaillent comme partenaires car les bases de données et applications
Oracle sont des fondations logicielles critiques pour la majorité des grandes entreprises
dans le monde. L’architecture robuste de Cisco UCS associée à l’extensibilité des
systèmes de stockage EMC CLARiiON permet aux entreprises d’administrer Oracle de
manière beaucoup plus souple et efficace.

Les tests effectués et décrits dans cet article ont permis de vérifier la robustesse et la
disponibilité de l’architecture. Elle a été validée et certifiée pour le déploiement de
clusters Oracle RAC.

Les administrateurs système pourront tester les résultats démontrés dans cet article en
suivant les best practices décrits en détail dans la version complète du document à
l’adresse :
http://www.cisco.com/en/US/prod/collateral/ps10265/ps10280/white_paper_c11-
562881_ps9670_Products_White_Paper.html

Contactez-nous :
                                                       www.cisco.fr
                                                       0800 907 375

Siège social Mondial              Siège social France             Siège social Amérique             Siège social Asie Pacifique
Cisco Systems, Inc.               Cisco Systems France            Cisco Systems, Inc.               Cisco Systems, Inc.
170 West Tasman Drive             11 rue Camille                  170 West Tasman Drive             Capital Tower
San Jose, CA 95134-1706           Desmoulins                      San Jose, CA 95134-1706           168 Robinson Road
Etats-Unis                        92782 Issy Les                  Etats-Unis                        #22-01 to #29-01
www.cisco.com                     Moulineaux                      www.cisco.com                     Singapour 068912
Tél. : 408 526-4000               Cedex 9                         Tél. : 408 526-7660               www.cisco.com
800 553 NETS (6387)               France                          Fax : 408 527-0883                Tél. : +65 317 7777
Fax : 408 526-4100                www.cisco.fr                                                      Fax : +65 317 7799
                                  Tél. : 33 1 58 04 6000
                                  Fax : 33 1 58 04 6100
   Cisco Systems possède plus de 200 bureaux dans les pays et les régions suivantes. Vous trouverez les adresses, les numéros de
                                         téléphone et de télécopie à l’adresse suivante :

                                             www. ci sco.com /g o/of fi ces
Afrique du Sud • Allemagne • Arabie saoudite • Argentine • Australie • Autriche • Belgique • Brésil • Bulgarie • Canada • Chili
Colombie • Corée Costa Rica • Croatie • Danemark • Dubaï, Emirats arabes unis • Ecosse • Espagne • Etats-Unis • Finlande •
France Grèce • Hong Kong SAR Hongrie • Inde • Indonésie • Irlande • Israël • Italie • Japon • Luxembourg • Malaisie Mexique •
Nouvelle Zélande • Norvège • Pays-Bas • Pérou Philippines • Pologne • Portugal • Porto Rico • République tchèque • Roumanie
• Royaume-Uni • République populaire de Chine • Russie Singapour • Slovaquie • Slovénie • Suède Suisse • Taiwan • Thaïlande
• Turquie • Ukraine • Venezuela • Vietnam • Zimbabwe

          Note:                  Copyright © 2009 Cisco Systems, Inc. Tous droits réservés. CCSP, CCVP, le logo Cisco Square Bridge,
            Follow Me Browsing et StackWise sont des marques de Cisco Systems, Inc. ; Changing the Way We Work, Live, Play, and
            Learn, et iQuick Study sont des marques de service de Cisco Systems, Inc. ; et Access Registrar, Aironet, ASIST, BPX,
Catalyst, CCDA, CCDP, CCIE, CCIP, CCNA, CCNP, Cisco, le logo Cisco Certified Internetwork Expert, Cisco IOS, Cisco Press, Cis co
Systems, Cisco Systems Capital, le logo Cisco Systems, Cisco Unity, Empowering the Internet Generation, Enterprise/Solver,
EtherChannel, EtherFast, EtherSwitch, Fast Step, FormShare, GigaDrive, GigaStack, HomeLink, Internet Quotient, IOS, IP/TV, iQ Expertise,
le logo iQ, iQ Net Readiness Scorecard, LightStream, Linksys, MeetingPlace, MGX, le logo Networkers, Networking Academy, Network
Registrar, Packet, PIX, Post-Routing, Pre-Routing, ProConnect, RateMUX, ScriptShare, SlideCast, SMARTnet, StrataView Plus,
TeleRouter, The Fastest Way to Increase Your Internet Quotient et TransPath sont des marques déposées de Cisco Systems, Inc. et/ou
de ses filiales aux États-Unis et dans d’autres pays.
Note:                 Toutes les autres marques mentionnées dans ce document ou sur le site Web appartiennent à leurs propriétaires
respectifs. L’emploi du mot partenaire n’implique pas nécessairement une relation de partenariat entre Cisco et une autre société.
(0502R)                                  205534.E_ETMG_JD_10/09