Les services mobiles 3G et 4G : une qualité de service bien trop mobile - UFC-Que Choisir - octobre 2014
←
→
Transcription du contenu de la page
Si votre navigateur ne rend pas la page correctement, lisez s'il vous plaît le contenu de la page ci-dessous
Les services mobiles 3G et 4G : une qualité
de service bien trop mobile
UFC-Que Choisir – octobre 2014
1
Contenu
I. UN PROTOCOLE FIDELE AUX USAGES ET ATTENTES DES CONSOMMATEURS.....................4
1. CADRAGE DE L’ETUDE ............................................................................................................................4
2. PROTOCOLE ...........................................................................................................................................4
II. SERVICES 3G : DES QUALITES TRES DISPARATES ET LE MAINTIEN DE PROBLEMES
SPECIFIQUES SUR L’ITINERANCE .........................................................................................................8
1. MESURER L’EFFICACITE DU TRANSFERT DE DONNEES : L’IMPORTANCE D’ADOPTER DES CRITERES
REELLEMENT DISCRIMINANTS.........................................................................................................................8
2. NAVIGATION SUR LE WEB : LA PERSISTANCE D’UN PROBLEME SUR L’ITINERANCE… ............................. 14
3. … QUI SE CONFIRME SUR LE STREAMING VIDEO .................................................................................... 16
4. LE SERVICE VOIX : DES DIFFERENCES PAS SI MARGINALES .................................................................... 17
III. LES PROMESSES DE LA 4G : UNE REALISATION A GEOGRAPHIE VARIABLE .................... 20
1. LE TRANSFERT DE DONNEES : D’IMPORTANTS ECARTS ENTRE OPERATEURS ......................................... 20
2. LA NAVIGATION SUR LE WEB EN 4G, OU LES ATTENTES DEÇUES........................................................... 25
3. UN CONFORT ACCRU SUR LE STREAMING VIDEO .................................................................................... 28
4. LE SERVICE VOIX : DES PERFORMANCES LOGIQUEMENT MOINDRES EN 4G QU’EN 3G ............................ 29
CONCLUSION ET DEMANDES DE L’UFC-QUE CHOISIR .................................................................... 32
octobre 2014 – Service des études – UFC-Que Choisir
2
Introduction
Près d’un an après la publication de sa dernière étude sur la qualité de service de la 3G1, l’UFC-Que
Choisir la réactualise aujourd’hui tout en incluant pour la première fois dans son champ d’investigation
la qualité de service de la 4G 2 . Cette double inclusion est rendue nécessaire par la diversité des
situations rencontrées par les consommateurs. En effet, si aujourd’hui la 4G est accessible pour 70 %
de la population métropolitaine, le nombre d’utilisateurs (5,6 millions d’après les dernières données de
l’Autorité de régulation des télécommunications – ci-après réduit à l’ARCEP) est toujours bien inférieur
à ceux qui utilisent la 3G, qui reste en l’état la norme de consommation et justifie qu’on y prête toujours
une légitime attention.
L’objectif de cette nouvelle étude de l’UFC-Que Choisir est double :
• analyser les qualités de service 3G proposées par les quatre opérateurs de réseau (Bouygues
Telecom, Free Mobile, Orange et SFR) tout en déterminant si le constat émis à plusieurs
reprises par l’association perdure quant à l’existence de restrictions sur l’itinérance Orange,
utilisée en partie par Free Mobile ;
• confronter la communication des opérateurs sur la « qualité » de la 4G avec celle réellement
constatée par les consommateurs.
Afin de répondre à ces deux objectifs, l’UFC-Que Choisir a procédé à des mesures sur le terrain, avec
l’appui d’un prestataire technique spécialisé auquel font régulièrement appel aussi bien les opérateurs
que l’ARCEP, et a analysé 10 616 données.
La présente étude est structurée en trois parties.
La première partie présente le protocole élaboré pour cette enquête de terrain.
La deuxième partie de l’étude compare la qualité de service 3G des quatre opérateurs de réseau, ce
qui nous permet de souligner la persistance d’un réel problème spécifique à l’itinérance qui entraîne
une anormale discrimination entre les abonnés de Free Mobile. Cette situation justifie en conséquence,
plus que jamais, que l’origine de cette asymétrie soit identifiée par les autorités que nous avons saisies
à ce propos il y a déjà près de deux ans.
Enfin, sur la base de notre échantillon, la troisième partie de l’étude dresse une comparaison de la
qualité de service 4G proposée par les quatre opérateurs. Celle-ci montre des écarts qualitatifs
particulièrement importants entre eux, mais également de substantielles différences de traitement entre
les trois zones géographiques que nous avons testées. Ces différences, ces discriminations
territoriales, nous le verrons, appellent la mise en place de mesures venant assurer aux
1
http://image.quechoisir.org/var/ezflow_site/storage/original/application/40a34819e4dde059b42909d0fd131318.pdf
2
Lors de notre dernière enquête sur la qualité de service, les opérateurs n’avaient pas tous lancés leurs offres 4G.
octobre 2014 – Service des études – UFC-Que Choisir
3
consommateurs que la stratégie de déploiement des réseaux 4G se fasse en garantissant un
traitement équivalent entre eux ; les consommateurs, quelle que soit la zone dans laquelle ils vivent,
payent en effet la même somme pour leurs abonnements.
octobre 2014 – Service des études – UFC-Que Choisir
4
I. Un protocole fidèle aux usages et attentes des consommateurs
1. Cadrage de l’étude
La campagne de mesures que l’UFC-Que Choisir a menée, avec l’appui d’un prestataire technique, a
consisté à la réalisation d’un état des lieux des performances des réseaux 3G et 4G d’un point de vue
du client. Bien que généralement basés sur les critères retenus par l’ARCEP dans ses enquêtes de
qualité de service, nos propres critères s’en éloignent afin de coller au plus près aux légitimes
exigences des consommateurs sur la capacité des réseaux mobiles à offrir la qualité de service
présente dans les campagnes publicitaires des opérateurs.
Les quatre opérateurs de réseau ont été testés : Bouygues Telecom, Orange, SFR et Free Mobile.
Pour la 3G de ce dernier, compte tenu de ce mode de fonctionnement spécifique, nous avons
systématisé une distinction dans nos tests entre ceux réalisés sur son réseau propre (RP), et ceux
réalisés en itinérance (IT) sur le réseau Orange.
Deux téléphones mobiles ont été utilisés pour effectuer les mesures : un iPhone 5S et un Samsung
Galaxy S5 ; ces terminaux haut de gamme permettent de réduire les défauts de fonctionnements liés
aux limites de certains smartphones, et sont en conséquences adaptés pour tester la qualité des
réseaux.
Les forfaits qui ont été utilisés sont grand public : le forfait Free avec 20 Go de données utilisables,
pour SFR le forfait Carré 16 Go, pour Orange le forfait Origami Jet 10 Go et enfin pour Bouygues
Telecom le forfait Sensation 16 Go. Bien entendu, les mesures ont systématiquement été faites dans
l’enveloppe allouée pour le fair use.
Les mesures ont été réalisées dans trois villes : Aix-en-Provence, Bordeaux et Paris. Certaines de ces
mesures, minoritaires, ont été effectuées en périphérie des villes. En tout, les mesures ont eu lieu dans
71 points géographiques distincts (18 à Aix-en-Provence, 24 à Bordeaux et 29 à Paris).
Les tests se sont déroulés du 1er au 25 septembre 2014.
Les conditions de tests ont été systématiquement identiques pour les 4 opérateurs.
2. Protocole
Sur chaque lieu de mesures, quatre usages ont fait l’objet de nos tests, aussi bien en 3G qu’en 4G :
- Le téléchargement et l’envoi de fichiers ;
- La navigation sur le Web :
- La lecture d’une vidéo sur la dernière version disponible de l’application YouTube ;
- La qualité des appels téléphoniques.
octobre 2014 – Service des études – UFC-Que Choisir
5
a. Le téléchargement et l’envoi de fichiers
Un mesure consistait à :
- Télécharger un fichier de 50 Mo en 4G et de 5 Mo en 3G.
- Envoyer un fichier de 20 Mo en 4G et de 1 Mo en 3G.
Les téléchargements et envois sont réalisés selon le protocole HTTP depuis, et vers, un serveur dédié
suffisamment dimensionné, là encore pour éviter tout faussement des résultats.
Si l’UFC-Que Choisir a retenu la même taille de fichiers que les plus gros retenus par l’ARCEP dans sa
dernière enquête de qualité de service, elle a cependant procédé à une modification quant au critère
permettant de juger si aussi bien les téléchargements que les envois sont considérés comme étant
réalisés. En effet, pour l’ARCEP, que ce soit en 3G ou en 4G, le téléchargement des fichiers est
considéré comme étant réussi s’il est effectué en moins de 300 secondes, tandis que l’envoi des
fichiers l’est s’il est effectué en moins de 2 minutes. Basé sur un cahier des charges défini en
concertation avec les opérateurs mobiles, ces critères ne reflètent pas les attentes des consommateurs
par rapport aux performances des technologies mobiles.
C’est particulièrement le cas concernant la 4G. En effet, les attentes des consommateurs concernant le
très haut débit mobile sont à la hauteur des performances vantées dans les campagnes publicitaires
des opérateurs. Ainsi, il parait particulièrement inadapté de juger le téléchargement d’un fichier de 50
Mo comme étant réussi s’il est effectué en moins de 5 minutes alors qu’un consommateur disposera de
l’information selon laquelle ce téléchargement est effectuable en 8 secondes.
Source : http://reseaux.orange.fr/4g
L’UFC-Que Choisir a donc considéré indispensable de ne pas embrasser l’approche de l’ARCEP et a
décidé de se baser dans son étude sur des critères de temps différents. Deux indicateurs distincts sont
retenus à la fois pour le téléchargement et pour l’envoi et sont communément appliqués à la 3G et à la
4G.
octobre 2014 – Service des études – UFC-Que Choisir
6
Pour le téléchargement et l’envoi de fichiers, un comparatif est dressé entre opérateur en retenant le
critère du téléchargement et de l’envoi en moins de 60 secondes, et un autre en retenant celui du
téléchargement et de l’envoi en moins de 30 secondes.
Notons que les débits moyens constatés pendant l’envoi et le téléchargement des fichiers a permis de
déterminer les débits médians pour chaque opérateur, dans chaque technologie et sur chaque ville
testée, en download et upload que nous présenterons.
b. La navigation sur le Web
L’UFC-Que Choisir a également testé la qualité de
navigation sur le Web aussi bien en 3G qu’en 4G.
Nous avons ainsi testé l’accès aux 10 pages Web les
plus utilisées par les consommateurs 3 . Deux
indicateurs ont été retenus.
Le premier est le taux de réussite de l’accès à
chaque site internet en moins de 20 secondes.
Notons qu’ici également notre approche dénote avec
celle de l’ARCEP qui retient un critère de temps de
30 secondes.
Le second est le taux de navigations réussies et
maintenues pendant 3 minutes. La navigation est
considérée comme étant réussie si elle est
maintenue et active pendant 3 minutes sans coupure
de connexion au réseau de données.
Crédit photo : Alexis Lecomte
c. La lecture d’une vidéo sur YouTube
Ce test a consisté à visionner la même séquence d’une vidéo d’une minute sur YouTube, en utilisant
pour chacun des deux types de terminaux la dernière version de l’application disponible sur le store.
Plusieurs indicateurs ont été mobilisés afin de déterminer la qualité de visionnage de la vidéo :
- La réussite du lancement de l’application (dans un délai de 15 s) ;
3
http://www.dailymotion.com/fr ; http://www.ebay.fr ; http://www.google.fr ; http://www.lefigaro.fr/ ; http://www.lemonde.fr/ ;
http://www.leboncoin.fr/ ; http://www.pagesjaunes.fr ; http://www.wikipedia.fr ; http://www.yahoo.fr ; http://www.youtube.fr
octobre 2014 – Service des études – UFC-Que Choisir
7
- La réussite de la recherche de la vidéo (dans un délai de 15 s) ;
- Le lancement effectif de la vidéo (dans un délai de 15 s) ;
- L’absence de coupure de la vidéo ;
- La possibilité de visionner intégralement une vidéo pendant 60 secondes.
Si ces critères sont remplis, alors la lecture d’une vidéo est considérée réussie.
d. La qualité des appels téléphoniques
Nous avons évalué le service voix selon le référentiel ARCEP aussi bien pour la 3G que pour la 4G,
l’intérêt étant à la fois de distinguer la qualité de ce service proposée par chaque opérateur pour
chacune des technologies, mais également de comparer les délais d’établissement des appels entre
les deux technologies, sachant que le service voix ne passe pas sur les réseaux 4G4. Ainsi, lorsqu’un
consommateur disposant d’un forfait 4G émet un appel, le terminal doit passer en 3G (ou 2G) pour que
l’appel soit effectué, ce qui entraîne un délai supplémentaire pour émettre l’appel.
Plusieurs indicateurs ont été retenus :
- Le taux de communications établies : taux de retour de sonnerie obtenu dans un délai inférieur
à 20 secondes après la composition du numéro ;
- Le taux de communications réussies, maintenues et de qualité parfaite ;
- Délai moyen d’établissement d’appel par opérateur et par technologie ;
- Délai médian d’établissement d’appel par opérateur et par technologie ;
- Pour la 4G, le délai de remontée à cette technologie au raccrochage de fin d’appel.
4
Cette possibilité entrera vraisemblablement en vigueur, au moins chez certains opérateurs, au cours de l’année
2015.
octobre 2014 – Service des études – UFC-Que Choisir
8
II. Services 3G : des qualités très disparates et le maintien de problèmes
spécifiques sur l’itinérance
Comme il y a un an, l’UFC-Que Choisir a réalisé des tests pour vérifier la qualité de service de la 3G.
L’insertion de la 4G dans nos tests ayant entraîné une modification de notre protocole par rapport à
celui adopté l’année dernière, la comparaison de l’évolution de la qualité de la 3G entre nos deux
enquêtes n’est pas rendue possible. Cependant, nous avons pu nous livrer à une comparaison de la
qualité de service proposée par les différents opérateurs.
Nous avons distingué les deux réseaux 3G utilisés par les clients de Free Mobile. En effet, ne pouvant
disposer d’un réseau national lui appartenant lors du lancement de ses offres mobiles en janvier 2012,
Free Mobile a signé un accord dit « d’itinérance » avec l’opérateur Orange pour pouvoir utiliser ses
antennes mobiles, aussi bien 2G que 3G. Ayant déjà démontré à deux reprises l’existence de
restrictions qualitatives sur cette itinérance qui impacte concrètement ses utilisateurs, l’UFC-Que
Choisir a maintenu dans son enquête 2014 cette distinction lorsqu’il s’agit de lire la qualité mobile
proposée aux clients de Free Mobile.
Cette deuxième partie de l’étude présente successivement les résultats des quatre services que nous
avons testés. Systématiquement, nous présentons les résultats agrégés ainsi que les résultats par
zone testée.
1. Mesurer l’efficacité du transfert de données : l’importance d’adopter des
critères réellement discriminants
Afin de mesurer la performance des différents réseaux 3G, il est indispensable de mettre en place des
critères qui permettent de réellement différencier les opérateurs. Comme indiqué dans la partie
consacrée au protocole, nous avons élaboré deux indicateurs temporels. Nous allons établir qu’ils
permettent de montrer la divergence de qualité de service chez les opérateurs.
octobre 2014 – Service des études – UFC-Que Choisir
9
a. Le téléchargement de fichiers
En retenant un critère de temps de 60 secondes pour réaliser le téléchargement d’un fichier de 5 Mo,
nous constatons des différences de performances relativement peu marquées.
Néanmoins, à ce stade quelques constats peuvent être dressés. Les réseaux de Bouygues Telecom et
d’Orange se démarquent en étant les seuls à permettre le téléchargement du fichier en moins de 60
secondes dans plus de 9 cas sur 10. SFR et Free Mobile sont en-dessous de ce seuil et nous
remarquons une performance identique sur le réseau propre de Free et sur l’itinérance. Pour que les
différences de performances divergent davantage, l’augmentation du critère qualitatif est nécessaire,
ce que nous mettons en évidence dans le graphique ci-dessous.
octobre 2014 – Service des études – UFC-Que Choisir10
Si pour Orange l’incidence est nulle, et lui permet de disposer du meilleur taux de téléchargements
réussis dans le temps imparti, Bouygues Telecom baisse légèrement ; SFR et surtout Free bien
davantage. Une différence, relativement peu importante, apparaît déjà entre le réseau propre de Free
et l’itinérance, à l’avantage qualitatif du premier.
b. L’envoi de fichiers
Le paysage change légèrement lorsqu’on fixe l’attention sur l’envoi de fichiers. Bien que la différence
entre le réseau propre de Free et l’itinérance soit toujours présente, l’expérience pour les abonnés de
Free reste bonne.
La qualité du réseau d’Orange ressort, tandis que Bouygues Telecom, et surtout SFR, affichent des
performances bien moindres. Le renforcement du critère qualitatif vient en partie bousculer l’ordre
établi.
octobre 2014 – Service des études – UFC-Que Choisir11
En effet, le réseau propre de Free prend ici le dessus. La différence de qualité avec l’itinérance
s’accroît fortement puisque 16,7 points séparent le réseau propre de Free de l’itinérance.
Au global donc, c’est Orange qui obtient le meilleur résultat. Une fois encore, SFR ferme la marche.
c. Des débits toujours éloignés des débits théoriques
Des résultats sur les tests de téléchargements et d’envois de fichier, nous tirons les éléments nous
permettant de dresser les débits mesurés pour les quatre opérateurs.
Le débit descendant (en téléchargement) médian est de 9,6 Mbit/s pour Orange, 7,2 Mbit/s pour
Bouygues Telecom, 6,3 Mbit/s pour SFR, et 4,8 Mbit/s pour Free Mobile (4,8 Mbit/s sur son réseau
propre et 4,2 pour l’itinérance). Encore une fois, on notera que les débits réels sont bien moindre que
les débits théoriques en 3G annoncés par les opérateurs (jusqu’à 42 Mbit/s).
Un aperçu par zone géographique testée permet de dresser des constats plus précis.
octobre 2014 – Service des études – UFC-Que Choisir12
En désagrégeant les moyennes, on se rend compte de la disparité des situations selon qu’on
s’intéresse à une zone en particulier.
A Paris, les trois opérateurs « historiques » se tiennent dans un mouchoir de poche, alors que Free
Mobile présente, aussi bien sur son réseau propre qu’en itinérance, les débits les plus faibles.
A Bordeaux, comme à Aix-en-Provence, Orange distance très nettement ses compétiteurs avec des
débits médians supérieurs à 10 Mbit/s. Si SFR présente des débits relativement élevés à Aix-en-
Provence, il en est autrement à Bordeaux avec des débits tout juste supérieurs à 2 Mbit/s. On
constatera que la relative homogénéité entre le réseau propre de Free et l’itinérance à Paris et à
Bordeaux laisse place à une grande divergence à Aix-en-Provence, favorable à l’itinérance.
Concernant le débit ascendant médian (relevé lors des tests d’envois de fichiers), il est de 2,0 Mbit/s
pour Orange, de 1,4 Mbit/s pour SFR, de 1,2 Mbit/s pour Bouygues Telecom et pour Free Mobile (1,3
Mbit/s sur son réseau propre et 1,0 sur l’itinérance).
octobre 2014 – Service des études – UFC-Que Choisir13
Dans le détail, à l’exception de Bouygues Telecom, on note une forte homogénéité des débits à Paris :
Bouygues Telecom occupe la dernière position, Orange la première. On constate à Bordeaux et Aix-
en-Provence une asymétrie entre le réseau propre de Free Mobile et l’itinérance, tantôt à l’avantage du
réseau propre (Bordeaux), tantôt à celui de l’itinérance (Aix-en-Provence).
Un élément important à noter ici est qu’au global, les débits constatés sur l’itinérance Orange et sur le
réseau propre de Free sont plutôt convergents, ce qui explique que les performances en
téléchargement et en envoi de fichiers sur les deux réseaux sont relativement comparables.
Il est intéressant de noter que ces tests sont généralement adoptés pour comparer les performances
entre les opérateurs. Or, nous allons voir que la corrélation entre débits et qualité de service offerte ne
résiste pas à l’examen des faits lorsqu’on teste des services auxquels font bien plus régulièrement
appel les consommateurs.
octobre 2014 – Service des études – UFC-Que Choisir14
2. Navigation sur le Web : la persistance d’un problème sur l’itinérance…
Lorsque nous avons tenté de charger en moins de 20 secondes une page Web du TOP 10 des sites
les plus visités dans son intégralité, les résultats ont été globalement positifs pour Orange et Bouygues
Telecom, SFR prenant la troisième position, laissant, et de loin, la dernière marche à Free Mobile avec
seulement 73,3 % des pages affichées dans le temps imparti.
Distinguant les tests réalisés sur le réseau propre de Free Mobile et l’itinérance, nous pouvons
conclure que cette dernière place est due aux résultats très faibles sur l’itinérance. En effet, le taux
d’accès aux pages Web en moins de 20 secondes n’y est que de 53,3 %, soit 38,7 points de moins que
sur le réseau propre de Free !
Cette différence concerne par ailleurs l’ensemble des villes testées.
Bouygues Telecom Orange SFR Free Free_RP Free_IT
Paris 94,2% 92,9% 89,8% 73,8% 86,6% 62,0%
Bordeaux 88,0% 97,1% 73,2% 72,4% 96,2% 47,7%
Aix-en-Provence 96,2% 97,0% 93,5% 70,6% 95,0% 45,7%
Déjà important à Paris, l’écart de qualité lorsqu’il s’agit de naviguer sur l’Internet mobile croît dans des
proportions extrêmement marquées à Bordeaux et Aix-en-Provence, avec des écarts atteignant près
de 50 points !
octobre 2014 – Service des études – UFC-Que Choisir15
Un test de la qualité de navigation sur l’Internet mobile encore plus poussé consiste à mesurer la
réalisation successive du chargement des pages Web, afin de coller au plus près aux pratiques des
consommateurs, et de leurs attentes légitimes sur leurs bonnes réalisations.
Une fois encore, Orange s’en sort le mieux devant Bouygues Telecom et, plus loin, SFR. Une fois
encore Free Mobile reste au pied du podium. Une fois encore, l’itinérance plombe les résultats globaux
de l’opérateur. L’absence de qualité y est frappante. Alors que sur le réseau propre de l’opérateur le
taux de navigations réussies et maintenues pendant 3 minutes est de 64,6 %, sur l’itinérance ce taux
chute drastiquement à 6,3 %. Autrement dit, il y a 10 fois moins de chances d’avoir une bonne
expérience de navigation sur l’itinérance que sur le réseau propre de Free, ou qu’en moyenne sur le
réseau de l’un des trois opérateurs « historiques » !
Une fois encore, ce constat général est le reflet de la situation constatée dans les trois villes testées.
Bouygues Telecom Orange SFR Free Free_RP Free_IT
Paris 70,0% 62,5% 60,0% 36,7% 60,0% 15,0%
Bordeaux 59,4% 75,0% 37,5% 34,9% 68,8% 0,0%
Aix-en-Provence 75,0% 83,3% 66,7% 33,8% 66,7% 0,0%
Les taux y sont systématiquement plus faibles en itinérance que sur le réseau propre de Free. Nos
mesures font ainsi ressortir l’incapacité totale à pouvoir naviguer dans de bonnes conditions via
l’itinérance ! Cette atomisation par ville permet également d’indiquer la mauvaise expérience utilisateur
que nous avons constatée chez SFR à Bordeaux.
octobre 2014 – Service des études – UFC-Que Choisir16
3. … Qui se confirme sur le streaming vidéo
L’ensemble des informations présentées pour la navigation Web ressortent également sur le test du
streaming vidéo sur YouTube. Orange offre le meilleur taux d’accès de qualité à YouTube, tandis que
Bouygues Telecom et SFR sont proches l’un de l’autre. Pour Free Mobile le taux d’accès est faible.
Dans un cas sur deux, il n’est pas possible de lire dans de bonnes conditions une vidéo sur YouTube.
Comme précédemment, c’est la piètre qualité rencontrée sur l’itinérance qui explique cette faiblesse
globale de Free. En effet, dans seulement 14,6 % des cas une bonne lecture de la vidéo sur YouTube
a été constatée. Pour rentrer dans le détail des causes expliquant ce taux extrêmement faible,
précisons que dans 54,2 % des mesures, le défaut de lancement de la vidéo a été constaté. Autrement
dit, en voulant lancer la lecture de la vidéo, celle-ci n’a pas démarré dans le délai de 15 secondes.
Bouygues Telecom Orange SFR Free Free_RP Free_IT
Paris 92,5% 88,5% 90,0% 57,5% 85,0% 30,0%
Bordeaux 68,7% 88,5% 62,5% 46,8% 93,7% 0,0%
Aix-en-Provence 83,3% 91,7% 91,7% 41,6% 75,0% 8,3%
Dans les trois villes auditées, l’itinérance affiche le taux de lecture de qualité le plus bas, avec un taux
de 0 % à Bordeaux ! Dans cette ville, Bouygues Telecom et SFR affichent des taux relativement
moyens, laissant Orange offrir assez sensiblement la meilleure qualité du streaming vidéo sur YouTube.
octobre 2014 – Service des études – UFC-Que Choisir17
4. Le service voix : des différences pas si marginales
Le service voix étant essentiel pour les consommateurs, l’UFC-Que Choisir l’a intégré dans son
enquête 2014. Les résultats font apparaître quelques différences entre opérateurs.
Bouygues Tel. Orange SFR Free Free_RP Free_IT
Taux de communications étalies en
97,9% 99,0% 89,6% 97,9% 100% 95,8%
moins de 20 secondes
Délai moyen d'établissement
3,8 s 4,7 s 4,8 s 4,8 s 4,8 s 4,8 s
d'appel
Délai médian d'établissement
3,4 s 4,4 s 4,3 s 4,5 s 4,5 s 4,4 s
d'appel
Taux de communications réussies,
97,9% 99,0% 86,5% 95,8% 95,8% 95,8%
maintenues et de qualité parfaite
Pour le premier critère que nous avons posé, à savoir réussir à établir une communication téléphonique
en moins de 20 secondes, les opérateurs affichent dans l’ensemble de bonnes performances. SFR
reste néanmoins sensiblement en retrait avec un taux inférieur de 8,7 points à la moyenne des trois
autres opérateurs.
Ces différences se retrouvent pour le critère « taux de communication réussies, maintenues et de
qualité parfaite ». SFR perd tout de même encore un peu plus de terrain avec un taux de 86,5 %.
Enfin, si on se réfère aux délais moyens et médians d’établissement d’appel, nous constatons
cependant que Bouygues présente les délais les moins élevés – une seconde de mieux que ses
compétiteurs.
octobre 2014 – Service des études – UFC-Que Choisir18
Au global, une agrégation des différents taux de qualité présentés5 permet de mettre en lumière les
différences qualitatives entre opérateurs sur la 3G.
Sur la base de nos tests, Orange affiche la meilleure qualité de 3G devant Bouygues Telecom, SFR et
Free Mobile qui est assez nettement distancé. Ce classement général sur la base de données
récoltées sur les trois zones testées dans le cadre de l’enquête de l’UFC-Que Choisir n’est cependant
pas identifiable sur chacune de ces zones.
3G - Par ville Bouygues Telecom Orange SFR Free
Paris 89,3% 85,3% 83,0% 66,6%
Bordeaux 73,9% 89,5% 60,4% 61,4%
Aix-en-Provence 85,9% 91,1% 86,2% 66,6%
Il est ici notable que chaque zone possède son classement par opérateur spécifique, et
systématiquement différent du classement agrégé.
5
Nous avons moyenné cinq taux : taux de fichiers de 5 Mo téléchargés en 30 secondes, taux de fichiers de 1 Mo
envoyés en moins de 30 secondes, taux d’accès aux pages Web en moins de 20 secondes, taux de navigations
sur Internet réussies et maintenues pendant 3 minutes et taux d’accès de qualité à YouTube.
octobre 2014 – Service des études – UFC-Que Choisir19
Cette partie de notre étude consacrée à la qualité de service proposée par la 3G est riche
d’enseignements. Une lecture globale des résultats présentés permet tout d’abord de dresser des
constats généraux sur la qualité de service 3G chez les quatre opérateurs. Orange tire clairement son
épingle du jeu, tandis que Bouygues Telecom parvient à prendre la deuxième place. La qualité de
service proposée par SFR que nous avons mesurée montre d’inquiétants signes de faiblesse, comme
l’avait d’ailleurs montré l’ARCEP dans sa dernière enquête consacrée à la qualité des services mobiles.
Notre lecture découplée de la qualité de service sur le réseau propre de Free et sur l’itinérance a
permis de montrer la persistance de l’écart qualitatif que l’UFC-Que Choisir a montré à deux reprises
auparavant. Il est notable que cette différence ne se constate pas, ou peu, pour le téléchargement et
l’envoi de fichiers. Ceci tend à montrer qu’une restriction spécifique est effectuée pour les services
gourmands en bande passante et qui ne renvoient pas de valeurs sur les débits, valeurs fréquemment
utilisées pour comparer la qualité des réseaux mobiles.
Pour déterminer l’origine de ces restrictions, qui engendrent une mauvaise expérience utilisateur,
l’UFC-Que Choisir a saisi la justice en janvier 2013. L’association espère que cette nouvelle preuve
apportée quant à l’existence et au maintien d’un problème sur l’itinérance aura le mérite d’accélérer
cette démarche entamée il y a près de deux ans.
On précisera ici que la fin programmée de l’itinérance (prévue en l’état au plus tard en 2018), ne
signifie pas que la qualité de service proposée par le réseau propre de Free sera identique à celle
présentée dans cette étude. En effet, l’itinérance prenant fin, le réseau propre de Free devra supporter
l’ensemble des utilisateurs qui aujourd’hui passent par l’itinérance, générant, si le réseau propre de
Free Mobile n’est pas suffisamment dimensionné, d’importantes congestions.
Deux autres enseignements peuvent être tirés des informations que nous présentons. Le premier est
que plus les critères de qualité sont élevés, plus les différences entre opérateurs se font sentir. Ceci
aboutit donc à identifier l’importance du protocole lorsqu’il s’agit de mettre en évidence les qualités de
service disparates proposées par les opérateurs.
Le second est que les indicateurs agrégés ne reflètent pas forcément l’hétérogénéité des qualités de
service proposées par les opérateurs sur les différents lieux audités. Aussi, l’information agrégée, pour
intéressante qu’elle soit, n’est pas forcément l’indication la plus pertinente pour un consommateur qui
sur un lieu donné voudrait disposer d’éléments de comparaisons sur les différences de qualité entre
opérateurs sur ce lieu.
octobre 2014 – Service des études – UFC-Que Choisir20
III. Les promesses de la 4G : une réalisation à géographie variable
Si l’UFC-Que Choisir a déjà réalisé une étude sur la 4G6, celle-ci était principalement consacrée à la
problématique de la couverture. Néanmoins, nous émettions déjà des réserves sur la qualité de service
en identifiant l’existence d’une 4G à deux vitesses. Les quatre opérateurs de réseau proposant, depuis
cette étude, la 4G aux consommateurs, nous avons testé sa qualité dans notre enquête 2014 sur la
qualité de service.
L’objet de cette partie est de présenter les résultats de qualité de la 4G. Cette présentation s’effectue
en adoptant le même schéma général que pour la précédente partie. Nous identifions ici la présence
de décalages bien trop importants chez certains opérateurs entre la qualité de service « vendue » aux
consommateurs, et la réalité à laquelle ils sont confrontés sur le terrain.
1. Le transfert de données : d’importants écarts entre opérateurs
Comme indiqué dans la première partie, l’UFC-Que Choisir a pris ses distances avec le protocole
utilisé par l’ARCEP dans sa dernière enquête sur la qualité des services mobiles. Les résultats de nos
tests sur la performance des opérateurs sur les transferts de données viennent valider la mise en place
de critères exigeants pour comparer les 4G des opérateurs.
a. Le téléchargement de fichiers
A minima, compte tenu des performances de la 4G présentées par les opérateurs, un consommateur
est en droit d’attendre une qualité du réseau 4G de son opérateur lui permettant de télécharger un
fichier de 50 Mo en moins de 60 secondes. Or nos relevés montrent que cette attente peut être déçue.
6
http://image.quechoisir.org/var/ezflow_site/storage/original/application/19d6d9aff38a9ee9baa602af7d984388.pdf
octobre 2014 – Service des études – UFC-Que Choisir21
Si Orange et Bouygues Telecom présentent respectivement le meilleur et le deuxième taux de fichiers
téléchargés, on note que Free Mobile arrive en troisième position, 10 points tout de même derrière eux.
L’élément principal reste la faillite de SFR qui n’affiche qu’un taux de fichiers téléchargés de 68,8 %.
Pour la 4G comme pour la 3G, le renforcement du critère qualitatif accentue les écarts entre opérateurs.
Ainsi, la première place occupée par Orange est incontestée, en raison d’une faible chute de son taux
à opposer à une chute bien plus importante des taux de Bouygues Telecom et Free. Si la baisse du
taux de SFR est moins importante que celle de Bouygues Telecom, le taux affiché reste cependant
octobre 2014 – Service des études – UFC-Que Choisir22
bien en-deçà des 50 %. Dans plus d’un cas sur 2, il n’est ainsi pas possible de télécharger un fichier de
50 Mo en moins de 30 secondes.
b. L’envoi de fichiers
Pour l’envoi de fichiers de 20 Mo en moins de 20 secondes, on retrouve le classement déjà mis en
avant.
Ici également, Orange et Bouygues offrent de bons taux de réussite alors que Free et surtout SFR en
offrent de bien moins bons.
octobre 2014 – Service des études – UFC-Que Choisir23
Lorsque le délai est abaissé à 30 secondes, les performances de Bouygues Telecom et Orange
baissent, mais restent à un niveau de qualité très proche. Les taux de SFR et Free chutent quant à eux
de respectivement de 18,7 et de 17,7 points. Ici également, SFR obtient la palme du taux le plus faible
puisqu’il est de 54,2 % !
c. Les réels débits 4G également éloignés des débits théoriques
Comme pour la 3G, nous avons calculé sur la base des tests de téléchargements et d’envois de
fichiers les débits médians proposés par les quatre opérateurs.
Au global, le meilleur débit médian constaté est pour Orange avec 37,8 Mbit/s, devant Free avec 24,8
Mbit/s, Bouygues Telecom avec 20,6 Mbit/s7. Avec un débit médian de 12,6 Mbit/s, SFR arrive très
nettement en dernière position.
Lorsqu’on fixe plus précisément l’attention sur chaque zone testée, on se rend compte d’une inégalité
territoriale quant à la qualité de la 4G.
7
On note donc une inversion dans le classement de Free et Bouygues Telecom constaté dans le test de
téléchargement de fichiers en 4G.
octobre 2014 – Service des études – UFC-Que Choisir24
Il est remarquable que les débits descendant médians baissent à mesure que la taille de la ville testée
diminue. Ceci est vrai pour l’ensemble des opérateurs, à l’exception notable de Free qui présente un
meilleur débit médian à Bordeaux qu’à Paris. En faisant la moyenne des débits médians par ville, on se
rend compte d’une forte différence territoriale de la qualité de la 4G. Si à Paris le débit descendant
moyen est de 35,1 Mbit/s, il tombe à 28,3 Mbit/s à Bordeaux pour s’écrouler à Aix-en-Provence avec un
débit moyen de seulement 12,1 Mbit/s, très loin des débits théoriques de la 4G pouvant aller jusqu’à
150 Mbit/s ! Bien que l’ensemble des opérateurs participent à ce très faible débit réel moyen, on
constate que SFR le tire particulièrement vers le bas puisque le débit médian qu’il y propose est de
seulement 3,2 Mbit/s, soit à un niveau indigne même de la 3G !
Concernant le débit ascendant (en envoi) médian, il est de 13,0 Mbit/s pour Orange, 12,1 Mbit/s pour
Bouygues Telecom, 7,6 Mbits pour SFR et 6,6 Mbit/s pour Free Mobile.
octobre 2014 – Service des études – UFC-Que Choisir25
Le constat émis pour les débits descendants perdure pour les débits ascendants. La chute de débit à
mesure que la taille de la ville diminue est particulièrement frappante. Si le débit moyen reste
légèrement supérieur à Paris qu’à Bordeaux, il l’est bien davantage qu’à Aix-en-Provence où le débit
moyen n’est que de 6,2 Mbit/s. Encore une fois, SFR ne parvient pas à monter sur le podium puisque
le débit médian qu’il présente n’est que de 1,5 Mbit/s, loin des exigences des consommateurs sur la
performance de la 4G !
2. La navigation sur le Web en 4G, ou les attentes déçues
Afin de pouvoir comparer sur une base commune l’avantage de la 4G par rapport à la 3G, nous avons
établi le test de la navigation sur le Web en 4G sur les mêmes bases que celui établi pour la 3G. Fort
logiquement, l’expérience sur l’Internet mobile reste plus agréable en 4G qu’en 3G.
octobre 2014 – Service des études – UFC-Que Choisir26
Si pour l’ensemble des opérateurs les taux d’accès aux pages Web en moins de 20 secondes croissent
par rapport à ceux constatés sur la 3G, la différence la plus marquée est pour Free Mobile qui voit son
taux augmenter de 22,4 points. On note encore une fois que SFR ferme la marche avec un taux de
91,9 %.
4G - Par ville Bougues Telecom Orange SFR Free
Paris 95,4% 95,5% 95,6% 95,2%
Bordeaux 96,8% 97,5% 97,7% 95,0%
Aix-en-Provence 93,3% 97,4% 77,8% 97,4%
Un regard sur les taux désagrégés montre une certaine homogénéité de qualité dans les trois villes
testées à l’exception notable de SFR qui peine à offrir une bonne expérience utilisateur à Aix-en-
Provence.
Le test plus discriminant du taux de navigations sur Internet réussies et maintenant pendant 3 minutes
en 4G permet de montrer des écarts de qualité plus significatifs.
octobre 2014 – Service des études – UFC-Que Choisir27
En effet, Orange offre toujours une bonne expérience utilisateur, sensiblement meilleure que celle
constatée chez les trois autres opérateurs. Free Mobile occupe la deuxième place laissant Bouygues
Telecom et SFR à la traîne avec un taux de seulement 76,0 %.
Dans le détail par ville, nous constatons une bonne homogénéité chez Bouygues Telecom et Orange,
un moins bonne pour Free Mobile et toujours la subsistance d’un problème pour SFR à Aix-en-
Provence.
4G - Par ville Bougues Telecom Orange SFR Free
Paris 75,0% 92,5% 80,0% 80,0%
Bordeaux 78,1% 87,5% 84,4% 78,1%
Aix-en-Provence 75,0% 91,7% 58,3% 87,5%
octobre 2014 – Service des études – UFC-Que Choisir28
3. Un confort accru sur le streaming vidéo
Notre test de la qualité de la lecture d’une vidéo sur YouTube montre un réel avantage pour la 4G par
rapport à la 3G.
Le taux de qualité augmente de 16,7 points pour Bouygues Telecom qui occupe la première place, de
4,5 points pour Orange qui occupe la deuxième, de 42,7 points pour Free, troisième, et de 9,4 points
pour SFR qui avec 90,6 % de taux d’accès de qualité à YouTube est l’opérateur 4G le moins
performant.
A nouveau, le problème de SFR à Aix-en-Provence impacte cette moyenne agrégée.
4G - Par ville Bouygues Telecom Orange SFR Free
Paris 100% 87,5% 100% 90,0%
Bordeaux 96,9% 93,7% 96,9% 96,9%
Aix-en-Provence 100% 100% 66,7% 91,7%
octobre 2014 – Service des études – UFC-Que Choisir29
4. Le service voix : des performances logiquement moindres en 4G qu’en 3G
Comme nous l’avons déjà indiqué, la voix ne passe pas pour l’instant sur les réseaux 4G. Ainsi, compte
tenu de la nécessité pour un terminal en 4G d’accrocher le réseau 3G (ou 2G) pour effectuer un appel,
la 4G restera fort logiquement moins efficace que la 3G pour ce service.
Bouygues Tel. Orange SFR Free
Taux de communications établies 99,0% 100% 100% 97,9%
en moins de 20 secondes (97,9%) (99,0%) (89,6%) (97,9%)
Délai moyen d'établissement 5,1 s 5,7 s 6,2 s 4,9 s
d'appel (3,8 s) (4,7 s) (4,8 s) (4,8 s)
Délai médian d'établissement 5,0 s 5,6 s 5,9 s 4,7 s
d'appel (3,4 s) (4,4 s) (4,3 s) (4,5 s)
Taux de communications réussies, 97,9% 97,9% 94,8% 96,9%
maintenues et de qualité parfaite (97,9%) (99,0%) (86,5%) (95,8%)
Délai de remontée à la 4G après
8,6 s 6,4 s 8,1 s 13,8 s
raccrochage
Cependant, les taux de communications établies en moins de 20 secondes sont supérieurs en 4G
qu’en 3G pour l’ensemble des opérateurs. Ceci s’explique par le critère de temps assez conciliant de
20 secondes que nous avons retenu.
Par contre, la logique mentionnée est pleinement respectée en ce qui concerne les délais moyens et
médians d’établissement d’appel, puisqu’ils sont pour tous les opérateurs supérieurs à ceux constatés
en 3G. Ici, Free Mobile est l’opérateur chez lequel les délais d’établissement sont les plus bas.
Par contre, c’est l’opérateur avec lequel la remontée sur le réseau 4G après l’appel est la plus longue.
Sur cet aspect, Orange offre la meilleure performance.
octobre 2014 – Service des études – UFC-Que Choisir30
Au global, ici comme en 3G, une agrégation des différents taux de qualité8 permet de mettre en lumière
les différences qualitatives entre opérateurs sur la 4G.
Sur la base de notre échantillon, Orange offre la meilleure qualité devant Bouygues Telecom, Free
Mobile et SFR, qui se situe en retrait. A nouveau, ce classement général n’est pas identifiable sur
chacune de ces zones.
4G - Par ville Bougues Telecom Orange SFR Free
Paris 86,6% 92,1% 86,1% 83,9%
Bordeaux 81,9% 92,7% 78,3% 84,6%
Aix-en-Provence 84,5% 83,7% 45,7% 55,3%
Comme en 3G, dans chaque zone ressort un classement pas opérateur spécifique, et
systématiquement différent du classement agrégé.
8
Nous avons moyenné cinq taux : taux de fichiers de 50 Mo téléchargés en 30 secondes, taux de fichiers de 20
Mo envoyés en moins de 30 secondes, taux d’accès aux pages Web en moins de 20 secondes, taux de
navigations sur Internet réussies et maintenues pendant 3 minutes et taux d’accès de qualité à YouTube.
Précisons ici que les deux premiers critères étant différents en 3G et en 4G, la comparaison des taux de qualité
en 3G et en 4G n’est pas pertinente.
octobre 2014 – Service des études – UFC-Que Choisir31
Cette dernière partie de notre étude a mis en évidence, et en toute logique, des performances
supérieures en 4G qu’en 3G. Cependant, de nombreux dysfonctionnement ont été identifiés.
Si nos résultats montrent que globalement Orange offre la meilleure qualité de 4G, devant Bouygues
Telecom et Free Mobile, ils pointent également du doigt les limites qualitatives de la 4G de SFR qui sur
l’ensemble de nos tests figure quasi systématiquement en dernière position. C’est notamment le cas à
Aix-en-Provence où la qualité de la 4G de SFR reste très éloignées des promesses de cette
technologie du très haut débit mobile.
Plus largement, à travers ce test sur trois villes à densités différentes, les débits proposés par
l’ensemble des opérateurs décroissent à mesure que la taille de la ville testée diminue. Si globalement
à Paris les débits se portent à un niveau permettant à la 4G de fournir une très bonne qualité de
service, c’est moins le cas à Bordeaux et a fortiori à Aix-en-Provence. Après le constat que nous
dressions dans notre étude sur la couverture 4G le 05 novembre 2013 laissant craindre une 4G à deux
vitesses au niveau national, cette nouvelle étude conforte encore davantage cette inquiétude.
Ceci constitue en conséquence une inégalité territoriale quant à l’accès d’une 4G de qualité, qui doit
être analysée à l’aune de la stratégie de déploiement de la 4G des opérateurs, qui investiraient, en
proportion, bien davantage dans les zones les plus densément peuplées. La crainte d’une 4G à deux
vitesses que l’UFC-Que Choisir évoquait l’année dernière paraît ainsi confirmée par les faits.
Que la qualité de la 4G soit différente est une chose. Que cette qualité soit tellement faible pour utiliser
dans de bonnes conditions le très haut débit mobile en est une autre. Ainsi, la nécessaire mise en
place de critères de qualité de service permettant aux utilisateurs de la 4G de réellement pouvoir en
faire un usage conforme aux promesses des opérateurs sur les mérites de cette technologie s’impose.
octobre 2014 – Service des études – UFC-Que Choisir32
Conclusion et demandes de l’UFC-Que Choisir
Cette étude de l’UFC-Que Choisir, destinée aussi bien à interroger la qualité de service de la 3G que
celle de la 4G, permet à l’association de ressortir plusieurs problèmes de qualité pour les deux
technologies.
Les différences de qualité entre opérateurs sont particulièrement marquées. Si Orange tire clairement
son épingle du jeu devant Bouygues Telecom, SFR montre régulièrement des signes de faiblesses
particulièrement marqués.
L’opérateur laisse cependant au pied du podium Free Mobile. Une nouvelle fois, les informations que
l’UFC-Que Choisir a récoltées indiquent la persistance d’une restriction sur l’itinérance Orange
qu’utilise l’opérateur. L’impact sur les clients de Free Mobile utilisant les services de l’Internet mobile,
sans le savoir, via l’itinérance est majeur : ils ne peuvent jouir que d’une médiocre qualité de service,
loin des références constatées pour l’opérateur Orange. Cette anomalie apparaît désormais comme
totalement structurelle.
Comme sur la 3G, nos relevés sur la 4G mettent en lumière d’importants écarts qualitatifs entre
opérateurs. Orange offre ici également les meilleures performances devant Bouygues Telecom et Free
Mobile. SFR arrive assez nettement en dernière position.
Mais ces écarts de qualité sont également géographiques : la qualité de la 4G est en effet corrélée à la
taille des villes que nous avons auditées (Aix-en Provence, Bordeaux et Paris). Ainsi, alors qu’à Paris
le débit médian en téléchargement est de 35,1 Mbit/s, il tombe à 28,3 Mbit/s à Bordeaux pour chuter à
12,1 Mbits/s à Aix-en-Provence. Cette baisse en débit est constatée, à des degrés divers, chez
l’ensemble des opérateurs et illustre comme nous le présentions l’année dernière, une 4G à deux
vitesses.
Pire, les débits peuvent atteindre des niveaux tellement faibles que la 4G se situe très loin des
standards de la technologie, tels que présentés aux consommateurs dans les campagnes publicitaires.
Ainsi, à Aix-en-Provence, SFR n’affiche qu’un débit médian de 3,2 Mbits/s, loin du débit théorique de
115 Mbit/s !
Plus largement, cette étude a mis en évidence la nécessité de mise en place par l’ARCEP d’un
protocole aux critères réellement discriminants pour comparer les qualités de service des opérateurs.
Au vu de ces éléments, l’UFC-Que Choisir, soucieuse de garantir aux consommateurs une
qualité de service leur permettant d’utiliser dans de bonnes conditions les réseaux mobiles,
demande :
- Aux autorités de régulation et judiciaires de faire au plus vite toute la lumière sur les
origines des restrictions constatées sur l’itinérance Orange utilisée par Free Mobile ;
- Plus particulièrement à l’ARCEP de mettre en place des critères élevés de qualité de
service;
octobre 2014 – Service des études – UFC-Que Choisir33
Par ailleurs, l’association invite les consommateurs à alimenter l’Observatoire de la couverture
de l’Internet mobile en téléchargeant et utilisant l’application « Info Réseau », disponible sur le
Google Play Store, et à consulter la carte de la couverture mobile fraîchement actualisée.
octobre 2014 – Service des études – UFC-Que ChoisirVous pouvez aussi lire
