[APPEL A TESTEURS] Problème d'upload des images sur le forum

Bonjour à tous,

J'essaie de creuser le problème d'upload des images sur le forum, j'ai besoin de bonnes âmes pour confirmer le bon fonctionnement du contournement

Les uploads d’images échouent avec une réponse HTTP : quand ça bug j'obtiens "erreur HTTP," vous aussi je présume ?

Comme l’erreur touche aussi des PNG, et que le renommage / léger redimensionnement / resauvegarde change parfois le résultat, le problème pourrait être lié à un blocage "mod_security/WAF" côté serveur.

Plus précisément, quelque chose ne lui convient pas dans la structure binaire du fichier (encodage, métadonnées, chunks PNG, segments JPEG, ou règle WAF déclenchée par certains octets)
Je n'ai pas encore pu isoler quel était ce "quelque chose" ceci dit

J'ai regardé en détails la partie Network dans les outils, on voit bien une erreur HTTP 403 sur posting.php?mode=reply... via Plupload.

erreur_403.png (7.46 Kio) Vu 129 fois

Pour en être sûr il faudrait vérifier les logs mod_security / Apache / Nginx au moment exact d’un upload refusé et identifier la "Rule ID" à exclure pour l’endpoint d’upload phpBB.

Aperçu des logs, les erreurs et les images uploadées correctement (les 3 dernières) :

requetes.png (20.65 Kio) Vu 129 fois

En attendant j'ai peut-être trouvé une parade, mais c'est là où j'ai besoin de volontaires...
J'ai ai fait une dizaine ça semble fonctionner, j'ai la flemme de continuer

On part donc du principe que grossomodo ce sont les meta données qui sont refusées par le serveur.
L'astuce consiste alors à ne garder que les pixels, sans tout le reste.

La méthode la plus simple que j'ai trouvée serait la suivante, avec Paint (désolé pour mes amis sous MacOS et consorts, je creuserai "plus tard" pour vous ) :

- Clic droit sur le fichier
- Ouvrir avec "Paint"
- Ctrl+A --> sélectionner l'image en entier
- Ctrl+C --> la copier
- Ctrl+N --> créer une nouvelle image
On arrive sur une image vierge / page blanche
- Ctrl+V --> coller notre image précédemment copiée
- Enregistrer sous

Je suis preneur de vos feedbacks !
Merci par avance pour vos contributions

j'y ai pensé aux métas
c'est une piste
et possible que ça joue
mais ça n'est pas le seul paramètre de refus
car quand j'utilise un logiciel en ligne pour redimensionner il doit les modifier ces MD non ?

or j'ai toujours un refus autour de 250/300ko max
avant on pouvait monter à 3Mo sans limite de dimensions

j'ai même tester des images énormes qui passaient genre 15k x 15k pixels
à l'époque

j'ai retrouvé ma file de tests si ça peut t'aider
à l'époque j'avais réussi à poster une image de 15100x15100 pixels
mais limitée autour de 3Mo

viewtopic.php?f=12&t=3194&start=20#p2053862

PS : j'avais le pseudo nuts à l'époque

Ce n'est pas la taille qui compte

Blague à part, si tu es sous Windows, tu peux faire le test que j'ai indiqué avec Paint s'il te plait ?

je ne suis pas sous Windows

j'ai fais un test similaire sur KolourPaint (linux)

l'image original fait 1.9Mo (jpg)
l'image copier coller fait 540ko (jpg)

je ne comprends pas pourquoi le seul fait de faire ce copier coller réduit autant la taille*
je n'ai rien changé d'autre
dans les deux cas c'est une image 4K (3840x2160)

dans les deux cas ça ne passe pas !

en la réduisant encore pour atteindre 287ko ça ne passe toujours pas

et là ça passe
245ko !

donc c'est bien la limite de poids qui semble prépondérante sur la taille
celle ci fait 1700x955 pixels

viser les 250ko max
comme à l'époque des premiers forums du web 1.0

bugagga.jpg (244.77 Kio) Vu 105 fois

*après réflexion, probablement l'algorithme de compression qui diffère

le seul truc qui me fait tiquer c'est que j'ai réussi à faire passer une image de 750ko il y'a peu
mais ça n'est arrivé qu'une fois
sinon je suis toujours rejeter autour de +250ko

il arrive cependant que je sois rejeter à moins que ça
hier encore j'ai eu un rejet autour de 150ko (rare)
et dimension moindre que la Bugatti ci dessus

la logique m'échappe

pour être sur que ça ne sont pas les métadatas de l'image d'origine qui bloquent j'ai fais une capture d'écran

284ko => ne passe pas
256ko => ne passe pas

241ko=> OK !

dimensions finales 1870x1006

bon courage !

screen617.jpg (241.45 Kio) Vu 96 fois

probablement que le fait que ça marche après le passage dans Paint c'est la réduction de taille que la manip engendre
rien d'autre...

comme dit, sans aucune autre modif qu'un copier coller dans KolourPaint, l'image a été divisé par 4 environ (2Mo=>500ko)

et mes tests montrent que la limite se situe à 250ko
ou très proche

les cas où c'est rejeté à 150ko ou ça passe à 700ko sont des cas rares

la dimension semble n'avoir aucune importance
si ce n'est que c'est corrélé en partie au poids
donc forcément une image de 5k fera difficilement moins de 250ko

ok donc c'est bien le poids qui compte
cette image fait 4K (3840x2160 pixels)
elle passe

au passage je découvre ce site (ci dessous) qui permet de mettre le poids cible !
donc c'est parfait

et il y'a l'option "supprimer les métadonnées"

au passage cette option ne sert à rien* puisque une image sans métadata de 255ko a été rejetée
avant celle ci de 200ko environ
qui elle passe

l'algorithme de compression joue sur les nuances de couleurs
on voit les gris qui sont trop compressés en haut à droite (et à gauche)*²

c'est pour cela qu'il vaut mieux d'abord réduire l'image à 1000x800 par exemple puis ensuite compresser si ça ne passe pas plutôt que vouloir à tous prix garder la dimension et forcer la compression à 250ko max...

bugatti-w16-mistral-3840x2160-25919(1)(2).jpg (198.84 Kio) Vu 86 fois

https://www.compress2go.com/fr/compresser-image


*certaines images contiennent des infos compromettant votre anonymat, parfois même la position GPS
donc ça peut être utile pour cela

*²

Spoiler:

et au centre
ici on ne fait pas de politique

A moi de poster mon expérience.
Excusez mon vocabulaire très peu précis en cette matière, mais on fait avec ce qu’on a.
D’abord, je redimensionne l’image à 600 pixels ou moins.
J’essaie de la poster.
Si elle ne passe pas, je la convertis en jpg et en général, ça réduit considérablement les Ko et elle passe.

@chad

Je vais essayer de résumer tes différents retours pour y voir plus clair, corrige moi si je me trompe.

Test 1

JPG 4K de 1,9 Mo, puis copier-coller dans KolourPaint : 540 ko
Essais à 540 ko, 287 ko, puis 245 ko.

Conclusion : 540 ko et 287 ko refusés, 245 ko accepté --> suggère une limite pratique autour de 250 ko.

Test 2

Une image d’environ 750 ko est déjà passée une fois
Quelques rejets ont aussi eu lieu vers 150 ko.

Conclusion : Le poids semble être déterminant, mais le comportement n’est pas totalement constant

Test 3

Test avec une capture d’écran
284 ko refusé, 256 ko refusé, 241 ko accepté.

Conclusion : Semble confirmer un seuil proche de 250 ko.

Test 4

Test sans métadonnées
Une image à 255 ko est refusée, une autre vers 200 ko passe.

Conclusion : Les métadonnées ne semblent pas être la cause principale.

Test 5

Une image 4K peut passer si son poids reste faible.

Conclusion : La dimension seule ne semble pas bloquante ; le poids paraît plus important.

Conclusion générale : Tes tests pointent surtout vers une limite pratique autour de 250 ko, même s’il existe quelques exceptions qui ne permettent donc pas de valider l'hypothèse du poids

Je viens de faire un autre test, avec la même image et la "méthode Paint" :
Image d'origine = 161 Ko --> NOK
Image "Paint" = 198 Ko --> OK

EDIT : Ajout du test d'Amarantine

- Redimensionnement de l’image à 600 pixels ou moins.
- Si NOK, conversion en .JPG ce qui a pour effet de réduire considérablement le poids : OK

Conclusion : La taille permet souvent de réussir l'upload, grâce à la conversion en .JPG

Conclusions globales :
1. Ce n'est définitivement pas (uniquement ?) une question de poids
2. La "méthode Paint" prouve que c'est bien la structure interne du fichier (binaire) qui pose problème (pas les MD)
3. A ce stade et sauf erreur on ne saura pas déterminer précisément l'origine du problème.

Suggestion :

@Benoist

Si tu as arrives à trouver le temps et encore un peu de motivation pour ce sujet, il faudrait aller vérifier les logs, en recherchant le moment exact où un upload échoue :

- Dans phpBB Admin Control Panel :
- Onglet Maintenance
- Section Logs
- Regarde d'abord "Error log", sinon "Admin log"
- Cherche une entrée avec une URL de type "posting.php?mode=reply.."

Si tu ne relèves rien d'explicite, il faudra demander à l'hébergeur (sauf si tu y as toi-même accès) qu'il regarde dans les logs serveurs, côté "ModSecurity" et qu'il identifie la Rule ID qui bloque (cf. horodatage de l'échec)

test avec deux images jpeg

1---.jpg (231.15 Kio) Vu 46 fois

2---.jpg (231.17 Kio) Vu 46 fois

Cà fonctionne.

oui DonPaolo tu as bien résumé

par contre tu confirmes bien que tu as été rejeté sur une image de 161ko mais accepté une fois ''passée dans Paint'' malgré le fait qu'elle soit plus lourde ? [tout en restant sous la limite de 250ko]

par le passé (disons entre 7 et 9 ans)
j'ai eu des bugs avec des images
le forum n'arrivait pas à déterminer l'extension
en effet sur Linux le .jpg ou .png ou .xxx n'est pas indispensable à l'ouverture des fichiers
le système reconnaît le type de fichiers sans avoir besoin d'extension
enfin bref j'ai eu parfois des soucis avec des images du style 'extension non reconnue' ou 'fichier non supporté' alors que le fichier avait bien un .xxx

si tu confirmes ce que j'évoque plus haut (en gras) alors il y a bien une question de 'binaires' ou autres (je suis pas assez calé désolé)
probablement lié au type de compression utilisée

Qu’est-ce-qui fonctionne le mieux Christelle? jpg ou jpeg? Je sais que tu as fait pas mal d’essais.

mon histoire de Linux est un peu confuse

ce que je veux dire c'est que le serveur du forum semble analyser les images (comme le fait un Linux) sans se limiter à l'extension du fichier inscrite dans le nom du fichier

il y a quelque chose en plus

edit :
jpg ou jpeg c'est la même chose

PS : quelqu'un a testé si les PDF sont aussi concernés par cette limitation à 250ko ?

- Clic droit sur le fichier
- Ouvrir avec "Paint"
- Ctrl+A --> sélectionner l'image en entier
- Ctrl+C --> la copier
- Ctrl+N --> créer une nouvelle image
On arrive sur une image vierge / page blanche
- Ctrl+V --> coller notre image précédemment copiée
- Enregistrer sous
-----------------------------------------------------------------
Quand une image ne passe pas, soit je la redimensionne en plus petit par Paint, soit je l'enregistre sous un autre nom en format jpeg en utiisant Paint, soit je fais une capture d'écran et enregistre le nouveau fichier en format jpeg en utilisant aussi Paint, soit je l'enregistre sous un autre nom par Paint (et oui... bizarrement çà permet quelquefois de faire passer l'image aussi...).

Suggestion d'une solution radicale : bloquer la possibilité de poster des images en format png sur le forum. Qu'en pensez-vous ?

@Christelle
Merci pour le test, je note et je l’ajouterai à la prochaine salve

Ce n’est pas le format qui pose problème, mais la structure du fichier.

@Chad
Oui je confirme.
Et pour le PDF il me semble bien que la limite s’applique aussi, je n’ai pas réussi à ajouter celui du programme du salon de l’AT.

On est quasi clairement sur un problème de binaire, et comme tu dis, très probablement lié à la compression.