Php photo gallery TWG | JFUploader | TWG Flash upload | WFU | Forum

Get help for TinyWebGallery, the best image gallery. The forum is also home for the Joomla JFUploader, TWG Flash Uploader and the Wordpress flash uploader.
It is currently 22. Nov 2024, 11:03

This forum is readonly now. Please use the new forum if you don't find the answer to your question here. The new forum is at https://www.tinywebgallery.com/blog/forum/

View unanswered posts | View active topics


Board index » TinyWebGallery Deutsches Forum » Support Deutsch

All times are UTC + 1 hour [ DST ]



Post new topic Reply to topic  Page 1 of 1
  [ 12 posts ] 
  Print view Previous topic | Next topic 
Author Message
hoods
PostPosted: 16. Mar 2014, 11:45 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Hallo zusammen,

ich habe twg (Version 2.0.5) mit ein paar hundert Test Bildern und Videos soweit konfiguriert und wollte nun twg auf die original Bilder auf meinem NAS los lassen. Es handelt sich um ca. 14.000 Bilder (jpg) und einige wenige avi und mov Videos. twg und NAS laufen auf einem kleinen PC (AMD E350 (2 Core)) der alle möglichen Aufgaben für die Familie erledigt und nur intern erreichbar ist.

Nun zum Probem:
1. Die original Bilder wurden für twg sichtbar gemacht (nur ein anderer lokaler Pfad) und ich habe die Berechtigungen entsprechend geprüft.
2. "Prüfe Cache Status" hat mit mitgeteilt, dass 10.000 Bilder zu verarbeiten sind. Links stand:
Noch nicht generierte Cachebilder: 10000
Verbleibende Zeit: ~ 166 min 41 s
3. Anschliessend wurde der Cache mit "Erzeuge Cachebilder" erzeugt, was ca. 5-6 Std. gedauert hat
Während der Verarbeitung wurde der counter runtergezählt bis irgendwann "scheinbar" alle Bilder verarbeitet waren.

Im Anschluss habe ich den Status nochmal geprüft und seltsamerweise sollten wieder 10.000 Bilder gecached werden (der Cache wurde vorher nicht gelöscht!).
Das Ganze habe ich dann noch ein 3. und ein 4. Mal gemacht, in der Hoffnung dass irgendwann der Counter mal < 10.000 Bilder geht.

Wenn ich nun meine twg Seite besuche dauert das laden 20-30 Sekunden und im debug Log stehen eine Reihe von Meldungen. Config und Log habe ich angehängt.

Was mich wundert, erst wenn ich einzelne Ordner auf meiner twg Seite öffne, werden die Thumbs generiert. Ich sehe convert mit reichlich CPU Zeit und anschliessend sind die Thumbs verfügbar. Das passiert mit allen Bildern, sobald ich den entsprechenden Ordner öffne. Ich dachte um diese Ladezeit zu vermeiden ist die "Erstelle Cache" Funktion gedacht, oder bin ich hier auf dem Holzweg?

Ich hoffe hier kann jemand ein wenig Licht ins Dunkel bringen.

Vielen Dank.

Sven


Attachments:
twg_config+logs.zip [41.68 KiB]
Downloaded 494 times
Top
 Profile  
 
TinyWebGallery
PostPosted: 16. Mar 2014, 22:17 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
Wie sieht denn der cache Ordner aus?
Weil da sollten die alle landen.

Gruß, Michael
Top
 Profile  
 
hoods
PostPosted: 17. Mar 2014, 17:12 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Hi Michael,

im cache Verz. finden sich eine Reihe Dateien wie "_t_i_f9e0b15b2d98a5136fc3cf242a71b35b25f147bf.tmp.php" und die Ordnerstruktur, die ich auch für meine Bilder bisher verwende.
In diesen Ordnern liegen dann jpeg Files.

Code:
root@yavdr:/var/www/twg2/cache# find . -name "*.jpg" |wc -l
10145


Entspricht nicht den ca. 14.000 Bildern ...

Kann es an den Ordnerstrukturen liegen? Denn der folgende Cache Ordner ist leer, obwohl im Original Ordner Bilder enthalten sind.
Code:
root@yavdr:/var/www/twg2/cache# ll 2009%20Bilder%20Ole%20Fotoshooting%20-%20Flughafen%20D%C3%BCsseldorf/
total 1096
drwxrwxr-x  2 www-data www-data    4096 Mär 16 07:54 ./
drwxrwxrwx 82 www-data www-data 1114112 Mär 16 23:18 ../


Sobald ich den Ordner einmal aufrufe über die Gallerie, finden sich auch Dateien in dem Unterordner im Cache Verz.
Code:
root@yavdr:/var/www/twg2/cache# ll 2009%20Bilder%20Ole%20Fotoshooting%20-%20Flughafen%20D%C3%BCsseldorf/
total 1228
drwxrwxr-x  2 www-data www-data    4096 Mär 17 16:07 ./
drwxrwxrwx 82 www-data www-data 1114112 Mär 17 16:07 ../
-rw-rw-rw-  1 www-data www-data   37347 Mär 17 16:07 UL%20Shop%20D%C3%BCsseldorf%20%287%29.JPG.thumb.jpg
-rw-rw-rw-  1 www-data www-data   48644 Mär 17 16:07 UL%20Shop%20D%C3%BCsseldorf%20%2878%29.JPG.thumb.jpg
-rw-rw-rw-  1 www-data www-data   44696 Mär 17 16:07 UL%20Shop%20D%C3%BCsseldorf%20%2880%29.JPG.thumb.jpg


Hier die Ordnerstruktur der Original Dateien:
Code:
root@yavdr:/var/www/twg2/cache# ll /srv/picture/2009\ Bilder\ Ole\ Fotoshooting\ -\ Flughafen\ Düsseldorf/
total 5640
drwxrwxr-x  2 www-data www-data    4096 Mär 15 20:11 ./
drwxr-xr-x 97 www-data www-data    4096 Mär 16 17:14 ../
-rw-rw-rw-  1 www-data www-data      53 Mär  2 13:14 folder.id
-rw-rw-r--  1 root     users         51 Mär 16 17:53 foldername.txt
-rwxr-xr-x  1 www-data www-data 1651246 Nov  3  2009 UL Shop Düsseldorf (78).JPG*
-rwxr-xr-x  1 www-data www-data 2415956 Nov  3  2009 UL Shop Düsseldorf (7).JPG*
-rwxr-xr-x  1 www-data www-data 1684691 Nov  3  2009 UL Shop Düsseldorf (80).JPG*



Irgendwas ist hier faul, wenn ich die Seite neu aufrufe erscheinen im Apache Log folgende Meldungen (für ca. 60 sec.) und dann kommt plötzlich doch noch die Gallerie.
Code:
root@yavdr:/var/www/twg2/cache# tail -f /var/log/apache2/error.log
....
gd-jpeg: JPEG library reports unrecoverable error: Not a JPEG file: starts with 0x89 0x50
gd-jpeg: JPEG library reports unrecoverable error: Not a JPEG file: starts with 0x89 0x50
....


Ich steig nicht durch. Bin um jede Hilfe dankbar.

Danke & Gruß,
Sven
Top
 Profile  
 
TinyWebGallery
PostPosted: 17. Mar 2014, 21:22 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
Javascript hat ein Problem mit Sonderzeichen bei der Generierung des Caches. Hier wird der cache erst beim ersten Zugriff generiert.

Anscheinend sind auch Bilder dabei, die php nicht generieren kann. Hier hilft evtl. die Verwendung von image magick.
Im cache sollten doppelt so viele Bilder sein

Gruß, Michael
Top
 Profile  
 
hoods
PostPosted: 17. Mar 2014, 21:59 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Ok, das mit den Sonderzeichen muss ich dann erstmal bereinigen.

Image magick ist bereits aktiviert, aber was hat dann die Fehlermeldung "gd-jpeg: JPEG library reports unrecoverable error..." im Apache Log zu sagen. Kann ich irgendwie prüfen ob Image magick wirklich genutzt wird? Gibt es weitere Logfiles?

Danke Sven
Top
 Profile  
 
TinyWebGallery
PostPosted: 17. Mar 2014, 22:05 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
Das landet alles im gleichen log file.

Aber der Fehler scheint mir zu kommen weil das Bild einfach nicht verarbeitet werden kann.

Systemfehler sind auch im log Ordner vom Apache zu finden.

Gruß, Michael
Top
 Profile  
 
hoods
PostPosted: 27. Mar 2014, 21:22 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Hallo Michael,

ich habe die Sonderzeichen ÄÖÜäöüß und Leerstellen für alle Pfad und Datei Namen durch _ ersetzt doch leider funktioniert die Gallerie immer noch nicht zufriedenstellen.

1. convert wird immer noch gestartet sobald ich die Gallerie das erste Mal aufrufe, obwohl vorher der Cache über das Admin GUI erzeugt wurde.

2. Scheinbar hat javascript immer noch Probleme (würde auch zu 1. passen) denn speziell bei einem Bild ist mir folgendes aufgefallen.
Das Bild 2012-08_Burgers_Zoo_-_Finnja_4._Geburtstag/IMG_0154_neu.jpg wird in der Gallerie als _neu.jpg angezeigt (IMG_0154 fehlt).
Gibt es weitere "kritische" Sonderzeichen die ich oben bisher nicht berücksichtigt habe?

3. Es erscheint weiterhin die folgende Fehlermeldung im error.log für ca. 20 Bilder:
Code:
gd-jpeg: JPEG library reports unrecoverable error: Not a JPEG file: starts with 0x89 0x50

Wie finde ich heraus, welche Bilder betroffen sind?

Image magick ist definitv aktiviert, "shell exec" ist in der php.ini enabled und der Installation Check sieht wie folgt aus:
Code:
PHP version >= 4.3.0    Yes (5.3.10-1ubuntu3.10)
  - XML support    Available   
  - GD lib support    Available   
  - GD lib >= 2.0    Yes (2.0)
  - imagecreatetruecolor    Available   
  - Memory limit    Very Good (128M)
  - Max resolution    ~ 5148 x 3866   
  - Rotate available    Available   
  - Text watermark    Available   
  - Remote jpg support    Available   
  - File Uploads    Available   
     - Upload max filesize    16M (howto)
Session    Available   
  - session.save_path    /var/lib/php5
Javascript    Available
fsockopen (howto)    Available   
Image Magick Support    Available   
ffmpeg Support    Available   
ffmpeg video convert    Available
cache/   Writeable
counter/   Writeable
xml/   Writeable
The .htusers.php has to be writable because otherwise you cannot change any password or add users. TWGXplorer is not active until the password of the admin has changed - please change this permission with an FTP programme!
admin/_config/.htusers.php   Writeable
Status of TWG main directory. If this is red you maybe can not save the config with the configuration and the Color Manager. Check the settings below. Change the permissions of the main folder if you cannot save the configuration.
TWG folder   Writeable
The config.php doesn't has to be writeable!
Please store your configuration in the my_config.php. This makes it easier for you to update and see your settings.
config.php   Writeable
my_config.php   Writeable
The my_style.css has to be writeable if you want to store the style sheet with the Color Manager!
my_style.css   Writeable
Directive    Recommended    Actual
Safe Mode:    OFF:    OFF    
Display Errors:    ON:    OFF    
File Uploads:    ON:    ON    
Magic Quotes GPC:    ON:    OFF    
Magic Quotes Runtime:    OFF:    OFF    
Register Globals:    ON/OFF:    OFF    
Output Buffering:    OFF:    OFF    
Session auto start:    OFF:    OFF

Heisst die Meldung oben (gd-jpeg: ...) , dass anstelle von image magick doch noch gdlib verwendet wird? Wie kann ich das Problem weiter runter brechen?

Gibt es in der Konfig, die ich im ersten Post hochgeladen hatte "grobe Schnitzer"? Ich komm leider nicht mehr weiter .. :(

Vielen Dank im Voraus.

Gruß Sven
Top
 Profile  
 
TinyWebGallery
PostPosted: 27. Mar 2014, 21:56 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
Die Frage ist ob überhaupt cache Bilder erzeugt werden oder nur bestimmte nicht.
Das Javascript ruf einfach die Bilderurls auf. Wenn du willst kannst du auch mit einem beliebigen Tool über deine Galerie surfen.

Setz mal $use_cache_hash=true;

Dann werden alle cachenamen gehashed und dann sind die Bildernamen für den Cache egal.
Es wird aber der ganze Cache neu erzeugt. Solltest die Bilder dort also vorher löschen.

Image magic ist vorhanden - hast du es auch aktiv geschaltet?

Gruß, Michael
Top
 Profile  
 
hoods
PostPosted: 28. Mar 2014, 15:53 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Muss ich image magick außer in der config.php noch an anderer Stelle "aktivieren"?

Den anderen Punkt probiere ich heute Abend und geb Rückmeldung.

Gruß Sven
Top
 Profile  
 
TinyWebGallery
PostPosted: 29. Mar 2014, 21:33 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
Ne $use_image_magic=true;
sollte reichen.

gdlib wird aber immer noch für alle dynamischen bilder verwendet welche nicht im cache landen.

Gruß, Michael
Top
 Profile  
 
hoods
PostPosted: 30. Mar 2014, 17:37 
Offline

Joined: 16. Mar 2014, 11:07
Posts: 6
Kurzer Zwischenstand:

... ich komme leider keinen Schritt weiter ...

Parameter use_image_magic=true gesetzt, cache gelöscht, mydebug.out genullt und cache neu erzeugt.

counter/_mydebug.out:
Code:
:/usr/bin/convert "/data/volume1/Bilder/2004_Urlaub_Norwegen/Die_besten_Bilder_(nachbearbe
      Stack: imagefunctions.inc.php:247:execute_command:/usr/bin/convert "/data/volume1/Bilder/2004_Urlaub_Norwegen/Die_besten_Bilder_(nachbearbeitet)/Norwe
      Stack: imagecreate.inc.php:182:generatesmall:pictures/2004_Urlaub_Norwegen/Die_besten_Bilder_(nachbearbeitet)/Norwegen-2004-0897B.JPG:./cache/f474e1fde20d3fd2ecb2237a62cca05c.thumb.jpg:200:85:0:pictures/20
04_Urlaub_Norwegen/Die_besten_Bilder_(nachbearbeitet)
      Stack: image.php:89:include:/var/www/twg2/inc/imagecreate.inc.php
03.30.2014 0:13:56 (de) - Array
(
)
:/usr/bin/convert "/data/volume1/Bilder/2005_HP_Aktiv_Wochenende_2005/vonSven/IMG_2696.jpg" -quality 85 -resize x200 -gravity center -crop 200x200+0+0  "/var/www/twg2/cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb
.jpg"
    Request: /twg2/image.php?twg_type=small&twg_album=2005_HP_Aktiv_Wochenende_2005%2FvonSven&twg_show=IMG_2696.jpg&twg_generate=true
      Stack: filefunctions.inc.php:1461:output:Array
(
)
:/usr/bin/convert "/data/volume1/Bilder/2005_HP_Aktiv_Wochenende_2005/vonSven/IMG_2696.jpg:/var/www/twg2/counter/_mydebug.out
      Stack: filefunctions.inc.php:3752:debug:Array

Handelt es sich um eine Fehlermeldung oder um einen freundlichen Hinweis?


Code:
      Stack: image.php:89:include:/var/www/twg2/inc/imagecreate.inc.php
03.30.2014 0:13:56 (de) - './cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg' could not loaded properly. Please check if the file is corrupt.
    Request: /twg2/image.php?twg_type=small&twg_album=2005_HP_Aktiv_Wochenende_2005%2FvonSven&twg_show=IMG_2696.jpg&twg_generate=true
      Stack: filefunctions.inc.php:1461:output:'./cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg' could not loaded properly. Please check if the :/var/www/twg2/counter/_mydebug.out
      Stack: imagefunctions.inc.php:866:debug:'./cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg' could not loaded properly. Please check if the
      Stack: imagefunctions.inc.php:253:loadImage:./cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg:2
      Stack: imagecreate.inc.php:113:generatesmall:pictures/2005_HP_Aktiv_Wochenende_2005/vonSven/IMG_2696.jpg:./cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg:200:85:90:pictures/2005_HP_Aktiv_Wochenende_2005/vonSven
      Stack: image.php:89:include:/var/www/twg2/inc/imagecreate.inc.php
03.30.2014 0:13:56 (de) - ERROR 2 in /var/www/twg2/inc/imagefunctions.inc.php, line 316: imagerotate() expects parameter 1 to be resource, boolean given
    Request: /twg2/image.php?twg_type=small&twg_album=2005_HP_Aktiv_Wochenende_2005%2FvonSven&twg_show=IMG_2696.jpg&twg_generate=true
      Stack: filefunctions.inc.php:1461:output:ERROR 2 in /var/www/twg2/inc/imagefunctions.inc.php, line 316: imagerotate() expects parameter 1 to :/var/www/twg2/counter/_mydebug.out
      Stack: filefunctions.inc.php:1527:debug:ERROR 2 in /var/www/twg2/inc/imagefunctions.inc.php, line 316: imagerotate() expects parameter 1 to
      Stack: ::on_error:2:imagerotate() expects parameter 1 to be resource, boolean given:/var/www/twg2/inc/imagefunctions.inc.php:316:Array(    [image] => pictures/2005_HP_Aktiv_Wochenende_2005/vonSven/IMG_2696.jpg    [small] => ./cac
      Stack: imagefunctions.inc.php:316:imagerotate::90:0
      Stack: imagecreate.inc.php:113:generatesmall:pictures/2005_HP_Aktiv_Wochenende_2005/vonSven/IMG_2696.jpg:./cache/5ed90ff61bdc5b744d97e88df4739d8e.thumb.jpg:200:85:90:pictures/2005_HP_Aktiv_Wochenende_2005/vonSven

ERROR 2 sieht schon eher nach einem konkreten Fehler aus, verm. Ursache?

Weitere Beobachtungen:
SCHLECHT:
Code:
192.168.178.20 - - [30/Mar/2014:01:17:53 +0100] "GET /twg2/image.php?twg_type=thumb&twg_album=2008_Fotokalender_Weihnachten&twg_show=IMG_0053.jpg&twg_generate=true HTTP/1.1" 403 432 "http://yavdr.fritz.box:8088/twg2/admin/index.php?action=helper_gen&PHPSESSID=8tlllblvhhi45t7plsk1cfs066" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36"
192.168.178.20 - - [30/Mar/2014:01:17:53 +0100] "GET /twg2/image.php?twg_type=small&twg_album=2008_Fotokalender_Weihnachten&twg_show=IMG_0053.jpg&twg_generate=true HTTP/1.1" 403 397 "http://yavdr.fritz.box:8088/twg2/admin/index.php?action=helper_gen&PHPSESSID=8tlllblvhhi45t7plsk1cfs066" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36"

HTTP 403 beim erzeugen des cache, warum lässt sich der cache für 10.000 Bilder erzeugen und bei knapp 1.000 wird ein 403 geworfen? Die apache vhost config habe ich bereits mehrfach geprüft mod evasive/security deaktiviert und und die Filesystem Permissions geprüft.

GUT:
Code:
192.168.178.20 - - [30/Mar/2014:01:43:23 +0100] "GET /twg2/image.php?twg_type=thumb&twg_album=2008_Weihnachten&twg_show=PC260233.JPG&twg_generate=true HTTP/1.1" 200 391 "http://yavdr.fritz.box:8088/twg2/admin/index.php?action=helper_gen&PHPSESSID=8tlllblvhhi45t7plsk1cfs066" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36"
192.168.178.20 - - [30/Mar/2014:01:43:26 +0100] "GET /twg2/image.php?twg_type=small&twg_album=2008_Weihnachten&twg_show=PC260233.JPG&twg_generate=true HTTP/1.1" 200 391 "http://yavdr.fritz.box:8088/twg2/admin/index.php?action=helper_gen&PHPSESSID=8tlllblvhhi45t7plsk1cfs066" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.154 Safari/537.36"


Ich komm leider keinen Schritt weiter. Michael, ich hoffe Du kommst mit den Inputs weiter.

Danke im Voraus.

Gruß Sven
Top
 Profile  
 
TinyWebGallery
PostPosted: 30. Mar 2014, 20:54 
Offline
Site Admin
User avatar

Joined: 1. Aug 2005, 12:53
Posts: 11232
1. Wenn man den erweiterten debug einschaltet werden auch die image magic commandos ins log geschrieben.
2. Hie scheint ein thumbnail nicht gelesen werden zu können. Passiert das auch, wenn du direkt in den Ordner gehst? Irgendwie scheinen ein genazer Teil deiner Bilder einfach nicht konvertiert werden zu können. Da kann TWG wenig machen.
Und zu den 403 kann ich nichts sagen, weil das sind ja server fehler. Evtl. steht da im log selbst noch mehr.

Schau dir halt mal ein Bild, was auf die Nase fällt genauer an.
Evtl. hilft es ja mal alles Bilder mit einem Tool auf dem PC zu konvertieren.

Gruß, Michael
Top
 Profile  
 
Display posts from previous:  Sort by  
Post new topic Reply to topic  Page 1 of 1
  [ 12 posts ] 

Board index » TinyWebGallery Deutsches Forum » Support Deutsch

All times are UTC + 1 hour [ DST ]

Who is online

Users browsing this forum: No registered users and 34 guests

You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot post attachments in this forum

Search for:
cron
powered by phpbb | Datenschutz/ Privacy policy