trafficserver-users mailing list archives

Site index · List index
Message view « Date » · « Thread »
Top « Date » · « Thread »
From "Sascha Klose" <Sascha.Kl...@cewecolor.de>
Subject Antw: Re: lazy http-answers from ATS?
Date Sat, 04 Dec 2010 18:04:02 GMT
Hi Eric,

thank you for the answer.

Yes, the tested object is cachable and is in the cache (I see it in
extended2.log with TCP_HIT). I use a few bytes HTML file for my tests.
In general we have objects from 1 KB to 430 MB on the backend
HTTP-Server. Our cache hit-rate is 90%. I disabled eventfd because I get
an error with compiling the source on a debian system.

I read the Jira-Tasks TS-505 and TS-506. Our origin Webserver is a
Apache 2.x with a default configuration and some minor config changes.
But I think this isn't the problem, because the tested object is in the
(RAM)cache. I've reduced the RAM-Cache to 16 GB for testing, but normaly
I use 44 GB RAM-cache and all download-objects have enough room to use
complete RAM-Cache with the same performance problem.

I have use the same ab-test decribed in Jira-Task 506. "ab" runs on the
same server as ATS 2.1.4.

Test 1 (connect to ATS)
$ ab -c 1 -n 100 http://example.com/mon/mon-check.html
[...]
Server Software:        ATS/2.1.4-unstable
[...]
Percentage of the requests served within a certain time (ms)
  50%    340
  66%    472
  75%    540
  80%    611
  90%    744
  95%    860
  98%    968
  99%   1116
 100%   1116 (longest request)

and another test form this server to the origin server (2 origin servers
behind a firewall and F5 loadbalancer with some latency):

Test 2 (connect directly to origin server)
$ ab -c 1 -n 100 http://xxx.xxx.xxx.xxx/mon/mon-check.html
[...]
Server Software:        Apache
[...]
Percentage of the requests served within a certain time (ms)
  50%      2
  66%      2
  75%      2
  80%      2
  90%      2
  95%      2
  98%      3
  99%      4
 100%     31 (longest request)


Do you see the problem? ATS need many time to begin to serve the
requested URL. With less connections to ATS there is no problem, but
more connections slow down the initial HTTP-connect since to the first
byte of the requested file. With the first byte of content the ATS serve
the file nearly with Gigabit speed or above. And it's not a CPU problem
I've wrote. I have a server with two quad-cores and only one core use
max. 10 percent.

I've tested system performance-options from Leif, too, but there no
changes in performance:

/etc/systcl.conf:
vm.max_map_count = 2097152
net.ipv4.tcp_max_syn_backlog = 16384
net.core.somaxconn = 16384
vm.dirty_background_ratio = 20
vm.dirty_ratio = 85
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_local_port_range = 32768 61000
net.core.netdev_max_backlog = 50000
net.ipv4.tcp_max_tw_buckets = 2000000
net.core.wmem_default = 135168
net.core.rmem_default = 135168
net.core.wmem_max = 10485760
net.core.rmem_max = 10485760
net.ipv4.neigh.default.gc_thresh3 = 8192
net.ipv4.neigh.default.gc_thresh2 = 4096
net.ipv4.neigh.default.gc_thresh1 = 1024


Do you have some another ideas?

Bye,
Sascha


>>> Eric Balsa  04.12.10 1.19 Uhr >>>
Sascha,
  Do you have a sense of whether these objects are in cache (and are
cacheable) or are you connecting to origin for most of the requests?
How big are the objects you are serving? What is your cache hit-rate?
This might be something related to --disable-eventfd. Any chance you
could test that theory?

Are your origin's set to keep-alive?
https://issues.apache.org/jira/browse/TS-505 and
https://issues.apache.org/jira/browse/TS-506

You might want to try turning this on too:
CONFIG proxy.config.cache.enable_read_while_writer INT 1

and see if that improves things at all.

--Eric

2010/12/3 Sascha Klose 
>
> Hi,
>
> I used ATS as a reversy proxy only.
>
> I've performance problems with ATS 2.1.3 und 2.1.4. HTTP-Connect from
client to ATS established immideatly, but if the client send the
GET-Request, ATS waits a few seconds to answer the request with the file
to download. I observe this in our rush hour time. I see it at 1000
active TCP-Connections (netstat -tn) or above with a throughput with
300-400 MBit/s or more. CPU-usage is something like 4 percent. disk i/o
something like 6 MB/s. With more TCP-Connections and more throughput,
ATS answer the HTTP GET-Request later and later. After the pause of a
few seconds the transfer speed of the downloaded file is normal.
>
> Any ideas?
>
> I've make some TCP-captures if you want it.
>
> I've compiled ATS on a debian 5.x-system with this configure:
>
> ./configure \
>         --prefix=/PRODUCTION/trafficserver-2.1.4-unstable \
>
>         --exec-prefix=/PRODUCTION/trafficserver-2.1.4-unstable \
>         --with-user=nobody \
>         --with-group=nogroup \
>         --disable-eventfd
>
> My settings with ATS 2.1.4 changed from default:
>
> /etc/sysctl.conf:
> vm.swappiness = 0
> vm.max_map_count = 4000000
>
> records.conf:
> CONFIG proxy.config.cache.ram_cache.size INT 17179869184
> CONFIG proxy.config.cache.ram_cache_cutoff INT 1000000000
>
> CONFIG proxy.config.log2.custom_logs_enabled INT 1
> CONFIG proxy.config.log2.xml_logs_config INT 0
> CONFIG proxy.config.log2.squid_log_enabled INT 0
>
> CONFIG proxy.config.log2.extended2_log_enabled INT 1
> CONFIG proxy.config.log2.extended2_log_is_ascii INT 1
> CONFIG proxy.config.http.transaction_active_timeout_in INT 28800
>
> cache.config:
>
> url_regex=/download/health_check.html   action=never-cache
>
> dest_domain=xx.xx.xx.xx              scheme=http     revalidate=1h
>
> remap.config:
> something like that:
> map             http://something.com             http://xx.xx.xx.xx
>
>
> storage.config:
> /trafficserver-cache/2.1.4-unstable 250000000000
>
> logs.config:
> format:enabled:1:apache:% - - [%] "% % %" % % "%<{Referer}cqh>"
"%<{user-agent}cqh>" %:apache:ASCII:none
>
>
>
> Bye,
> Sascha
>
>
>
______________________________________________________________________________________________________
> Mein persönliches Geschenk: das CEWE FOTOBUCH
>
> -Prämierte Qualität
> -Einfachste Gestaltung
> -Riesenauswahl
>
> Weihnachten steht vor der Tür. Suchen auch Sie nach einer ganz
persönlichen Geschenkidee?
> Wie wäre es mit einem individuellen CEWE FOTOBUCH für Ihre Lieben?
> Es verewigt die schönsten Erlebnisse auf ganz besondere Weise.
Garantiert das Richtige finden Sie hier: http://www.cewe-fotobuch.de
>
> Erhältlich ab 7,95€
>
> *Unverbindliche Preisempfehlung für ein CEWE FOTOBUCH Klein mit 26
Seiten gemäß Preisliste inkl. MwSt zzgl. Bearbeitungspauschalte und
evtl. anfallender Versandkosten.
>
> JETZT NEU:
> CEWE FOTOBUCH mit Hochglanz-Veredelung: Die glänzendste
Weihnachtsüberraschung des Jahres!
> Eine spezielle hochglänzende Beschichtung der Innenseiten lässt die
Fotos in Ihrem CEWE FOTOBUCH jetzt besonders erstrahlen.
> Erhältlich mit bis zu 154 Seiten für die Formate Groß, Groß Panorama
und XL. Mehr Informationen finden Sie auf www.cewe-fotobuch.de
>
> Ganz schön persönlich!
>
> Fotokalender:
>
> - Viele Formate bis DIN A2
> - Attraktive Designs
> - Einfachste Gestaltung und Bestellung
>
> Weihnachtskarten:
>
> - Viele unterschiedliche Karten-Formate
> - Wunderschöne neue Designs
> - Einfachste Gestaltung und Bestellung
>
> Mehr Informationen finden Sie auf www.cewe.de
>
>
>
>
>
>
______________________________________________________________________________________________
> OHG mit SItz in Oldenburg; Registergericht Oldenburg HR A 1548;
persönlich haftende geschäftsführende Gesellschafterin: Neumüller
CeWe Color Stiftung, Oldenburg Vorstand: Dr. Rolf Hollander,
Vorsitzender; Harald H. Pirwitz, Felix Thalmann, Frank Zweigle, Dr.
Michael Fries;
> Geschäftsführer: Dr. Reiner Fageth, Thomas Grunau, Andreas F.L.
Heydemann, Dr. Olaf Holzkämper
>
>
> Persönlich haftende Gesellschafterin: CeWe Color Holding AG,
Oldenburg, Registergericht Oldenburg HR B 2956 Vorstand:
> Dr. Rolf Hollander, Vorsitzender; Andreas F.L. Heydemann, Dr. Reiner
Fageth, Dr. Olaf Holzkämper Aufsichtsrat: Hubert Rothärmel, Vorsitzender


__________________________________________________________________________________________________
Mein persönliches Geschenk: das CEWE FOTOBUCH  

-Prämierte Qualität 
-Einfachste Gestaltung 
-Riesenauswahl  

Weihnachten steht vor der Tür. Suchen auch Sie nach einer ganz
persönlichen Geschenkidee? 
Wie wäre es mit einem individuellen CEWE FOTOBUCH für Ihre Lieben? 
Es verewigt die schönsten Erlebnisse auf ganz besondere Weise.
Garantiert das Richtige finden Sie hier: http://www.cewe-fotobuch.de

Erhältlich ab 7,95 €*.  

*Unverbindliche Preisempfehlung für ein CEWE FOTOBUCH Klein mit 26
Seiten gemäß Preisliste inkl. MwSt zzgl. Bearbeitungspauschale und evtl.
anfallender Versandkosten.  

JETZT NEU:
CEWE FOTOBUCH mit Hochglanz-Veredelung: Die glänzendste
Weihnachtsüberraschung des Jahres! 
Eine spezielle hochglänzende Beschichtung der Innenseiten lässt die
Fotos in Ihrem CEWE FOTOBUCH jetzt besonders erstrahlen. 
Erhältlich mit bis zu 154 Seiten für die Formate Groß, Groß Panorama und
XL. Mehr Informationen finden Sie auf www.cewe-fotobuch.de

Ganz schön persönlich! 

Fotokalender: 

- Viele Formate bis DIN A2 
- Attraktive Designs 
- Einfachste Gestaltung und Bestellung  

Weihnachtskarten: 

- Viele unterschiedliche Karten-Formate 
- Wunderschöne neue Designs 
- Einfachste Gestaltung und Bestellung  

Mehr Informationen finden Sie auf www.cewe.de.   




___________________________________________________________________ 
OHG mit Sitz in Oldenburg; Registergericht Oldenburg HR A 1548;
persönlich haftende geschäftsführende Gesellschafterin: 
Neumüller CeWe Color Stiftung, Oldenburg Vorstand: Dr. Rolf Hollander,
Vorsitzender; Harald H. Pirwitz, Felix Thalmann, Frank Zweigle, Dr.
Michael Fries; 
Geschäftsführer: Dr. Reiner Fageth, Thomas Grunau, Andreas F.L.
Heydemann, Dr. Olaf Holzkämper  

Persönlich haftende Gesellschafterin: CeWe Color Holding AG, Oldenburg,
Registergericht Oldenburg HR B 2956 Vorstand: 
Dr. Rolf Hollander, Vorsitzender; Andreas F.L. Heydemann, Dr. Reiner
Fageth, Dr. Olaf Holzkämper Aufsichtsrat: Hubert Rothärmel, Vorsitzender

Mime
View raw message