Используем GZip в Synapse.

Раз пошла такая тема, то сегодня речь пойдет про ещё один способ экономии трафика и повышении скорости работы с HTTP при использовании Synapse в Delphi. О том, как сэкономить немного трафика при скачивании web-страничек из Сети я рассказывал, когда рассматривал события сокета в Synapse, но этот способ выгодно применять кода необходимые нам данные находятся как можно ближе к началу страницы – тогда экономия есть и прирост скорости работы тоже наблюдается. Но использование события сокета не дает никакого эффекта, когда надо скачать страницу целиком. И в этом случае на помощь нам приходит использование GZip. При использовании GZip с Synapse мы имеем возможность сэкономить до 75% и более трафика, а соответственно и значительно ускорить работу наших программ для работы с Сетью.

Прежде, чем перейдем к рассмотрению примеров использования GZip в Synapse, рассмотрим несколько общих моментов по использованию сжатия в принципе.

Как указать серверу, что мы хотим получать сжатые данные?

Всё “общение” клиента и сервера на предмет того, что ожидает клиент, какие возможности поддерживаем и т.д. осуществляется с помощью заголовков. Пример использования заголовков я рассматривал в посте «Работа с байтовыми диапазонами в Synapse.«, в принципе, аналогичным образом мы можем сказать серверу, что хотим получить данные сжатые с помощью GZip. Для этого используется следующий заголовок:

Accept-Encoding: gzip,deflate

Что касается версии протокола HTTP, то немного покопавшись в Сети на тему какая из версий протоколов поддерживает GZip сжатие, нашел следующую информацию: nginx не отдает gzip если протокол HTTP/1.0, даже если его об этом просят (в заголовках). Для этого необходимо настроить опцию gzip_http_version, указав минимальную версию протокола 1.0, после чего сервер будет отдавать gzip по протоколу 1.0.

Таким образом, если сервер поддерживает GZip сжатие, то для надежности лучше всего у THTTPSend задавать следующие значения:

HTTPSend.Headers.Add('Accept-Encoding: gzip,deflate');//заголовок
HTTPSend.Protocol:='1.1';//по умолчанию выставляется 1.0

После этого, если сервер может отдавать клиентам сжатые данные, Вы будете их получать. Обращаю на это внимание, т.к. не всегда удается получить то, что нам нужно. И здесь мы плавно переходим ко второму вопросу.

Как узнать, что сервер вернул сжатые данные?

Ровно также как и попросить отдать данные в сжатом виде – через заголовки. Если сервер возвращает сжатые данные, то в заголовках сервера обязательно есть заголовок Content-Encoding. Для нашего случая он будет таким:

Content-Encoding: gzip

Остается только проанализировать заголовки и определить есть ли в них представленный выше заголовок и его значение. С помощью Synapse это можно сделать, например, так:

with THTTPSend.Create do
  begin
    if HTTPMethod('GET', 'http://webdelphi.ru') then
    begin
      HeadersToList(Headers);//привели заголовки к виду Name=Value
      {проверяем заголовок}
      if Trim(Headers.Values['Content-Encoding']) = 'gzip' then
      begin
        //тут разжимаем данные
      end
      else
        begin
          //так как данные не сжаты - просто считываем строку 
          HTMLMemo.Lines.Text :=ReadStrFromStream(Document,Document.Size)
        end;
    end;
  end;
end;

В представленном выше коде используются только возможности библиотеки Synapse, а именно, процедура HeadersToList и функция ReadStrFromStream находятся в модуле SynaUtil.pas о котором я немного рассказывал в статье «Глубины Synapse или дополнительные возможности библиотеки«.

Теперь можно переходить к основному вопросу статьи.

Как работать с GZip в Synapse?

С подсказки Mifody я открыл для себя довольно простую и одновременно удобную библиотеку для работы с GZip в Delphi под названием delphi zlib. Также как и Synapse эта библиотека содержит набор классов и методов и никаких визуальных или не визуальных компонентов. Чтобы не таскать каждый раз за собой все модули этой библиотеки при создании новых проектов – просто укажите путь к delphi zlib в настройках Delphi:

Tools – Options – Delphi Options – Library – Library Path

Для распаковки сжатых с помощью GZip данных в модуле ZLibExGZ предусмотрены следующие методы:

для строк:

function  GZDecompressStr(const s: RawByteString): AnsiString; overload;
procedure GZDecompressString(var result: UnicodeString; const s: RawByteString); overload;

И ещё несколько переопределенных методов. На мой взгляд, представленные выше два метода наиболее удобны в использовании для использования их совместно с Synapse.

для потоков:

procedure GZDecompressStream(inStream, outStream: TStream); overload;

И ещё несколько переопределенных методов. Соответственно в различных ситуациях нам будет удобно пользоваться либо методами для строк, либо для потоков. Например, использование метода GZDecompressStream может оказаться удобным в таком случае:

var
  DecompStream: TStringStream;
begin
  with THTTPSend.Create do
  begin
    Headers.Add('Accept-Encoding: gzip,deflate');
    Protocol:='1.1';
    if HTTPMethod('GET', 'http://webdelphi.ru') then
    begin
      HeadersToList(Headers);
      if Trim(Headers.Values['Content-Encoding']) = 'gzip' then
      begin
        DecompStream := TStringStream.Create;
        try
          GZDecompressStream(Document, DecompStream);
          Memo1.Lines.Text := DecompStream.DataString;
        finally
          DecompStream.Free
        end;
      end
      else
        Memo1.Lines.Text :=ReadStrFromStream(Document,Document.Size)
    end;
  end;
end;

Можно переписать этот же код, но используя функцию для распаковки строки:

var
  S: RawByteString;
begin
  with THTTPSend.Create do
  begin
    if CheckBox1.Checked then
      Headers.Add('Accept-Encoding: gzip,deflate');
    if HTTPMethod('GET', 'http://webdelphi.ru') then
    begin
      HeadersToList(Headers);
      S:=ReadStrFromStream(Document,Document.Size);
      if Trim(Headers.Values['Content-Encoding']) = 'gzip' then
        Memo1.Lines.Text := GZDecompressStr(S)
      else
        Memo1.Lines.Text:=S;
    end;
  end;

Приведенный выше листинги возвращают один и тот же результат — распакованные данные. Теперь подведем небольшой итог по работе с GZip в Synapse:

1. Для того, чтобы попробовать получить данные сжатые GZip серверу необходимо передать заголовок ACCEPT-ENCODING
2. Для гарантированного получения gzip (если сервер поддерживает такую возможность) необходимо свойству Protocol у объекта THTTPSend всегда указывать значение ‘1.1’. Для проверки, попробуйте получить сжатые данные от Яндекс, не указывая версию протокола 1.1.
3. Для распаковки данных удобно использовать библиотеку delphi zlib в состав которой входят методы для распаковки строк и потоков с данными.
4. Как отметил в своем сообщении Mifody, при работе с жатыми данными могут возникать непредвиденные ситуации, например, как на mail.ru – ошибка при распаковке данных, несмотря на то, что данные приходят сжатыми GZip. Решение этой проблемы пока не нашел.

Что касается Synapse в принципе, может мне и кажется, но в последнее время в Рунете все чаще и чаще начинают использовать эту библиотеку взамен Indy, что не может не радовать :).

Удачных Вам разработок!

Книжная полка

	Автор: Андрей Шкрыль Название: Разработка клиент-серверных приложений в Delphi Описание: Рассмотрены практические вопросы по разработке клиент-серверных приложений в среде Delphi 7 и Delphi 2005 с использованием СУБД MS SQL Server 2000, InterBase и Firebird. Приведена информация о теории построения реляционных баз данных и языке SQL. Освещены вопросы эксплуатации и администрирования СУБД.
	Автор: Антон Григорьев Название: О чем не пишут в книгах по Delphi Описание: Рассмотрены малоосвещенные вопросы программирования в Delphi. Описаны методы интеграции VCL и API. Показаны внутренние механизмы VCL и приведены примеры вмешательства в эти механизмы. Рассмотрено использование сокетов в Delphi: различные режимы их работы, особенности для протоколов TCP и UDP и др.