Скачивание сайта с wget

Постоянно забываю о том, как скачивать сайт при помощи wget. Требуется это нечасто, но иногда очень нужно, а скачивать специализированные программы для этого не хочется, ведь знаешь же, что wget всё это может легко и быстро. Информация об этом есть по всему интернету, но хочется, чтобы всё было под рукой. Так что теперь не забуду :)

1
wget -r -k -l 7 -p -E -nc http://example.com/

Хочу обратить внимание на параметр -l, которому отправляется максимальное значение уровня вложенности, на котором wget перестанет бегать по ссылкам страниц и скачивать контент. Также, можно записать

1
wget -r -k -l 7 -p -E -nc --user-agent "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.12011-10-16 20:23:00" http://example.com/

чтобы «прикинуться» нормальным браузером. Это может помочь в случаях, если раздающий контент веб-сервер настроен на блокировку wget. Ведь по умолчанию wget отправляет запрос, заполняя user-agent своим значением. Можно отправить в качестве аргумента этому параметру "" (пустую строку), тогда wget не будет вообще указывать user-agent. В случае, если контент защищен http-авторизацией, и у вас есть учетные данные для сайта, можно воспользоваться параметрами --http-user и --http-password для отправки серверу ваших данных. Само собой, если сервер не отдает трафик по защищенному каналу, ваши учетные данные поступают в сеть в открытом виде. Впрочем, также происходит и в случае, если вы используете обычный браузер.

 

 

 

Опубликовано в рубрике Linux | Теги | Оставить комментарий

Несколько IP на одном инстансе AWS

Тема, можно сказать, закрыта. Наконец-то Amazon предоставила возможность цеплять больше 1 IP-адреса на инстанс. Судя по информации, которую я получил в рассылке по почте, а также по документации и документации, повесить на один инстанс можно до 30 IP-адресов. Реализовано это все немного заумно, как мне кажется. Хотя и понятно, что это сделано для легкости управления IP-адресами c технической стороны вопроса. Для того, чтобы повесить несколько IP-адресов на инстанс, как я понял, требуется сначала создать виртуальный сетевой интерфейс в консоли, назначить ему несколько IP-адресов из приватной сети, а затем уже «повесить» на эти приватные адреса адреса Elastic IP. Заниматься такими веселыми штуками можно, имеючи как минимум Small-инстанс. Такового у меня сейчас нет, так что удостовериться и потыкать в новый функционал пальчиками мне пока не доводится. Безусловно, можно купить Small-инстанс и погонять всё это дело, но я лучше пойду в море искупаюсь 😉

UPD: Вот тут можно посмотреть и почитать, как настроить несколько IP на одном инстансе.

Опубликовано в рубрике Технологии Веб | Теги , , | Оставить комментарий

Умирающие плагины

За последние пару лет WordPress из движка для блоггинга превратился в достаточно мощное программное обеспечение, при помощи которого можно создавать функциональные проекты малого/среднего масштаба. Несмотря на то, что изначально движок предназначен для создания блогов, его функционал можно просто расширить при помощи плагинов, коих написано великое множество.

За три года существования этого блога я опробовал на нем разные плагины, и до недавнего времени набор плагинов был стабилен. Ситуация начала меняться спустя некоторое время после выхода WP версии 3.3.1. Разработчики движка постепенно обновляют API, добавляют новые функции, обновляют старые или вовсе удаляют их. В результате, многие плагины начинают работать плохо либо перестают работать вовсе. Конечно же, проблему можно решить, поставив другой плагин. А можно и самому включиться в разработку и поддержку компонента. Другое дело, если разработчик у плагина есть, и ты ждешь от него реакции на протяжении продолжительного времени. Так, например, происходит с плагинами OpenID и Loginza. Эти два замечательных плагина перестали работать после одного из последних обновлений. Касаемо Loginza, плагин, конечно работает, но сыплет Warning'и в лог сервера из-за устаревших функций. В результате, при продолжительной работе в таком режиме через fastcgi (здесь не важно, что именно используется как cgi), скрипт просто прибивается сервером из-за большого количества ошибок. Понятное дело, это тянет за собой весь движок, и сайт становится недоступен для посетителей. С OpenID всё ещё сложнее — он вообще не пашет. То есть никак. И если Loginza можно поменять на что-то, либо потерпеть без него, то для OpenID альтернативы просто нет. Как следствие, приходится использовать другого OpenID-провайдера для целей авторизации. Аналогично было ещё с парой плагинов. В результате, за пару месяцев зимы набор плагинов сократился на пять штук. На данный момент я могу сделать вывод, что функциональность этого сайта определенно уменьшилась. У меня в голове уже бродила мысль о том, чтобы форкнуть OpenID-плагин и допилить его до нормального состояния, но пока я этим делом заниматься не могу. Так что, остаётся только ждать подвижек со стороны авторов.

Опубликовано в рубрике Wordpress | Теги , , | Оставить комментарий

Code Assist для внешней библиотеки PHP на примере WordPress и Aptana Studio 3

Code Assist — чрезвычайно удобная и в тоже время настолько привычная и интуитивная штука в современных средах разработки, что некоторые порой просто не знают, как она называется :). В Microsoft Visual Studio этот функционал называется IntelliSense. В Eclipse/Aptana — Content Assist. А бывает что и по всякому — и Code Assist, и Code completion, и даже иногда, по аналогии с упомянутым Visual Studio — IntelliSense. В Aptana Studio 3, по сравнению со второй версией, некоторые настройки реализованы иначе. Из-за этого включить Code Assist для какой-либо внешней библиотеки бывает не очень понятно. Когда я писал свой плагин фильтрации постов, я столкнулся с необходимостью подключения исходников WordPress. Копание было недолгим и результативным. Ниже я покажу, как подключить внешнюю php-библиотеку к проекту для получения Code Assist по нужным классам и функциям.

Читать дальше »

Опубликовано в рубрике ПО | Теги , , , | Оставить комментарий

Twitter купил Posterous

Эту интересную новость я узнал из письма, упавшего мне на почтовый ящик сегодня ночью. Мне вообще было интересно знать, куда движется Twitter последнее время. Учитывая развитие блоггинговых возможностей у конкурентов (Facebook, Google Plus), было бы опрометчиво, на мой взгляд, со стороны руководства Twitter стоять на месте. Трудно рассматривать Posterous в качестве конкурента Twitter, хотя бы по нишевости контента, посещаемости и другим характеристикам. Как следствие, сомневаюсь что это обычное поглощение (как было, например, у Facebook и Friendfeed. В результате покупки Facebook фактически умертвил сервис, о чём я писал тут и упоминал тут). Скорее всего, это именно «приобретение» квалифицированного персонала и работающего функционала для развития основного проекта (похоже, это такие «модные» веяния в менеджменте IT-компаний последнее время). Безусловно, что Twitter имеет несколько иную направленность, нежели Facebook или Google Plus. Однако же, кое-чем их функционал всё-таки перекликается. Плюс, я не исключаю возможность того, что руководство Twitter, подгоняемое волной развития и роста популярности социальных сетей, может усилить социальную составляющую своего сервиса. Хотя, учитывая появление в сети таких проектов, как Diaspora или даже DuckDuckGo, стоит отметить, что эта самая волна многим уже порядком надоела, и, видимо, за максимумом постепенно последует спад. Короче, посмотрим.

Опубликовано в рубрике Технологии Веб | Теги , , , | 1 Комментарий