Панель администратора

Администраторы, Блоки и баннеры, Комментарии, База данных, Редактор внедрений, Дополнительные поля, Группы, Каналы RSS, Сообщения, Модули, Безопасность, Конфигурации, Стили, Шаблоны, Загрузка, Пользователи

Системные модули

Вопросы и ответы, Каталог файлов, Новости, Контент, Опросы, Обратная связь, Добавить новость, Топ пользователи, Актуальные темы, RSS Информер, Рекомендовать, HTML Контент, Отдел пользователя, HTML Редактор, Бакуп базы данных.

Интеграция с форумами

Общая регистрация и авторизация с самыми популярными и актуальными на сегодняшний день форумами: Invision Power Board, phpBB, vBulletin, SMF.

Русская разработка, полностью на русском языке. Сейчас доступна для скачивания стабильная версия 0.4. Распространяется под лицензией GNU GPL. PHP+MySQL.
Имеет:
- Управление новостями - создание, редактирование, удаление категорий(с правом доступа пользователям); создание, редактирование, удаление, вывод на печать новостей; поддержка комментариев(с правом доступа пользователям) смайлики, минимум встроенных тэгов; поддержка RSS лент для категорий и сводного вывода в стандарте RSS 2.0 и Yandex-news;
- Каталог файлов - создание, редактирование, удаление категорий (с правом доступа пользователям); создание, редактирование, удаление, возможность загрузки и скачивания файлов; поддержка комментариев и рейтинга; поддержка RSS лент аналогичная новостной;
- Каталог ссылок - создание, редактирование, удаление категорий; создание, редактирование, удаление, добавление баннеров, подсчёт переходов;
- Опросы - создание, редактирование, удаление, лимитирование времени проведения опросов; поддержка комментариев;
- Мод статей - ручное клонирование; создание, редактирование, удаление категорий(с правом доступа пользователям); создание, редактирование, удаление, прикрепление файла, вывод на печать статьи; поддержка комментариев;
- А так же - шаблоны оформления; создание, редактирование, удаление статических страниц; обратная связь; интеграция с форумами; и многое другое...

Многие мои друзья и знакомые часто спрашивают меня о том, как устроен мой сайт, сколько у меня таблиц в базе данных, как я храню данные и по каким полям веду поиск. Я, конечно, не выдаю все свои государственные тайны, но всегда понимаю причину таких вопросов и пытаюсь помочь людям построить быструю и надежную базу данных - т.е. тщательно продумать структуру БД таким образом, чтобы при увеличении нагрузки или объема таблиц динамический веб-сайт не превратился в тормозное усмертие.

А ведь многие новички (веб-строители) даже не догадываются о том, что крупные динамические сайты тормозят вовсе не из-за нагрузки скриптов на процессор, а в основном из-за неоптимизированного или дохленького MySQL-сервера. При этом во многом все зависит от того, как устроена ваша база данных.

Итак, начнем ликбез. Сразу всем вопрос: что делает MySQL во время записи в таблицы типа INSERT или UPDATE? Правильно - БЛОКИРУЕТ ТАБЛИЦЫ и пишет в них данные. Скорость записи и поиска может быть достаточно низкой, поэтому статус таблиц запрещает другим процессам считывать из них данные до окончания операции записи или обновления и снятия блокировки. При этом может получиться так, что во время записи единственного поля в длинные таблицы, ваш MySQL-сервер надолго заблокирует доступ к таблице остальным скриптам.

Например, вы создали таблицу новостей такого типа:

ID - номер, первичный ключ
TEMA - тема новости
MESS - сообщение, сама новость
VIEWS - количество просмотров

При каждом обращении к новостям, скрипт будет выводить саму новость, а потом увеличивать поле VIEWS запросом UPDATE table 'NEWS' set VIEWS=VIEWS+1 where id=ID. При этом количество апдейтов будет довольно высоким. При высокой посещаемости веб-ресурса или при "нападении" на сайт поискового робота (эти ребята страдают многопоточностью и могут запросто повесить ваш сайт своими запросами) несколько одновременных процессов станут пытаться сделать UPDATE и SELECT. При каждом UPDATE таблица будет блокироваться (на это уходит время) и все остальные процессы будут ждать завершения операции. А если таблица достаточно большая? Например, несколько тысяч записей. Ежу понятно, что построится очередь из нескольких десятков скриптов, ожидающих ответа MySQL-сервера. Каждый будет жрать память и держать остальные процессы. В итоге все у вас зависнет и переглючит. Выход: делать вместо одной таблицы несколько. Советую разделять поля по типу их использования. Одну таблицу - только для вывода и редких обновлений или вставок. Другую - для частых обновлений, но редкого вывода. Например, значения счетчика обращений держать отдельно в таблицу вида:

ID - номер, первичный ключ
VIEWS - количество просмотров

Сами новости лучше держать в другой таблице, где нет поля VIEWS. При этом таблица с новостями будет тяжелой (много текста, полей, индексов), а таблица COUNT (счетчик) будет очень легкой и быстрой. Таблица NEWS будет кешироваться и выводиться очень быстро при любых объемах, а таблица COUNT будет быстро обновляться из-за того, что она очень легкая (всего два целочисленных поля). Разделение данных по нескольким таблицам существенно ускоряет работу MySQL-сервера. Гораздо быстрее работают несколько мелких запросов по каждой таблице, чем один длинный запрос по одной или нескольким таблицам. Имейте это в виду, чтобы спать спокойно.

Дальше - круче. Чтобы не блокировать лишний раз свои таблицы используйте при вставках директиву DELAYED. Пример: INSERT DELAYED into STAT (ID,IP,UTIME) values (null,$ip,NOW()). Он позволяет серверу ответвлять поток в режиме ожидания, а саму вставку производить тогда, когда сервер освободится от других запросов или поступит следующий аналогичный INSERT DELAYED. Обычно отложенный метод подходит для любых операций с кумулятивными таблицами (когда в основном идут INSERTы, а данные копятся, а не модифицируются), при которых не особо важно когда именно подействуют изменения - мгновенно или через несколько секунд, минут. Например, если хотите собирать IPадреса своих посетителей, УРЛы, по которым они ходят или страницы, откуда пришли, время. При добавлении с задержкой скрипт отработает почти мгновенно, еще до выполнения операции.

Операция UPDATE идет в три этапа: поиск того, что будете менять, затем запись данных, обновление индексов. При этом, чем больше таблица, тем дольше поиск. Если есть индексы, то операция кешируется и выполняется достаточно быстро. Но сам процесс очень емкий. И только дурак не догонит, что большая таблица со множеством индексов и записей, будет тормозить при UPDATE. INSERT же выполняется одним залпом, очень быстро. Поэтому обычно используют аддитивные записи (вставками INSERT) во временные таблицы, потом блокируют основные талицы, суммируют обновления, и плюют их в основную таблицу. Получается, что в основном, главные таблицы работают только в режиме вывода, а обновления идут гораздо реже и быстрее. Например, можно копить данные о загрузках новостей во временной таблице, а по крону или иным образом обновлять счетчик каждые 10 минут (или реже). Это ускорит работу сервера.

При запросах SELECT * FROM таблица скрипт получит все поля данной таблицы. А нужно ли это? Использование * ведет к лишнему расходу ресурсов. Гораздо эффективнее использовать точные названия полей, которые нужны скрипту. Например: SELECT id,name FROM таблица. При таком запросе передача займет меньше времени и понадобится меньше ресурсов. Старайтесь ограничивать вывод при помощи директивы LIMIT. Это также ускоряет вывод.

Поиск по БД идет быстрее если вместо LIKE '%слово%', ставить 'слово%'. Операции с шаблонами регулярных выражений кешируются только в том случае, если в начале отсутствует символ %. Поэтому при построении поисковых запросов с LIKE избегайте начинающих символов %.

При построении таблиц для наиболее используемых полей (при поиске, сортировке и т.д.) обязательно создавайте индексы. Без индексов таблицы будут сильно тормозить. Индексы служат для кеширования и позволяют существенно ускорить вывод данных из таблиц. При этом таблицы будут занимать больше места на диске и в памяти. Но это в наше время не проблема.

Используйте надлежащий тип полей для своих записей. Тип TINYINT занимает 1 байт - самый быстрый. Таблицы с MEDIUMINT быстрее таблиц с INT. Если ставить полям свойство NOT NULL, то в целом их работа будет быстрее. VARCHAR медленее CHAR, поэтому таблицы переменной длины (где есть тип VARCHAR или TEXT) занимают меньше дискового пространства, но работают медленнее.

По своему опыту скажу, что для большинства сайтов подходят изложенные советы по работе с MySQL. Чтобы еще больше ускорить свой сервер, советую частоиспользуемые операции проводить по крону выделенными процессами и писать данные в различные файлы. Например, раз в 20 минут запускать скрипт, который будет создавать файл с новостями. Или например, генерить файл с новостями при их добавлениях или обновлениях. Таким образом, вы экономите на каждом обращении к БД. Интерактивность при этом не теряется, а производительность увеличивается во много раз. Особенно, повторяю, при высокой посещаемости ресурса. Старайтесь отделить интерактивные операции от фоновых. Например, на ПротоПлексе работает один интерактивный движок, но в фоне по заданиям трудятся с десяток различных роботов, которые генерируют часто вызываемые страницы, рассылают письма и т.д. Крупный сайт - это не только то, что вы видите, но и бек-енд (обратная сторона). В фоновом режиме можно быстро и эффективно готовить контент, освобождая основной движок от лишней работы.

В общем, основы должны быть всем понятны. Дробите все на мелочи, будь то запросы, таблицы или операции. Структура БД должна быть такой, чтобы не выполнялось ничего лишнего. Регулярно проводите OPTIMIZE на таблицах с переменной длиной, особенно, если в них идут удаления записей. Тестируйте свои запросы на скорость, упрощайте их.

На данный момент интернет - это огромная сеть, которая содержит в себе бесконечное множество различной информации. Пользователи получают ее путем серфинга веб-браузеров - программ, предназначенных для просмотра сайтов. Ну а каждый сайт непременно должен содержать контент - то, за чем и приходит на его страницы посетитель.

---

Как правило, при создании новых сайтов у веб-мастера появляется потребность в его информационном наполнении. Многие из них знают, что лучше всего ценится именно уникальный и качественный контент. Но, то ли в силу своей лености или ограниченности авторских способностей, не все создают его самостоятельно.

Да, зачем сидеть сутками за экраном монитора и сочинять какие-то тексты, которые потом еще будет кто-то читать. Можно просто скопировать этот самый контент с других сайтов.

Остановлюсь на причинах, почему так не стоит делать.

Первая - Престиж сайта, особенно, если он корпоративный. Тут можно провести аналогии с рекламой компании на шариковых ручках, чашках и прочих недорогих, но столь нужных вещей. Почему-то на них логотипы и название компании не копируются, а стараются создать свой, уникальный стиль.

Вторая - Незаконность. Множество статей и обзоров являются собственность их авторов. Поэтому публикация без их разрешения является незаконной и охраняется законом об авторском праве. К сожалению, наше несовершенное законодательство не позволяет в полной мере защитить интеллектуальную собственность.

Третья - поисковые машины уже давно научились находить настоящий источник статьи. Это уже проверено на своем сайте. Еще поисковики очень ценят уникальный контент, а не его дубликаты.

Автору данной статьи на одном из форумов о seo доводилось видеть приблизительные алгоритмы определения оригинальности контента. Благо, 5 лет университета не прошли даром - через мрак матриц, векторов и теории вероятности стало ясно, что на самом деле это не так и сложно. Для ЭВМ, конечно. А уж поверьте, что у того же Яндекса или Гугла вычислительные мощности уже исчисляются десятками тысяч(!) машин.

Думаю, этих доводов пока будет достаточно. Тут главное - понять саму суть проблемы, а не все ее мелочи. Еще в последнее время получили распространение сервисы, которые предлагают бесплатный контент. Это как нельзя кстати для новых и малобюджетных проектов. Единственным условием использования такого контента является наличие ссылки на первоисточник.

Но тут есть и обратная сторона медали - от этого выигрывает лишь сайт, предоставляющий контент. Ведь, по сути дела - это просто ссылка на его ресурс. Такие ссылки расползаются по всему инету, создавая для первоисточника просто сказочное количество бек-линков.

Бесплатный сыр, как говорится, может оказаться вовсе не бесплатным. Так и вышло, когда поисковики научились находить дубликаты и убирать содержащие их сайты из результатов выдачи.

К сожалению, на данный момент ситуация такова, что процент оригинального количества контента к общему так и остается на уровне 10-15% . И это только то, что смогли подсчитать поисковые машины, а ведь они по всему инету не ходят (на индексацию всего инета нужно от 300 до 400 лет).

Но все же есть люди, которые стараются создавать уникальный контент, а не копируя уже напечатанное. К некоторым понимание значимости оригинального контента приходит лишь со временем.

Помните, что оригинальный и свежий контент - это курица, которая несет золотые яйца. Не верите - попрактикуйтесь на реальных сайтах.

Удачи!

Если вы решили всерьез заняться продвижением вашего сайта в сети интернет, то без механизмов, которые бы отслеживали его посещаемость, вам не обойтись. Ведь именно благодаря им вы можете узнать, сколько к вам пришло посетителей, их географию (из какой страны), как много страниц они просмотрели, какие из этих страниц наиболее популярны.

---

Также есть очень важные параметры - заходы поисковых (индексирующих) ботов на ваш сайт и реферальные ссылки - откуда посетители зашли на ваш сайт - это может быть как поисковая машина, так и другой сайт.

В этой статье рассмотрим способы, как получить информацию о посетителях вашего сайта.

Тут есть три основных варианта:

1) самостоятельно анализировать log-файлы своего сайта (дает максимально точную информацию, но не все хостеры дают к ним доступ, про бесплатный хостинг и говорить не приходится). Отличной программой, которой сам давно пользуюсь и вам рекомендую, является WebLog Expert (http://www.weblogexpert.com/) Программа не бесплатная, а триал, но при желании всегда можно найти к ней "лекарство". Среди возможностей программы - строит цветные графики и диаграммы для отображения информации о всех данных статистики. Есть возможность вывода отчета об анализе в виде html, pdf или cvs (для импорта в Excel). Работать с программой очень просто - указал пусть к лог-файлу (можно и не распаковывать его, программа понимает архивы gz, zip, и tar.gz), потом нажимаем кнопку "analize" и смотрим отчет.

2) если у вас платный хостинг, то можно использовать встроенные в CPanel или DirectAdmin (у всех по-разному) скрипты типа Webalizer или AwStats. Как с ними работать - об этом должно быть написано в "Вопросах и ответах" (FAQ, ЧАВО) вашего хостинг-провайдера. Многие предпочитают использовать эти скрипты, чтобы не возиться с программами лог-анализаторами или не замусоривать свой сайт кнопками бесплатных сервисов статистики.

3) использовать специальные скрипты, как правило написанные на php, устанавливаются в директорию вашего сайта, используют для хранения информации базу данных MySQL. Самый известный представитель подобного рода скриптов - это CNStats (site). Больше чем уверен, что в мире существует немало его аналогов, но этот скрипт имеет русский интерфейс, что, согласитесь, немаловажно для нас. Среди недостатков - опять же платный, но есть и бесплатные версии с ограниченной функциональностью. БД быстро разрастается, особенно на посещаемом сайте - придется постоянно следить за размером и периодически чистить.

4) бесплатные сервисы статистики - их даже на просторах рунета огромное множество. Рассмотрим лишь самые известные и с качественным сервисом.

SpyLog - spylog.ru

После регистрации и установки счётчика мы получаем возможность анализировать следующие показатели сайта: хиты (сегодня, неделя, месяц), хосты, ссылающиеся страницы, популярные страницы ресурса, география посетителей по странам, хосты, операционные системы, браузеры, дисплеи. В этом списке отсутствует такой важный отчёт как «поисковые запросы» - это один из самых главных показателей эффективности оптимизации сайта и его индексации в поисковых машинах.

Top Mail.ru - top.mail.ru

Предоставляет достаточно полную статистику по сайту в т.ч. по поисковым машинам. Всего – 12 отчётов:

* Позиции в рейтинге
* Динамика визитов
* Время визитов
* Страницы
* Ссылки
* Поисковики
* Каталоги
* Браузеры
* Настройки
* География
* Сравнение аудиторий
* Мой top

Работает счётчик достаточно хорошо, иногда, даже лучше, чем вышеупомянутый SpyLog. Его хорошая работа во многом обуславливается тем, что имеется возможность разделить код счётчика на две части. Первую часть (которая считает посетителей) поставить в начало страницы, а вторую (отображающую сам счётчик) можно разместить в любом месте страницы.

Мой top позволяет определить некий круг сайтов и отслеживать их посещаемость, общих посетителей и рейтинг относительно друг друга, что очень приятно. С помощью данного топа можно отслеживать посещаемость ближайших конкурентов ресурса, причём, они об этом могут даже не знать. А вот для того, чтобы закрыть вашу статистику от других, можете поставить ее на пароль. Насчет стабильности работы Top Mail.ru ходят легенды - не знаю, как сейчас (в последнее время не использую этот сервис), но 2-3 месяца назад были у него частые глюки - статистика была недоступна, обнулялась (да, именно так - на счетчике было три нуля в столбик :)), один раз даже была обратная сортировка рейтинга - на первых местах оказались ресурсы с нулевой посещаемостью, а гранды - на последних.

Liveinternet.ru - liveinternet.ru

Пожалуй, самый качественный и информативный сервер сбора статистики (хотя больше известен своими online-дневниками). Дает любую нужную вам информацию - и посещаемость, и географию посетителей, источники трафика (поисковики, рефералы, букмарки). За небольшую плату (где-то 3$ в месяц) можно установить невидимый счетчик, т.е. кнопки liveinternet.ru не будет на вашем сайте, а статистика будет считаться. Также есть возможность закрыть статистику на пароль.

Catalog.i.ua - catalog.i.ua

Сравнительно новый сервер сбора статистики и каталог одновременно. Появился в ноябре 2006 года, но уже успел зарекомендовать себя как стабильный и точный сервис. Информацию о посетителях выдает как в виде графиков, таблиц, так и есть возможность импорта данных в cvs - для дальнейшего анализа в Excel. Отличительной чертой от подобных сервисов является возможность просмотра не только самой рефссылки, но и поисковой фразы, если был заход из поисковика.

Подведу итог вышесказанному. Какой вид анализа и сбора статистики вам выбрать - решайте сами. В чем могут быть ограничения - это бесплатный хостинг, на котором у вас не будет доступа к лог-файлам и возможность выполнения php-скпритов. Главное, если вы используете бесплатные сервисы сбора статистики, то не переусердствуйте - не нужно ставить их более 3-х штук - ведь это дополнительное время, которое потребуется на загрузку графического счетчика и ява-скрипта.