Namecheap.com - Cheap domain name registration, renewal and transfers - Free SSL Certificates - Web Hosting

Машап – Каталог предприятий.

Wednesday, June 29th, 2011

Дело было вечером делать было нечего…

Но на самом деле делать всегда есть что и как правило времени катострофически не хватает. Вот и на этот раз появилась идея совместно с lorien‘ом сделать сайт-каталог предприятий, чтобы он индексировался поисковыми системами и приносил траффик в дальнейшем возможно превратившись во что-то полезное для пользователей.

Собственно сам сайт – Каталог предприятий Екатеринбурга.

Что внутри? Как это делалось?

Сайт решили сделать заточенным под конкретный регион – с учетом того, что в региональной выдаче с топом как-то попроще. К тому же подобных сайтов можно сделать много – под каждый город. + в этом случае можно повесить на сайт фиды от региональных форумов, погоду от gismeteo и т.д. Т.е. первое требование писать не сколько сам сайт – сколько простой двиг.

Изначально, как это принято у серьезных людей был обстоятельно составлен план действий и техническое задание – с помощью google documents. Если кто забыл – гугл докс позволяет одновременно работать над документом нескольким пользователям. С помощью этого инструмента удалось учесть множество факторов еще на этапе планирования.

Как правило любой проект без должной мотивации разваливается если делается долго, ну я имею в виду программирование, поэтому ограничить цикл разработки одной неделей – очень хорошая идея.

Для совместной работы над кодом был создан приватный репозиторий на bitbucket, я уже писал о нём.

Где взять данные для сайта? Для начала можно спарсить, был написан бот с использованием scrapy который ползал по сайтам и писал данные в базу данных используя SQLAlchemy. Затем эта база данных перегонялась в нужный формат django модели, естественно не сама а с помощью написанной для этого утилиты.

Далее на основе полученной базы данных писался фронтенд на Django, с текстом и яндекс картами (yandex maps api). Одна из “фишек” – генерация QR кодов, которые можно считать с помощью современных гаджетов (мобилы, планшета). Для генерации кодов использована библиотека PyQRNative, по возможности в формате MECARD – созданном специально для организаций.

На сайте есть поиск, поисковый индекс был составлен с помощью Xapian и Haystack

Вариантов развития можно придумать очень много : форма “добавить предприятие в каталог”, раздел “объявления”, но для начала нужно развернуть еще парочку и подождать пока поисковые системы все это проиндексируют.

Тенденции в рунете. Проект HotTrends.ru

Friday, December 10th, 2010

Веб технологии стремительно развиваются, в интернете появляется все больше и больше источников информации а так же сайтов которые её агрегируют для более удобного доступа – так называемые машапы (Mashup).

Одна из предполагаемых концепций Web 3.0 – сайты которые общаются с другими сайтами, быстро предоставляя всю смежную информацию по интересующей пользователя теме. На шаг ближе к семантическому вебу, на этих технологиях будут основываться последующие улучшения информационного пространства, что в конечном итоге наверняка приведет к созданию AI. Ну а пока информация нуждается в складировании, упорядочению и организации интерфейсов доступа к ней.

Hot Trends Ru

Подобные сайты уже начали появляться в рунете, например – текущие тенденции hottrends.ru. Сайт использует собственный алгоритм для определения текущих “горячих тем” и сервисы google для агрегации сопутствующей информации. Все это дело сохраняется в архив по датам, из которого можно извлекать данные. В планах автора развитие ресурса в сторону большей социализации и предоставления API интерфейсов.

My blog is Do-Follow


Пишу код, делаю сайты.
Check out my about.me profile!

парсинг сайтов, форумов, интернет магазинов

Want to subscribe?

istinspring twitter account
istinspring facebook account

 Subscribe in a reader Or, subscribe via email:
Enter your email address:  
Find entries :