💻 Программирование [Дмитрий Лаврик] PHP парсеры (2016)

[Calvin Candie]

Автор: Дмитрий Лаврик
Название: PHP парсеры (2016)



Представляем вашему вниманию полный курс по PHP-парсерам. После изучения этого видеопособия вы сформируете полную картину организации парсинга сайтов на PHP. Вы получите мини-фреймворк для организации парсинга, а также разберёте множество полезных и увлекательных тем.

Урок 1. Умный CURL

• CURL — принципы работы
• Создание класса обёртки
• GET и POST запросы
• Работа с HTTPS
• Работа с куками
• Эмуляция всех заголовков браузера
• Фокусы keep alive
• Проксирование в теории
• Анализ заголовков
• Следование за редиректами

Урок 2. Организация парсинга

• Конфигурационные файлы для CURL
• Нативный парсинг
• MoveTo
• ReadTo
• ReadFrom
• Другие полезные функции
• Работа с PHPJqueryDOM
• Объекты и их свойства
• Селекторы и функции
• Сохранение результатов

Урок 3. Комбинированный парсинг

• Проблемы PHPJqueryDOM
• Доработка нативного класса
• Subtag
• Общая схема парсинга
• Разбор этапов парсинга
• Сохранение результатов в БД
• Класс-обёртка для PDO

Урок 4. Хранение скачанных данных

• Перенос данных в БД
• Таблица урлов: хорошее SEO + высокая скорость
• Нереальное ускорение - замыкаем урлы в кольцо чисел
• БД: хэш-таблица и коллизии
• Доработка класса БД
• Архитектурные изыски
• Sender vs viewer

Урок 5. Фреймворк

• Организация PHP-классов
• Создание js-морды
• Две схемы: sender и viewer
• JS для ajax-парсинга
• JS для отображения статистики
• Плюсы и минусы каждой схемы
• Общая идея организации пауков

Урок 6. Противостояние

• Принцип работы капчи-картинки
• Пример создания простой капчи
• Антикапча
• Антикапча API
• Сохранение и передача изображения
• Ожидание и обработка результата
• Создание класса для антикапчи

Урок 7. Парсинг изображений

• Настройка парсера на bing
• Скачивание изображений
• Создание библиотеки для уникализации
• Работа с изображениями в PHP
• Освещение, обсцвечивание, сепия
• Отражение, повороты

Урок 8. Подведение итогов

• Доработка библиотеки для уникализации
• Приёмы уникализации
• Подведение итогов по темам
• Теория оценки рекламы
• Посетители * просмотры * CTR * стоимость

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.