扩展插件

扩展是 Colly 附带的小型辅助实用程序。插件列表可在此处找到。

---

用法

以下示例启用随机 User-Agent 切换器和 Referrer 设置器扩展并访问 httpbin.org 两次。

import (
    "log"

    "github.com/gocolly/colly"
    "github.com/gocolly/colly/extensions"
)

func main() {
    c := colly.NewCollector()
    visited := false

    extensions.RandomUserAgent(c)
    extensions.Referrer(c)

    c.OnResponse(func(r *colly.Response) {
        log.Println(string(r.Body))
        if !visited {
            visited = true
            r.Request.Visit("/get?q=2")
        }
    })

    c.Visit("http://httpbin.org/get")
}