互联网的那点事
24-10-06 19:28 微博认证:微博互联网观察家

OpenAI Realtime API 结合网络爬虫

可以和任何网站进行对话

爬虫使用的是 Firecrawl

FireCrawl:能够抓取任何网站的所有可访问子页面,而且无需站点地图,并将这些页面的内容转换成干净、格式化的Markdown文档。

即使网站使用JavaScript动态生成其内容,FireCrawl 也能有效地抓取这些内容。

详细介绍:http://t.cn/A6EpkqLN
GitHub:http://t.cn/A6HGXzOm http://t.cn/A6Epkfp2

发布于 安徽