什么是网络爬虫
1、网络爬虫就是为其提供信息来源的程序,网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常被称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本,已被广泛应用于互联网领域。
2、搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源,通过相应的索引技术组织这些信息,提供给搜索用户进行查询。网络爬虫也为中小站点的推广提供了有效的途径。
拓展资料:
网络爬虫另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。随着网络的迅速发展,万维网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。
搜索引擎(Search Engine),例如传统的通用搜索引擎AltaVista,Yahoo!和Google等,作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性,如:
(1) 不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。
(2)通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。
(3)万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力,不能很好地发现和获取。
(4)通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
蚂蚁(ant),自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。
它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
网络爬虫始于一张被称作种子的统一资源地址(URLs)列表。当网络爬虫访问这些统一资源定位器时,它们会甄别出页面上所有的超链接,并将它们写入一张"待访列表",即所谓"爬行疆域"(crawl frontier)。
此疆域上的统一资源地址将被按照一套策略循环访问。如果爬虫在他执行的过程中复制归档和保存网站上的信息,这些档案通常储存,使他们可以被查看。阅读和浏览他们的网站上实时更新的信息,并保存为网站的“快照”。大容量的体积意味着网络爬虫只能在给定时间内下载有限数量的网页,所以要优先考虑其下载。
高变化率意味着网页可能已经被更新或者删除。一些被服务器端软件生成的URLs(统一资源定位符)也使得网络爬虫很难避免检索到重复内容。
文章标签:
来自:网络爬虫是什么意思
本文链接:https://www.u1e.cn/baike/a/f226b9c67fac31468f47313b [复制]
猜你喜欢
生活辛苦,能找到一点阳光就快乐就好了;身体烦累,但是随时让自己心情舒畅,这是一个极好的能力,身累不致心累,生活还就是美好的。
有梦想的人睡不着,没梦想的人睡不醒。
Just because I don't want to be savage, it doesn't mean I have no temper.
最终你相信什么就能成为什么。因为世界上最可怕的二个词,一个叫执着,一个叫认真,认真的人改变自己,执着的人改变命运。只要在路上,就没有到不了的地方。
Teacher, engineer of human soul, who won't praise you!
心香三炷达苍冥,祈愿尘寰六合清。更愿佛光常注照,诸方好运享安宁!给您拜年了,祈愿您新年胜因善缘,吉祥安康!
寂寂闻猿愁,行行见云收。——李白《寻高凤石门山中元丹丘》
家声中垒也称贤,喜气临门敞绮筵,双璧联辉夸美眷,六葭应节缔良缘;女如五彩云犹丽,郎却斯文德自妍,恐负嘉招先作贺,诗题汤饼约明年。
不图虚名,不慕奢华。
不管发生什么,你都不要放弃,肯定会有意想不到的风景。也许不是你本来想走的路,可是另一条路有另一条路的风景,不要念念不忘原来的路,在这里你会遇到难忘的更好的风景。
在遥远的城市,陌生的地方,有他未曾见过的山和海。
俗话说:一百种人有一百种命运,有的人可以一条路一直走到底,有的人却注定要曲曲折折,不过谁也不需要羡慕谁。最重要的是:我们迟早会遇上。
人总要找点事情做,让自己忙起来,忙起来才知道生活不易,才明白平时的忧伤都是矫情。
等一阵风,等一阵雨,等一个唯一的你。
你们给我挺住,都别吃,都那么肥了怎么还有脸吃。
如果不醒来,那么现实和梦境又有何分别。
天塌下来你顶着,我垫着!
最美的不是下雨天,是陪你一起躲过的屋檐。
南音少女
如果坚强的人落泪了,一定是撑不下去了。
歇后语大全
做梦娶西施是什么意思?
园里挑瓜是什么意思?
雨后的彩虹是什么意思?
渔篮子提水是什么意思?
哑子进公堂是什么意思?
小偷的钱包是什么意思?
瞎子哼曲子是什么意思?
乌拉草(wu l是什么意思?
蚊子的力气是什么意思?
推车爬坡是什么意思?
头上着火是什么意思?
听见猫叫骨子酥是什么意思?
铁匠说梦话是什么意思?
剃头刀裁纸是什么意思?
太岁当头坐是什么意思?
耍猴的碰上敲锣的是什么意思?
入伏的高粱是什么意思?
敲锅盖卖烧饼是什么意思?
瘸驴的屈股是什么意思?
披蓑衣救火是什么意思?
糯米团滚芝麻是什么意思?
南天门踩高跷是什么意思?
泥牛人海是什么意思?
两口子锄地是什么意思?
老两口演戏是什么意思?
梁山泊的兄弟是什么意思?
连鬓胡子吃麻糖是什么意思?
老母猪啃瓷砖是什么意思?
烂柿子上船是什么意思?
烂柿子换核桃是什么意思?
癞蛤蟆吃樱桃是什么意思?
垃圾堆里的蒜皮子是什么意思?
空肚子打饱隔是什么意思?
急性子动手是什么意思?
黄表纸包饺子是什么意思?
花木兰从军是什么意思?
和尚养儿子是什么意思?
寒山寺里的大钟是什么意思?
寒冬腊月的马蜂窝是什么意思?
黄鼠狼拖着鸡毛掸是什么意思?
放羊娃喊救命是什么意思?
房梁当椽子(chu是什么意思?
恶人先告状是什么意思?
顶着碾盘唱戏是什么意思?
凳子上抹石灰是什么意思?
盗墓贼作案是什么意思?
单车追汽车是什么意思?
春苗得雨是什么意思?
吃了对门谢隔壁是什么意思?
剥开皮肉种红豆是什么意思?
相关推荐
还没有人回应过