使用EXCEL中的Power Query一次抓取网站中的多页数据

有时我们需要进入网站站中抓取一些数据,但会遇到数据出现分页显示的情况,查看比较都没有那么方便。如果一页一页的提取会显得比较麻烦。别急,我们可以使用Excel中的Power Query的功能将这些出在网站中不同页面的数据抓取到一张表中。便于你在后期的查看,查询,比较分析等操作。

下面我们来看看如何实现这一目的,操作中无需要编程知识。

首先,确定你需要抓取的网站。下面我们以抓取中国银行的外汇牌价作为例子。看如何操作。

首先,打开Excel程序新建一个表格。将菜单切换至“数据”,点击“新建查询”-“从其他源”-“自网站”

此时打开了一个“从Web"的界面。在这里需要从网站上去观察网址点击每一分页的网址变化情况。下面的案例,网页的变化主要是由index_1后面的数字变化和改变数据的分页浏览。由于后面还跟有.html的后缀。需要进行一些设定

好了,确定这个规律后。我们将该界面中的基本点选改为点选”高级“。将网址复制到URL部分的下面,稍有些不同的是,需要将网址中的一部分内容作为部件。

将不变化的部分index_前的一大段网址先做为"URL部分输入",将1和.html各作为一个部件输入。这里分成两个部件主要是需要将数字部分作为一个变量。从"URL预览“中我们就能看到表示出的完整地址。就是我们需要数据的第一页的地址。

杭州建站公司派迪科技点击确定进入到导航器的界面当中。选择左手边的Table0,在右手边的“表视图”中可以看到网站第一页的数据。这就是我们需要的数据部分。然后点击下方的“转换数据”开启转到了“Power Query编辑器”界面,在这里需要做一个手动的加工。点击开启“高级编辑器”,在高级编辑器的界面中可以看到有一些生成的代码。在这里需要进行代码的一些变更。

在let的上方加入下面的语句,定义一个变量n,类型为number,作为一个table

(n as number) as table=>

接下来修改下作为变量的部分,就是上面部件为1的部分。因在网页地址中为文本类型,因此使用Text函数进行格式的转换:

&Text.From(n)&

点击完成。

可以看到n变量参数的一个调用页面,测试一下,输入参数2,点击“调用”就可调用查询到网站页面2的数据。可以根据调用的参数不同,调用不同页面中的数据。下面看看如何调用你需要的不同页面的数据。可以先把上面调用测试的查询删除。右键点击左边空白处,根据下图中的菜单,选择新建一个“空查询”在上方fx的后面输入:={1..9}回车,建立一个1到9的列表接下来需要将它转换到表,点击上方的“转换”,然后点击“列表”。在弹出的“到表”界面中选择默认即可。点击“确定。

接下来我们就可以来调用自定义函数。菜单切换至“添加列”选项卡,点击“调用自定义函数”。在调用自定义函数的界面中,在功能查询下面选择“table0”,n参数选择“Column1”

完成上面的自定义函数调用设置后点击“确定”

接下来需要将数据展开,点击table0后面的展开图标,进行数据展开选择需要展开的列,点击“确定”

可以看到我们设置的1到9页的数据全部展现出来,并且在最前一列中显示出展示的数据在那一个页码中。

接下来,将菜单切换至“主页”选项卡,并点击“关闭并上载至……”

将需要上载到的数据加载到一个表中。点击“加载”。加载数据需要一段时间,主要跟网速与抓取数据的多少有关。请耐心等待。可以看到网站上1到9页数据都导入到了一个Excel的工作表中了。像这个数据在网站中会定时更新,如果你有需要也可以在表格中设置数据的更新频率。从“设计”的菜单中选择打开“属性”,在连接属性中进行刷新频率的勾选和设置。

返回观点列表
本文标签:

相关专题

  • 品牌官网设计
    品牌官网设计

    杭州派迪科技为高端客户提供品牌官网咨询策划,品牌官网设计,品牌官网建设开发服务,以国际化视野和标准为基础,为各行业领军品牌提供高端企业网站定制、策划、设计、互动与制作

    查看详情
  • 大策略营销门户网站
    大策略营销门户网站

    杭州派迪科技有自己的营销型网站CMS系统,适合白帽SEO网站。特别对大策略的营销型门户网站制作有一定的经验,曾经为上海天擎外贸行业网站、浙江兆龙营销型门户、先临三维门户营销网站提供全程的技术支持及SEO优化指导

    查看详情
  • 集团/上市公司网站
    集团/上市公司网站

    杭州派迪科技为杭州本地集团公司提供网页设计、制作、开发服务,为集团公司网站建设提供了响应式、营销型、品牌型、门户型网站建设需求,欢迎广大集团公司客户咨询

    查看详情
  • 外贸网站建设
    外贸网站建设

    杭州派迪科技为高端客户提供外贸网站咨询策划,外贸官网设计,外贸官网建设开发服务,以谷歌搜索引起算法为基础,为各行业外贸公司提供高端企业外贸网站定制、策划、设计、互动与制作

    查看详情
  • 企业网站建设
    企业网站建设

    高端专业、令人印象深刻的用户界面、易于访问——企业网站必须反映一切,因为派迪科技在这里提供帮助,凭借精湛的技术、丰富的经验、与客户的持续沟通以及对每一个细节的关注,我们确保在快速的周期时间内提供优质的服务。

    查看详情
  • 半定制网站
    半定制网站

    杭州派迪科技模板网站建设专题_各行业方案专题栏目提供各行业产品适合的网站建设方案,帮助企业了解派迪科技建站效果等信息,您可以通过本站了解各行业网站建设方案,如需要获取本行业定制网站建设方案,可以联系在线客服或拨打电话咨询

    查看详情

体验从沟通开始,让我们聆听您的需求!

开始您的数字化品牌体验! 15158117070 期待您的来电!

[ 网站建设×品牌官网设计×大策略营销门户×微信小程序开发×微信公众号开发]

派迪业务总监微信号

派迪业务总监微信号

了解最新项目报价

派迪产品经理微信号

派迪产品经理微信号

免费获取项目策划

我们正使用 cookies 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookies 。

如果您想详细了解我们如何使用cookies请访问我们的 《隐私政策》

Cookie 偏好

如果您想详细了解我们如何使用cookie请访问我们的 《隐私政策》

管理cookie偏好

基本 cookies

始终允许

这些 cookies 是网站运行所必需的,不能在我们的系统中关闭。它们通常仅针对您所做的相当于服务请求的操作而设置,例如设置您的隐私首选项、登录或填写表格。您可以将浏览器设置为阻止或提醒您有关这些 cookies 的信息,但网站的某些部分将无法运行。这些 cookies 不存储任何个人身份信息。

性能 cookies

始终允许
这些 cookies 使我们能够计算访问量和流量来源,以便我们可以衡量和改进我们网站的性能。它们帮助我们了解哪些页面受欢迎和不受欢迎,并了解访问者如何在网站上移动。这些 cookies 收集的所有信息都是汇总的,而且是匿名的。如果您不允许这些 cookies,我们将不知道您何时访问了我们的网站,也无法监控其性能。

功能性 cookies

这些 cookies 收集信息用于分析和个性化您的定向广告体验。您可以使用此拨动开关来行使选择不获取个人信息的权利。如果您选择关闭,我们将无法向您提供个性化广告,也不会将您的个人信息交给任何第三方。

定位 Cookies

这些 cookies 可能由我们的广告合作伙伴通过我们的网站设置。这些公司可能会使用它们来建立您的兴趣档案,并在其他网站上向您展示相关广告。它们不直接存储个人信息,而是基于唯一标识您的浏览器和互联网设备。如果您不允许使用这些 cookie,您将体验到较少针对性的广告。

我们正使用 cookies 来改善您的访问体验

派迪科技非常重视您的个人隐私,当您访问我们的网站www.hzpady.com时,请同意使用所有cookies 。

如果您想详细了解我们如何使用cookies请访问我们的 《隐私政策》