提取Html内容，谷歌浏览器上用xpath helper验证过可以提取，但是在动作里面提取失败

HalcyonV 创建于 2022-09-19 11:07

xpath检查了，写的也没有问题

添加评论

回复内容

EC10010 2022-09-19 11:11

调试运行动作找问题

HalcyonV 回复 EC10010 2022-09-19 11:20 :

找到问题了，是直接请求后的内容不完整，谢谢啦

CL 2022-09-19 11:12

如果动态网页，要先通过浏览器获取网页内容后再提取。直接http请求到的内容可能是不完整的。

HalcyonV 回复 CL 2022-09-19 11:20 :

诶，确实是这个样子，我仔细看了一下直接请求的html内容没有我要的信息，都是一堆无关紧要的信息，虽然也带上了cookie。。感谢！

~ZYS~ 回复 CL 2022-12-07 19:09 :

老大，最新版本WebView2模块，既然增加了输出网页代码的功能，能否再加一个“”后台打开网址并加载完成”，来解决这种动态网页请求不完全的问题呢？就是不生成窗口，后台加载动态网页输出代码。

CL 回复 ~ZYS~ 2022-12-07 21:46 :

大概什么用途？

~ZYS~ 回复 CL 2022-12-07 21:56 :

使用Quicker的搜索框搜索关键词，采集资料网站的检索结果。我这边遇到了和楼主一样的情况，动态结果找不到节点，现在使用WebView2模块输出网页代码的功能，间接解决了这个问题，但是会弹出一个窗口。所以想说，能否在这个模块多加一个功能，后台加载网页，然后输出代码来利用。

CL 回复 ~ZYS~ 2022-12-07 21:58 :

这种情况不适合的， webview是非常重的模块，需要创建多个进程，耗费资源比较多，响应比较慢。搜索框只有使用api通过http调用返回才可行。

~ZYS~ 回复 CL 2022-12-07 22:01 :

好吧，我现在通过自定义窗口大小，把webview窗口缩小到最小，来避免打扰。确实，返回结果有点慢，长达两三秒。

~ZYS~ 回复 CL 2022-12-07 22:02 :

老大，那想采集这种动态网页生成的结果，使用http调用，解决不了嘛😆

乐昂岚回复 ~ZYS~ 2022-12-08 14:01 :

试试powershell, 可以详细说说我试试

~ZYS~ 回复乐昂岚 2022-12-08 14:07 :

没看懂🤣

乐昂岚回复 ~ZYS~ 2022-12-08 14:11 :

你发个网址,说说要哪些内容

截个图,我试试

~ZYS~ 回复乐昂岚 2022-12-08 16:01 :

好，我私发给你

乐昂岚 2022-12-08 16:46

你看看是不是这样

https://getquicker.net/Sharedaction?code=ea385812-a483-4506-d89e-08dad7a05c05

~ZYS~ 回复乐昂岚 2023-01-29 17:06 :

抱歉我才看到这条回复，你好厉害啊，这是个什么原理😂，看不懂

乐昂岚回复 ~ZYS~ 2023-01-31 21:36 :

powershell进行网络请求获取完整的网页代码,不过速度略慢,但是可以不需要浏览器

~ZYS~ 回复乐昂岚 2023-02-01 00:09 :

太给力了，大佬；对了，弱弱的问一下，里面的脚本代码是通用的不，还是针对这个网站特定的，是不是我只需要把里面的三处链接替换一下，也能适用于别的动态网址

乐昂岚回复 ~ZYS~ 2023-02-01 09:30 :

不是通用,也不是所有网站的请求都能使用powershell,有些网站的网络请求需要校验或者脚本包含有时效的东西

你根据图片, 复制对应的网络请求为powershell, 多进行几次不同的请求,判断脚本内容变化的是什么,搞明白后就可以得到一个改网站某个网址的通用脚本

~ZYS~ 回复乐昂岚 2023-02-01 10:14 :

👍

提取Html内容，谷歌浏览器上用xpath helper验证过可以提取，但是在动作里面提取失败

回复内容

回复主贴