Skip to content

baochengxu/allHistory

Repository files navigation

老实说,完成这个项目,我是很激动的。
我做了这么久的爬虫,这是我第一次靠自己解决了通过javaScript生成的参数问题。
我通过百度百科获得了很多词,我想把这些词在allhistory里面查一下,获得allHistory里面的词条。
这需要采用POST方式,并且我发现POST必须要带上ax这个参数。
我不知道这个参数是如何产生的。
我首先使用F12,发现发送这个请求时候,调用的最后一个js脚本。然后我进入这个js,格式化它。然后仔细阅读发送请求附近的js,发现其中和我的参数有关的代码段。
然后我打断点,单步调试,一步一步去发现涉及到了哪些函数和参数。这么看进去,是很容易迷失自我的。
我发现想弄清楚每一步做了什么,是很费时间,很难的。
然后我清理思路,我并不需要理解函数每一句做了什么,我完全复制函数就行了,函数中调用了别的函数的部分,我就单步调试,进去,看看是什么函数,理解其大概意思,然后继续复制代码,最终不就可以了吗?
为了使代码清晰,我给每个函数按照层级命名,比如:
one_1
one_1_two_1
one_1_two_2
等。
记录下js调试用到的命令:
CTRL+;单步调试进入
ctrl+'单步调试不进入
ctrl+\,执行到下一个断点。
然后要善用chrome浏览器的network,source和console,这三个模块

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages