Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

只检索文献信息出错,无法爬取摘要和关键字 #26

Open
zjmazy opened this issue Feb 2, 2021 · 6 comments
Open

只检索文献信息出错,无法爬取摘要和关键字 #26

zjmazy opened this issue Feb 2, 2021 · 6 comments

Comments

@zjmazy
Copy link

zjmazy commented Feb 2, 2021

报错信息:
在检索文件信息时,会出现”NoneType...find_all(‘a’)”的报错
解决办法:
我加了一个if判断如果find不到需要的信息(作者单位)就跳过,发现生成的excel里面都没有摘要和关键字了
问题猜测:
我打印了爬取到的soup,发现爬取到的html里面都没有摘要(在网页上查找同样的文章是存在摘要的),想问下作者是不是知网的接口又变了,因为对爬虫的了解很肤浅,真诚希望作者大大百忙之中解答一下,谢谢!

@zjmazy
Copy link
Author

zjmazy commented Feb 9, 2021

报错信息:
在检索文件信息时,会出现”NoneType...find_all(‘a’)”的报错
解决办法:
我加了一个if判断如果find不到需要的信息(作者单位)就跳过,发现生成的excel里面都没有摘要和关键字了
问题猜测:
我打印了爬取到的soup,发现爬取到的html里面都没有摘要(在网页上查找同样的文章是存在摘要的),想问下作者是不是知网的接口又变了,因为对爬虫的了解很肤浅,真诚希望作者大大百忙之中解答一下,谢谢!

已经解决!需要重新匹配tag

@ignore233
Copy link

请问匹配tag需要修改那些地方呢

@Wubl-cy
Copy link

Wubl-cy commented Sep 28, 2021

请问这个问题是如何解决的?能分享下吗?

@h843485517
Copy link

报错信息:
在检索文件信息时,会出现”NoneType...find_all(‘a’)”的报错
解决办法:
我加了一个if判断如果find不到需要的信息(作者单位)就跳过,发现生成的excel里面都没有摘要和关键字了
问题猜测:
我打印了爬取到的soup,发现爬取到的html里面都没有摘要(在网页上查找同样的文章是存在摘要的),想问下作者是不是知网的接口又变了,因为对爬虫的了解很肤浅,真诚希望作者大大百忙之中解答一下,谢谢!

已经解决!需要重新匹配tag

想问问怎么解决的

@h843485517
Copy link

h843485517 commented Nov 24, 2021 via email

@zjmazy
Copy link
Author

zjmazy commented Nov 24, 2021

老哥,你好。你的仓库有三个项目。没看到呀。

上传了,你看看,去年帮别人做课设的时候改的,今年不一定能用

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants