Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何检索非期刊论文(如学位论文) #25

Open
PaffxAroma opened this issue Feb 2, 2021 · 8 comments
Open

如何检索非期刊论文(如学位论文) #25

PaffxAroma opened this issue Feb 2, 2021 · 8 comments

Comments

@PaffxAroma
Copy link

在具体使用过程中,我发现程序在指定文献期刊来源后,只能检索到期刊内容,无法检索到非期刊文献。例如将文献期刊来源设定为"xx大学",检索结果的来源为“xx大学学报”,数据库为“期刊”。有没有什么方法能检索到硕博士论文?
读过代码后发现,该检索条件传入的参数为“'magazine_value1”,我想要修改此处的参数,尝试了几种方法但是没找到具体该传入什么参数。个人对爬虫和网络相关知识的相当浅薄,想知道此处应该如何修改?感谢大佬

@zjmazy
Copy link

zjmazy commented Feb 2, 2021

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

@PaffxAroma
Copy link
Author

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

之前是可以的,然而昨天还是前天失效了,pars_page()函数穿的值都没有了,打印了一下soup,发现跳转界面404了,不知道你有没有这个问题

@PaffxAroma
Copy link
Author

不好意思补一个问题:请问详情页跳转404怎么办,感谢

@zjmazy
Copy link

zjmazy commented Feb 3, 2021

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

之前是可以的,然而昨天还是前天失效了,pars_page()函数穿的值都没有了,打印了一下soup,发现跳转界面404了,不知道你有没有这个问题

感谢回复,我也是打印了soup打出来没有摘要,但是有作者,可能是接口变了。我加了一个判断跳过“摘要”那一段代码,生成的excel只有作者和文章等内容。水平有限不会改,只能靠大佬了😭

@PaffxAroma
Copy link
Author

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

之前是可以的,然而昨天还是前天失效了,pars_page()函数穿的值都没有了,打印了一下soup,发现跳转界面404了,不知道你有没有这个问题

感谢回复,我也是打印了soup打出来没有摘要,但是有作者,可能是接口变了。我加了一个判断跳过“摘要”那一段代码,生成的excel只有作者和文章等内容。水平有限不会改,只能靠大佬了😭

摘要我这里可以爬到,原代码就可以

@zjmazy
Copy link

zjmazy commented Feb 8, 2021

摘要我这里可以爬到,原代码就可以

大哥没有遇到这个情况吗
orgn_list = soup.find(name='div', class_='orgn').find_all('a')
AttributeError: 'NoneType' object has no attribute 'find_all'

@zjmazy
Copy link

zjmazy commented Feb 8, 2021

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

之前是可以的,然而昨天还是前天失效了,pars_page()函数穿的值都没有了,打印了一下soup,发现跳转界面404了,不知道你有没有这个问题

感谢回复,我也是打印了soup打出来没有摘要,但是有作者,可能是接口变了。我加了一个判断跳过“摘要”那一段代码,生成的excel只有作者和文章等内容。水平有限不会改,只能靠大佬了😭

摘要我这里可以爬到,原代码就可以

哥,我这里把间隔时间设长了后,摘要可以爬到了,但关键字还是不行,请问当时你可以爬到关键字吗

@PaffxAroma
Copy link
Author

大佬,我想问下你那边生成的excel里面摘要和关键字都有吗

之前是可以的,然而昨天还是前天失效了,pars_page()函数穿的值都没有了,打印了一下soup,发现跳转界面404了,不知道你有没有这个问题

感谢回复,我也是打印了soup打出来没有摘要,但是有作者,可能是接口变了。我加了一个判断跳过“摘要”那一段代码,生成的excel只有作者和文章等内容。水平有限不会改,只能靠大佬了sob

摘要我这里可以爬到,原代码就可以

哥,我这里把间隔时间设长了后,摘要可以爬到了,但关键字还是不行,请问当时你可以爬到关键字吗

可以,你看看关键字字段的类名,具体的参数得改一下,源代码里的参数和知网现在用的不一样

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants