您好,欢迎来到[编程问答]网站首页   源码下载   电子书籍   软件下载   专题
当前位置:首页 >> 编程问答 >> 其他语言 >> scrapy多个spider怎么指定pipeline

scrapy多个spider怎么指定pipeline

来源:网络整理     时间:2016/5/19 0:29:38     关键词:pipeline,spider

关于网友提出的“scrapy多个spider怎么指定pipeline”问题疑问,本网通过在网上对“scrapy多个spider怎么指定pipeline”有关的相关答案进行了整理,供用户进行参考,详细问题解答如下:

问题:scrapy多个spider怎么指定pipeline
描述:

结构是这样的

maple/
├── __init__.py
├── items.py
├── models.py
├── pipelines.py
├── settings.py
└── spiders
    ├── news.py
    └── __init__.py

news.py有

class Spider(scrapy.spiders.Spider):
    name = 'news'

class BsSpider(scrapy.spiders.Spider):
    name = 'bsnews'

models.py(使用sqlalchemy)有News(base)BsNews(base)两个表
items.py有NewsItem(scrapy.Item)BsNewsItem(scrapy.Item)
请教pipelines.py应该怎么写?
只有一个Spider时,scrapy crawl news

       def process_item(self, item, spider):
        exsit_url = self.session.query(News.url).\
            filter_by(url=item['url']).first()
        if not exsit_url:
            news = News()
            news.title = item['title']
            news.url = item['url']
            news.time = item['time']
            news.content = item['content']
             self.session.add(news)
             self.session.commit()

能够正常运行
现在我要运行scrapy crawl bsnews如何指定存储的表为BsNews?
第一次接触scrapy,求大神解答
具体源码


以上介绍了“scrapy多个spider怎么指定pipeline”的问题解答,希望对有需要的网友有所帮助。
本文网址链接:http://www.codes51.com/itwd/1170230.html

相关图片

相关文章