社区导航

 

搜索
查看: 781|回复: 0

[分享] python爬虫小白学习笔记之数据存储(一)

[复制链接]

15

TA的帖子

0

TA的资源

一粒金砂(中级)

Rank: 2

发表于 2020-3-20 16:49 | 显示全部楼层 |阅读模式

一)存储到mongodb:

    1.创建一个client对象,调用pymongo的MongoClient()方法,并传入数据库的url,使用client[db名]创建一个数据库db,

调用db[collection名],创建一个表coll,调用coll.insert(dict对象)插入数据。

# class MongoPipeline(object):

#     def __init__(self,mongo_url,mongo_db):
#         self.mongo_url = mongo_url
#         self.mongo_db = mongo_db

#     @classmethod
#     def from_crawler(cls,crawler):
#         return cls (
#             mongo_url=crawler.settings.get('MONGO_URL'),
#             mongo_db =crawler.settings.get('MONGO_DB')
#         )
#     def open_spider(self,spider):
#         self.clict = pymongo.MongoClient(self.mongo_url)
#         self.db  = self.clict[self.mongo_db]

#     def process_item(self,item,spider):
#         name = self.__class__.__name__
#         self.db[name].insert(dict(item))
#         return item
#     def close_spider(self,spider):
#         self.clict.close()

————————————————
版权声明:本文为CSDN博主「赵df」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_41707051/article/details/80878081



回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

关闭

站长推荐上一条 1/4 下一条

  • 论坛活动 E手掌握

    扫码关注
    EEWORLD 官方微信

  • EE福利  唾手可得

    扫码关注
    EE福利 唾手可得

Archiver|手机版|小黑屋|电子工程世界 ( 京ICP证 060456 )

GMT+8, 2020-4-6 07:26 , Processed in 0.102370 second(s), 18 queries , Gzip On, MemCache On.

快速回复 返回顶部 返回列表