0
点赞
收藏
分享

微信扫一扫

Kubernetes中部署ELK Stack日志收集平台

文章目录

1.背景说明

  • 接口访问限制;
  • 接口请求次数限制;
  • 接口请求数量限制,针对大数据研发过程中,数据对接绝对是致命伤。一个个数据烟囱(Data Silo),一处处护城河,一个个数据坑,踩不完根本踩不完。
  • 大致目标: 有限的资源下,请求结果数据并持久化(读取、下载、入库、上云)。又体验了一把非结构化数据处理真心不是关系数据库擅长的。
  • 补充说明: 文中用的免费在线图床,不是很稳定,不然循环处理会很流畅。

2.环境搭建

2.1 参考链接

  • 参照如下环境,通过docker快速搭建Oracle运行环境;如果已有Oracle环境忽略该小节。
    • 【kettle005】kettle访问Oracle数据库并处理数据至execl文件(已更新)
    • 【kettle005】kettle访问Oracle数据库并处理数据至execl文件(已更新)

2.2 oracle查询测试代码

  • import cx_Oracle
    # 设置Oracle数据源名称
    dsn = cx_Oracle.makedsn('192.168.48.150', '1521', service_name='xe')
    # 创建数据库连接
    connection = cx_Oracle.connect(user='system', password='oracle', dsn=dsn)
    cursor = connection.cursor() # 创建游标
    # 插入数据的SQL语句
    
    cursor.execute('SELECT * FROM YOULI."youli_testtable"')
    result = cursor.fetchall()
    # 提交事务
    connection.commit()
    # 关闭游标和连接
    cursor.close()
    connection.close()
    
    result_df = pd.DataFrame( result )
    result_df.columns = ["id","name","email","age","sex","id_card","mobile_phone","visa_card","officer_card","address","hiredate","score"]
    result_df.head( 3 )
    
  • 运行效果图
    在这里插入图片描述

3.数据请求与插入

3.1 Oracle建表语句

  • -- YOULI.YOULI_ZPTEST definition
    
    CREATE TABLE 
举报

相关推荐

0 条评论