莲美村| 刘苑村村委会| 奎壁| 龙伏乡| 梁家坝| 兰德湖| 开平街道| 六道河| 李俊镇| 老窝白族乡| 筠竹坑| 鲤中| 开平市立新水库| 龙井县| 梁家务| 孔里| 莲塘路| 莱斯大酒店| 留车镇| 老寮场| 句容市九华茶场| 灵芝镇| 李哥庄| 流沙西街道| 李家疃镇| 凯旋路长宁路| 连岛街道| 龙居路| 老街街道| 灵山洞| 流水沟| 奎聚| 李墩镇| 梁方山固村委会| 叩官镇| 联明路| 岭营| 柳湾乡| 科学城华丰街道| 兰河峪乡| 丽里村| 鲤鱼石| 老庚| 老古城| 浪洞乡| 兰坪路| 礼岗| 李盘石村村委会| 临淮镇| 利华| 老舍乡| 冷水江| 李家院子| 乐西| 孔庄村委会| 拉依苏| 宽甸镇| 龙华园区社区| 龙伏乡| 凉垭乡| 丽京门| 库额尔齐斯镇| 龙回苑社区| 林湾公交站| 莲坂| 莱白堰| 六垠镇| 李树乡| 均河| 黎明河| 喀拉喀什镇| 良乡四街村| 老庄村委会| 句容市九华茶场| 两家满族乡| 哭泉乡| 林水山居| 坑南村| 临邑县| 橘园洲| 李都村| 林庄村委会| 空军机关大院第三社区| 刘家峡镇| 康沙镇| 李哥庄镇| 林河| 六河乡| 桔源经营所| 老白椒麻鸡| 良各庄村| 刘八劝村委会| 刘振阳| 克州| 康复中心| 客路镇| 科尔沁左翼后旗| 利港镇| 连环乡| 梁石桥| 莲前街道| 吝店镇| 梁北镇| 鲤溪镇| 李石街道| 乐园良种场| 烂泥塘| 阔什塔格乡| 客运东站| 留田迳| 林和街道| 乐安寺乡| 科技部社区| 聚胜站| 帘子库胡同| 蓝天区| 龙锦苑| 李康店村村委会| 孔家坊乡| 临安市| 老古城前街社区| 卡加道乡| 李氏| 刘家峡镇| 拉斯奎镇| 刘家尧| 兰青乡| 灵石| 孔城镇| 李兴镇| 鄄城县| 蓢底镇| 丽阳乡| 柳山| 科技路| 雷丰村| 临渭区| 六顺街道| 靠山乡| 老鸦林| 李熙桥镇| 刘各长村| 笼岗| 开发区街道| 老君坡乡| 黎安二村| 李家疃镇| 历市镇| 里达镇| 良西镇| 良交警中队| 灵光胡同| 林园路| 梁集乡| 李西| 拉木阿觉乡| 老港镇| 赖坊乡| 开口石| 龙门埭| 龙伏乡| 林家村镇| 李家巷子| 坑尾仔| 刘家店镇| 廖屋角| 老照壁| 科华北路| 林业总场虚拟乡迪彦林场| 林波桥| 雷桥| 喀喇沁旗| 李钊庄镇| 兰陵公寓| 六团| 狼山农场| 柳芳北里社区| 李家庄子| 流行港| 雷波| 临邛镇| 客运段| 利兹城市花园| 龙盘珠| 廖洪刚| 诓睡着| 礼明庄乡| 刘正圪旦| 宽城| 李渠镇| 刘卫平| 啷个| 莲花二村| 龙宝峪| 卡如乡| 科技经营管理学院| 乐泉花园| 荔枝巷| 涟水县| 良医院| 梁岔镇| 李溪| 雷切| 劳动东路| 黎川工业小区| 梁平| 李鲁元村村委会| 凉水河蒙古族乡| 灵石县| 柳杜乡| 柳惠道| 灵昆镇| 里山河| 老堡子| 军粮城镇魏王庄| 喀拉托别乡| 刘家寨子乡| 林里乡| 李河镇| 科苑路| 辽宁省阜新市| 李家桥村| 科尔沁左翼后旗| 龙涵道| 良庄社区| 蓝天城市花园| 刘庄斜拉桥| 李营镇| 开平市国营东山林场| 凌庄子道南里四条| 乐园乡| 刘店镇| 老官山| 刘家药铺| 老君殿镇| 灵丘| 康园新村| 蠡园经济区| 溜下| 康雄乡| 老观镇| 联群村| 柳汀桥西| 孔浦街道| 立发桥| 连池岭| 伶俐镇| 喀什| 砍土曼三队| 浪头镇| 梨河镇| 梨坑| 利港镇| 李家铺乡| 栗江镇| 琅南镇| 口子村村| 科建大厦| 龙南乡| 浏阳河路| 龙龙保铃球馆| 开发区社区| 开林河| 刘家庄| 廖田镇| 丽春路| 科华南路武侯大道口| 库尔特乡| 客哪勒| 留仙坪乡| 莲花公寓| 拉脱维亚| 岭岐| 喇嘛垭| 百度

EIA原油库存增502万桶大幅超预期 油价震荡回落

2018-06-25 02:56 来源:中国网

  EIA原油库存增502万桶大幅超预期 油价震荡回落

  百度(新华社太原3月19日电记者魏飚)”许启金委员话锋一转,“不过,现在有多少人愿意当工人,沉下心来钻研技术呢?”“技术工人的地位确实需要提高。

大家可能在高速公路上会经常看到货运卡车司机,这个群体将近有两千万,风餐露宿非常辛苦,还有交通安全方面的隐患。特别是在区块链技术创新应用迅猛发展的今天,本届DCI体系论坛更是全面描绘了基于区块链技术的DCI体系建设和应用的宏伟蓝图。

  往往比较重视对职工权益的维护,而对职工权益的发展重视不够,维护是存量,比较刚性,发展是增量,往往容易被忽视。记者从会上获悉,2017年双方围绕推动气象改革发展,维护气象职工合法权益,弘扬气象职工先进事迹,加强气象行业工会组织建设等方面开展了大量卓有成效工作。

  WIPO数据显示,中国2017年专利申请数量达48882项,同比增长13%。[王晓峰]:一、坚持正确政治方向,把思想和行动统一到习近平新时代中国特色社会主义思想和党的十九大精神上来。

成人洗衣液中有使衣物更亮白、洁净、柔顺的化学添加剂,这会成为刺激宝宝肌肤的“元凶”。

  事后,杜丽群细心交流,发现他之所以闹事,是因为缺乏关爱,家人对他不管不问让他感到被抛弃了,挑起事端纯粹是为了引起更多关注。

  (新华社太原3月19日电记者魏飚)要积极有序做好中国工会十七大的筹备工作。

  大家可能在高速公路上会经常看到货运卡车司机,这个群体将近有两千万,风餐露宿非常辛苦,还有交通安全方面的隐患。

  李桂平明白,1997~1998年,仅仅2年时间,就历经蒸汽、内燃、电力3种机型机车更换,这对司机要求越来越高,挑战空前。WIPO还公布了2017年申请国际商标和国际设计权的统计数据。

  原国家新闻出版广电总局有关领导,部分地方版权局嘉宾,腾讯、阿里、京东、网易等互联网平台及媒体界代表近300人参加了本次论坛。

  百度助力脱贫攻坚人员离岗创办科技型企业的,按规定享受国家创业有关扶持政策。

  李德培跟随兰家洋学艺5年,他年纪轻轻就已经是打磨、喷漆方面的一把好手,师父不在车间的时候,李德培已经可以独挡一面,胜任所有工作。当前工会工作中发展不充分的表现发展不充分是从发展的程度上来讲的。

  百度 百度 百度

  EIA原油库存增502万桶大幅超预期 油价震荡回落

 
责编:
炼数成金 门户 大数据 开源软件 查看内容

EIA原油库存增502万桶大幅超预期 油价震荡回落

百度 据新华网报道,目前,国外专家已经把白噪音用于解决两种临床问题。

2018-5-2 14:12| 发布者: 炼数成金_小数| 查看: 16626| 评论: 0|来自: 开源中国

摘要: 去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性,另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本,TiDB 2.0 GA 版本于 4 月 27 日正式发布。T ...

数据库 SQL 测试 Spark 运维

去年十月,TiDB 1.0 版本发布,在接下来的六个月中,开发团队一方面在维护 1.0 版本的稳定性并且增加必要的新特性,另一方面马不停蹄的开发 2.0 版本。经过 6 个 RC 版本,TiDB 2.0 GA 版本于 4 月 27 日正式发布。

TiDB 是国内 PingCAP 团队开发的一个分布式 SQL 数据库。其灵感来自于 Google 的 F1 和 Google spanner, TiDB 支持包括传统 RDBMS 和 NoSQL 的特性。

2.0 版本规划
根据现有用户的情况、技术发展趋势以及社区的声音,TiDB 2.0 版本主要聚焦在以下几点:

保证 TiDB 的稳定性以及正确性。这两点是一个数据库软件的基础功能,作为业务的基石,任何一点抖动或者错误都可能对业务造成巨大的影响。目前已经有大量的用户在线上使用 TiDB,这些用户的数据量在不断增加、业务也在不断演进。
提升 TiDB 在大数据量下的查询性能。TiDB 目前很多客户都有少则上百 GB,多则上百 TB 的数据,一方面数据会持续增加,另一方面也希望能对这些数据做实时的查询。所以如果能提升大数据量下的查询性能,对用户会很有帮助。
优化 TiDB 的易用性和可维护性。TiDB 整套系统的复杂性比较高,运维及使用的难度要大于单机数据库,所以希望能提供尽可能方便的方案帮助用户使用 TiDB。比如尽可能简化部署、升级、扩容方式,尽可能容易的定位系统中出现的异常状态。

围绕上面三点原则,TiDB 做了大量的改进,一些是对外可见,如 OLAP 性能的显著提升、监控项的大量增加以及运维工具的各项优化,还有更多的改进是隐藏在数据库背后,默默的提升整个数据库的稳定性以及正确性。

正确性和稳定性
在 1.0 版本发布之后,TiDB 开始构建和完善自动化测试平台 Schrodinger,彻底告别了之前靠手工部署集群测试的方式。同时也新增了非常多的测试用例,做到测试从最底层 RocksDB,到 Raft,再到 Transaction,然后是 SQL 都能覆盖。

在 Chaos 测试上面,TiDB 引入了更多的错误注入工具,例如使用 systemtap 对 I/O 进行 delay 等,也在代码特定的业务的逻辑进行错误注入测试,充分保证 TiDB 在异常条件下面也能稳定运行。

TiDB 的开发团队之前做了很多 TLA+ 的论证工作,也有一些简单的测试,1.0 之后开始使用 TLA+ 系统进行论证,保证所做的实现在设计上面都是正确的。

在存储引擎方面,为了提升大规模集群的稳定性和性能,TiDB 优化了 Raft 的流程,引入 Region Merge、Raft Learner 等新特性;优化热点调度机制,统计更多的信息,并根据这些信息做更合理的调度;优化 RocksDB 的性能,使用 DeleteFilesInRanges 等特性,提升空间回收效率,降低磁盘负载,以及更加平滑地使用磁盘资源等等。

OLAP 性能优化
TiDB 2.0 版本重构了 SQL 优化器和执行引擎,希望能尽可能快的选择最优查询计划并且尽可能高效地执行查询计划。

1.0 版本已经从基于规则的查询优化器转向基于代价的查询优化器,但是还不够完善,在 2.0 版本中,一方面优化统计信息的较精确度以及更新及时程度,另一方面提升 SQL 优化器的能力,对查询代价的估算更加精准、对复杂过滤条件的分析更加细致、对关联子查询的处理更加优雅、对物理算子的选择更加灵活准确。

在这一版本中,SQL 执行引擎引入新的内部数据表示方式 --- `Chunk`,一个结构中保存一批数据而不仅是一行数据,同一列的数据在内存中连续存放,使得内存使用更紧凑,这样带来了几点好处:

1. 显著减小了内存消耗; 
2. 批量分配内存,减小了 GC 开销;
3. 算子之间可以对数据进行批量传递,减小调用开销;
4. 在某些场景下,可以进行向量计算以及减小 CPU 的 Cache Miss 的情况。

完成上述两项改动之后,TiDB 在 OLAP 场景下的性能有了大幅的质的提升,从 TPC-H 的对比结果来看,所有的 Query 在 2.0 中都运行得更快,一些 Query 大多数都有几倍甚至数量级的提升,特别是一些 1.0 中跑不出结果的 Query 在 2.0 中都能顺利执行。


易用性和可运维性
为了更容易被安装和使用,TiDB 2.0 在监控、运维、工具方面也做了诸多优化。
在监控方面,增加了过百个监控项,同时通过 HTTP 接口、SQL 语句等方式暴露出一些运行时信息,用于系统调优或者是定位系统中存在的问题。

在运维方面,运维工具做了优化,简化操作流程,降低操作复杂度及操作过程对于线上的影响。同时功能也更加丰富,支持自动部署 Binlog 组件、支持启用 TLS。

2.0 详细更新列表
TiDB
1.SQL 优化器
精简统计信息数据结构,减小内存占用
加快进程启动时加载统计信息速度
支持统计信息动态更新 [experimental]
优化代价模型,对代价估算更精准
使用 `Count-Min Sketch` 更较精确地估算点查的代价
支持分析更复杂的条件,尽可能充分的使用索引
支持通过 `STRAIGHT_JOIN` 语法手动指定 Join 顺序
`GROUP BY`子句为空时使用 Stream Aggregation 算子,提升性能
支持使用索引计算 `Max/Min` 函数
优化关联子查询处理算法,支持将更多类型的关联子查询解关联并转化成 `Left Outer Join`
扩大 `IndexLookupJoin` 的使用范围,索引前缀匹配的场景也可以使用该算法

2.SQL 执行引擎
使用 Chunk 结构重构所有执行器算子,提升分析型语句执行性能,减少内存占用,显著提升 TPC-H 结果
支持 Streaming Aggregation 算子下推
优化 `Insert Into Ignore` 语句性能,提升 10 倍以上
优化 `Insert On Duplicate Key Update` 语句性能,提升 10 倍以上
下推更多的数据类型和函数到 TiKV 计算
优化 `Load Data` 性能,提升 10 倍以上
支持对物理算子内存使用进行统计,通过配置文件以及系统变量指定超过阈值后的处理行为
支持限制单条 SQL 语句使用内存的大小,减少程序 OOM 风险
支持在 CRUD 操作中使用隐式的行 ID
提升点查性能

3.Server
支持 Proxy Protocol
添加大量监控项, 优化日志
支持配置文件的合法性检测
支持 HTTP API 获取 TiDB 参数信息
使用 Batch 方式 Resolve Lock,提升垃圾回收速度
支持多线程垃圾回收
支持 TLS

4.兼容性
支持更多 MySQL 语法
支持配置文件修改 `lower_case_table_names` 系统变量,用于支持 OGG 数据同步工具
提升对 Navicat 的兼容性
在 `Information_Schema` 中支持显示建表时间
修复部分函数/表达式返回类型和 MySQL 不同的问题
提升对 JDBC 兼容性
支持更多的 `SQL_MODE`

5.DDL
优化 `Add Index` 的执行速度,部分场景下速度大幅度提升
`Add Index` 操作变更为低优先级,降低对线上业务影响
`Admin Show DDL Jobs` 输出更详细的 DDL 任务状态信息
支持 `Admin Show DDL Job Queries JobID` 查询当前正在运行的 DDL 任务的原始语句
支持 `Admin Recover Index` 命令,用于灾难恢复情况下修复索引数据
支持通过 `Alter` 语句修改 Table Options

PD
1.增加 `Region Merge` 支持,合并数据删除后产生的空 Region [experimental]

2.增加 `Raft Learner` 支持 [experimental]

3.调度器优化

调度器适应不同的 Region size
提升 TiKV 宕机时数据恢复的优先级和恢复速度
提升下线 TiKV 节点搬迁数据的速度
优化 TiKV 节点空间不足时的调度策略,尽可能防止空间不足时磁盘被写满
提升 balance-leader scheduler 的调度效率
减少 balance-region scheduler 调度开销
优化 hot-region scheduler 的执行效率

4.运维接口及配置
增加 TLS 支持
支持设置 PD leader 优先级
支持基于 label 配置属性
支持配置特定 label 的节点不调度 Region leader
支持手动 Split Region,可用于处理单 Region 热点的问题
支持打散指定 Region,用于某些情况下手动调整热点 Region 分布
增加配置参数检查规则,完善配置项的合法性较验

5.调试接口
增加 `Drop Region` 调试接口
增加枚举各个 PD health 状态的接口

6.统计相关
添加异常 Region 的统计
添加 Region 隔离级别的统计
添加调度相关 metrics

7.性能优化
PD leader 尽量与 etcd leader 保持同步,提升写入性能
优化 Region heartbeat 性能,现可支持超过 100 万 Region

TiKV
1.功能
保护关键配置,防止错误修改
支持 `Region Merge` [experimental]
添加 `Raw DeleteRange` API
添加 `GetMetric` API
添加 `Raw Batch Put`,`Raw Batch Get`,`Raw Batch Delete` 和 `Raw Batch Scan`
给 Raw KV API 增加 Column Family 参数,能对特定 Column Family 进行操作
Coprocessor 支持 streaming 模式,支持 streaming 聚合
支持配置 Coprocessor 请求的超时时间
心跳包携带时间戳
支持在线修改 RocksDB 的一些参数,包括 `block-cache-size` 大小等
支持配置 Coprocessor 遇到某些错误时的行为
支持以导数据模式启动,减少导数据过程中的写放大
支持手动对 region 进行对半 split
完善数据修复工具 tikv-ctl
Coprocessor 返回更多的统计信息,以便指导 TiDB 的行为
支持 ImportSST API,可以用于 SST 文件导入 [experimental]
新增 TiKV Importer 二进制,与 TiDB Lightning 集成用于快速导入数据 [experimental]

2.性能
使用 ReadPool 优化读性能,`raw_get/get/batch_get` 提升 30%
提升 metrics 的性能
Raft snapshot 处理完之后立即通知 PD,加快调度速度
解决 RocksDB 刷盘导致性能抖动问题
提升在数据删除之后的空间回收
加速启动过程中的垃圾清理过程
使用 `DeleteFilesInRanges` 减少副本迁移时 I/O 开销

3.稳定性
解决在 PD leader 发送切换的情况下 gRPC call 不返回问题
解决由于 snapshot 导致下线节点慢的问题
限制搬移副本临时占用的空间大小
如果有 Region 长时间没有 Leader,进行上报
根据 compaction 事件及时更新统计的 Region size
限制单次 scan lock 请求的扫描的数据量,防止超时
限制接收 snapshot 过程中的内存占用,防止 OOM
提升 CI test 的速度
解决由于 snapshot 太多导致的 OOM 问题
配置 gRPC 的 `keepalive` 参数
修复 Region 增多容易 OOM 的问题

此外,同时发布的还有 TiSpark 1.0 GA 版本。TiSpark 1.0 版本组件提供了针对 TiDB 上的数据使用 Apache Spark 进行分布式计算的能力。更新包括:

1.提供了针对 TiKV 读取的 gRPC 通信框架

2.提供了对 TiKV 组件数据的和通信协议部分的编码解码

3.提供了计算下推功能,包含

聚合下推
谓词下推
TopN 下推
Limit 下推

4.提供了索引相关支持
谓词转化聚簇索引范围
谓词转化次级索引
Index Only 查询优化
运行时索引退化扫表优化

5.提供了基于代价优化
统计信息支持
索引选择
广播表代价估算

6.多种 Spark Interface 的支持
Spark Shell 支持
ThriftServer/JDBC 支持
Spark-SQL 交互支持
PySpark Shell 支持
SparkR 支持

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-6-5 14:47 , Processed in 0.209338 second(s), 25 queries .

百度