`

报表性能优化方案之报表取数

 
阅读更多

1. 取数原理

设计器拼出最终的SQL,将SQL语句传给数据库,数据库执行,将数据返回给设计器。

由于计算过程首先要通过SQL语句从数据库中取数据,我们可以通过控制数据量的大小和对数据的提前预处理来提高报表的性能。下面是一些优化的方法。

2. 优化SQL

FineReport报表的数据集采用的是表模型,也就是说通过SQL这种DSL语言,从数据库通过简单查询或各种组合关联查询得到一个关系表,而这部分SQL查询根据各种数据库产商长时间的优化(比如建立索引),已经非常成熟。数据集一般要通过FineReport报表模型的复杂处理才能生成最终的表样。因此,从数据库SQL查询取出数据量越少,FineReport报表模型需要做的复杂处理和计算就越少,所花的时间和内存就少,从而可以提高性能。

2.1 SQL语句取具体的字段

我们一般会用select * from 这样的形式将一个数据库表中所有的字段都取出来,而其中一些字段是报表中不需要用到的,例如报表中只需要用到三个字段,但是数据库中实际的表有十个字段,一些初学者习惯性的用select * from table1,这样相当于把十个字段的数据都取到报表服务器端,增加了报表服务器端的内存占用以及减慢了运算速度,所以SQL语句中尽量不要用“*”号,而是写上具体的字段,能够减少报表服务器端的内存占用,加快报表的运算速度。

2.2 SQL中直接分组代替报表中分组

一些汇总类型的报表,例如制作一张订单总额的表,可能会从订单明细表中取出大量的数据记录,然后进行数据汇总,即进行分组聚集运算,报表计算过程中我们可以在SQL中提前进行一次分组聚集,能够大大减少取到的报表服务器的记录数,加快取数和报表运算的速度。

SQL语句:SELECT 成本价,类别ID FROM 产品

从数据库中选择如上两个字段,然后根据类别ID进行成本价的汇总,此时数据库返回给报表处理的数据就有77条。如下:

 


优化的SQL语句:
SELECT sum(成本价),类别ID FROM 产品 group by 类别ID

经过SQL优化后,报表需要处理的数据就只剩8条了。如下:

 


优化分析:

第一种做法,不仅仅取到报表服务器上记录数多了,取数速度慢,而且报表模型需要对表数据列进行分组运算,增加了报表运行时间;

第二种做法,数据库虽然要进行分组运算,但是数据库中有索引,运算速度快,且取到报表服务器端的记录数大大减少,取数速度大大加快,因此在报表模型进行分组运算的时候只要对很少的记录数进行,报表的运算速度大大加快了。

实验结果以及分析表明,第二种做法的性能远优于第一种。所以,分组应该尽量在sql里进行。

2.3 SQL中直接排序代替报表中排序

报表计算过程中很多时候需要对数据进行排序,虽然排序运算可以在报表端进行,不过我们还是建议在SQL中提前将数据排序,这是因为数据库中索引功能,通常是C/C++语言(往往在效率上比Java好)写的,会使得排序运算的速度很快。

2.4 SQL中直接过滤代替报表中过滤

报表计算过程中很多时候并不需要对表中的所有记录进行操作,而只是需要对部分满足条件的记录进行操作,虽然可以在报表设计器中对数据过滤,不过我们建议在SQL中对数据提前过滤,这样数据库返回的数据就减少了,既加快了取数速度,也加快了报表的运算速度。

3. 使用视图、存储过程

视图是由SELECT语句组成的查询定义的虚拟表,由一张或多张数据库实际的表中的数据组成的,从数据库系统外部来看,视图就如同一张表一样。

存储过程通过流控制与SQL语句,可以对数据进行强大的运算与处理,对于业务比较复杂的应用,常常需要将原始数据通过存储过程处理后再供报表使用。另外存储过程运行前,数据库会对其进行语法和句法的分析,并进行优化,这种已经编译好的存储过程极大地改善SQL语句的性能。在报表端也只需要书写较短的调用语句来获得结果,从而降低网络的通信量。

所以表与表的连接、复杂的SQL尽量在数据库中使用视图或者存储过程直接进行,这样将复杂的SQL语句直接保存于数据库服务器端(数据库本身会对SQL语句进行语法分析并进行优化),在报表设计器端就不需要写大段的SQL语句而是直接调用视图或存储过程了,一方面减少网络传输量,减轻数据库的压力,另一方面加快了报表的运算速度。

<!--EndFragment-->

 

0
1
分享到:
评论

相关推荐

    报表性能优化方案之报表服务器优化基础讲解

    JVM堆栈内存是决定应用服务器性能的关键指标,一般服务器默认的内存配置都比较小,在较大型的应用项目中,这点内存是不够的,因此需要进行查看与修改Web服务器内存大小,接下来就介绍服务器内存查看的方法以及不同...

    报表性能优化方案之行引擎执行层式报表

    有这样一种报表:报表形式非常简单,只是简单的单数据源明细报表,但是数据量非常大,百万、千万甚至更多。报表取数及计算时间相当长。希望能够提高报表展示速度,对于用户来说,查询报表不会有滞后的感觉。

    报表性能优化方案之报表计算时间

    完成报表取数后,设计器会对数据库返回的数据进行扩展、分组、列表、汇总等运算,好的模板制作习惯往往可以优化报表的计算时间。

    报表性能优化方案之报表缓存路径

    若启用了磁盘缓存,默认的会在C:\Documents and Settings\Administrator\.FineReport80(windows下)下创建cache即缓存文件夹,一般呢,C盘的空间会很小,如保存在C盘会增加对C盘的压力,那么有没有方法让其保存到...

    报表性能优化方案之善用参数注入

    对于多数据集关联报表,当数据很大时报表的展现速度就会很慢,或通过写sql语句又很复杂。为此FineReport提供一种,既可加快报表的展现速度,又不用编写复杂的sql语句的方案。即使用动态参数注入功能。

    报表性能优化方案之数据集缓存与共享

    对于大数据量报表,若每次直接从数据库中查询数据,不仅增加数据库服务器的压力,也极大的影响了取数的速度从而降低了报表的执行速度,为此FineReport提供了数据集缓存与共享功能。

    报表性能优化方案之单数据集分页SQL实现层式报表

    行式引擎按页取数只适用于Oracle,mysql,hsql和sqlserver2008及以上数据库,其他数据库,如access,sqlserver2005,sqlite等必须编写分页SQL。今天我们以Access数据库为例介绍需要写分页SQL的数据库怎样利用行式的...

    报表性能优化方案之多种报表服务器内存修改方法

    java应用程序运行过程中会使用web应用服务器的内存,如执行报表获取的数据,运算的中间数据等都需要暂存在服务器内存中。 当没有空内存可用时,就会出现内存溢出错误,为了避免内存溢出的问题,我们一方面应适当启用...

    报表性能优化方案之巧用相邻连续分组

    相邻连续分组的操作,是将数据集中连在一起的相同数据才进行合并的。尤其是,在配合SQL中已排好序的列,对其实现的...如下简单示例,查看其报表执行数据信息,可看出其分组方式比普通分组方式更能提高其报表的性能。

    EBS性能调优之全面挖掘_V4.2(ebs性能优化、oracle性能优化、linux性能优化)

    数据库优化包括:实例的性能优化和SQL语句的性能优化,实例优化和sql优化均可以通过AWR报告来分析并作出优化方案。 这篇文档描述了如何调查EBS系统性能下降原因、如何使用和理解AWR报告、分别阐述了数据库层/应用层/...

    索尼报表服务器升级方案(千万级效率提升50%)

    此方案为给索尼公司编写的报表服务器升级方案,基础数据量为350万条数据,每月会新增30万条,以前每次执行一次报表统计,需要一周的时间,而且会导致服务器的性能严重下降,采用此方案优化升级后,性能提升50以上,...

    业务库和报表库的分离SQLSERVER

    该文档以一个性能优化案例,讲述到如何定位瓶颈,并给出五种解决方案,最终是如何根据场景进行业务库和报表库的分离

    无线网络的规划与优化(毕业设计).doc

    在完成规划之后需要对现实网络性能进行评估, 经过网络仿真、实际网络测试得到实际网络数据及其报表数据分析网络性能,如果没有 达到要求,则需要对网络继续进行优化直到达到需求为止,使网络性能最优化。...

    ASP.NET教育报表管理系统-权限管理模块(源代码+thesis).zip

    性能优化:我们将使用一系列性能优化技术来提高应用程序的性能。这包括使用高效的算法和数据结构、使用缓存技术和数据库索引、进行代码优化和资源管理等。 通过采用这些技术方案,我们的项目将能够提供一个高性能、...

    平台设计方案.docx

    在整个系统的设计上,在保证系统效率的前提下,将突出系统的开放式、标准化、模块化、易用实用、性能优化、可靠稳定等特点。 为充分保证系统在安全性、跨平台性、易扩展性、易维护性等方面的要求,建议采用先进的三...

    基于Web的高校财务管理信息系统报表设计与研究

    结果证实基于Web优化设计高校财务管理信息系统,不仅能够确保系统报表设计形式多样化,也可以提升系统应用性能,提升12.0%,应用该系统可以较好的完成高校中对于财务信息的管理工作。结论表明,基于Web设计实现高校...

    研究院HPC建设方案

    3 面向高性能计算中心的资源管理、作业调度系统方案 10 3.1 基于应用的场景分析 10 3.1.1 终端用户通过Compute Manager,提交Fluent批处理计算作业 10 3.1.2 终端用户通过Display Manager,提交需要图形节点支持的...

    无线网络的规划与优化(毕业设计).docx

    经过网络仿真、实际网络测试得到实际网络数据及其报表数据分析网络性能,如果没有达到要求,则需要对网络继续进行优化直到达到需求为止,使网络性能最优化。 无线网络的规划与优化(毕业设计)全文共9页,当前为第2页...

    SQL Server 2008商业智能完美解决方案 3/3

    利用Microsoft SQL Server 2008实现灵活的商业智能解决方案使用Microsoft 完善的BI工具构建B0解决方案的必备指南,使用SQLServer 2008设计、开发和部署更有效的数据集成、报表、分析解决方案所需的权威操作指南。...

Global site tag (gtag.js) - Google Analytics