mondrian使用测试
栏目：数据库应用时间：2015-03-18 10:04:58
mondrian是1个OLAP引擎，和OLTP不同的是，OLAP是建立在物理表以上的1个逻辑模型，称为1个立方体，这个立方体的建立是通过指定可选的维度和度量，每个维度有1个维度表，维度有层次信息。OLAP的查找是通过1种MDX表中实现的，类似于OLTP的sql语法，MDX有自己的语法，不过它只规范了查询语句，由于OLAP中不会对数据进行修改，因此OLAP履行的进程中有两个方面，首先就是对模型的定义，在mondrian中，逻辑模型的定义是通过xml的方式交给mondrian解析的，对这个模型的查询是通过MDX格式的语句完成的，下面通过1个实例调用mondrian接口看1下mondrian的使用。
package mondrianTest;
import java.io.PrintWriter;
import mondrian.olap.Connection;
import mondrian.olap.DriverManager;
import mondrian.olap.Query;
import mondrian.olap.Result;
public class TestMDX {
public void testQuery(){
Connection connection = DriverManager.getConnection("Provider=mondrian;" +
"Jdbc=jdbc:mysql://10.241.20.157:3306/foodmart?user=root&password=root;" +
"Catalog=C:UsersAdministratorDesktop
rtpFoodMart.xml;",
null, false);
Query query = connection.parseQuery("select {[Measures].[业务量]} on columns from MsgBusi");
Result result = connection.execute(query);
PrintWriter pw = new PrintWriter(System.out);
result.print(pw);
pw.flush();
}
public static void main(String[] args) {
TestMDX a = new TestMDX();
System.out.println("调用mondrian api进行查询");
a.testQuery();
}
}
这段代码是自己从网上down下来的，要想运行它需要加1些履行进程中需要的jar包，最少需要以下几个包：
接着运行出现以下毛病：
Exception in thread "main" mondrian.olap.MondrianException: Mondrian Error:Internal error: while parsing catalog C:UsersAdministratorDesktop
rtpFoodMart.xml
at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)
at mondrian.olap.Util.newInternal(Util.java:1083)
at mondrian.olap.Util.newError(Util.java:1099)
at mondrian.rolap.RolapSchema.load(RolapSchema.java:303)
at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:213)
at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:76)
at mondrian.rolap.RolapSchema$Pool.get(RolapSchema.java:835)
at mondrian.rolap.RolapSchema$Pool.get(RolapSchema.java:657)
at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:148)
at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:79)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:122)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:87)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:55)
at mondrianTest.TestMDX.testQuery(TestMDX.java:13)
at mondrianTest.TestMDX.main(TestMDX.java:41)
Caused by: org.eigenbase.xom.XOMException: In Schema: In Cube: In Measure: In MeasureExpression: In SQL: Value 'infobright' of attribute 'dialect' has illegal value 'infobright'. Legal values: {generic, access, db2, derby, firebird, hsqldb, mssql, mysql, oracle, postgres, sybase, teradata, ingres, luciddb}
at mondrian.olap.MondrianDef$Schema.<init>(MondrianDef.java:134)
at mondrian.rolap.RolapSchema.load(RolapSchema.java:289)
... 11 more
这1步是解析模式定义的xml文件出现了毛病，根据提示，查看了1下infobright是甚么发现它也是1种数据仓库的解决方案，可能当前版本的mondrian不支持它，所以将出现他的xml标签都注释掉算了，反正我们这里只使用mysql（要确保mysql的连接驱动的jar包已加入到工程的classpath下），不关心其他的。
接着再次运行出现以下毛病：
Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure
The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
at java.lang.reflect.Constructor.newInstance(Unknown Source)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:408)
at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1137)
at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:355)
at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2490)
at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2527)
at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2309)
at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:834)
at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:46)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
at java.lang.reflect.Constructor.newInstance(Unknown Source)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:408)
at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:419)
at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:344)
at java.sql.DriverManager.getConnection(Unknown Source)
at java.sql.DriverManager.getConnection(Unknown Source)
at mondrianTest.TestMysql.main(TestMysql.java:17)
Caused by: java.net.ConnectException: Connection refused: connect
at java.net.DualStackPlainSocketImpl.connect0(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)
at java.net.AbstractPlainSocketImpl.connect(Unknown Source)
at java.net.PlainSocketImpl.connect(Unknown Source)
at java.net.SocksSocketImpl.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at java.net.Socket.<init>(Unknown Source)
at java.net.Socket.<init>(Unknown Source)
at com.mysql.jdbc.StandardSocketFactory.connect(StandardSocketFactory.java:258)
at com.mysql.jdbc.MysqlIO.<init>(MysqlIO.java:305)
... 15 more
这个毛病从堆栈上看是connect引发的，通过http://stackoverflow.com/questions/2983248/com-mysql-jdbc-exceptions-jdbc4-communicationsexception-communications-link-fai的解析发现时由于没连上服务器致使的，但是明明服务器的3306端口已打开了啊，而且在服务器上使用mysql客户端就能够连接上去啊。这是怎样回事，使用tcpdump抓包发现每次SYN要求都会被服务器无情的回复RST报文，这说明该端口确切没有打开，使用netstat查看该端口发现的确：
原来服务器只接收本地的连接，怪不得我在windows上1直连不上呢，解决的方法就是修改mysql的配置文件my.conf，把其中的bind-address从原来的127.0.0.1修改成0.0.0.0，这样就能够从远程连接到mysql了。
接侧重新运行又出现这样的毛病：
Exception in thread "main" mondrian.olap.MondrianException: Mondrian Error:Failed to parse query 'select {[Measures].[业务量]} on columns from MsgBusi'
at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)
at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:77)
at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:59)
at mondrianTest.TestMDX.testQuery(TestMDX.java:18)
at mondrianTest.TestMDX.main(TestMDX.java:37)
Caused by: mondrian.olap.MondrianException: Mondrian Error:Error while parsing MDX statement 'select {[Measures].[业务量]} on columns from MsgBusi'
at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:755)
at mondrian.olap.Parser.parseInternal(Parser.java:760)
at mondrian.olap.ConnectionBase.parseQuery(ConnectionBase.java:74)
... 3 more
Caused by: mondrian.olap.MondrianException: Mondrian Error:MDX cube 'MsgBusi' not found or not processed
at mondrian.resource.MondrianResource$_Def0.ex(MondrianResource.java:752)
at mondrian.rolap.RolapSchema.lookupCube(RolapSchema.java:1067)
at mondrian.olap.Query.<init>(Query.java:187)
at mondrian.olap.Parser.makeQuery(Parser.java:851)
at mondrian.olap.CUP$Parser$actions.CUP$Parser$do_action(Parser.java:1700)
at mondrian.olap.Parser.do_action(Parser.java:685)
at java_cup.runtime.lr_parser.parse(lr_parser.java:569)
at mondrian.olap.Parser.parseInternal(Parser.java:755)
... 4 more
这个是查询MDX中出现的毛病了，这说明前面的连接mysql，解析xml文件的操作都履行成功了，根据毛病提示发现MsgBusi不存在，查看xml文件发现这个MsgBusi的确不存在，这才想起来，原来down下来的代码和我用的逻辑模型的定义不是同1个，我这里用的是mondrian提供的1个示例foodmart，所以我应当用我这里的逻辑模型定义的立方体和维度等进行查询。所以需要修改1下MDX语句，经过量次测试以后发现这样的语句能够在当前的配置中跑出结果：SELECT
{ [Measures].[Unit Sales] } on columns,{ [Time].[Year].[1997] } on rows FROM Sales WHERE ([Customers].[State Province].[CA])，跑出的结果以下：
Axis #0:
{[Customers].[USA].[CA]}
Axis #1:
{[Measures].[Unit Sales]}
Axis #2:
{[Time].[1997]}
Row #0: 74,748
但是我发现mondrian的版本很多，当前最新的版本已是4.0版本的了，而能够刚才使用的版本还是2.x版本的，然后发现在较新的版本中都在使用olap4j这样的接口进行访问，这个接口类似于jdbc访问数据库引擎，是1个java的接口规范，用于访问ROLAP引擎，使用mdx语句，因而就换成当前最新的稳定版本3.9进行测试，换了以后发现出错了：
Exception in thread "main" java.lang.NoSuchMethodError: mondrian.resource.MondrianResource.getThreadOrDefaultLocale()Ljava/util/Locale;
at mondrian.resource.MondrianResource.instance(MondrianResource.java:29)
at mondrian.rolap.aggmatcher.AggTableManager.<clinit>(AggTableManager.java:54)
at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:194)
at mondrian.rolap.RolapSchema.<init>(RolapSchema.java:216)
at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:214)
at mondrian.rolap.RolapSchemaPool.get(RolapSchemaPool.java:66)
at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:160)
at mondrian.rolap.RolapConnection.<init>(RolapConnection.java:90)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:112)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:68)
at mondrian.olap.DriverManager.getConnection(DriverManager.java:50)
at mondrianTest.TestMDX.testQuery(TestMDX.java:13)
at mondrianTest.TestMDX.main(TestMDX.java:38)
妈的，找不到这个函数，真是奇怪了，这个包也存在，包里面也有这个类，为何恰恰就没有这个函数呢？！这就是java比较烦人的地方，在C/C++里面编译期间必须能够找到所有的函数定义，虽然有些函数的实现没有找到，在装载的时候也会首先进行动态链接，而不会在履行的时候再进行，但是JAVA这类只有在使用的时候再进行load的方式就极可能出现这类动态的毛病，例如找不到class、找不到method等等，这个问题查了半天也没有能够找出毛病，最后是在没有办法了采取最后的方法：查看源码。幸亏有grepCode这样的网站，真的是让查看java源代码方便了不知道多少个数量级，俗语说：源码在手，了无秘密。有了源码，甚么问题都不在是问题了，在grepcode中查找mondrian.resource.MondrianResource这个类，发现在mondrian中只有3.6.7之前的版本才有，所以又不能不切换回3.6.x版本，这里我用的是3.6.1版本，换了jar包以后发现这个毛病还是存在，好吧，看下代码吧。
在代码中，的确是MondrianResource的instance方法中（29）行调用了getThreadOrDefaultLocale函数，而在当前的类中没有定义这个函数，那末它1定是继承另外1个类，在父类中实现的，果然，它继承的是org.eigenbase.resgen.ShadowResourceBundle类，再查看1下这个类，我擦，在codegrep上根本搜不到这个类的源码，这时候候请教google吧，搜出来这个网页：http://www.java2s.com/Code/Jar/e/Downloadeigenbaseresgenjar.htm，我勒个咔擦，我之前下载的eigenbase-resgen.jar文件不就是在这里下载的吗？！而这个jar包中分明有org.eigenbase.resgen.ShadowResourceBundle类啊（要不然我的代码编译都不会通过的），1切又绕回来了，这时候候该怎样办？
这时候候我想起来了，既然mondrian自己能够编译通过，顺利履行，那末不管是在mondrian的maven依赖包中，还是在saifu中都应当有这个包的依赖，而且这个包应当就是可使用的，而之前的eigenbase-resgen.jar不能使用多是由于版本问题，查看了mondrian的pom.xml文件，发现它使用的是以下的版本：
<dependency>
<groupId>eigenbase</groupId>
<artifactId>eigenbase-resgen</artifactId>
<version>1.3.1</version>
</dependency>
查看了saiku的pom.xml文件，它使用的是以下的版本：
<dependency>
<groupId>eigenbase</groupId>
<artifactId>eigenbase-resgen</artifactId>
<version>1.3.0.11873</version>
</dependency>
虽然这两个版本不1样，但是我想应当任何1个都可以吧，因而下了1.3.1版本的，将之前的jar包换了1下以后测试1下，OK了，得到了一样的结果。
虽然得到了相同的结果，但是这里还是使用mondrian之前的execute接口来履行MDX语句的，而不是通过olap4j的方式，代码中可以看到execute接口已被抛弃了，查看mondrian文档看到这样的注释：
Deprecated. This method is deprecated and will be removed in mondrian⑷.0. It operates by internally creating a statement. Better to use olap4j and explicitly create a statement.
这里说这个接口将在mondrian 4.0以后被移除，建议使用olap4j接口创建statement的方式代替，因而又在网上搜到1片mondrian教程（http://alenzhai.iteye.com/blog/2158953），这里使用的就是olap4j的方式访问的，把代码copy下来以后进行修改，保持connection的参数和mdx语句不变，运行过以后能够得到相同的结果，只不过这类访问方式更加规范。附上源代码：
package mondrianTest;
import java.io.PrintWriter;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import org.olap4j.Cell;
import org.olap4j.CellSet;
import org.olap4j.OlapConnection;
import org.olap4j.OlapException;
import org.olap4j.OlapStatement;
import org.olap4j.OlapWrapper;
import org.olap4j.Position;
import org.olap4j.metadata.Member;
public class Olap4jTest {
/**
* 获得连接Olap的连接
* @param url 连接Olap的URL
* @return
* @throws ClassNotFoundException
* @throws SQLException
*/
public static OlapConnection getConnection(String url) throws ClassNotFoundException, SQLException{
Class.forName("mondrian.olap4j.MondrianOlap4jDriver");
Connection connection = DriverManager.getConnection(url);
OlapConnection olapConnection = connection.unwrap(OlapConnection.class);
return olapConnection;
}
/**
* 获得查询的结构结果集
* @param mdx mdx查询语句
* @param conn Olap连接
* @return
* @throws OlapException
*/
public static CellSet getResultSet(String mdx,OlapConnection conn) throws OlapException{
OlapStatement statement = conn.createStatement();
CellSet cellSet = statement.executeOlapQuery(mdx);
return cellSet;
}
public void testQuery(){
OlapConnection connection = null;
try {
connection = getConnection("jdbc:mondrian:" +
"Jdbc=jdbc:mysql://10.241.20.157:3306/foodmart?user=root&password=root;" +
"Catalog=C:UsersAdministratorDesktop
rtpFoodMart.xml;");
} catch (ClassNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
} catch (SQLException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
String query = "SELECT { [Measures].[Unit Sales] } on columns,{ [Time].[Year].[1997] } on rows FROM Sales WHERE ([Customers].[State Province].[CA])";
//获得查询结果
CellSet cs = null;
try {
cs = getResultSet(query, connection);
} catch (OlapException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
PrintWriter pw = new PrintWriter(System.out);
//处理返回数据
if(cs.getAxes().size()>1){
for (Position row : cs.getAxes().get(1)) {
for (Position column : cs.getAxes().get(0)) {
for (Member member : row.getMembers()) {
System.out.println("rows:"+member.getUniqueName());
}
for (Member member : column.getMembers()) {
System.out.println("columns:"+member.getUniqueName());
}
final Cell cell = cs.getCell(column, row);
System.out.println("values:"+cell.getValue());
System.out.println();
}
}
}else{
for(Position column:cs.getAxes().get(0))
{
for(Member member:column.getMembers()){
System.out.println("columns:"+member.getUniqueName());
}
Cell cell=cs.getCell(column);
System.out.print("values:"+cell.getValue());
System.out.println();
}
}
}
public static void main(String[] args) {
Olap4jTest a = new Olap4jTest();
System.out.println("调用mondrian api进行查询");
a.testQuery();
}
}
履行的输出结果以下：
rows:[Time].[1997]
columns:[Measures].[Unit Sales]
values:74748.0
最后看1下使用的jar包的信息：
ok，测试完成了。虽然进程很曲折，但是也学到了1些新知识，这里只是对mondrian做了1个简单的demo，证明了通过api调用的方式使用olap4j可使用后真个mysql进行olap操作，接下来还需要了解mondrian对hive和sql on hbase的支持，今天又发现1个新的开源OLAP引擎：Kylin，这个是eBay开源的，它是1个MOLAP引擎，和mondrian（ROLAP引擎）不同的是它会在创建Cube的时候将需要展现的维度和度量聚合到1个表中，并且将这个表进行物化，保存在HBASE中，以后的查询操作不是通过MDX标准来完成的，而是对物化表的SQL查询，这样的优点就是查询速度非常快，但是物化的进程需要1定的时间，并且物化表其实不1定能够完全支持所有的cude操作，如果不能支持的话还是通过ROLAP的方式到hive表中动态查找（类似于mondrian），而mondrian不需要保存任何数据（除mondrian的元数据），所有的MDX查询操作都是动态的生成sql，交由后真个数据库履行完成的，这些sql极可能是多表的join操作，对hive而言可能性能上是1个很大的问题。
我觉得mondrian的学习主要在于两个方面：cude的定义和MDX查看，所以接下来还需要学习1个mondrian中生成cube的xml文件的格式，如何定义1个cube、MDX的语法等，先做1个后端连接hive的demo吧。
------分隔线----------------------------
下一篇 android 路径动画制作
------分隔线----------------------------
最新技术推荐
1cassandra 3.x官方文档(5)---探测器
2[置顶] Aerospike数据库实战(四) -- Aerospike 安装部署
3Oracle 12c for GIS解决方案
4[置顶] Aerospike数据库实战(五) -- Aerospike C Client 开发
5MySQL Group Replication [Single-Primary Mode] 详细搭建部署过程
6mysql进阶(三十)MySQL Workbench出错KERNELBASE.dll停止工作 + MySQL服务消失 + 服务启动失败解决方法
7[置顶] Aerospike数据库实战(六) -- 踩坑&经验总结