记得别人忘了自己
lvdccyb · 共 114 篇文章
基于apache drill 的HDFS查询json 单机实例
参考 https://drill.apache.org/docs/json-data-model/ 假设有原始数据在hdfs上: hdfs://dc1:8020/xf/mytest/ia/2017/0208/details/part-00000 多条数据,按行存储的json文件,实际上是spark saveAsTextFile方法生成。 格式如下(已删除部分数据) { "afterOpenDay": 9, "basic": { "availableMoney": 24063.51344060898, "closeReason": 0, "cutEarning": 0, "end_date":…
2017-03-27 18:09 · java · 评论(0)
java.lang Enum Thread.State,jstack显示的线程状态说明
java docs 写道 http://docs.oracle.com/javase/8/docs/api/java/lang/Thread.State.html public static enum Thread.State extends Enum<Thread.State> A thread state. A thread can be in one of the following states: NEW A thread that has not yet started is in this state. 创建,但没启动 RUNNABLE A thread executing in…
2016-05-20 12:06 · java · 评论(0)
Spring Cloud (1)——config server使用SVN作为远程例子的运行与配置
官方链接与文档 写道 https://spring.io/guides/gs/centralized-configuration/ Spring cloud config Server基于Spring boot构建, 建议下载使用官方的Eclipse ( sts-3.7.2.RELEASE) 下载config server sample 的源码,并导入到eclipse工程中,gs-centralized-configuration-complete\configuration-service 修改配置文件 启动程序 配置文件 maven文件: <?xml version="1.0" enco…
2016-03-12 19:15 · Spring · 评论(2)
Could not find creator property with name 'id'(local spark debug)
spark本地IDE调试模式下: JavaRDD<String> textFile = sc.textFile("E:\\json.txt",1); 执行异常: com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope)) 原因: https://issues.apache.org/jira/browse/SPARK-8332 写道 Jonathan Ke…
2016-01-06 11:04 · 问题调查 · 评论(0)
cloudermanager添加主机时的安装错误整理
错误1:host host -t PTR XXX domain name pointer localhost. 错误原因: DNS反解析,域名没有配置dns 解决办法: 去掉/usr/bin/host mv /usr/host host.bak 然后再次添加主机 heipark.iteye.com/blog/2010432 https://community.cloudera.com/t5/Cloudera-Manager-Installation/installation-failed-help-Help-Help/td-p/6637 错误2 >>[15/Sep/2015 17:49:04…
2015-09-15 18:01 · hadoop · 评论(0)
mysql 2006 错误
使用libmysqlclient出现core,日志显示 mysql 遇到2013 ,2006错误(MySQL server has gone away) core文件信息如下: (gdb) bt #0 0x000000000051eb12 in my_real_read (net=0x7fc8e80009e0, complen=0x7fc9ce1fb438) at /opt/mysql-5.5.41/sql/net_serv.cc:839 #1 0x000000000051eed5 in my_net_read (net=0x7fc8e80009e0) at /opt/mysql-5.5.4…
2015-08-06 15:43 · mysql · 评论(0)
使用autoconf ,autogen遇到的问题
一般需要安装下(centos) yum -y install libtool automake 否则可能遇到如下问题: possibly undefined macro: AC_PROG_LIBTOOL
2015-07-23 12:08 · Linux · 评论(0)
mysql utf8编码设置 C 函数调用乱码问题
(1)mysql服务启动时,指定编码,(mysql client连接时,也可以指定) (2)C 库client调用,通过函数指定 mysql_set_character_set(con,"utf8");
2015-07-16 18:28 · mysql · 评论(0)
zookeeper windows C++ 编译,__imp_zookeeper_init错误备忘
原因: zk是用C语言写的,如果C++工程中,使用 zookeeper 库(作为静态库编译),需要在所有使用zk的工程中加入编译宏 USE_STATIC_LIB 否则会出现 __imp_XXXX错误,imp 链接错误是因为C++的函数签名方式不是直接使用函数名的原因。 在windows如果需要编译recipes的lock和queue的话,需要修改一些文件。这里有修改后的文件,可以直接使用recipes,我使用里面的zkr_lock,不过原来是C语言工程,我改了之后变成C++的了。
2015-07-16 16:03 · ZooKeeper · 评论(0)
几个java 面试题备忘
java: (1)希望so/dll文件只被某个特定的class调用,其他class不能调用,怎么办? (2)如何防止用户反编译,有什么有效手段? A)混淆编译 B)自己实现ClassLoader,同时实现一个DLL,DLL将原生成的class文件进行处理,然后程序启动的时候,只要入口Class(这个是原生态的)加载dll,dll解析相应的class,然后加载。这样如果想反编译,就需要DLL中分析了。 (3)soft reference,weak reference 会在什么场景下使用? (4)有多个读线程,一个写线程,写线程定时需要写数据,读线程随机发生读取数据,读取的数据可以是脏数据(允许…
2015-06-03 21:21 · java · 评论(0)
Epoll 轮询机制 和libevent的多线程实现
最近需要使用Linux开发,需要在网络连接上复用。原有程序是使用每个请求进行一次创建线程,执行事务,销毁线程,这种模式来实现多个请求。现在希望能够基于线程池实现请求复用。实际上效果应该不会太好,因为: 请求都是内部高速Lan连接 单台服务器请求数不会超过500 属于CPU计算密集型;I/O较少。因此,主要耗时,还是服务本身,平均100ms/每核;假设线程创建销毁1ms,那么这1%即使完全节省下来,也不会有提高。 epoll模型和select模型。理论上,此时epoll不会比select高效,理由Lan高速连接,连接都是Active而不是wait。当然,无论选择哪种,都不会提升服务质量,理由3…
2015-05-07 20:03 · Linux · 评论(0)
终于成功编译gcc5.1.0
三步搞定,网上一堆资料,但太啰嗦,而且没有必要所有组件都自定义编译。 下载&编译 下载地址: https://gcc.gnu.org/gcc-5/ ./contrib/download_prerequisites ./configure --prefix=/tools --disable-multilib make && make install 第一步,是安装一些必要的前置项。否则需要自己去下载前置项,并配置 第二步,这个最容易错误,刚开始加了很多config选项,结果很容易就出错了 另外,因为是在阿里云虚拟主机上编译,virtual os很多内存都不够用,这样会在第3步出错, “erro…
2015-04-29 20:35 · Linux · 评论(0)
41 First Missing Positive——leetcode
Given an unsorted integer array, find the first missing positive integer. For example, Given [1,2,0] return 3 , and [3,4,-1,1] return 2 . Your algorithm should run in O ( n ) time and uses constant space. 这个是"置换"思想,往深的说,这个与数学中的置换群有关。在TAOCP的排序章节中,开篇说的就是置换,而且有个题目:即,在O(N)时间,O(1)空间对数列{1,2,3,4,5,6,7,...…
146 LRU Cache——leetcode
146 LRU Cache 这个基于双向链表+Map表 **第一步:**分析LRU特点 2大特点: 保持顺序,即访问顺序FIFO。保持顺序的只有顺序类型如链表、数组 快速查找,给定的KEY,能够快速查找的有:二叉搜索树、Hash表、跳表SkipList 再细化各特点 《1》链表特点是:插入、删除、移动都是O(1)操作,随机访问O(N) 《2》数组特点是:插入、删除、移动都是O(N),只有当都是头、尾元素时,才是O(1)。 随机访问O(1)。 而Cache不需要随机访问第K个元素,而需要频繁的移动、删除。因此,需要用链表。为了便于插入,使用双双向链表,又为了实际代码中便于书写各函数,改成带头结…
56 Merge Intervals——leetcode
这个是基于排序库实现的 56 Merge Intervals /** * Definition for an interval. * struct Interval { * int start; * int end; * Interval() : start(0), end(0) {} * Interval(int s, int e) : start(s), end(e) {} * }; */ struct Overlap{ bool operator()(const Interval &left,const Interval&right)const{ return !(left.end<r…