`
文章列表
参考 https://drill.apache.org/docs/json-data-model/ 假设有原始数据在hdfs上: hdfs://dc1:8020/xf/mytest/ia/2017/0208/details/part-00000 多条数据,按行存储的json文件,实际上是spark saveAsTextFile方法生成。 格式如下(已删除部分数据) {     "afterOpenDay": 9,     "basic": {         "availableMoney": 24063.51344060898, ...
java docs 写道 http://docs.oracle.com/javase/8/docs/api/java/lang/Thread.State.html   public static enum Thread.State extends Enum<Thread.State> A thread state. A thread can be in one of the following states: NEW A thread that has not yet started is in this state. 创建,但没启动 RUNNABLE A t ...
  官方链接与文档 写道   https://spring.io/guides/gs/centralized-configuration/     Spring cloud config Server基于Spring boot构建,   建议下载使用官方的Eclipse ( sts-3.7.2.RELEASE) 下载config server sample 的源码,并导入到eclipse工程中,gs-centralized-configuration-complete\configuration-service 修改配置文件 启动程序 配置文件 maven文件: ...
       spark本地IDE调试模式下: JavaRDD<String> textFile = sc.textFile("E:\\json.txt",1);   执行异常: com.fasterxml.jackson.databind.JsonMappingException: Could not find creator property with name 'id' (in class org.apache.spark.rdd.RDDOperationScope))   原因: https://issues.apache.org/jira ...
  错误1:host host -t PTR XXX domain name pointer localhost. 错误原因: DNS反解析,域名没有配置dns 解决办法: 去掉/usr/bin/host mv /usr/host host.bak 然后再次添加主机   heipark.iteye.com/blog/2010432 https://community.cloudera.com/t5/Cloudera-Manager-Installation/installation-failed-help-Help-Help/td-p/6637   错误2 ...
使用libmysqlclient出现core,日志显示 mysql 遇到2013 ,2006错误(MySQL server has gone away) core文件信息如下:   (gdb) bt #0 0x000000000051eb12 in my_real_read (net=0x7fc8e80009e0, complen=0x7fc9ce1fb438) at /opt/mysql-5.5.41/sql/net_serv.cc:839 #1 0x000000000051eed5 in my_net_read (net=0x7fc8e80009e0) at /opt/m ...
一般需要安装下(centos) yum -y install libtool automake    否则可能遇到如下问题: possibly undefined macro: AC_PROG_LIBTOOL
(1)mysql服务启动时,指定编码,(mysql client连接时,也可以指定) (2)C 库client调用,通过函数指定 mysql_set_character_set(con,"utf8");
原因: zk是用C语言写的,如果C++工程中,使用 zookeeper 库(作为静态库编译),需要在所有使用zk的工程中加入编译宏 USE_STATIC_LIB 否则会出现 __imp_XXXX错误,imp 链接错误是因为C++的函数签名方式不是直接使用函数名的原因。   在windows如果需要编译recipes的lock和queue的话,需要修改一些文件。这里有修改后的文件,可以直接使用recipes,我使用里面的zkr_lock,不过原来是C语言工程,我改了之后变成C++的了。    
java: (1)希望so/dll文件只被某个特定的class调用,其他class不能调用,怎么办? (2)如何防止用户反编译,有什么有效手段? A)混淆编译 B)自己实现ClassLoader,同时实现一个DLL,DLL将原生成的class文件进行处理,然后程序 ...
最近需要使用Linux开发,需要在网络连接上复用。原有程序是使用每个请求进行一次创建线程,执行事务,销毁线程,这种模式来实现多个请求。现在希望能够基于线程池实现请求复用。实际上效果应该不会太好,因为: 请求都是内部高速Lan连接 单台服务器请求数不会超过500 属于CPU计算密集型;I/O较少。因此,主要耗时,还是服务本身,平均100ms/每核;假设线程创建销毁1ms,那么这1%即使完全节省下来,也不会有提高。 epoll模型和select模型。理论上,此时epoll不会比select高效,理由Lan高速连接,连接都是Active而不是wait。当然,无论选择哪种,都不会提升服 ...
三步搞定,网上一堆资料,但太啰嗦,而且没有必要所有组件都自定义编译。     下载&编译 下载地址:https://gcc.gnu.org/gcc-5/    ./contrib/download_prerequisites   ./configure --prefix=/tools --disable-multilib make && make install 第一步,是安装一些必要的前置项。否则需要自己去下载前置项,并配置 第二步,这个最容易错误,刚开始加了很多config选项,结果很容易就出错了   另外,因为是在阿里云虚拟主 ...
  Given an unsorted integer array, find the first missing positive integer. For example,Given [1,2,0] return 3,and [3,4,-1,1] return 2. Your algorithm should run in O(n) time and uses constant space.   这个是"置换"思想,往深的说,这个与数学中的置换群有关。在TAOCP的排序章节中,开篇说的就是置换,而且有个题目:即,在O(N)时间,O(1)空间对数列{1,2,3, ...
146 LRU Cache 这个基于双向链表+Map表 第一步:分析LRU特点 2大特点: 保持顺序,即访问顺序FIFO。保持顺序的只有顺序类型如链表、数组 快速查找,给定的KEY,能够快速查找的有:二叉搜索树、Hash表、跳表SkipList 再细 ...
这个是基于排序库实现的 56 Merge Intervals /** * Definition for an interval. * struct Interval { * int start; * int end; * Interval() : start(0), end(0) {} * Interval(int s, int e) : start(s), end(e) {} * }; */ struct Overlap{ bool operator()(const Interval &left, ...
Global site tag (gtag.js) - Google Analytics