如何替换Java中不可打印的Unicode字符?

| 以下将替换ASCII控制字符(
[\\x00-\\x1F\\x7F]
的缩写):
my_string.replaceAll(\"\\\\p{Cntrl}\", \"?\");
以下内容将替换所有ASCII不可打印字符(
[\\p{Graph}\\x20]
的简写),包括带重音符号的字符:
my_string.replaceAll(\"[^\\\\p{Print}]\", \"?\");
但是,两者均不适用于Unicode字符串。有谁能从Unicode字符串中删除不可打印字符的好方法?     
已邀请:
        
my_string.replaceAll(\"\\\\p{C}\", \"?\");
查看有关Unicode正则表达式的更多信息。
java.util.regexPattern
/
String.replaceAll
支持它们。     
        Op De Cirkel基本上是正确的。他的建议在大多数情况下都会起作用:
myString.replaceAll(\"\\\\p{C}\", \"?\");
但是,如果
myString
可能包含非BMP码点,那么它会更加复杂。 “ 9”包含代理代码点“ 10”。上面的替换方法通过有时仅替换代理对的一半来破坏非BMP代码点。这可能是Java错误,而不是预期的行为。 使用其他组成类别是一种选择:
myString.replaceAll(\"[\\\\p{Cc}\\\\p{Cf}\\\\p{Co}\\\\p{Cn}]\", \"?\");
但是,不删除不属于一对的单独代理字符(每个代理字符都有一个分配的代码点)。我知道正确处理ѭ9only的唯一方法是非正则表达式:
StringBuilder newString = new StringBuilder(myString.length());
for (int offset = 0; offset < myString.length();)
{
    int codePoint = myString.codePointAt(offset);
    offset += Character.charCount(codePoint);

    // Replace invisible control characters and unused code points
    switch (Character.getType(codePoint))
    {
        case Character.CONTROL:     // \\p{Cc}
        case Character.FORMAT:      // \\p{Cf}
        case Character.PRIVATE_USE: // \\p{Co}
        case Character.SURROGATE:   // \\p{Cs}
        case Character.UNASSIGNED:  // \\p{Cn}
            newString.append(\'?\');
            break;
        default:
            newString.append(Character.toChars(codePoint));
            break;
    }
}
    
        您可能对Unicode类别\“ Other,Control \”和\\ Other,Format \感兴趣(很遗憾,后者似乎包含不可打印和可打印的字符)。 在Java正则表达式中,可以分别使用
\\p{Cc}
\\p{Cf}
检查它们。     
        实现目标的方法
public static String removeNonAscii(String str)
{
    return str.replaceAll(\"[^\\\\x00-\\\\x7F]\", \"\");
}

public static String removeNonPrintable(String str) // All Control Char
{
    return str.replaceAll(\"[\\\\p{C}]\", \"\");
}

public static String removeSomeControlChar(String str) // Some Control Char
{
    return str.replaceAll(\"[\\\\p{Cntrl}\\\\p{Cc}\\\\p{Cf}\\\\p{Co}\\\\p{Cn}]\", \"\");
}

public static String removeFullControlChar(String str)
{
    return removeNonPrintable(str).replaceAll(\"[\\\\r\\\\n\\\\t]\", \"\");
} 
    
        我为此使用了此简单功能:
private static Pattern pattern = Pattern.compile(\"[^ -~]\");
private static String cleanTheText(String text) {
    Matcher matcher = pattern.matcher(text);
    if ( matcher.find() ) {
        text = text.replace(matcher.group(0), \"\");
    }
    return text;
}
希望这是有用的。     
        根据Op De Cirkel和noackjr的回答,以下是我做的常规字符串清理操作:1.修剪前导或尾随空白,2. dos2unix,3. mac2unix,4.除去所有“不可见的Unicode字符”,除了空格:
myString.trim.replaceAll(\"\\r\\n\", \"\\n\").replaceAll(\"\\r\", \"\\n\").replaceAll(\"[\\\\p{Cc}\\\\p{Cf}\\\\p{Co}\\\\p{Cn}&&[^\\\\s]]\", \"\")
经过Scala REPL测试。     

bab

        我建议它删除如下所示的不可打印字符,而不是替换它
private String removeNonBMPCharacters(final String input) {
    StringBuilder strBuilder = new StringBuilder();
    input.codePoints().forEach((i) -> {
        if (Character.isSupplementaryCodePoint(i)) {
            strBuilder.append(\"?\");
        } else {
            strBuilder.append(Character.toChars(i));
        }
    });
    return strBuilder.toString();
}
    
        我已经重新设计了电话号码的代码+9(987)124124 从Java中的字符串中提取数字
 public static String stripNonDigitsV2( CharSequence input ) {
    if (input == null)
        return null;
    if ( input.length() == 0 )
        return \"\";

    char[] result = new char[input.length()];
    int cursor = 0;
    CharBuffer buffer = CharBuffer.wrap( input );
    int i=0;
    while ( i< buffer.length()  ) { //buffer.hasRemaining()
        char chr = buffer.get(i);
        if (chr==\'u\'){
            i=i+5;
            chr=buffer.get(i);
        }

        if ( chr > 39 && chr < 58 )
            result[cursor++] = chr;
        i=i+1;
    }

    return new String( result, 0, cursor );
}
    

要回复问题请先登录注册