核心内容摘要
百度搜索是怎么做的_百度搜索的工作原理与算法机制解析
CSSW高铁(930621)
以下是一个完整的Python脚本，用于统计指定目录下多种编程语言（Java、C#、C++、JavaScript、Python、TypeScript、Go、Rust）的代码行数，并生成明橘档可视化图表。该脚本会排除空行和注释，支持自定义排除目录，并能循环统计子目录中的文件。import osimport reimport csvfrom datetime import datetimeimport pandas as pdimport matplotlib.pyplot as plt# 支持的文件扩展名EXTENSIONS = { '.java', '.cs', '.cpp', '.c', '.h', '.hpp', # Java, C#, C++ '.js', '.ts', # JavaScript, TypeScript '.py', # Python '.go', # Go '.rs' # Rust}# 注释正则表达式（针对不同语言）COMMENT_PATTERNS = { 'single_line': [re.compile(r'^s*//'), re.compile(r'^s*#')], # // 和 # 开头的单行注释 'multi_line_start': re.compile(r'^s*/*'), # /* 开头的多行注释激乱 'multi_line_end': re.compile(r'.**/s*$') # 结束的多行注伍罩释 */}def is_comment(line, in_multiline_comment): """检查一行是否是注释""" stripped_line = line.strip() # 检查是否在多行注释中 if in_multiline_comment: return True # 检查单行注释 for pattern in COMMENT_PATTERNS['single_line']: if pattern.match(stripped_line): return True # 检查多行注释开始 if COMMENT_PATTERNS['multi_line_start'].match(stripped_line): return True return Falsedef count_lines(file_path): """计算文件的代码行数，排除空行和注释""" lines = 0 in_multiline_comment = False with open(file_path, 'r', encoding='utf-8', errors='ignore') as file: for line in file: stripped_line = line.strip() # 跳过空行 if not stripped_line: continue # 检查多行注释状态 if not in_multiline_comment: if COMMENT_PATTERNS['multi_line_start'].match(stripped_line): in_multiline_comment = True continue else: if COMMENT_PATTERNS['multi_line_end'].match(stripped_line): in_multiline_comment = False continue # 检查单行注释 is_comment_line = False for pattern in COMMENT_PATTERNS['single_line']: if pattern.match(stripped_line): is_comment_line = True break if not is_comment_line and stripped_line: lines += 1 return linesdef count_code_lines_in_dir(dir_path, exclude_dirs=None): """统计指定目录下多种编程语言代码文件的代码行数""" if exclude_dirs is None: exclude_dirs = [] file_counts = [] total_lines = 0 for root, dirs, files in os.walk(dir_path): # 排除指定的目录 dirs[:] = [d for d in dirs if os.path.normpath(os.path.join(root, d)) not in exclude_dirs] for file in files: if any(file.endswith(ext) for ext in EXTENSIONS): file_path = os.path.join(root, file) try: lines = count_lines(file_path) file_counts.append((file_path, lines)) total_lines += lines except (UnicodeDecodeError, PermissionError): # 跳过无法读取的文件 continue # 按代码行数降序排序 file_counts.sort(key=lambda x: x[1], reverse=True) return file_counts, total_linesdef write_to_csv(file_counts, total_lines, output_filename="code_lines_stats.csv"): """将统计结果写入CSV文件""" with open(output_filename, 'w', newline='', encoding='utf-8') as csvfile: fieldnames = ['File Path', 'Lines of Code'] writer = csv.DictWriter(csvfile, fieldnames=fieldnames) writer.writeheader() for file_path, lines in file_counts: writer.writerow({'File Path': file_path, 'Lines of Code': lines}) # 添加总行数到CSV的最后一行 writer.writerow({'File Path': "Total:", 'Lines of Code': total_lines})def get_latest_file_for_each_date(directory): """获取每天最新的统计文件""" date_pattern = re.compile(r'code_lines_stats_(d{8})_d{6}.csv') date_to_latest_file = {} for filename in os.listdir(directory): match = date_pattern.match(filename) if match: date = match.group(1) if date not in date_to_latest_file or filename > date_to_latest_file[date]: date_to_latest_file[date] = filename return {date: os.path.join(directory, filename) for date, filename in date_to_latest_file.items()}def read_total_lines(file_path): """从CSV文件中读取总代码行数""" with open(file_path, 'r', encoding='utf-8') as file: for line in file: if 'Total:' in line: return int(line.split(':')[1].strip()) return 0def plot_total_lines(date_to_total_lines): """生成代码行数变化的可视化图表""" dates = sorted(date_to_total_lines.keys()) totals = [date_to_total_lines[date] for date in dates] # 计算每日代码行数变化 daily_changes = [0] + [totals[i] - totals[i-1] for i in range(1, len(totals))] plt.figure(figsize=(12, 8)) # 总代码行数趋势图 plt.subplot(2, 1, 1) plt.plot(dates, totals, marker='o', color='b') plt.title('Total Lines of Code Over Time') plt.xlabel('Date') plt.ylabel('Total Lines of Code') plt.grid(True) plt.xticks(rotation=45) # 每日代码行数变化图 plt.subplot(2, 1, 2) plt.bar(dates, daily_changes, color='g') plt.title('Daily Changes in Lines of Code') plt.xlabel('Date') plt.ylabel('Lines of Code Added') plt.grid(True) plt.xticks(rotation=45) plt.tight_layout() plt.show()def main(): # 配置要统计的目录和排除的目录 dir_path = os.getcwd() # 当前工作目录 exclude_dirs = [os.path.normpath(os.path.join(dir_path, d)) for d in ['.git', 'node_modules', 'venv', 'env']] # 统计代码行数 file_counts, total_lines = count_code_lines_in_dir(dir_path, exclude_dirs) # 输出结果 print(f"Total code lines: {total_lines}") for file_path, lines in file_counts[:10]: # 只显示前10个文件 print(f"{file_path}: {lines} lines") if len(file_counts) > 10: print(f"... and {len(file_counts) - 10} more files") # 保存到CSV文件 now = datetime.now() date_time_str = now.strftime('%Y%m%d_%H%M%S') output_filename = f"code_lines_stats_{date_time_str}.csv" write_to_csv(file_counts, total_lines, output_filename) print(f"Results saved to {output_filename}") # 可视化历史数据（需要至少两天的数据） history_dir = os.path.dirname(os.path.abspath(__file__)) date_to_latest_file = get_latest_file_for_each_date(history_dir) if len(date_to_latest_file) >= 2: date_to_total_lines = {date: read_total_lines(file_path) for date, file_path in date_to_latest_file.items()} plot_total_lines(date_to_total_lines) else: print("Not enough historical data for visualization (need at least 2 days of data)")if __name__ == '__main__': main()功能说明： 代码行数统计： 支持多种编程语言：Java、C#、C++、JavaScript、Python、TypeScript、Go、Rust 排除空行和注释（包括单行注释//、#和多行注释/* ... */） 可自定义排除目录（如.git、node_modules等） 结果输出： 在控制台打印每个文件的代码行数和总行数 将结果保存到CSV文件，文件名包含时间戳（如code_lines_stats_20231115_143022.csv） 可视化： 自动读取历史统计数据 生成两个图表： 总代码行数随时间的变化趋势 每日代码行数变化量 错误处理： 跳过无法读取的文件（如二进制文件） 处理编码错误使用方法：将脚本保存为code_stats.py在要统计的目录下运行：python code_stats.py每天运行一次，积累历史数据运行足够次数后，脚本会自动生成可视化图表注意事项：注释检测可能不完全准确，特别是对于复杂的注释情况对于混合语言的文件（如HTML中的JavaScript），可能需要额外处理可视化需要至少两天的统计数据才能生成有意义的图表 这个脚本可以帮助你跟踪代码量变化，但请记住代码量不是衡量程序员工作效率的唯一标准，代码质量和完成任务的情况同样重要。
